• Casino онлайн
• Однорукий бандит алгоритм

Многорукий бандит как победить алгоритм Яндекса

Представьте ситуацию: вы в казино с большим количеством игровых автоматов, у каждого из которых есть пусковой рычаг, или рука (по этой же причине их прозвали «однорукими бандитами» — за постоянное обыгрывание клиентов). Вы догадываетесь, что некоторые автоматы успешнее остальных (выдают выигрыш чаще других), однако количество попыток ограничено — нажав один рычаг, вы упускаете другой. Естественно, цель любого игрока — выйти из казино с максимальным выигрышем. Вопрос: как найти лучший игровой автомат в кратчайший срок?

Обучение с подкреплением многорукие бандиты

Если бы игрок знал, какой автомат даст больше денег, он бы играл в него целый день. Относительно оптимизации конверсии теория работает схожим образом. Эндрю Андерсон (Andrew Anderson) в одной из статей в блоге Adobe объяснил работу бандитского алгоритма так:«В идеальной ситуации вы бы уже знали все возможные комбинации и предугадали бы результаты любого действия, а затем могли бы применить все свои ресурсы для выполнения одного наиболее перспективного шага с наибольшей прибылью.

К сожалению, мы живем в обычном мире и не умеем видеть будущее, но пытаемся всеми силами его предсказать». Хотя «бандитская методика» подвергается критике, существуют кейсы, в которых именно данный алгоритм дает наилучший результат. В каких случаях стоит использовать бандитский алгоритм, а когда — сплит-тестирование?

Основные методы тестирования Landing Pages А/В тест, или сплит-тестирование — наиболее часто применимый метод оптимизации конверсии, который проводится стандартно: Трафик распределяется между версиями веб-страницы следующим образом: 50% трафика направляется на контрольную версию сайта, а 50% — на тестируемую. Это продолжается до тех пор, пока тест не соберет достаточно данных для решения, какая версия эффективнее. Теоретически, сплит-тестирование состоит из короткого периода чистого исследования, когда трафик рандомно распределяется между версиями А и В. Затем тест переходит в стадию длительного эксперимента, когда 100% трафика направляется на более эффективную по результатам исследования версию. В применении этого метода выделяют две проблемы: 1.

Odnorukij-bandit-yandeksa-kto-on-i-kakОднорукий бандит Яндекса кто он и как его использовать

Тестирование резко переходит от исследования к практическим действиям, тогда как более плавный переход был бы рациональнее. На этапе исследования бесцельно тратятся ресурсы на тест худших вариантов, чтобы собрать максимум данных. Разница между «бандитским алгоритмом» и А/В/n тестированием заключается в том, как эксперимент распределяется между теоретической (получением достаточных результатов для принятия решения) и практической частью (перераспределением трафика).

Сплит-тестирование сначала исследует, а потом перераспределяет трафик, задействуя только эффективную страницу сайта: «Бандитский алгоритм» решает дилемму распределения ресурсов между изучением и практическим распределением трафика другим путем. Вместо двух отдельных периодов чистого исследования и применения полученных результатов на практике «бандитское тестирование» адаптивно, позволяя одновременно исследовать и распределять трафик динамично, на основании полученных данных: Таким образом, бандитское тестирование минимизирует расходы и разницу между тем, что вы действительно получаете и что могли бы получить, если бы выбрали лучший вариант на каждом этапе.   Мэтт Гершофф (Matt Gershoff) из Conductrics опубликовал масштабный пост в блоге, посвященный методике:«Многие называют эту методику «зарабатывай, пока изучаешь», так как в ходе теста вам придется изучать, чтобы определить, что работает, а что нет, и оптимизировать прибыль. Что мне особенно нравится в бандитском методе — это сбор данных, имеющих собственную ценность, с точки зрения потерянных возможностей».«Каждый раз сталкиваясь с проблемой изучения и применения данных на практике для оптимизации конверсии, вы имеете дело с феноменом многоруких бандитов (теорией вероятностей).  

Любой способ решения проблемы сводится к «бандитскому алгоритму» — включая А/В тестирование. Цель алгоритма — исключить направление трафика на нерезультативную версию.

Фактически, любой бандитский метод, о котором вы можете прочитать в интернете (исключениям являются противоборствующие алгоритмы, диффузные алгоритмы и скачкообразные алгоритмы), делает некоторые математические предположения:2. Показ варианта и регистрация конверсии происходят одномоментно. Хотя метод А/В-тестирования предлагает весьма надежный алгоритм, часто эти предположения нарушаются. Это означает, что следующая ситуация невозможна: в посетитель А видит версию 1. Сплит-тест не фокусируется на изменениях уровня конверсии в тестовый период — к примеру, если результаты тестирования понедельников и воскресений одинаковы, то следует убедиться, что в ходе тестирования было одинаковое количество понедельников и воскресений.

Однорукие бандиты - играть без регистрации, смс и депозита

Точно так же, следует убедиться, что тестовый период достаточно длинный, чтобы зарегистрировать изменения уровня конверсии». По сути, вопрос не в том, какой метод тестирования выбрать — «бандита» или сплит-тесты, потому как это абсолютно разные методы, служащие разным целям. Мультивариантное тестирование Vs сплит-тесты: что лучше? Далее мы постараемся определить, когда лучше применять «бандитское» тестирование и каковы его преимущества? «Бандитский алгоритм более эффективный, так как направляет трафик на лучшую версию планомерно, не принуждая вас ждать, пока определится та самая лучшая версия до конца эксперимента. Бандитский алгоритм быстрее, так как трафик, который мог бы быть направлен на худшие версии, может направляться сразу на более эффективные варианты, а дополнительные данные, собранные с них, помогут отличить просто хорошие рычаги от лучших гораздо быстрее». Мэтт Гершофф (Matt Gershoff) выделяет 3 причины, почему стоит отдать предпочтение «бандитской» методике: 1. Сбор данных — это затраты, а бандитский алгоритм позволяет вам минимизировать эти затраты в ходе оптимизации. «Бандитский алгоритм» — это естественный путь автоматизации оптимизации с применением машинного обучения, особенно с учетом потребностей пользователя (А/В-тестирование в этой ситуации весьма затруднительно). Разрешая алгоритму иногда выбирать менее удачные опции, вы даете ему возможность пересмотреть их эффективность. Это позволяет создать работающий инструмент, непрерывно определяющий наиболее эффективные варианты и заменяющий малоэффективные новыми.

Таким образом, «бандитский алгоритм» может быть рекомендован в силу плавного перехода от изучению к практическому применению, скорости и возможной автоматизации.10 ошибок сплит-тестирования, которые дорого вам обойдутся Множество обсуждений касаемо «бандитского тестирования» упускают из виду главные особенности алгоритма. Рассмотрим простейший и наиболее доступный метод — «эпсилон-жадный алгоритм» (epsilon-greedy algorithm).