Так ли силен Плурибус?

Как мы недавно писали, группа учёных, которые ранее сделали бота Libratus для NLHE HU, научили новую программу бить 6-макс. Pluribus учился покеру, восемь дней играя сам с собой на сервере c 64-ядерным процессором, после чего состоялся эксперимент. В ходе тестов Плурибус обыграл группу профессионалов, среди которых были Линус Лёлигер, Ник Петранджело, Даррен Элиас, Грег Мерсон и другие. Важный момент в том, что программа работала не на суперкомпьютере, а на двух 14-ядерных процессорах и с памятью 128 Гб.

Эта новость, конечно, всерьез взволновала многих покерных профессионалов, и мы обратились к экспертам, чтобы понять, насколько большую угрозу новая версия бота представляет для регуляров 6-макс холдема.

Мнение Simple Poker

Simple Poker – команда разработчиков популярных профессиональных солверов (Simple Preflop Holdem, Simple Postflop Holdem и других).

– Начнем с традиционного вопроса: протянет ли покер очередные два года?

– Мы считаем, что создание бота Pluribus никак не повлияет на жизнеспособность покера.

Во-первых, в боте не используются какие-то новые прорывные или закрытые невоспроизводимые технологии, поэтому аналоги бота вполне могли существовать и ранее, а покер до сих пор жив.

Во-вторых, текущая версия бота работает только со статичными стеками 100 ББ, а в реальной игре вариативность стеков большая. Кроме того, в ряде случаев боту требуется довольно много времени на ход – то есть для того, чтобы адаптировать его к реальной игре, нужно проделать колоссальную работу, и не факт, что он сможет качественно играть в условиях реальной игры с ее ограничениями.

В-третьих, жизнеспособность покера в большей степени зависит от наличия и притока рекреационных игроков, внимания со стороны государственных органов, изменения условий румов – эти аспекты нам спрогнозировать сложно. В целом прогноз такой, что в ближайшие два года покер продолжит жить.

Не стоит забывать, что у румов есть возможность добавлять новые игры и менять правила в существующих таким образом, чтобы сложность их решения возрастала. Также в крупных румах работают продвинутые службы безопасности, которые вряд ли допустят захват игры ботами.

– Одно из основных опасений покеристов – снижение технических требований к боту и повышение вероятности того, что позволить его себе сможет практически любой. Все действительно так просто?

– Тут стоит отдать дань прогрессу в части развития компьютерного железа и его доступности. Для просчета основной стратегии бота (blueprint strategy) использовался алгоритм MCCFR, который также позволяет упрощать решаемую игру, снижая требования к вычислительным ресурсам.

Этот алгоритм известен достаточно давно и используется в публичных солверах, доступных каждому, в частности, в Simple Preflop Holdem. Подобные программы требуют довольно малое количество вычислительных ресурсов для расчета префлоп спотов с несколькими участниками, которые многие пользователи уже выполняют на своих продвинутых домашних ПК, то есть доступность таких расчетов в нашем понимании не является чем-то новым и удивительным. Основная их проблема в том, что они позволяют получить достаточно хорошие префлоп решения, но на постфлопе упрощенные стратегии, скорее всего, будут уступать человеческим.

Поэтому для расчета стратегий на постфлопе лучше использовать отдельные солверы, которые хорошо решают именно эту задачу, но эти расчеты уже достаточно ресурсоёмкие, чтобы осуществлять их в реальном времени, особенно начиная с флопа. По словам создателей Pluribus, их основной прорыв заключается в том, что они нашли способ в реальном времени улучшать стратегию на постфлопе, предварительно посчитанную в префлоп-солвере. Но на основе их других статей можно сделать вывод, что один на один Pluribus будет играть хуже, чем это делал их предыдущий бот Libratus.

– Как вычисляли результаты бота?

– Для снижения дисперсии использовался алгоритм AIVAT, для использования которого требуется иметь оценку EV для каждого действия, и некоторые спорные моменты могут быть связаны с тем, что это оценка получена по сути как EV игры бота против себя же. Также при шоудаунах использовалось EV против всего возможного диапазона бота. При игре человека против пяти ботов также сравнивался итог раздачи человека и итог раздачи как если бы ее полностью играл бот.

– Можно ли будет использовать Плурибуса для поиска других ботов?

– Навряд ли именно Pluribus в этом поможет. Для префлопа достаточно давно существуют чарты, посчитанные в префлоп солверах, а стратегии на постфлопе как у Pluribus, так и у других ботов могут быть достаточно далеки от реального равновесия, чтобы их можно было уверенно сравнивать. Плюс не стоит забывать о том, что, возможно, существующие 6-макс боты играют в эксплуатационном стиле, подстраиваясь под тенденции поля. Такие стратегии в принципе будут плохо совпадать с ГТО.

– Если у Линуса Лелигера и у Плурибуса будут одинаково большие базы раздач друг на друга, на чью победу вы бы поставили?

– Мы не обладаем подробными знаниями о стратегиях Линуса, поэтому в нашем ответе будем опираться только на то, что он – один из сильнейших игроков в покер. Нужно понимать, что в реальных условиях при наличии рекреационного игрока за столом Линус будет подстраивать свою стратегию под него, чтобы максимизировать свое EV, в то время как стратегия бота против всех игроков будет одинаковой. Таким образом, даже если Линус будет немного проигрывать боту, он должен с лихвой перекрыть свой убыток благодаря эксплойту реакреационного игрока и по итогу иметь более высокий винрейт, чем Плурибус.

С большой вероятностью у Линуса не будет никаких шансов против бота в 2-вей спотах, так как они могут быть решены точно – человеку нечего противопоставить против рассчитанных сбалансированных стратегий. Держать идеальный баланс достаточно сложно – человек будет упрощать свою стратегию, теряя EV. Но так как Плурибус для части решений использует фиксированное дерево игры, возможно, Линус сможет с помощью нестандартных сайзингов заэксплойтить бота. Для банков с несколькими участниками сложно оценить различие уровня игры человека и машины. Стратегии, посчитанные Плурибусом на постфлопе, в этих спотах будут далеки от равновесных, но и игра человека в мультивее как правило слабее, чем в ХА.

Мнение friendlykam

Регуляр высоких лимитов 6-макс холдема Илья friendlykam по нашей просьбе изучил базу на 10,000 раздач Плурибуса из второй части эксперимента, в которой бот играл против пяти людей, и поделился своими выводами о его игре.

У Плурибуса низкий 3-бет и сквиз для 6-макса. Он использует смешанную стратегию и часть натсов играет коллом. Но чего я не могу простить, так это фолд на 3-бет в 77%. WTF? При этом на постфлопе у него довольно высокая общая агрессия: Total AFq 52.4%.

Приступим к раздачам! Lets get ready to rumble!

Блефкетчи с абсурдными на первый взгляд руками

Soul read by Pluribus. Такое ощущение, что бот видит чужие карты или «положил на блеф» на ривере. Такие мысли я помню от регов, когда катал офлайн :) Единственное чем можно объяснить коллы бота на терне и ривере – он считает что в такой связке сайзингов мало велью.

Нетипичные блефпуши ривера со средним шоудаун-велью

На первый взгляд тоже смотрится абсурдно. Зачем превращать такую руку в блеф? Но, как мне кажется, спектр чек-рейза оппонента состоит из фулхаусов и стрита на 54s. Если в рейндже оппонента есть стриты 54s и тем более 54о, то это хороший блеф, т.к. мы блочим топовый фулхаус, а наша рука относится к низу диапазона бета.

Тут бот пытается выбить 5х+, имея блокеры на фул KK, но на практике это смотрится ужасно. Никто здесь не дропнет 5х из-за того, что на СБ довольно узкий спектр, и 5х+ там катастрофически мало. Изображает он только какие-то А5s и 65s, и то частично они будут в спектре 3-бета. Отличная рука для блефкетча, но не для блефпуша, на мой скромный взгляд.

Есть и не очень хорошая игра от регов против Плурибуса

Видимо, это попытки эксплойта фолда на 3-бет в 77% (если у них вообще были статы), т.к. реги выбирали руки совершенно нетипичные для 3-бета.

Шах и мат, кожаный мешок! :)

Оверплей от Плурибуса

Тут даже сложно что-то добавить, просто сильно переиграно.

Об этих раздачах мне сложно судить, плохая это игра или невероятно сильная

Кожаный мешок проиграл эту битву левелинга :)

Люди побеждают! Со стороны кажется, как будто прочитал статью для «серебра» на одном известном сайте, в которых писали, что когда шотаешь NL2, то оверпара на низкой доске играется на стэк против любителей.

Такое ощущение, что перед ботом поставили задачу – не дать реализовать эквити блефов любой ценой! На мой взгляд, это просто оверплей и изоляция для натсов оппонента, ведь руки с худшим эквити люди, как видно, не колят. Это вроде концепция пот-эквити, на которую немного пролил свет OhHeyCindy в своем интервью. Но я могу и ошибаться, может, это настолько крутая игра, плюсовость которой могут объяснить только реги NL5k+, какие-нибудь условные топ-10-20 мира.

Интересные блефы, абсолютно нетипичные для людей

Мы добрались до последнего пункта.

Такую связку сайзингов терна и ривера в 3-бет поте за столами практически никогда не увидишь.

Блеф по блокерам. От людей такой будет раз в пятилетку.

Блеф без эквити, на который способен разве что солвер. Люди с такими руками практически не блефуют.

Префлоп и флоп дефолт. Идея на терне, как мне кажется, в том, что мы выбьем его Ах на ривере. Но в этой раздаче, судя по всему, на баттоне был Линус, который показал, кто за столом Батя :) Со стороны, наверное, смотрится довольно дико.

Человек тут просто нажмет колл со своим трипсом, но только не Плурибус. Огромный сайзинг рейза и... Колл пуша. WUT? Бот изображает фулы по A7 и A10. Часть KQ, с которыми он чекал флоп. Также он выбивает трипсы по Ах, с которыми сплитит.

Игрок с ником Eddy, видимо, уже был в курсе особенностей бота, потому что пуш трипса с AK в таком споте человек против человека едва ли сделает. И вишенка на торте – это колл пуша на ривере от Плурибуса. С такими оддсами, как я понимаю, бот никогда не выкинет руки, которые блочат натс фулы.

По отобранным раздачам может сложиться неверное представление об игре бота. Несмотря на некоторые недостатки, Плурибус, на мой взгляд, все равно играет неплохо. Было много раздач, где он сыграл хорошо, но они мне не показались интересными, т.к. они довольно дефолтные.

Но что-то мне подсказывает, что реги NL5-10k инста соберутся под него, если будет такая возможность.