Первая часть: Лив Бори о покере
– Расскажи о концепции Молоха, которую ты придумала, чтобы описать проблемы, связанные с экосистемой современных СМИ. Что это вообще такое?
– Во-первых, её придумала не я. Сама история, разумеется, библейская. В ней рассказывается о чудовищном культе, приверженцы которого были настолько помешаны на военных победах, что охотно сжигали ради этого на жертвенном огне самое ценное, что у них было, включая собственных детей.
Бога, которому они приносили жертвы, называли Молох. Вся эта история стала символом стремления к победе любой ценой, не считаясь с потерями.
В 2014-м году Скотт Александер, автор блога slatestarcodex (ныне Astral codex), написал великолепную статью «Размышления о Молохе». В ней он увязал Молоха с теорией игр и обнаружил универсальный механизм, разгоняющий самые разные проблемы современного общества, которые в основном сводятся к проявлениям трагедии общин. Например, большие компании, которые начинают использовать самый дешёвый упаковочный пластик, что в будущем приведёт к большим проблемам, но является оптимальным решением согласно теории игр. Или гонка вооружений, из-за которой мы получили 60 тысяч ядерных боеголовок – намного больше, чем нужно для взаимного уничтожения. Это тоже диктуется теорией игр: мы должны постоянно увеличивать арсенал, чтобы превзойти своего врага. Все примеры, которые он упоминает, возникают из-за принятия решений, которые предельно рациональны на коротком временном отрезке, но, будучи принятыми всеми, приводят к плохим последствиям. Этот механизм он называет Молохом. Такая вот современная интерпретация старой истории.
Я чрезвычайно разочарована эволюцией наших СМИ за последние несколько лет. Уверена, что и вы тоже. Конечно, люди давно знали, что чем больше крови в заголовках, тем газеты лучше продаются. Однако с момента возникновения интернета и уж точно с момента возникновения социальных сетей конкуренция между СМИ возросла настолько, что даже самые уважаемые издания приняли на вооружение кликбейт и гонятся за читателями, генерируя в них гнев и другие негативные эмоции.
Представьте себя на месте редактора. Вы замечаете, что ваши конкуренты используют кликбейтные заголовки и увеличивают долю рынка. И всё, у вас нет выхода – приходится перенимать их тактику. Это тоже Молох. Извините, что так долго отвечала, я даже сняла об этом небольшой фильм.
– Отличный фильм, он мне очень понравился. Меня заинтересовало, что какое-то время существовал нарратив: мэйнстримные СМИ умирают, они погрязли в коррупции и всё такое (и это чистая правда), но нам помогут СМИ нового типа! Возможно, в этом есть доля правды, однако действия новых СМИ тоже управляются сложным комплексом интересов... Я недавно просматривал названия видео популярных ютюберов, одни только заголовки, и пришёл к выводу, что если погружусь в них даже на неделю, то распрощаюсь с психическим здоровьем и потеряю способность радоваться жизни. Наверняка и на нашем канале встречаются аналогичные заголовки. В общем, новые СМИ потенциально могут стать решением проблемы, однако пока что они во многом повторяют недостатки своих предшественников.
– Конечно. Всё сводится к борьбе за внимание зрителей, от огромной медиа-империи до отдельных инфлюэнсеров, и даже некоммерческие неправительственные организации играют в ту же игру. Все хотят, чтобы их услышали.
Это побуждает использовать максимально эффективную тактику для раскрутки, то есть генерировать в публике не рассудительность или внимание к деталям, а страх и гнев, и изредка угощать её яркой историей с хорошим концом. Самое эффективное – это гнев; он мобилизует гораздо лучше страха. Бизнес-модель не только интернет-инфлюэнсеров, но и больших СМИ требует от зрителей максимальной эмоциональной отдачи. Нужна активность, репосты, комментарии, и гнев подходит для этого лучше всего. А лучший способ пробудить гнев – это погрузить человека в состояние первобытной ярости. Именно поэтому, как мне кажется, современное общество стало настолько полярным.
Есть очень показательный график, который назвали «митозом Конгресса». Он показывает, как расходились с годами мнения республиканцев и демократов. В начале они были почти гомогенными, но потом начали разбегаться всё сильнее, и вскоре единая клетка разделилась на две части:
И сейчас мнения конгрессменов с разных сторон не совпадают практически ни по одному вопросу.
Этот процесс начался ещё до интернета, так что интернет нельзя считать причиной, но бесспорно, что он вдавил педаль газа в пол. Из-за интернета конкурентная борьба резко обострилась.
– Если говорить о провоцировании гнева, не думаю, что кто-то справлялся с этим лучше, чем британские таблоиды в 80-х и 90-х! На «Нетфликсе» сейчас вышел сериал о Дэвиде Бекхэме. Он получил красную карточку на чемпионате мира за то, что пнул воздух; соперник-аргентинец устроил из этого целое шоу. После этого Бекхэм стал врагом народа, его возненавидели все. Daily Mirror напечатали мишень для дартса с его портретом! Так что всё это началось не вчера, но именно сейчас ту же тактику переняли мэйнстримные СМИ, потому что заметили, что теряют популярность.
– Да, всё так. Я очень зла на них, особенно на ВВС. ВВС, пожалуй, держались дольше всех, но потом сломались. Я начала замечать это по статьям на хорошо знакомые мне темы, в трактовке которых откровенно прослеживалась идеология, обычно левая.
– Мне вспоминается интервью Илона Маска, в ходе которого у журналиста ВВС закончились вопросы. Мы бы потратили год, чтобы заполучить Илона в наше шоу, и отчаянно боролись бы за каждую дополнительную минуту эфира, а этот парень просто хотел его мочить и потерял интерес, когда задал все заготовленные атакующие вопросы.
– Да уж, что-то невероятное. К вам пришёл один из самых интересных людей на планете – и вам нечего сказать...
– Не идеально.
У меня возникает ощущение, будто через ткань реальности несётся гигантское лезвие ножа, острое, как бритва, и разрезает всё на две части. Я продолжаю называть его Молохом; мне проще говорить об этом явлении как о существе. Словно это демон, который питается человеческой враждой. Мы ругаемся, враждуем, воюем, и весь мир катится в пропасть из-за неспособности сотрудничать.
Новая пандемия, которая окажется хуже ковида, или катастрофа из-за изменения климата становятся серьёзными проблемами только из-за невозможности сотрудничать. Если бы мы могли объединить усилия, эти проблемы стали бы тривиальными; мы же примерно знаем, что делать, чтобы с ними справиться или хотя бы сгладить негативный эффект. Но объединение невозможно, потому что отказ от сотрудничества несёт слишком много сиюминутных выгод. Бедная страна с богатыми залежами угля – куда ей деваться? Конечно, она будет сжигать уголь, хотя глобально это невыгодно для всех.
Вернёмся к СМИ. Они оптимизируются для умножения гнева, эмоциональной нестабильности, разгоняют хайп. В отдельных узких темах при этом могут оставаться надёжные источники, но по большинству вопросов искать релевантную информацию становится почти невозможно. Плюс как мы вообще можем о чём-то договариваться и искать разумные решения в настолько поляризованном обществе?
Задача СМИ в идеальном мире – информировать людей о состоянии реальности, формировать объективную картину и предлагать здоровый спектр субъективных мнений, анализируя которые, наш коллективный разум может приходить к разумным выводам. Когда СМИ заняты ровно противоположным делом, сводя людей с ума и максимально отдаляя друг от друга, мы не можем справиться ни с одной бедой.
– Не думаю, что задача современных СМИ сейчас состоит в том, чтобы информировать. Политика, культура и вообще всё остальное превратились в развлечение для публики. Все СМИ стали развлекательными. Новости – тоже. Люди открывают новости не чтобы узнать факты, а чтобы получить эмоциональный заряд.
– Да. Дофамин.
– И первобытная ярость, которая рождается в их сердцах – очень сильная штука, наркотик, фактически. Но мне интересно поговорить о единой картине мира, потому что мы, как мне кажется, подошли к черте, за которой её больше нет. Возьмём, например, спор о трансгендерных людях: стороны не могут сойтись даже в базовых вопросах биологии. Как мы вообще можем надеяться на единую картину мира в таких условиях?
– Даже не знаю. Наверное, стоит начать с того, что у человечества есть гораздо более серьёзные проблемы, чем точное определение слова «женщина»...
– Не для всех! Некоторые с тобой категорически не согласятся. Нет, конечно, я понимаю, что сама по себе эта проблема даже рядом не стоит с гораздо более серьёзными вызовами, но когда наши расхождения в базовых вопросах бытия становятся настолько фундаментальными...
– Да, с этим я согласна. Трансгендеры, споры о капитализме и другие модные темы культурных войн стали настолько успешными в пространстве мемов, потому что отлично создают напряжение и яркие эмоции на обеих сторонах спектра. Любая тема, которая генерирует просмотры и клики, сразу же получает максимальное внимание СМИ независимо от её объективной важности. Чем конфликтнее тема, тем лучше.
Я согласна с тем, что биология – один из самых простых способов прикоснуться к объективной реальности. Вместе с тем я искренне убеждена, что люди вольны самовыражаться как угодно.
– При условии, что они не причиняют вреда другим!
– Само собой.
– Скажу, почему я как журналист с таким вниманием отношусь к этой теме: потому что убеждён, что истина важна, и пытаюсь оптимально её отразить. Когда человек говорит «абракадабра, Стейси» и считает, что стал кем-то другим, я уважаю его право называться как угодно, но не когда это выдаётся за объективную истину. И если мы не можем выработать единого мнения об истине на настолько базовом уровне, как мы будем решать какие-либо проблемы вообще?
Возможно, нами пытаются манипулировать в этом и других злободневных вопросах, но у нас же есть субъектность. Получается, мы позволяем собой манипулировать?
– Очень хороший вопрос. Психолог Патрик Райан придумал термин «психобезопасность». По его мнению, главной темой нынешнего десятилетия для каждого из нас должна стать работа над психобезопасностью. Кибербезопасность защищает ваш компьютер, а психобезопасность защищает вашу психику от всё более мощных методов манипуляции. Являются ли эти манипуляции чьей-то злой волей или побочным продуктом реализации теории игр, не имеет значения. Мы проводим всё больше времени с гаджетами, которые не идут на пользу нашему психическому здоровью. Цель их создателей – заставить нас проводить с ними как можно больше времени. Словом, нам всем стоит научиться основам психобезопасности. Устоять перед Тиктоком, который превращает нас в истекающих слюной баранов, устоять перед СМИ, из-за которых хочется беситься с пеной у рта. Нужен какой-то способ, желательно менее радикальный, чем уйти в общину амишей и перестать пользоваться смартфоном.
Вполне возможно, что ИИ лишь ускорит этот процесс. Если получится создать настоящий искусственный интеллект, его будут использовать не только чтобы решить серьёзные проблемы, стоящие перед нами, но и чтобы усугубить уже существующие. Представьте себе поляризующие СМИ, идеально заточенные под ваши склонности и вкусы! Все компании в мире мечтают об ИИ, который поможет их бизнесу – добрые, злые и даже преступные. Казино захотят ещё сильнее привязать людей к слотам. Правда, они и так неплохо справляются, доз дофамина вполне достаточно. Нынешние социальные сети – это в какой-то степени демоверсия наших будущих взаимоотношений с ИИ. Первоначальные алгоритмы были довольно примитивными, но они усложняются и персонализируются с каждым днём. Мой твиттер бросает мне интеллектуальный вызов, мой инстаграм даёт мне полностью расслабиться, развлекает, когда я сижу в туалете. Смотри-ка, какое смешное животное! Они уже отлично настроены на мой мозг, ведь все эти годы я добровольно рассказывала им о себе. По мере усиления ИИ они тоже будут усиливаться.
– Звучит не очень.
– Меня тревожит, что несколько месяцев назад Илон и ещё несколько человек подписали открытое письмо с призывом устроить мораторий на развитие ИИ. Конечно, я бы этого хотел, но боюсь, что идея просто не жизнеспособна.
– Мы возвращаемся к проблеме сотрудничества. Где провести черту? Google Maps – это тоже ИИ. ИИ – очень общий термин. Целью открытого письма было привлечь интерес к проблеме, и в этом оно сработало. Наиболее разумный способ регулирования ИИ на время, пока мы разбираемся в нюансах, как мне кажется, было бы ограничить передовые модели, наиболее мощные, вроде GPT-4 полгода назад и того, над чем ведущие корпорации работают сегодня. Я считаю, что Open AI и до них Microsoft поступили безответственно, выложив свои модели в общий доступ. Абсолютно невозможно себе представить негативные последствия использования восемью миллиардами людей настолько мощного инструмента языковой манипуляции. По сути это эксперимент над человечеством. Какими бы ни были его последствия, они нам уже не подвластны. Я не говорю, что нынешние модели создают риск истребления человечества, я так не считаю, но эффект от их использования может быть самым непредсказуемым. Например, загрязнение информационной экосистемы... В какой-то момент они настолько интегрируются в экономику, что мы просто не сможем их отключить. Экономика всё сильнее интегрируется с ИИ.
В общем, ограничения, связанные с наиболее передовыми моделями, кажутся мне разумными, потому что именно эти модели несут в себе непредсказуемые риски.
– Я заметил, что время, которое я провожу в онлайне, прямо пропорционально интенсивности таких эмоций, как, например, тоска. Чем меньше я сижу в сети, тем лучше себя чувствую. Жизнь – это общение. За это, кстати, и любят подкасты – люди в них общаются на таком уровне, который всё реже достижим в нормальных условиях. Я отключаю телефон и долго общаюсь на интересные темы с другими людьми, по сути, исключительно в этой студии и нигде больше.
– Ух ты.
– И это абсолютно противоестественно.
– Возможно, если мы хотим стать счастливее, нам всем нужно сделать шаг назад.
– Мы стали оторваны даже не друг от друга, а просто от физического, реального мира. Цифровой мир – это целая вселенная, но не та вселенная, для которой мы выведены как вид. Мой телефон – словно паразит на моей руке, высасывающий моё внимание, и я кормлю его вместо того, чтобы получать то, что нужно мне.
– Ой, ну ладно! Мы все обожаем демонизировать социальные сети, но в то же время они ведь просто охренительные! Сколько друзей появилось у каждого нас благодаря интернету! О скольких потрясающих людях мы узнали! Сколько новых знаний получили и насколько лучше представляем себе мир... Думаю, с ИИ может быть то же самое. Хочу спросить у тебя и о главных рисках, связанных с ИИ, и той пользе, которую он может принести.
– Есть четыре категории рисков. Непредвиденные последствия и всё с ними связанное. Например, мощная модель, способная улучшать собственный код и рекурсивно обучаться. Она может эволюционировать с невероятной скоростью, не имеющей аналогов в биологии. Она не обязательно станет злой и захочет нас убить, просто её цели будут слишком далеки от наших, и она потратит на себя все нужные нам ресурсы или перестроит под себя нашу экосистему. В эту категорию я отношу всё, что может привести к гибели человечества.
– Для меня это звучит как научная фантастика про злобных роботов.
– Ну да, я не очень верю в злую волю, но непредвиденные последствия тоже довольно опасны.
Следующая опасность – ИИ поможет ещё сильнее дестабилизировать нашу систему. Для этого тоже не нужна злая воля, просто теория игр диктует компаниям определённую модель поведения, а ИИ делает их ещё более эффективными.
Проблема подлеца (bad actor problem). Код мощной модели может оказаться в открытом доступе. Напоминаю, примерно 1% населения планеты – психопаты. Кто-то из них, обладающий ментальностью члена террористической организации, использует модель, чтобы узнать, как причинить человечеству максимальный вред. Как от этого защититься? Никак.
Четвёртая проблема – структурные риски. Например, массовая безработица. Кое-какие признаки уже проявляются, и я не убеждена, что мы сможем достаточно быстро создавать новые рабочие места, чтобы компенсировать потери.
– А теперь про пользу, пожалуйста. В своём видео ты говоришь о том, что люди склонны предпочитать негативную информацию, и за этим надо следить.
– Да, ты прав! Давай про позитив.
ИИ может помочь нам решить множество проблем. Проблемы с окружающей средой. Поиски альтернативных источников энергии. Контролируемый термоядерный синтез. Новые лекарства, в том числе от новых пандемий. ИИ часто называют технологией двойного назначения, которую можно одинаково эффективно использовать для добрых и злых дел. Может быть, нам нужен сверхразум, чтобы мы, наконец, научились сотрудничать в важных вопросах. С другой стороны, может быть, он породит ещё более сложные проблемы. Нам предстоит идти по минному полю, но если всё получится, жизнь станет прекрасной.