Telegram-канал «Малоизвестное интересное». Кардинальный скачок эскалации войны е-добра и е-зла

Еще 5 лет назад я писал, что с переходом человечества в цифровую реальность первым же полем битвы е-добра с е-злом оказываются социальные сети. И, по аналогии с материальным миром, первый удар, как обычно, наносит е-зло. Его цель — взятие под контроль новостной повестки человечества.

Стратегическим оружием е-зла являются соцботы — аккаунты в соцсетях, контролируемые алгоритмами. Они искажают инфоповестку в нужную сторону, раздувая одни новости (в том числе фейковые) и тем самым оттирая внимание от других; распространяют дезинформацию и рассылают спам; усиливают значимость в сети определенных нарративов.

Эти боты е-зла научились эволюционировать. Теперь они не просто пытаются выдавать себя за людей, что худо-бедно распознают средства противоботовой обороны (ПБО), но и научились вовлекать в свои инфокаскады людей. Прячась за их спинами от ПБО, соцботы эффективно отрабатывают стратегию сбивания людей в стада своих и чужих.

И все же главный недостаток соцботов — недостаток их интеллекта — до последнего времени не позволял им создавать реалистичные персоны, размещать убедительный контент или автоматически вести естественные диалоги с другими аккаунтами. Недавний скачок в развитии и широком внедрении больших языковых моделей (LLM) полностью поменял эту картину. Теперь злоумышленники могут легко использовать языковые модели для значительного расширения возможностей соцботов по всем параметрам.

И пока исследователи, политики и журналисты спорят о рисках развития ИИ, способах его морального воспитания и контроля над ним, предприимчивые агенты е-зла ужу вовсю используют новое поколение соцботов на основе LLM.

Обсерватория социальных сетей OSoMe только что опубликовала результаты исследования «Анатомия вредоносного социального ботнета на базе ИИ». Результаты, увы, печальные.

С помощью эвристики исследователи обнаружили в соцсети Twitter (заблокирована в РФ) целую «ЧВК социохакинга» Fox8 — плотно сбитый кластер из 1140 поддельных алгоритмических персон, работающих на основе ChatGPT:
— генерирующих контент, неотличимый от контента людей;
— демонстрирующих единую сложную модель поведения (следуют единой вероятностной модели, определяющей типы и частоту их активности);
— коллективно преследующих единые цели на основании инструкций по созданию различного контента, получаемых ими от неизвестных операторов;
— координирующих и синхронизирующих свои действия по продвижению подозрительных сайтов и распространению вредоносных комментариев;
— успешно обходящих все традиционные средства ПБО.

Fox8, скорее всего, является лишь вершиной айсберга «ЧВК социохакинга»: операторы других «ЧВК» на основе LLM могут быть не столь беспечны.

Как-либо препятствовать беспределу «ЧВК социохакинга» в Twitter (новое название — X) будет сложно. Ведь Twitter приостановил бесплатный доступ к API для исследователей. И теперь повторить анализ, проведенный OSoMe, или найти новые «ЧВК социохакинга» на базе LLM, может оказаться невозможным.

Telegram-канал «Малоизвестное интересное»