«Появятся люди, живущие в сформированных специально под них информационных пузырях»
Насколько велика угроза контента, создаваемого под конкретного человека, его взгляды и вкусы
С 1 октября вступил в силу закон о рекомендательных технологиях, и крупные онлайн-платформы стали публиковать правила применения, а также описание процессов, анализа и методов сбора данных пользователей. От чего же государство стремится защитить своих граждан, делая цифровые механизмы бизнеса максимально прозрачными? О влиянии вездесущих рекомендательных алгоритмов на жизни простых россиян и возможных рисках редакции RSpectr рассказал эксперт в области цифровой трансформации, технологических трендов и информационной безопасности, популяризатор технологий, основатель аналитической компании MINDSMITH Руслан Юсуфов.
ПУЗЫРЬ ИЛЛЮЗИЙ
– Мы видим кратный рост возможностей технологий искусственного интеллекта – от умных чат-ботов до дипфейков. Формируется некая параллельная реальность. Как эти тектонические цифровые изменения скажутся на менталитете и психике людей, которые ежедневно потребляют массу сетевого контента? Куда мы идем?
– Мы стремительно идем в мир недоверия, в котором нужно будет все проверять и не доверять тому, что видишь. В мир, где между людьми будет все больше цифровых разрывов во взглядах, способностях и информации, которой они располагают. Интернет позволил людям объединяться в сообщества по интересам, которые раньше были бы невозможны – в случаях, когда интересы социально неприемлемы или слишком редки. Нередко такие сообщества превращаются в эхокомнаты, где происходит эскалация нарративов, поддерживаемых этими группами, которые распространяют внутри себя приемлемую для них информацию.
Алгоритмы работают похожим образом – они усваивают, что человеку нравится, и поставляют ему контент, в котором дискуссия может быть однобокой, а неприятные пользователю точки зрения не подсвечиваются, если корпорации в этом не заинтересованы. Генеративный искусственный интеллект (ИИ) может значительно ухудшить эту ситуацию: контент будет создаваться под конкретного человека, его взгляды и вкусы.
Появятся люди, живущие в сформированных специально под них информационных пузырях
Также значительно повысится восприимчивость людей, находящихся в этих пузырях, к манипуляциям со стороны заинтересованных лиц и владельцев алгоритмов. К последствиям можно будет отнести стремительную атомизацию общества на фоне усиления информационных пузырей, появление новых цифровых и социальных разрывов, а также поляризацию сторонников и противников повсеместного внедрения ИИ.
В целом, характер этих изменений в отношении психики людей сложно определить как негативный или позитивный – человек просто адаптируется к невиданному ранее объему информации и скорости ее распространения и потребления. Вполне возможно, нас ждет рост уровня тревожности, перестройка рынка труда, а также искусственное завышение значимости тех или иных инфоповодов.
СПРАВКА
Руслан Юсуфов
футуролог, эксперт в области цифровой трансформации, технологических трендов и информационной безопасности, популяризатор технологий, основатель аналитической компании MINDSMITH
- Автор многочисленных исследований и публикаций в российских и международных СМИ, постоянный спикер на ведущих индустриальных мероприятиях (Петербургский международный экономический форум, ЦИПР и др.).
- Автор мастер-классов по цифровой трансформации, информационной безопасности и сквозным технологиям для топ-менеджеров и собственников бизнеса. Провел десятки мастер-классов и стратегических сессий для корпоративных клиентов.
- Приглашенный спикер на образовательных программах Московской школы управления Сколково, РАНХиГС, Финансового университета при Правительстве РФ, Высшей школы менеджмента СПбГУ и других ведущих российских бизнес-школ и университетов, а также корпоративных университетов.
- Участник ключевых научно-просветительских мероприятий для молодежи (Российская государственная библиотека для молодежи, образовательный центр «Сириус»).
- Выступал с трибуны ООН в Вене в рамках предложения российского проекта конвенции по кибербезопасности. Спикер TEDx.
- Участник просветительской экспедиции на Северный полюс «Ледокол Знаний» на ледоколе «50 лет Победы» (часть глобального проекта Homo Science project, реализуемого при поддержке госкорпорации «Росатом»).
- Принимал участие в международных военно-технических форумах «Армия-2021», «Армия-2022», «Армия-2023».
– Со времен фильма «Терминатор» людей пугают тем, что ИИ возьмет над всем контроль и уничтожит человечество. Мы уже находимся во власти нейросетей через рекомендательные алгоритмы и другие формы манипуляций. Насколько сильно они влияют на нас – больше, чем мы думаем, или наоборот?
– Если человек осознает, что существуют рекомендательные алгоритмы, и что компания, которая их предоставляет, может использовать их для манипуляций, то он уже становится к ним менее восприимчивым.
Успешность таких манипуляций в целом зависит и от уровня когнитивной устойчивости общества. Не все манипуляции плохие по умолчанию. Так, рекомендательные алгоритмы могут манипулировать предпочтениями человека, чтобы, например, оградить его от воздействия деструктивного контента. Важно отметить, что без рекомендательных алгоритмов сложно было бы пользоваться разросшимся и проникшим во все сферы нашей жизни интернетом, поскольку информация выдавалась бы в сыром, не ранжированном виде. Менее эффективно работал бы поиск в Сети, в маркетплейсах, даже системы навигации. Человек терялся бы в количестве и многообразии информации, товаров и контента.
– Как различные интернет-компании используют ИИ для сбора информации о пользователях и манипуляции сознанием ради прибыли?
– Продвинутые чат-боты могут быть использованы для извлечения из пользователей той или иной информации для дальнейшего анализа. Но все же ИИ не столько собирает данные, сколько позволяет из уже имеющихся получить еще больше информации для принятия решения.
Некоторые из них человек принять не способен – он просто не заметит определенные паттерны при тех же временных рамках и средствах. Все современные системы распознавания лиц – это тоже ИИ. Рекомендательные алгоритмы, которые знают о пользователях намного больше, чем они сами, – это великолепный инструмент для современного маркетинга: пользователь еще не успел сформулировать свое желание, а его уже кто-то угадал.
Использование ИИ при создании рекомендательного контента и рекламы также можно отнести к манипуляциям
поскольку его принципы могут быть использованы для таргетирования людей на основе их интересов и предпочтений.
– Какие опасности это несет для общества?
Первый риск – огромное пространство для злоупотреблений компаниями, которые, оставаясь в правовом поле, могут таргетировать финансовые продукты на людей с низкой финансовой грамотностью, вызывать зависимость у уязвимых социальных групп. Провоцировать детей на значительные траты в мобильных играх через игровые механики. Например, если ребенок не купит игровое золото – персонаж игры расстроится.
Второй риск – при утечке данных от крупных корпораций преступники смогут с помощью ИИ ранжировать наиболее уязвимых потенциальных жертв. Наконец,
интернет может переполниться синтетическими данными настолько, что станет «мертвым», а основную активность будут вести боты
Уже сегодня системную манипуляцию общественным сознанием мы можем наблюдать на примере сгенерированных с помощью ИИ комментариев со схожим стилем написания и единым посылом от большого количества пользователей со странными никнеймами.
НЕЙРОСЕТИ НА СТРАЖЕ
– Насколько преуспели киберпреступники в использовании ИИ? Кем проще манипулировать: пожилыми, работающими, подростками, детьми?
– Стандартные ИИ-инструменты для редактирования изображений, монтажа видео, редактирования текста могут использоваться для создания дипфейков, генерации голоса для социальной инженерии, информационных атак. Более того, злоумышленники недобросовестно используют доступные модели, дообучают их для производства нелегального контента или сбора компрометирующих данных. Так, в Сети распространяются большие языковые модели, которые заточены исключительно на использование злоумышленниками. Например, для написания вредоносного кода или фишинговых сообщений.
Главные группы риска в контексте социальной инженерии тут неизменны – пожилые люди и дети
В целом в обществе еще не выработан и не распространен достаточно широко должный уровень цифровой гигиены, чтобы корректно работать с потенциальными угрозами, исходящими от ИИ. Поэтому ожидается рост инцидентов по старым сценариям: родственник попал в беду, мошенники пытаются списать деньги со счета и так далее. Но с новой глубиной воздействия, например, с использованием голоса родственника.
– Если говорить об информационной безопасности в Сети для потребителя – фильтрации фейков, то насколько успешны нейросети сегодня в фактчекинге и модерации деструктивного контента?
– В фактчекинге они малоуспешны, поскольку это комплексная задача, для которой нужно критическое мышление, умение работать с источниками, сравнивать их и верифицировать информацию. Это очень широкий спектр задач, которые сложно автоматизировать в рамках одной системы.
Однако в задачах анализа характера информационных атак и противодействия им нейросети могут быть весьма эффективны.
С модерацией дела обстоят получше. Во-первых, если мы говорим про деструктивный контент, то нейросети с высокой точностью могут выявлять дипфейки и завуалированные оскорбления в тексте и комментариях.
Во-вторых, они способны эффективно распознавать нелегальный контент и символику. ИИ в модерации контента позволяет избежать ряда рисков, связанных с психологическим ущербом, который человек получает при подобной работе. Часть работы с опасным контентом уже передают ИИ – особенно это касается фильтрации и классификации текстов, изображений, видео. При этом комбинация из отлаженных процессов и хорошо спроектированной модели будет для компании дешевле по сравнению с сотнями модераторов.
Так, компания Facebook (принадлежит компании Meta, чья деятельность запрещена на территории РФ) согласилась выплатить 52 млн долларов модераторам (бывшим и действующим), которые в ходе работы столкнулись с психическими расстройствами.
Денис Кунгуров
