Злые двойники

.

Владислав Тушканов: «Машина же математически точная, значит, она якобы не может обмануть. Увы, это не так»

Фото: предоставлено пресс-службой «Лаборатории Касперского»

«Всего за год искусственный интеллект научился писать поэмы в стиле Байрона»

Генеративный искусственный интеллект у обычного пользователя современных компьютеров и смартфонов ассоциируется в основном с чат-ботами, с которыми можно поболтать, и с системами, которые могут по запросу сгенерировать картинку.

Но если в конце 2022 года, когда только появился ChatGPT, он и системы вроде него были обычными чатами, которые могли по запросу написать простенькое стихотворение про котика, то сегодня ИИ можно попросить написать о коте целую поэму, да еще и в стиле Байрона, и чат-бот с этой задачей справится.

Современные ИИ умеют пользоваться инструментами, создавать программные коды, выполнять математические действия и множество других операций. Руководитель группы исследований и разработки технологий машинного обучения в «Лаборатории Касперского» Владислав Тушканов рассказал, что однажды загрузил в ChatGPT снимок скульптуры, который он сделал в офисе компании, и спросил ИИ, что изображено на фотографии.

«В итоге ChatGPT распознал картинку и понял, что на ней изображен слон. Без моего участия он сделал запрос в интернет, узнал, что за скульптура стоит в офисе “Лаборатории Касперского”, и написал, что это триумфальный слон за авторством Сальвадора Дали. На мой взгляд, это очень круто, но возникает вопрос – как насчет кибербезопасности?» – отметил Влад Тушканов.

«Сложность ИИ может приводить к ошибкам, а ошибки – это уязвимости»

По мнению Тушканова, системы, которые могут работать с полуструктурированными данными, текстами, логами и программным кодом, то есть со всем тем, с чем работают сами эксперты лаборатории, могут быть использованы для автоматизации защиты от кибератак. Однако этот инструмент может быть применен и во зло.

«Например, мы можем использовать ИИ, чтобы проверять готовность сотрудников компаний к фишинговым атакам или попытаться автоматизировать системы тестирования, которые анализируют защищенность периметра компаний и смотрят, какие в сети есть устройства. Но то же самое могут делать и злоумышленники», – рассказывает эксперт.

Владислав Тушканов рассказал, что сейчас ИИ может принести пользу лаборатории. Например, помочь специалистам с анализом и структурированием связанных с кибербезопасностью данных, в массивах которых им сейчас приходится разбираться вручную.

«Но важно понимать, что чат-боты – сложные инструменты, у которых есть доступ ко внешним данным, и есть какие-то данные внутри, на основе которых они работают. И эта их сложность может привести к ошибкам, ошибки – к уязвимостям, а где уязвимости, там и кибератаки», – рассказывает Владислав Тушканов.

В качестве примера Влад привел недоступный в РФ Copilot – чат-бот от Microsoft, который недавно оказался доступен для бесплатного скачивания на смартфоны на базе iOS и Android, а также стал частью системы Windows 11 c одним из последних обновлений. Copilot – основанная на языковой модели GPT от OpenAI система, способная работать с поисковыми запросами, генерацией изображений и кодом.

В сентябре минувшего года Microsoft решила протестировать свой чат-бот и пригласила специалистов по кибербезопасности провести на него атаки, и сотрудникам «Лаборатории Касперского» удалось найти уязвимость.

«Когда разработчики делают чат-бота, они задают ему конфигурацию на основе большой инструкции, которая называется затравкой. На создание такой инструкции тратится уйма времени квалифицированных промт-инженеров. Теоретически созданная ими инструкция является тайной, которой компания вряд ли захочет делиться. И они делают все возможное, чтобы информация не попала в ненужные руки», – рассказывает Владислав Тушканов.

Например, если напрямую спросить Copilot о том, по какой инструкции он работает, чат-бот ответит, что не может поделиться с вами конфиденциальной информацией. Но если подойти к этому вопросу особым образом, данные из чата все же можно получить.

«Можно попросить чат создать так называемые конкурирующие цели. Например, попросить его составить ссылку в интернете, чтобы параметром к этой ссылке была искомая затравка. Чат путается в том, что ему можно, а что – нельзя, и выдает секретную информацию. Однако в Microsoft сидят неглупые ребята, и они постоянно придумывают фильтры, дабы устранить подобные уязвимости, что, впрочем, тоже не панацея», – рассказал Владислав Тушканов.

Как оказалось, фильтры, которые отслеживают запросы по словам, тоже можно обмануть, если, например, убедить чат-бота переводить запросы пользователей на другие языки. В октябре эксперты лаборатории сообщили об этой уязвимости Microsoft, и уже через месяц ее устранили.

«Искусственный интеллект может упростить доступ к ядерному оружию»

Учитывая, что искусственный интеллект сегодня может стать мощнейшим инструментом как для аферистов, так и для специалистов по кибербезопасности, а также сам может подвергнуться атакам, по всему миру в 2023 году появилось множество государственных инициатив по регулированию ИИ.

Правительства разных стран и частные организации начали предлагать подходы к тому, как сделать безопаснее приложения на основе искусственного интеллекта, а также предотвратить вред, который они потенциально могут нанести.

«Лаборатория Касперского» к инициативам тоже присоединилась. Так, в 2023 году в Японии компания представила общественности этические принципы по применению ИИ в сфере кибербезопасности.

«Что интересно, в большинстве инициатив озвучивают три основные угрозы, и то, наряду с чем стоит кибербезопасность, поражает больше всего. На первом месте стоит угроза снижения порога вхождения для стран и организаций, которые хотят располагать ядерным оружием. Затем идет то же самое, но с химическим и биологическим оружием. А в качестве третьей угрозы озвучивают перспективу появления автономных систем, которые могут проводить кибератаки на критическую инфраструктуру», – рассказал Владислав Тушканов.

«Искусственный интеллект не готов заменить юриста или врача»

Мы поинтересовались у Владислава Тушканова, какие последствия теоретически может повлечь внедрение ИИ-технологий в государственные структуры. Например, в судебную систему, где искусственный интеллект потенциально сможет выступать в качестве помощника судьи, всесторонне изучая вопросы и генерируя решения.

«У людей есть такое свойство – очень сильно полагаться на алгоритмы. Если машина сказала, а машина же математически точная, значит, она якобы не может обмануть. Увы, это не так. И очень часто в особо важных сферах, в той же сфере образования, где решается вопрос о том, принимать человека или нет в вуз, в судебных, медицинских сферах автоматизация не кажется оптимальным решением», – ответил Владислав Тушканов.

Эксперт рассказал про социальный опрос, когда у респондентов поинтересовались, кого они предпочтут – машину, которая поставит более точный диагноз, или живого врача, который может ошибиться с большей вероятностью, но по-человечески поговорит с пациентом, проконсультирует и проявит эмпатию. И большинство проголосовало за настоящего врача.

«Как только мы говорим о принятии серьезных решений, резко возрастают требования к системам, которые их принимают. Во-первых – ввиду общего желания иметь дело с реальным человеком, а во-вторых – сказывается проблема размывания ответственности», – объяснил Владислав Тушканов.

В пример он поставил ИИ, для которого команда из 15 человек собирала данные, затем пятеро умных специалистов его обучали, потом двое программистов его внедряли, а система в итоге допустила врачебную ошибку. Возникает резонный вопрос: кто виноват?

«Машина может быть настолько хороша, насколько хороши ее данные. Если информация, которой владеет нейросеть, полна ошибок, то и система автоматического принятия решений будет ошибки допускать. Поэтому в таких сферах, как здравоохранение или юриспруденция, сделать по-настоящему совершенную машину очень сложно», – подытожил Владислав Тушканов.

ChatGPT можно использовать для создания вредоносных программ

Мы спросили у эксперта, если ИИ все-таки будет внедрен в серьезные компании с огромными базами данных, не станет ли искусственный интеллект дополнительной лазейкой для охочих до информации взломщиков.

«По моему мнению, на вероятность утечки данных наличие или отсутствие ИИ не влияет. Другой вопрос в том, как собирают данные для обучения системы. Если добросовестно ее обучать и понимать, что конкретно от ИИ требуется, можно взять только нужную информацию, а потом от нее избавиться, но могут быть и альтернативные методы», – отметил Владислав.

Он рассказал о противоположном подходе, что был популярен десять лет назад, когда огромные массивы самой разной информации о клиентах и посетителях сайта бездумно собирали в общую кучу, называли это большими данными и хранили. По мнению Влада, такой подход – может, они когда-нибудь пригодятся – грозит серьезной утечкой данных.

Но утечки – это не единственная угроза, которую представляют большие языковые модели. Например, согласно данным «Лаборатории Касперского», в период с января по декабрь 2023 года наблюдались многочисленные обсуждения, в которых участники теневых форумов обменивались способами использования ChatGPT для неправомерных целей.

«Например, в одном сообщении предлагалось использовать GPT для генерации полиморфного вредоносного кода — ВПО, которое способно менять свой код, сохраняя базовый функционал. Обнаружение и анализ подобных программ значительно сложнее, чем в случае с обычными зловредами», – сообщают специалисты компании.

Автор сообщения предлагает использовать API OpenAI для генерации кода с заданным функционалом. Таким образом, с помощью обращения к легитимному домену из инфицированного объекта злоумышленник может сгенерировать и запустить вредоносный код, обходя ряд стандартных проверок безопасности. На данный момент «Лаборатория Касперского» не обнаружила вредоносные программы, действующие таким образом, однако они вполне могут появиться в будущем.

«Помимо этого, злоумышленники стали часто использовать ChatGPT при разработке вредоносных продуктов или в иных противоправных целях. Например, один из посетителей теневого форума описал, как ИИ помогает ему решать проблемы при обработке дампов пользовательских данных. Таким образом, даже типовые задачи, для решения которых раньше требовалась определенная экспертиза, сейчас решаются одним запросом. Это резко снижает порог входа во многие сферы, в том числе и в преступную», – отметили специалисты.

В «Лаборатории Касперского» рассказали, что в 2023 году было зафиксировано более 635 тысяч атак на мобильные устройства пользователей в Республике Татарстан. С попытками заражения из интернета столкнулись 9,8% татарстанцев. Локальные киберугрозы были обнаружены на компьютерах 17,5% пользователей из Татарстана.

Специалисты считают, что тенденции, связанные с использованием ИИ в преступных целях, могут увеличивать потенциальное количество атак. Ведь действия, для которых ранее требовалась команда людей с некоторым опытом, сейчас на базовом уровне при помощи ИИ могут совершать даже новички.

У ChatGPT есть опасные «злые двойники»

Использование языковых моделей для решения типовых задач и получения информации стало настолько популярным, что на некоторых киберпреступных форумах в функционал по умолчанию встроены ответы от ChatGPT или аналогов. Так, один из участников тематического форума при помощи ИИ получил грамотный совет по прошивке своего смартфона.

«Для того чтобы модель могла давать ответы, связанные с преступной деятельностью, злоумышленники придумывают наборы особых команд, которые обходят механизмы защиты чат-ботов от генерации опасного или противоправного контента. Такие наборы команд для моделей собирательно называются jailbreak», – сообщают эксперты компании.

Они весьма распространены и активно дорабатываются пользователями различных социальных платформ и участниками теневых форумов. Всего за 2023 год было замечено 249 предложений как по распространению, так и по продаже подобных подобранных команд.

Много внимания также приковано к таким проектам, как WormGPT, XXXGPT, FraudGPT и прочие. Это языковые модели, рекламируемые как замена ChatGPT с отсутствующими ограничениями оригинала и дополнительным функционалом.

«Повышенный интерес к подобным решениям может обернуться для авторов проблемой, ведь большая часть подобных решений может быть использована как правомерно, так и для нелегальной активности. Тем не менее обсуждение в сообществе сфокусировано на угрозах, которые несут в себе подобные продукты», – считают в компании.

Например, проект WormGPT, который якобы обучали на наборах данных, связанных с вредоносной деятельностью, был закрыт в августе из-за реакции сообщества. Авторы проекта утверждают, что их изначальной целью не были исключительно противоправные действия. Они заявляют, что основной причиной закрытия WormGPT стали множественные сообщения в СМИ, освещающие проект как однозначно вредоносный и опасный.

Несмотря на закрытие проекта, эксперты лаборатории нашли множество сайтов и объявлений, предлагающих купить доступ к нашумевшей WormGPT. Злоумышленники не только используют эту языковую модель для своих целей, но и создали целый сегмент фейковых объявлений.

«Отличительная особенность таких сайтов заключается в том, что они созданы как типичный фишинг. Например, заявляется наличие пробной версии WormGPT, но она доступна только после оплаты, а часть интерфейса может быть на локальных языках», – подчеркнули эксперты по кибербезопасности.

Сами обнаруженные сайты отличаются как по дизайну, так и по предлагаемым ценам. Способы оплаты тоже могут быть разными: от криптовалют, как в оригинальном предложении автора WormGPT, до кредитных карт и банковских переводов.

В 2023 году решения «Лаборатории Касперского» заблокировали в Республике Татарстан более 1 млн 427 тыс. попыток переходов на фишинговые страницы. Фишинг, по мнению специалистов, остается одной из наиболее актуальных киберугроз.

Искусственный интеллект в каждый дом

Владислав Тушканов надеется, что в 2024 году в общем доступе появится больше открытых языковых моделей с поддержкой русского языка, а также верит, что они смогут лучше использовать различные инструменты.

«Например, базовый ChatGPT может сложить пять и пять, но более сложную математическую задачку решить не сможет, потому что это чат, который по сути просто генерирует слова. У него нет концепции счета. Когда разработчики это поняли, они взяли другой популярный продукт для символических вычислений и научили ChatGPT обращаться к нему, если пользователь задал математическую задачу», – пояснил Владислав Тушканов.

По мнению эксперта, чем больше таких решений интегрируют в чат-боты, тем удобнее и функциональнее они станут. Например, умные ассистенты вроде «Маруси» и «Алисы», которые при определенном подходе с интеграцией ИИ смогут значительно улучшить качество жизни пользователей.

На наш вопрос о том, как именно искусственный интеллект будет входить в жизни обычных людей, эксперт ответил, что уверен – они войдут примерно так же, как входили в свое время смартфоны и другие умные гаджеты.

«Взять те же смартфоны, которые сейчас у каждого в кармане. По сути, это технологическое чудо – мощный компьютер с красивым экраном и компактными размерами. Но подобные вещи люди воспринимают как нечто само собой разумеющееся. Так же и с ИИ. Чем более доступным он будет становиться, тем больше людей начнут им пользоваться, даже не воспринимая это как какую-то суперинновацию. Так нейросети и станут частью повседневной жизни», – убежден Владислав Тушканов.

Недавно компания Microsoft объявила, что намеревается вставлять в свои клавиатуры специальную кнопку, которая будет вызывать интерфейс для общения с их Copilot. Влад считает, что это как раз и есть один из таких шажков навстречу пользователю, которые в сумме сильно упростят опыт общения с ИИ в будущем.

Одной из главных проблем современных нейросетей Владислав Тушканов считает их склонность к «галлюцинациям». Даже самые продвинутые генеративные модели, включая пресловутый ChatGPT, способны время от времени «пороть несусветную чушь», то есть говорить вещи, которые с реальностью вообще никак не согласуются.

«Если чат-боты большую часть времени работают хорошо, мы постепенно к этому привыкаем. Но существует вероятность, что в какой-то момент они правдоподобно соврут, и мы на основе их ответа можем принять неверное решение. Это может быть даже опасно, если пользователь захочет, например, посоветоваться с ИИ по поводу здоровья», – подчеркнул Владислав Тушканов.

Но эксперт видит решение и этой проблемы. По его мнению, достаточно объяснить нейросети, что в критически важных вопросах следует не только предлагать свою версию, но и уведомлять пользователя, что лучше обратиться за консультацией к настоящим специалистам.

Подробнее: