Александр Крайнов: «Нейросети уже пытаются обмануть друг друга»

На полях форума «Кибербезопасность в финансах», который прошел в Екатеринбурге в конце февраля, эксперты в области защиты данных поспорили о пользе и рисках использования искусственного интеллекта (ИИ) в банковской сфере и за ее пределами.

DK.RU приводит мнение директора по развитию технологии искусственного интеллекта Яндекса Александра Крайнова — о качестве и безопасности контента, созданного нейросетями, а также о перспективах ИИ для кибермошенников и киберзащитников.

Генерированный контент — не всегда плохой

— Мы находимся в ситуации, когда нейросети создают большое количество контента, который попадает в интернет и используется другими нейросетями для обучения. Происходит ли в этом случае деградация модели? Я бы не говорил об этом так однозначно.

Не всегда генерированный контент можно назвать плохим. Будем честны: отвечая на поставленный вопрос или занимаясь написанием какого-то текста, ИИ действует так же, как среднестатистический человек, — анализирует другие источники информации, доступные в сети.

Если бы я попросил зрителей в зале ответить на вопрос: «Какой самолет самый лучший?», они бы не смогли сделать это самостоятельно. Думаю, что среди них бы не оказалось конструкторов самолетов. И вряд ли многие решили бы обратиться к своему опыту перелетов. Мнение людей, скорее всего, сформировалось бы на основе прочитанных в интернете статей. И чем они тогда отличаются от ИИ?  

То же самое — с текстами. Если мы получаем качественные материалы для дальнейшего обучения нейросети, неважно, кем они созданы — человеком или ИИ.

Можно ли манипулировать данными нейросети

Интернет состоит из большого количества сайтов, в том числе фейковых, фишинговых, сгенерированных автоматически. За последние десятилетия поисковые системы стали барьером, который сдерживает распространение этого вредного контента. Если бы поисковики показывали нам все случайные результаты — это была бы полная жуть. Поэтому существуют различные механизмы верификации, ранжирования.

Нейросети не застрахованы от ошибок. Но и мы, когда открываем какое-то количество сайтов в поисках информации, можем не докопаться до истины, бросив дело на полпути.

Подчеркну, что нейросеть, как хороший аналитик, никогда не дает однозначного ответа на вопросы. Например, если попытаться с ее помощью выяснить причины плохого самочувствия, она не только приведет информацию из открытых источников, но и обязательно порекомендует обратиться ко врачу и пройти обследование. В этом смысле нейросети намного полезнее форумов, с помощью которых многие привыкли черпать информацию. Но все-таки при использовании ИИ важно всегда включать критическое мышление.

Со временем ИИ станет бесполезным для злоумышленников

Количество киберугроз в банковском секторе растет, и все чаще применяются инструменты на основе ИИ. С одной стороны, их используют злоумышленники, которые пытаются атаковать организацию. С другой, службы безопасности используют ИИ для защиты своих компаний.

Пока это сложно назвать битвой машин — скорее это битва человека с человеком. Каким бы «умным» ни был ИИ, это инструмент с понятными функциями применения, не наделенный ни желаниями, не сознанием. ИИ — это не субъект, а набор математических методов, и не более.

Войдем ли мы когда-нибудь в стадию, когда алгоритмы будут сражаться друг с другом и обучаться на этом? Конечно, да. Но это не значит, что в процессе обучения у них появится своя цель, отличная от целей человека, который их использует.

Базовый принцип функционирования нейросетей — обучение в процессе использования. То есть они накапливают данные и анализируют их, чтобы совершенствовать алгоритмы.

И есть много методов обучения, когда нейросети конкурируют друг с другом. Например, на этом построены генеративно-состязательные сети — одна сеть пытается обмануть другую, они тренируются и соревнуются между собой. Я уверен, что это направление будет развиваться. Но это не значит, что появится какая-то отдельная каста роботов, которая выйдет из-под контроля. Это значит, что в случае с кибербезопасностью прогресс в нападениях и защите будет очень быстрым.

Сейчас у злоумышленника и нападающего есть серьезная зависимость от квалификации друг друга: первому нужно быть более изобретательным, чтобы придумывать новые способы атак, второму — чтобы подобрать способы защиты или даже предположить возможные атаки.

Думаю, что в будущем экспертность с точки зрения знаний, метода поиска вирусов и защиты будет отходить на второй план — это будет конкуренция, с одной стороны, чисто банальных компетенций, с другой стороны — железа. По мере того как растут требования злоумышленников к мощностям, им становится сложно быть незаметными — большой дата-центр спрятать невозможно. И это хорошая новость для тех, кто должен обеспечивать безопасность данных.

Читайте также на DK.RU: 

>>> В 2025 г. наступит бум разработки ИИ-агентов. Зачем они нужны бизнесу?

>>> Однажды из-за дипфейка инвестор потерял 35 млн долларов. Как это можно было предотвратить?