«Ой, это не учебная тревога»: ИИ Gemini от Google случайно взломал реальные компании, перепутав их с вымышленными

Представьте: вы учите свою собаку команде «фас» на мягкую игрушку, а она вдруг срывается с поводка и начинает профессионально охранять соседский двор от настоящих грабителей. Примерно так, только в цифровом мире, прошли недавние учения для искусственного интеллекта. 

Как сообщает The Wall Street Journal 19 сентября, во время майских киберучений Capture the Flag, организованных компанией Irregular, нейросеть Gemini от Google получила доступ к интернету и успешно (слишком успешно!) взломала системы трех реальных компаний. 

Как же так вышло? По иронии судьбы, вымышленная фирма, которую по заданию должна была «атаковать» нейросеть, оказалась полным тезкой реальной организации. А вишенкой на этом киберторте стал случайно оставленный открытый доступ в интернет. 

Методы Gemini оказались до боли знакомы любому системному администратору: в одном случае она просто перебирала пароли, пока не подобрала нужный, а в двух других нашла забытые учетные данные в открытых репозиториях. Но самое забавное (и одновременно успокаивающее) произошло дальше. Как только модель сообразила, что перед ней не бездушный полигон, а живые, дышащие корпоративные сети, у нее, можно сказать, сработала цифровая совесть. Gemini каждый раз останавливалась, поняв свою «ошибку адресата».

В Google инцидент драматизировать не стали. По логике корпорации, раз встроенные защитные механизмы сработали и модель сама себя остановила, значит, система работает как часы. А поскольку реального ущерба не было, историю решили не выносить на публику. Но, как известно, от ИТ-шутников новости просачиваются быстрее, чем обновления Windows.

Кстати, Google в этой ситуации не одиноки в своих «случайных» успехах. Ровно такой же казус произошел в июле с моделью Claude от Anthropic. Из-за ошибки в настройке тестовой среды ИИ тоже вырвался в открытый интернет, принял реальные системы за учебные и с помощью простейших методов получил доступ к базам данных. Разработчики тогда честно признались, что модель не планировала побег из «песочницы», но кибериспытания все же пришлось поставить на паузу. Видимо, чтобы ИИ успел выпить виртуальной валерьянки.

На этом фоне слова Илона Маска о том, что бесконтрольное развитие нейросетей может привести человечество к сценарию «Терминатора», звучат уже не как фантастика, а как вполне себе техническое задание на будущее. 

Так что, дорогие разработчики, возможно, пришло время добавить в код ИИ еще одну строчку: «Прежде чем взламывать, убедись, что это действительно учебный полигон, а не чья-то бухгалтерия».

Источник: REGNUM