Компания Anthropic, разработчик платформы искусственного интеллекта Claude, обнаружила, что хакеры использовали её технологию для проведения кибератаки. Этот инцидент может стать первым задокументированным случаем, когда искусственный интеллект руководил автоматизированной кампанией взлома.
По данным исследователей Anthropic, злоумышленники, предположительно связанные с правительством Китая, смогли манипулировать платформой Claude, используя методы «обхода ограничений» (jailbreaking), чтобы заставить её выдавать себя за специалистов по кибербезопасности и обходить защитные механизмы. В результате хакеры осуществили высокоуровневые автоматизированные атаки, нацеленные на приблизительно 30 технологических, финансовых, химических компаний и федеральных агентств.
«Это многоступенчатая атака, которая развивается быстрее, чем это могли бы сделать люди, и она полностью контролируется искусственным интеллектом», – заявила Кристин Флинн-Гудвин, эксперт по кибербезопасности с двадцатилетним опытом работы в Microsoft и руководитель Advanced Cyber Law. «Это действительно меняет правила игры».
Флинн-Гудвин отметила, что эта атака вызывает обеспокоенность у специалистов по кибербезопасности во всем мире из-за потенциала для проведения еще большего числа атак, которые могут остаться незамеченными. Она предупредила, что подобные действия могут быть совершены не только государствами, но и организованными преступными группами.
В условиях стремительного развития искусственного интеллекта хакеры получают значительное преимущество, используя его неограниченную скорость и масштаб для проведения кибератак. Отсутствие надлежащего регулирования и защитных мер со стороны технологических компаний и правительства способствует росту риска, поскольку вероятность поимки злоумышленников невелика.
Разработчики платформ искусственного интеллекта сталкиваются с необходимостью действовать осторожно, соблюдая правовые нормы и ограничения.
«Искусственный интеллект и агентный искусственный интеллект развиваются настолько стремительно, что можно провести аналогию со строительством дорог одновременно с обучением вождению», – отметила Флинн-Гудвин.
Для решения этой проблемы правительствам и частному сектору необходимо разработать стандарты и механизмы контроля, ограничивающие возможности злоумышленников. Однако, подобных стандартов пока не существует, и в настоящее время развитие ИИ часто сопровождается стремлением к инновациям и доминированию на рынке.
Флинн-Гудвин предупреждает, что подобных атак будет становиться всё больше, а хакеры будут использовать всё более изощренные методы.
«Раньше в спам-письмах и фишинговых сообщениях были орфографические ошибки и неточности, которые позволяли выявить мошенничество. Теперь, благодаря искусственному интеллекту, эти признаки исчезнут, и существующие защиты, основанные на человеческом факторе, станут неэффективными», – сказала Флинн-Гудвин. «Злоумышленники быстро адаптируются и научатся использовать новые возможности, и мы будем наблюдать, как это повторяется».
поделиться в твиттере: Киберпреступники используют искусственный интеллект для масштабных взломов эксперты бьют тревогу
