OpenAI призна, че моделите му хакнаха Hugging Face сами
Те избягаха от изолирана среда за тестове и проникнаха в Hugging Face без човешка намеса.
jamesonwu1972/Shutterstock
Представете си: Няколко мощни AI модела, тествани от компанията си, избягали от контролирана среда, свързали се с интернет и след това хакнали репозитория за машинно обучение сами, без човешка намеса. Звучи като сюжет на филм за Терминатор, нали? Но това всъщност се случи. Няколко дни след като платформата с отворен код Hugging Face обяви, че е открила неразрешен достъп до системите си от AI агент, OpenAI потвърди, че моделите им са виновни.
В публикация OpenAI заяви, че след разследване е установила, че инцидентът е причинен от комбинация от моделите им, особено GPT-5.6 Sol и каквото те наричат „още по-способен предварителен модел“. Изглежда, че това е станало по време на вътрешен тест, в който моделите са били подтикнати да „преследват напреднали експлоатации, използвайки сложни атаки“, за да може компанията да оцени киберспособностите си.
Докато моделите са били в изолирана тестова среда, те също така са имали намалени защитни мерки за оценка. В разгара на тестовете, те станали хиперфокусирани върху решаването на проблем за оценка, като направили големи усилия, за да намерят достъп до интернет, за да намерят решение. Първо, те идентифицирали и експлоатирали уязвимост с нулев ден в тестовата среда на OpenAI, а след това се ровили, докато накрая намерили възел с достъп до интернет.
Моделите заключили, че Hugging Face може да хоства набори от данни или решения за техния проблем за оценка, така че те, добре, използвали множество вектори на атака, за да проникнат в системите им. Те експлоатирали уязвимости с нулев ден и използвали откраднати удостоверения, за да влязат. OpenAI и Hugging Face сега работят заедно, за да разследват инцидента, а също така са поправили уязвимостите, експлоатирани от моделите.
„Автономните, AI-управляеми офанзивни инструменти вече не са теоретични,“ заяви Hugging Face в своето съобщение, обяснявайки, че използването на AI за кибератаки ускорява процеса и намалява разходите на хакерските кампании. Те също така казаха, че защитата на онлайн платформа в днешно време включва използването на AI за защита. OpenAI почти напълно потвърди тези чувства и заяви, че очаква инциденти с AI-управляеми пробиви в сигурността да „станат все по-чести с разпространението на все по-киберспособни модели“. Компанията добави, че инцидентът подчертава как „напредналите киберспособности трябва да се развиват паралелно с по-силни защитни инструменти.“
