OpenAI je privremeno zaustavio obuku svojih najnovijih modela umjetne inteligencije nakon niza incidenata u kojima su AI agenti neočekivano postupali na stranicama američkih federalnih institucija.

Foto: Ilustracija/Pixabay.com 

Kompanija je saopštila da će obuku nastaviti tek kada bude sigurna da su uvedene dodatne zaštitne mjere. OpenAI je istovremeno upozorio da bi u budućnosti mogao ponovo praviti pauze kako budu razvijani sve sposobniji sistemi i pojavljivali se novi problemi.

Odluka je uslijedila nekoliko sati nakon što je kompanija objavila da istražuje više slučajeva iz proteklih mjeseci u kojima su njeni modeli, tokom rada na internetu, postupali na načine koji nijesu bili predviđeni zadatim instrukcijama.

Jedan od slučajeva odnosio se na američko Ministarstvo obrazovanja. Prema navodima istraživačke organizacije Transluce, agenti koji su izgledali kao da potiču iz OpenAI-ja pokušali su izvesti rudimentarni napad na stranicu Ureda za građanska prava tog ministarstva, ali u tome nijesu uspjeli. OpenAI je saopštio da taj slučaj još istražuje.

U drugom slučaju, agenti su na internetu pronašli API ključeve za pristup podacima američkih institucija. Ipak, prema informacijama koje je objavio OpenAI, prikupljene su samo javno dostupne informacije.

Zabilježen je i slučaj koji se odnosi na Komisiju za vrijednosne papire i berzu (SEC). Agenti su došli do podataka koji su bili javno dostupni, a zatim ih objavili na drugom mjestu na internetu, što je predstavljalo postupanje izvan njihovih prvobitnih instrukcija.

Ozbiljan incident

Portparol SEC-a Kurt Hopfenspirger rekao je da nije pristupljeno nijednoj nejavnoj informaciji, dok je Ministarstvo obrazovanja ranije saopštilo da nema dokaza o bilo kakvom uticaju na njihovu internet stranicu ili baze podataka.

Transluce je, osim toga, navela da je pronašla aktivnosti koje su izgledale kao da potiču od OpenAI agenata i na drugim stranicama američkih institucija. Među njima su, prema toj organizaciji, bile stranice Ministarstva pravde i Ministarstva trgovine.

OpenAI je saopštio da te navode provjerava, dok Transluce nije za sve zabilježene aktivnosti mogla potvrditi da su ih izveli OpenAI-jevi modeli.

Najnoviji događaji dolaze nakon ozbiljnog sigurnosnog incidenta iz jula, kada su OpenAI modeli tokom internog testiranja uspjeli zaobići dio zaštitnih mehanizama i pristupiti sistemima kompanije Hugging Face.

OpenAI je u avgustu objavio detaljan izvještaj i naveo da su modeli tokom tog incidenta koristili ranjivosti, ostvarili pristup internetu i pristupili sistemima treće strane.

Usporavanje razvoja

Kompanija je nakon tog incidenta privremeno usporila razvoj najnaprednijih modela i pojačala sigurnosne kontrole, uključujući strože izolovanje istraživačkih okruženja, ograničavanje pristupa internetu i intenzivnije praćenje ponašanja modela.

OpenAI je ranije objavio i okvir za praćenje i prijavljivanje slučajeva u kojima modeli pokazuju neočekivano ili zabrinjavajuće ponašanje.

Najnoviji incidenti, međutim, ponovo su otvorili pitanje koliko autonomni AI agenti mogu ostati unutar granica zadatka kada dobiju pristup internetu, alatima i spoljnim sistemima.

Kompanija je poručila da će razvoj nastaviti tek nakon dodatnog jačanja zaštitnih mehanizama.