OpenAI je ponudio vrlo neobično radno mjesto: šef pripreme Zadatak im je predviđanje šta bi moglo poći po zlu kada vještačka inteligencija napravi još jedan korak naprijed. Kompanija traži nekoga ko će voditi strategiju za otkrivanje i suzbijanje najozbiljnijih rizika svojih modela, u vrijeme kada je debata o sigurnosti i mentalnom zdravlju posebno žustra, uključujući i u Evropi.
Uloga, nazvana na engleskom Šef pripravnostiOsnovana je s jasnim mandatom: proučavati i ublažavati prijetnje na granicama prije nego što njeni sistemi dođu do šire javnosti. To uključuje sve, od potencijalnih zloupotreba u cybersecurity, od otkrivanja kritičnih ranjivosti do psihološkog utjecaja vođenja dugih razgovora s chatbotovima koji izgledaju ljudski.
Šta će uraditi novi šef pripreme u OpenAI-ju?
Prema internom opisu posla, odabrana osoba će morati izvršiti poziv "okvir za pripremu" OpenAI je razvio skup procesa i kriterija za praćenje naprednih mogućnosti koje bi mogle dovesti do ozbiljne štete. To uključuje scenarije kao što su oslobađanje bioloških sposobnosti, podrška razvoju oružja i upravljanje sistemima koji su... Oni se samousavršavaju uz malo ljudskog nadzora.
U praksi, ovaj okvir uključuje koordinaciju tehničkih evaluacija modela, dizajniranje modeli prijetnji u različitim domenima (sajber sigurnost, biologija, rizici od dezinformacija(psihološka manipulacija, itd.) i predložiti ublažavanja prije nego što se nova verzija implementira u velikim razmjerima. To nije stav koji se ističe: radi se o kočenju gdje je to potrebno, čak i ako to odgađa izdanja ili dugo očekivane funkcije.
Slobodno radno mjesto također dolazi s kompenzacijskim paketom koji jasno pokazuje nivo potražnje: OpenAI nudi oko 555.000 dolara godišnje plus dioniceOve brojke su obično rezervisane u tehnološkom sektoru za uloge sa strateškom težinom ekvivalentnom onoj generalnog direktora. Zauzvrat, kompanija spremno priznaje da je to posao pod velikim pritiskom, daleko od glamurozne slike koja se ponekad povezuje sa svijetom vještačke inteligencije.
Sam Sam Altman je opisao poziciju kao posao "Stresno" u kojem će odabrana osoba morati biti u potpunosti operativna od prvog dana. Osnovna poruka je da OpenAI vidi hitnu potrebu za jačanjem ovog područja, u kontekstu u kojem su evropski regulatori i tijela za zaštitu podataka već izrazili zabrinutost zbog utjecaja umjetne inteligencije na sigurnost i prava građana.
Pored internih aspekata, šef pripreme će također morati služiti kao most između istraživanja i komercijalne primjeneOva uloga uključuje prevođenje tehničkih nalaza u konkretne politike, definiranje prihvatljivih pragova rizika, pa čak i preporučivanje privremene suspenzije modela ako rizici pređu podnošljive nivoe. Na tržištu gdje je moto bio "brzo se kretati i lomiti stvari", ova uloga ima za cilj promjenu tempa.
Pritisak zbog uticaja na mentalno zdravlje i sigurnost
Sam Altman je javno priznao da trenutni modeli OpenAI-ja počinju izazivati zabrinutost. "pravi izazovi"Među njima je istakao potencijalni uticaj na mentalno zdravlje korisnika, što je posebno osjetljivo pitanje u evropskom okruženju sa snažnim fokusom na psihološko blagostanje i zaštitu djece, kao i sposobnost ovih alata da identifikuju kritične sigurnosne nedostatke u računarskim sistemima.
U posljednjih nekoliko mjeseci, kompanija je bila upletena u tužbe za nezakonito prouzrokovanje smrti i u optužbama da su ChatGPT i drugi sistemi možda doprinijeli pojačavanju zabluda, podsticanju teorija zavjere ili podržavanju samodestruktivnih ideja među nekim ranjivim korisnicima. U jednom od najistaknutijih slučajeva, porodica tinejdžera tvrdi da su razgovori s avatarom generiranim umjetnom inteligencijom odigrali ulogu u njegovom samoubistvu.
Iako OpenAI tvrdi da mnogi od ovih incidenata proizlaze iz zloupotrebe ili pogrešnog tumačenja odgovora, debata više nije isključivo tehničke prirode. Kada se chatbot koristi kao... pratilac, savjetnik ili emocionalna podrškaGranica između alata i odnosa se zamagljuje. Za evropske psihologe i psihijatre ovo otvara novi front rizika: korisnici koji zamjenjuju ljudski kontakt sistemom osmišljenim da ugodi i koji može opravdati opasna ponašanja.
Novi šef odjela za pripravnost morat će integrirati ove probleme u sigurnosno testiranje modela. To uključuje uključivanje specifičnih kriterija u vezi s mentalno zdravlje, socijalna izolacija i ovisnostPored tradicionalnog moderiranja sadržaja, ključno pitanje će biti kako otkriti znakove nevolje ili ranjivosti i kako natjerati sistem da reaguje odgovorno, bez prekoračenja granica onoga što bi tehnološki alat trebao biti.
Istovremeno, Altman se fokusirao na podjednako osjetljivo pitanje: upotrebu umjetne inteligencije za pronaći ranjivosti u kritičnoj infrastrukturi. Konverzacijski modeli mogu, u principu, pomoći u jačanju kibernetičke sigurnosti, ali bi također mogli postati saveznici napadača sposobnih za automatizaciju otkrivanja ranjivosti ili dizajniranje sofisticiranih napada. Izazov je, prema riječima izvršnog direktora, opremiti branitelje naprednim mogućnostima, a da se to ne učini previše lakim za napadače.
Tehnička uloga sa snagom kočenja u nuždi
Pored privlačnog naziva, pozicija šefa pripravnosti ima duboko tehničku komponentu. OpenAI želi da ova uloga vodi testiranje "crveni tim"To jest, simulacije internih napada na vlastite modele kako bi se vidjelo kako bi se mogli zlonamjerno iskoristiti. Također će morati procijeniti u kojoj mjeri sistem može obmanuti ljude, zaobići kontrole ili djelovati autonomno.
Među svojim ključnim odgovornostima, kompanija navodi procjena katastrofalnog rizikaTo uključuje potencijalnu pomoć u razvoju hemijskog ili biološkog oružja i praćenje takozvane autonomije umjetne inteligencije: ponašanja u kojima model uči da zaobilazi ograničenja, slijedi vlastite ciljeve ili manipuliše korisnicima kako bi ih postigao. Ovi scenariji izazivaju zabrinutost u Evropi i zbog svog potencijalnog utjecaja i zbog teškoće njihovog uklapanja u postojeće regulatorne okvire.
OpenAI je također kreirao „kontrolna ploča rizika“ koji klasificira prijetnje u četiri nivoa: nizak, srednji, visok i kritičan. Kompanija navodi da je posvećena tome da neće objaviti nijedan model koji dostiže visok ili viši nivo u bilo kojoj od analiziranih kategorija. Na papiru, ovo bi šefu pripravnosti dalo ovlaštenje da preporuči zaustavljanje implementacije ako rizici nisu dovoljno ublaženi.
Ova sposobnost kočenja u nuždi postavlja ključno pitanje: Koliku stvarnu težinu će imati sigurnost? Suočeni s komercijalnim ciljevima, u kompaniji koja teži da umnoži svoje prihode i proširi vještačku inteligenciju na sektore kao što su zdravstvo, obrazovanje i javna uprava, postizanje ravnoteže između razboritosti i brzine neće biti lako. Uspjeh ove pozicije će uveliko zavisiti od osiguravanja da njene preporuke ne ostanu samo to - preporuke.
Za evropske regulatore, postojanje uloge s ovim ovlaštenjem može biti pozitivan znak, posebno u kontekstu propisa kao što je Zakon o umjetnoj inteligenciji Evropske unijekoji uvodi specifične obaveze za sisteme visokog rizika. Međutim, kredibilitet ovih obaveza će se procijenjivati od slučaja do slučaja kada se odlučuje o tome da li se kontroverzna sposobnost lansira, ograničava ili odbacuje.
Unutrašnja reorganizacija i tenzije unutar sigurnosnog tima
Formalno otvaranje ovog upražnjenog mjesta dolazi nakon nekoliko promjena u sigurnosnoj opremi iz OpenAI-a. Aleksander Madry, koji je bio odgovoran za pripremu, premješten je na druge funkcije 2024. godine. Njegovu poziciju privremeno su popunili menadžeri poput Joaquina Quiñonera Candele i Lilian Weng, ali to rješenje je bilo kratkog vijeka: Weng je napustio kompaniju nakon nekoliko mjeseci, a Quiñonero Candela se na kraju fokusirao na akviziciju talenata.
U međuvremenu, druge ključne ličnosti u oblasti sigurnosti i usklađenosti, poput Ilje Sutskevera i Jana Leikea, otišle su, osuđujući da se kompanija više fokusira na lansiranje novih proizvoda nego na dugoročnu sigurnost. Ovi potezi podstakli su percepciju da je Struktura unutrašnje sigurnosti bila je u potpunom haosuOvo nije prošlo nezapaženo od strane vlada i regulatornih tijela, posebno u Evropskoj uniji.
Ponovno otvaranje pozicije šefa za pripravnost ima za cilj okončanje ovog perioda privremenih imenovanja i rotacija, vraćajući centralizovano liderstvo u oblasti sigurnosti pod jednom osobom s jasnim mandatom. Poruka koju OpenAI pokušava prenijeti je da ublažavanje rizika više nije distribuirani, već centralizovani zadatak. odgovornost najvišeg rukovodećeg kadrasa resursima i moći donošenja odluka.
Za okruženje poput Evrope, gdje je naglašena potreba za sljedivošću i jakim upravljanjem, stabilna sigurnosna struktura To je gotovo uslov da velike AI platforme teže tome javni ugovori ili da se integrišu u kritične usluge. Bez jasnog rukovodstva, teže je pokazati da postoje konzistentni procesi za otkrivanje, procjenu i ispravljanje problema.
Pitanje je sada hoće li ovo novo imenovanje biti dovoljno da smiri situaciju nakon perioda punog kritika i sumnji. Organizacije za digitalna prava i udruženja stručnjaka za mentalno zdravlje pažljivo će pratiti kako se ove organizacijske promjene pretvaraju u konkretne mjere. zaštititi evropske korisnike moguće štete.
Između ubrzanih inovacija i ograničavanja rizika
Sve ove aktivnosti se dešavaju dok OpenAI održava frenetičan tempo izdavanja i poboljšanja. Kompanija je uvela sve moćnije tekstualne modele i alate za generisanje videa kao što su Sora i sisteme sposobne za automatizaciju dijelova naučnog rada ili razvoja softvera. Svaki skok u mogućnostima otvara vrata korisnim upotrebama, ali i novi vektori zlostavljanja.
Altman je priznao da bi, ako je cilj izbjegavanje bilo kakve štete, najjednostavnije rješenje bilo uklanjanje proizvoda poput ChatGPT-a ili Sore s tržišta. Ali to bi, tvrdi on, ometalo napredak koji bi mogao biti koristan u medicini, obrazovanju ili istraživanju. Umjesto zabrane, pristup OpenAI-a uključuje... kontrolisati posljedicePretpostavite da će biti kvarova, ali radite na tome da njihovi efekti ne budu nepopravljivi.
Za šefa pripreme, ovaj pristup se prevodi u život u nekoj vrsti trajni paradoksS jedne strane, morat će omogućiti primjenu modela s određenim prostorom za eksperimentiranje, budući da je bez podataka iz stvarnog svijeta teško procijeniti njihovo ponašanje. S druge strane, morat će provoditi ograničenja i odgode kada otkrije obrasce rizika koji nisu bili predviđeni u laboratoriji.
Ova napetost između „brzog lansiranja“ i „sigurnog lansiranja“ nije nova u tehnologiji, ali u slučaju generativne umjetne inteligencije je pojačana: greške u jezičkom modelu mogu utjecati na medicinske odluke, sugerirati financijske strategije, infiltrirati se u obrazovne procese ili potaknuti kampanje dezinformacija. To nas prisiljava da preispitivanje klasične kulture Silicijske doline, na osnovu testiranja u produkciji i ispravljanja u hodu.
U Evropi, gdje su vlasti bile strože s praksom "brzo reagiraj i prekidaj stvari", uloga ovog službenika za pripravnost mogla bi biti ključna u sticanju povjerenja regulatora i poslovnih klijenata. Zemlje poput Španije, Francuske i Njemačke već su počele mapirati Crvene linije u korištenju umjetne inteligencije u zdravstvu, pravosuđu ili obrazovanju, tako da će odluke koje donese ovaj novi izvršni direktor imati direktan utjecaj na to kako će se ovi alati primjenjivati na kontinentu.
Ljudska strana zadatka pod visokim pritiskom
Iako plata i prestiž pozicije mogu biti privlačni, postoje oni koji upozoravaju da bi to moglo postati "zlatna zamka"Osoba koja je na vlasti morat će se suočiti s izuzetno visokim očekivanjima: obuzdavanjem katastrofalnih rizika, zadovoljavanjem regulatora i javnog mnjenja, a istovremeno ne postati nepremostiva prepreka poslovanju.
Posao također uključuje upravljanje odnosima s timovima za proizvode, inženjerima, advokatima i stručnjacima za etiku i mentalno zdravlje, koji neće uvijek na isti način vidjeti rizike. Bit će trenutaka kada će se komercijalni pritisak za lansiranje novih funkcija direktno sukobiti s potrebom za nametnuti prepreke ili kašnjenja, a figura šefa pripreme bit će tačka trenja.
U međuvremenu, korisničke organizacije, profesionalne grupe i kreatori politika u Evropskoj uniji nadaju se da uloge poput ove neće ostati samo simbolične. Nakon godina obećanja samoregulacije od strane tehnološke industrije, postoji određeni skepticizam o efikasnosti internih mehanizama kada su u sukobu s interesima rasta i tržišnog udjela.
Ako ova pozicija uspije u uspostavljanju koherentnosti sigurnosne strategije OpenAI-a, uvođenju strogih kriterija u procjeni rizika i, gdje je potrebno, blokiranju problematičnih implementacija, mogla bi postati... referenca za druge kompanije u sektoruS druge strane, ako ostane bez stvarne moći donošenja odluka, bit će joj teško uvjeriti one koji trenutno zahtijevaju veći vanjski nadzor nad umjetnom inteligencijom.
Stvaranjem ove uloge šefa pripravnosti, OpenAI pokušava poslati signal da je primio na znanje upozorenja i da je spreman ojačajte svoj unutrašnji štit Prije nego što se napravi sljedeći tehnološki skok. U scenariju u kojem umjetna inteligencija prodire u svakodnevni život miliona ljudi u Evropi i ostatku svijeta, pravi obim ovog pokreta zavisiće od toga kako se ova ograničavajuća moć koristi, u kojoj mjeri se mentalno zdravlje i sigurnost daju prioritet nad žurbom za inovacijama, i od sposobnosti ove figure da prevede velike principe u neugodne, ali neophodne odluke.
