Problem usklađenosti

Izdvajamo

• Možda je napredak OpenAI ka AGI značajno usporen Altmanovim odlaskom. Sedam stotina od 770 zaposlenih u kompaniji, od kojih neke možda više uzbuđuje mogućnost da se dokopaju udela u vrednosti OpenAI od 80 milijardi dolara nego mogućnost sveta bez potrebe za novcem, potpisalo je pismo u kome prete da će se pridružiti Altmanu u Majkrosoftu ako ne bude vraćen u OpenAI. Zapanjujuće, pismo je potpisao Satskever, koji je izgleda imao privremenih teškoća u usklađivanju svojih ciljeva i svojih postupaka.

Povezani članci

• Rusiji snižen kreditni rejting: Pad cijena nafte i sankcije usporavaju ekonomiju
• Raste broj žrtava nakon oružanog napada u istočnom Jerusalimu
• Nigerija proglasila vanredno stanje zbog širenja ebole
• Erdoan potvrdio dominaciju izbornom pobjedom
• Felipe VI novi kralj Španije
• Epidemije na zapadu

Foto: Rafael Henrique/SOPA Images/Si via Reuters Connect

Na sajtu kompanije OpenAI nalazi se stranica sa objašnjenjem njene specifične strukture. Kao neprofitnu, zajednički su je osnovali nekoliko tehnoloških kompanija i gomila preduzetnika, uključujući Pitera Tila i Ilona Maska. Cilj je bio obezbediti milijardu dolara u donacijama za razvoj veštačke opšte inteligencije (artificial general intelligence, AGI) za dobrobit čovečanstva.

Pošto je obezbedio samo oko 130 miliona dolara – ni približno dovoljno za tako resursno zahtevan poduhvat – tim je stvorio finansijski pogon koji bi kompaniji omogućio da privuče investicioni kapital, a da pritom ostane manje-više verna svojoj osnivačkoj misiji. Profitna podružnica, OpenAI Global, bila bi zakonski obavezna da sledi ciljeve OpenAI i „umesto da se fokusira na čisto maksimizovanje profita, imala bi ograničenja maksimalnih finansijskih prinosa investitorima i zaposlenima, što bi ih podstaklo da istražuju, razvijaju i primenjuju AGI na način koji balansira komercijalnost s jedne i bezbednost i održivost s druge strane“.

Pravna struktura kompanije treba da osigura da, ukoliko uspe da razvije AGI – definisanu kao autonomni sistem koji nadmašuje ljude u većini ekonomski vrednih poslova – intelektualna svojina pripada neprofitnoj organizaciji za dobrobit čovečanstva. Ali investitori će dobiti udeo u svakom profitu generisanom inovacijama stvorenim na tom putu, koje nisu AGI. Na sajtu je istaknuta poruka: „Bilo bi mudro bilo koju investiciju posmatrati… u duhu donacije, s razumevanjem da je možda teško znati kakvu će ulogu novac igrati u svetu posle AGI.“

Sada se čini jasnim da Majkrosoft, najistaknutiji od investitora u OpenAI, ne gleda na svoju investiciju od 13 milijardi dolara u tom duhu, već želi da maksimalno iskoristi svoju poziciju u svetu u kom se uloga novca dobro razume. Kada je prošlog petka odbor OpenAI otpustio generalnog direktora kompanije, Sema Altmana, optužujući ga za nedostatak iskrenosti u komunikaciji sa njima, Majkrosoft je izvršio pritisak na odbor da poništi svoju odluku. Odbor je potom proveo vikend u pregovorima sa Altmanom, ali nije uspeo da ga namami nazad. U ponedeljak je objavljeno da će Altman, zajedno sa brojnim kolegama iz OpenAI, preći u Majkrosoft i tamo pokrenuti novu AI inicijativu.¹

Analitičari su ovaj spor ocenili kao sukob između dva tabora u kompaniji. Oni koji podržavaju Altmana, oduševljeni su mogućnostima za nove proizvode i profit; oni koji se grupišu oko drugog suosnivača, Ilje Satskevera i njegovih saveznika u odboru, više se fokusiraju na prvobitnu misiju.

Od zapanjujuće uspešnog lansiranja ChatGPT pre godinu dana, Altman je postao javno lice kompanije i želeo je da iskoristi svoje liderstvo u generativnoj veštačkoj inteligenciji na što više načina. Rečeno je da pokušava da obezbedi investiciju od više milijardi za razvoj novog specijalizovanog hardvera, da razgovara sa Džonatanom Ajvijem (bivšim dizajnerom u kompaniji Apple) o OpenAI ekvivalentu ajfona i da je pokretačka snaga nedavne najave GPT prodavnice. Bilo je reči o omogućavanju zaposlenima da unovče svoje akcije.

Altman je napustio Stanford 2005. da bi pokrenuo kompaniju za društvene mreže. Satskever je te godine diplomirao u Torontu i prešao na doktorske studije kod Džefrija Hintona. Pomogao je u razvoju arhitekture AlexNet, koja je transformisala pristup analizi slike. Njegov startap zasnovan na tim istraživanjima kasnije je kupio Gugl. Satskever, kao i Hinton, izgleda fasciniran potencijalom AI dok se istovremeno sve više plaši njegovih implikacija. Pošto su AI programi, koliko god inteligentni bili, i dalje samo programi, trebalo bi da se možemo osloniti na njih da rade ono što im se kaže. Nevolja je kako da budemo sigurni da smo im zapravo rekli da rade ono što želimo da rade – što je problem poznat pod nazivom problem usklađenosti. U julu je OpenAI objavio da je Satskeverov primarni fokus kao rukovodioca istraživanja sada „superusklađivanje“: tokom naredne četiri godine, 20 odsto računarskih resursa koje su već obezbedili biće posvećeno izgradnji automatizovanog istraživača usklađenosti na ljudskom nivou.

Satskever veruje da je OpenAI na putu da stvori entitete inteligentnije od ljudi i da na taj način učini gotovo sve oblike rada suvišnim, a novac nepotrebnim. Zabrinut je da bismo tako mogli slučajno da napravimo softverske agente van naše kontrole, čiji su ciljevi nesavršeno usklađeni sa našim, što potencijalno nosi značajan rizik od izumiranja. Predloženo rešenje je da se stvori oblik veštačke superinteligencije koja će biti u stanju da uoči da se to dešava i interveniše da to spreči. Šta bi moglo poći po zlu?

Trebalo bi da je lako izabrati stranu ovde: sukob je između izvršnog direktora koji podstiče inovacije kako bi zaradio što više novca i odbora sastavljenog od neprofitnih organizacija koji nastoji da bude odgovoran i posveti dužnu pažnju nepredviđenim posledicama tehnologije. Jedino što su deklarisani ciljevi neprofitnih organizacija – predviđene posledice tehnologije – zaprepašćujuće remetilački, a njihov pristup odgovornom razmišljanju nije bio da uspori ili uključi druge zainteresovane strane u sistem nezavisne provere i ravnoteže interesa, već da investiraju u špekulativni istraživački projekat visokog rizika.

Možda je napredak OpenAI ka AGI značajno usporen Altmanovim odlaskom. Sedam stotina od 770 zaposlenih u kompaniji, od kojih neke možda više uzbuđuje mogućnost da se dokopaju udela u vrednosti OpenAI od 80 milijardi dolara nego mogućnost sveta bez potrebe za novcem, potpisalo je pismo u kome prete da će se pridružiti Altmanu u Majkrosoftu ako ne bude vraćen u OpenAI. Zapanjujuće, pismo je potpisao Satskever, koji je izgleda imao privremenih teškoća u usklađivanju svojih ciljeva i svojih postupaka.

Paul Taylor, London Review of Books

Prevela Milica Jovanović

Peščanik.net