Ključno pitanje nije “ljudsko-konkurentna” inteligencija (kako to otvoreno pismo kaže); to se događa nakon što AI dođe do inteligencije pametnije od ljudske. Ključni pragovi možda nisu očiti, definitivno ne možemo unaprijed izračunati što će se dogoditi, a trenutačno se čini zamislivim, kada bi istraživački laboratorij prešao kritične granice a da to ne primijeti.

Mnogi istraživači ogrezli u ova pitanja, uključujući i mene, očekuju da će najvjerojatniji rezultat izgradnje nadljudski pametne umjetne inteligencije, u bilo čemu sličnom sadašnjim okolnostima, biti da će doslovno svi na Zemlji umrijeti. Ne kao u “to je možda neka daleka prilika”, već kao u “to je očita stvar koja bi se dogodila.” Nije da ne možete, u principu, preživjeti stvarajući nešto puno pametnije od vas; radi se o tome da bi to zahtijevalo preciznost i pripremu i nove znanstvene uvide, a vjerojatno i nepostojanje AI sustava sastavljenih od divovskih nedokučivih nizova frakcijskih brojeva.

Bez te preciznosti i pripreme, najvjerojatniji ishod je umjetna inteligencija koja ne radi ono što želimo i ne mari za nas niti za osjećajni život općenito. Takva vrsta brige je nešto što bi se načelno moglo ugraditi u AI, ali mi nismo spremni i trenutno ne znamo kako.

Eliezer Yudkowsky je teoretičar odlučivanja iz SAD-a i vodi istraživanje na Institutu za istraživanje strojne inteligencije. Od 2001. godine radi na usklađivanju opće umjetne inteligencije i naširoko ga se smatra utemeljiteljem tog područja.

Pročitajte više u Time.