Ian Krietzberg iz The deep view i Dr. David Cox iz IBM donose više detalja :

• “Uglavnom, netko je shvatio da ako kažete, ‘recite modelu (da) razmišlja korak po korak’, to zapravo daje bolje rezultate”, rekao je dr. David Cox, potpredsjednik AI modela u IBM Research.
• “Modelu će zapravo trebati vremena. Verbalizirat će nekoliko koraka i na kraju ćete dobiti bolji rezultat. A to je vrlo svestrana stvar. Ali ako samo to radite, onda to ima svoje granice”, rekao je. “Pomaže. Ali to ne mijenja život.”

I dok se industrija već mjesecima kreće u smjeru ‘zaključivanja’, došlo je do definitivnog pomaka nakon DeepSeek-ovog izdanja R1, naizgled jeftinijeg modela koji je postigao paritet s OpenAI-jevim modelima kroz učenje pojačanja i CoT rezoniranje.
“Svi su imali stvarno, stvarno snažnu reakciju na izlazak R1, što nas je iskreno malo zbunilo u polju istraživanja”, rekao je Cox, objašnjavajući da DeepSeek, barem za one u industriji, nije baš došao niotkuda. “Već smo bili uzbuđeni. Svi smo već radili na tome.” I umjesto da čeka da ga objavi, IBM je odlučio “samo izbaciti nešto da pokaže što smo radili u tom vremenu.”
Ranije ovog mjeseca, IBM je objavio izdanje za pregled verzije svog modela Granite 3.1 8B s omogućenim razmišljanjem, dijela IBM-ove obitelji manjih jezičnih modela dizajniranih za uparivanje sa skupovima podataka specifičnim za poduzeća.

• Tamo gdje je DeepSeek iskoristio destilaciju modela kako bi postigao svoje rezultate, IBM je primijenio učenje pojačanja izravno na svoj model Granite kako bi potaknuo obrazloženje CoT-a, što osigurava “da su očuvane kritične karakteristike poput sigurnosti izvornog modela i opće performanse.”
• Kao rezultat ovog pristupa, IBM je zabilježio dvoznamenkasti rast referentnih performansi koje su, posebice, dobro funkcionirale u širokom rasponu specifičnih zadataka bez žrtvovanja općih performansi.

Istraživači nisu primijetili nikakvu razliku u sigurnosnoj izvedbi između modela s omogućenim razmišljanjem i izvornih modela. To je značajan trenutak u sukobu i raspravi između velikih i malih jezičnih modela, gdje manji modeli nude veću učinkovitost, ali općenito manje robusnu izvedbu.
“Mislim da će to biti kontinuirani trend da zapravo možemo uzeti ove manje modele, koji su vrlo svestrani, vrlo brzi, vrlo učinkoviti, i onda ih praktički učiniti većim na zahtjev”, rekao je Cox. “Ideja da možete uzeti mali model i omogućiti mu da radi više stvari tako što ćete ga rasporediti u vremenu, to je nešto za što mislim da će se zavladati posvuda.”
I za razliku od trenda koji trenutno vidimo kod sustava – poput ChatGPT-a – koji se mogu prebacivati između rezonirajućih i nerezonirajućih modela prema potrebi, IBM je dizajnirao ovaj model tako da korisnici mogu u biti uključiti ili isključiti CoT – bez mijenjanja modela. Budući da je obrazloženje CoT-a i duže i skuplje od alternative, to nije uvijek potrebno (ili poželjno). Zbog toga je IBM-ov fokus bio na fleksibilnosti.
“Izrađujemo ovaj skup kontroliranih, programerima prilagođenih načina za dodavanje zastavica koje samo govore modelu što trebamo učiniti”, rekao je Cox.

Ovaj rad, prema Coxu, samo je početak dugoročnog trenda.

“Imamo još mnogo toga što se događa u prostoru razmišljanja, odvijaju se razne vrste rada na razmišljanju koje ćete vidjeti u nadolazećim mjesecima”, rekao je.
“Ne mislim da ćemo dugoročno biti u svijetu u kojem imamo samo jedan divovski model koji pokušava učiniti sve”, dodao je Cox. “Imat ćemo ovaj cool set malih modela koji se mogu proširiti i razmišljati… to je svijet prema kojem mislimo da idemo. Postavite razvojnom programeru kontrolu, dajte mu skup alata koji može … izvršiti različite zadatke i automatizirati stvari i koristiti ovu tehnologiju na načine koji i dalje drže pod kontrolom programera i ljude.”

Otkako se ChatGPT pojavio u jesen 2022., svi su se okušali u brzom inženjeringu—pronalaženju pametnog načina da izrazite svoj upit velikim jezičnim modelima (LLM) ili AI umjetničkom ili video generatoru kako biste dobili najbolje rezultate. Internet je prepun brzih inženjerskih vodiča, kratkih uputa i nizova savjeta koji će vam pomoći da izvučete najviše iz LLM-a.

Ukratko o sadržaju :

**Inovacije u LLM-u**: Članak raspravlja o trendu “prompt engineeringa” u kojem se traži najbolji način postavljanja upita velikim jezičnim modelima (LLM) ili AI generatorima umjetnosti i videa kako bi se dobili najbolji rezultati ili zaobišle zaštite.
**Automatizacija prompta**: Novija istraživanja sugeriraju da je optimizaciju prompta bolje prepustiti samom modelu, a ne ljudskom inženjeru, što dovodi u pitanje budućnost ručnog prompt engineeringa.
**NeuroPrompts alat**: Intel Labs razvio je alat NeuroPrompts koji automatski poboljšava jednostavne prompte kako bi proizveo bolje slike, koristeći se strojnim učenjem i pojačanim učenjem.
**Budućnost i izazovi**: Iako bi automatizacija prompta mogla postati industrijski standard, poslovi inženjera prompta u nekom obliku neće nestati, jer prilagodba generativnih AI modela industrijskim potrebama ostaje složen zadatak koji zahtijeva ljudski nadzor.

Ova ambiciozna inicijativa odražava sve veću potražnju za generativnim AI alatima, što dokazuje široki interes za OpenAI-jev ChatGPT i njegove implikacije na različite sektore, od zdravstva do financija. OpenAI je nedavno ostvario više od 2 milijarde dolara godišnjeg prihoda, što ga označava kao jednu od najbrže rastućih tehnoloških kompanija u povijesti.

Wall Street Journal, Feb 02, 2024

“Najvjerojatniji rezultat izgradnje nadljudski pametne umjetne inteligencije, u bilo čemu sličnom sadašnjim okolnostima,” napisao je, “jest da će doslovno svi na Zemlji umrijeti. Ne kao u ‘možda neka daleka prilika’, nego kao u ‘to je očita stvar koja bi se dogodila.’ … Ako netko izgradi premoćnu AI, pod sadašnjim uvjetima, očekujem da će svaki pojedini član ljudske vrste i sav biološki život na Zemlji umrijeti ubrzo nakon toga.” On sugerira da bi takva umjetna inteligencija mogla lako pobjeći s interneta “kako bi izgradila umjetne oblike života”, zapravo vodeći biološki rat protiv nas. Njegova preporuka je jasna. Trebamo potpuni, globalni moratorij na razvoj umjetne inteligencije.

Ovo ide puno dalje od otvorenog pisma koje su potpisali Elon Musk, Steve Wozniak (suosnivač Applea) i više od 15.000 poznatih osoba koji pozivaju na šestomjesečnu pauzu u razvoju AI moćnijih od trenutnog stanja tehnike. Ali njihova je motivacija ista kao Yudkowskyjeva: uvjerenje da razvoj umjetne inteligencije s nadljudskim sposobnostima u nedostatku bilo kakvog međunarodnog regulatornog okvira riskira katastrofu. Jedina stvarna razlika je u tome što Yudkowsky sumnja da se takav okvir može osmisliti unutar pola godine. Gotovo je sigurno da je u pravu u vezi s tim.
Dakle, ako je Yudkowsky u pravu da je umjetna inteligencija potencijalno opasna kao nuklearno ili biološko oružje, šestomjesečna stanka vjerojatno neće postići mnogo. S druge strane, njegov poziv na potpuno zamrzavanje istraživanja i razvoja ima približno jednake šanse za uspjeh kao i Baruchov plan o internacionalizaciji nuklearnih istraživanja.

Jedna očita razlika između tih starijih smrtonosnih oružja i umjetne inteligencije jest da većinu istraživanja o umjetnoj inteligenciji provodi privatni sektor. Prema posljednjem izvješću Stanfordskog instituta za umjetnu inteligenciju usmjerenu na čovjeka, globalna privatna ulaganja u umjetnu inteligenciju iznosila su 92 milijarde dolara u 2022. godini, od čega je više od polovice bilo u SAD-u. Privatne tvrtke proizvele su ukupno 32 značajna modela strojnog učenja, u usporedbi sa samo tri koja su proizvele akademske institucije. Sretno u isključivanju svega toga.

Moj kolega Tyler Cowen bio je pragmatičniji. Postavio je neka hipotetska pitanja: “Što da smo 2006. kolektivno odlučili obustaviti razvoj društvenih medija na šest mjeseci dok smo razmišljali o mogućim štetama od njihove široke upotrebe? Njegovi učinci u to vrijeme jedva da su bili očiti i još uvijek se osporavaju. U međuvremenu, nakon šestomjesečne odgode, koliko bismo još bili u procesu evaluacije? Pa čak i ako američke tvrtke uvedu šestomjesečnu pauzu, tko može reći da će kineske tvrtke učiniti?”

Ali najelokventniji branitelj neobuzdanog istraživanja i razvoja umjetne inteligencije moj je stari prijatelj Reid Hoffman, osnivač LinkedIna, koji je napisao cijelu knjigu o toj temi… otprilike polovicu knjige generirala je umjetna inteligencija.
Za čitatelja laika problem ove rasprave je dvojak. Prvo, čini se da svi branitelji umjetne inteligencije dosta ulažu u umjetnu inteligenciju. Drugo, oni uglavnom priznaju da postoji barem određeni rizik u razvoju AI-a s inteligencijom superiornijom od naše. Čini se da je Hoffmanova poanta: vjerujte nam da ćemo ovo učiniti etički, jer ako nas obuzdate, negativci će biti ti koji će raditi na razvoju i tada ćete možda dobiti Skynet.

Započnimo tako što ćemo biti precizniji o čemu raspravljamo. Većina AI radi stvari koje nude dobrobiti, a ne prijetnje čovječanstvu. Na primjer, DeepMindov AlphaFold odredio je strukture oko 200 milijuna proteina, što je veliki znanstveni korak naprijed.

Rasprava koju danas vodimo odnosi se na određenu granu umjetne inteligencije: velike jezične modele (LLM) koje proizvode organizacije kao što je OpenAI, posebice ChatGPT i njegov snažniji nasljednik GPT-4. Pozadina OpenAI-ja je fascinantna. Kad sam se prije sedam godina preselio u Kaliforniju, sudjelovao sam u raspravi sa Samom Altmanom, jednim od osnivača OpenAI.
Poput svog bivšeg partnera Elona Muska, Altman je u nekom trenutku shvatio da je podučavanje neuronskih mreža vožnji teže nego što su pretpostavljali. Stoga se OpenAI okrenuo LLM-u.

Međutim, ubrzo je postalo očito da je izgradnja LLM-a dovoljno snažnog za generiranje vjerodostojnih rezultata preskupa za neprofitnu organizaciju zbog ogromne računalne snage koja je potrebna. Tako je Altman stvorio profitni ogranak OpenAI-ja i prodao veliki udio izvršnom direktoru Microsofta Satyi Nadelli, koji je vidio zlatnu priliku da uhvati korak s Googleom, dotadašnjim liderom u razvoju umjetne inteligencije.
“Dugoročno”, rekao je Altman za Wall Street Journal, želi “postaviti globalnu upravljačku strukturu koja bi nadzirala odluke o budućnosti umjetne inteligencije i postupno smanjivala moć izvršnog tima OpenAI-ja nad svojom tehnologijom.” Krajnja je misija OpenAI-ja, nastavio je, “sigurno” izgraditi umjetnu opću inteligenciju. Cilj je “izbjeći utrku prema izgradnji opasnih AI sustava potaknutih konkurencijom i umjesto toga dati prednost sigurnosti čovječanstva.”
Kratkoročno, međutim, Altman je sada dio te utrke. I to je, naravno, razlog zašto se posvađao ne samo s Muskom, čija je tvrtka Tesla također u utrci, već i s vodećim istraživačem sigurnosti OpenAI-ja, Dariom Amodeijem, koji je napustio OpenAI kako bi osnovao vlastitu AI tvrtku pod nazivom Anthropic , iza kojeg stoji … Google.

Dakle, koliko je opasna ova utrka za profitni LLM? Površno gledano, uopće nije opasno. Kao što moj omiljeni genij, Stephen Wolfram, objašnjava, umjetna inteligencija kao što je ChatGPT “u osnovi uvijek pokušava … proizvesti ‘razuman nastavak’ bilo kojeg teksta koji je do sada dobio, gdje pod ‘razumnim’ mislimo na ‘ono što bi netko mogao očekivati napisano nakon što ste vidjeli što su ljudi napisali na milijardama web-stranica.’ … Kada ChatGPT radi nešto poput pisanja eseja, ono što zapravo radi jest samo pita uvijek iznova ‘s obzirom na dosadašnji tekst, koja bi trebala biti sljedeća riječ?’ — i svaki put dodajući riječ.”
GPT-4 je samo još snažnija neuronska mreža za predviđanje riječi, koja obavlja ogroman broj operacija na nizovima brojeva s GPU-ovima — procesorskim jedinicama koje su izvorno dizajnirane za ubrzavanje grafičkog prikazivanja. Kao rezultat toga, njegov je rezultat još uvjerljivije ljudski nego ChatGPT-ov.

Ne samo da je to prilično vjerojatno, već prema iscrpnom izvješću Bubeck et al. (2023.), GPT-4 također može “riješiti nove i teške zadatke koji obuhvaćaju matematiku, kodiranje, viziju, medicinu, pravo, psihologiju i još mnogo toga, bez potrebe za bilo kakvim posebnim poticajima” i s “izrazito bliskim performansama na ljudskoj razini”.
Dopustite mi da sada ponudim drugačiju analogiju od nuklearnih bombi i biološkog ratovanja. Što više čitam o GPT-4, to više mislim da ovdje ne govorimo o umjetnoj inteligenciji (tj. sintetičkoj ljudskoj inteligenciji), već o neljudskoj inteligenciji, koju smo osmislili i istrenirali da zvuči uvjerljivo poput nas.

Kao što moj kolega s Hoover Instituta Manny Rincon-Cruz kaže: LLM-i ne manipuliraju atomima ili bitovima; manipuliraju nama. I nije toliko važno da će GPT-5 “odlučiti” da nas zbriše. Umjesto toga, rizik je da ćemo se raskomadati kao vrsta korištenjem LLM-a za neplemenite ili podle ciljeve.

Niall Ferguson je kolumnist Bloomberg Opinion. Viši suradnik Milbank Family, Hoover Institution na Sveučilištu Stanford i osnivač Greenmantlea, savjetodavne tvrtke, nedavno je autor knjige “Doom: The Politics of Catastrophe”.

Objavljeno na Bloomberg stranicama, 9.4.2023.g.

Ne proizvode svi generativni algoritmi sadržaj. Neki se algoritmi koriste u korisničkim sučeljima za poboljšanje zaslona ili korisničkih sučelja. U mnogim primjenama tehnike pomažu, a ne zauzimaju središnje mjesto.

Generativna umjetna inteligencija (GAI) je vrsta umjetne inteligencije koja može stvoriti široku paletu podataka, kao što su slike, video, audio, tekst i 3D modeli. To čini učenjem uzoraka iz postojećih podataka, zatim korištenjem tog znanja za generiranje novih i jedinstvenih rezultata. GAI je sposoban proizvesti vrlo realističan i složen sadržaj koji oponaša ljudsku kreativnost, što ga čini vrijednim alatom za mnoge industrije kao što su igre, zabava i dizajn proizvoda. Nedavna otkrića u tom području, kao što su GPT (Generative Pre-trained Transformer) i Midjourney, značajno su unaprijedila mogućnosti GAI. Ova su poboljšanja otvorila nove mogućnosti korištenja GAI za rješavanje složenih problema, stvaranje umjetničkih djela, pa čak i pomoć u znanstvenom istraživanju.

MOĆ GENERATIVNE AI
Generativna umjetna inteligencija doista je osvojila svijet, revolucionirajući način na koji komuniciramo, radimo i inoviramo. ChatGPT, sa svojih 100 milijuna korisnika, predstavlja dokaz brzog usvajanja i širokog utjecaja ove vrhunske tehnologije. Njegovo stabilno širenje i popularnost samo pojačavaju njegov transformativni potencijal. Čak i u svojim ranim fazama, generativna umjetna inteligencija već oblikuje budućnost u raznim domenama, a njezin će utjecaj na naše živote eksponencijalno rasti. Prihvaćanje ove moćne tehnologije otvorit će vrata nezamislivim mogućnostima, otvarajući novu eru kreativnosti, učinkovitosti i napretka.

GENERIRANJE TEKSTA
Generiranje teksta uključuje korištenje modela strojnog učenja za generiranje novog teksta na temelju uzoraka naučenih iz postojećih tekstualnih podataka. Modeli koji se koriste za generiranje teksta mogu biti Markovljevi lanci, rekurentne neuronske mreže (RNN), a u novije vrijeme i transformeri, koji su revolucionirali ovo područje zbog svog produženog raspona pozornosti. Generiranje teksta ima brojne primjene u području obrade prirodnog jezika, chatbota i stvaranja sadržaja.

GENERIRANJE SLIKA
Generiranje slika je proces korištenja algoritama dubokog učenja kao što su VAE, GAN i odnedavno Stable Diffusion, za stvaranje novih slika koje su vizualno slične slikama iz stvarnog svijeta. Generiranje slika može se koristiti za povećanje podataka kako bi se poboljšala izvedba modela strojnog učenja, kao i za stvaranje umjetnosti, generiranje slika proizvoda i više.

GENERIRANJE VIDEOZAPISA I GOVORA
Generiranje videozapisa uključuje metode dubokog učenja kao što su GAN i Video Diffusion za generiranje novih videozapisa predviđanjem okvira na temelju prethodnih okvira. Generiranje videozapisa se može koristiti u raznim područjima, kao što su zabava, sportska analiza i autonomna vožnja. Generiranje videozapisa se često može vidjeti u upotrebi s generiranjem govora. Modeli koji se koriste za generiranje govora mogu se pokretati pomoću transformera. Generiranje govora se može koristiti u pretvaranju teksta u govor, virtualnim pomoćnicima i kloniranju glasa.

NADOGRADNJA PODATAKA
Nadogradnja podataka je proces generiranja novih podataka za obuku primjenom različitih transformacija slike kao što su okretanje, obrezivanje, rotiranje i podrhtavanje boja. Cilj je povećati raznolikost podataka o obuci i izbjeći prekomjerno opremanje, što može dovesti do boljih performansi modela strojnog učenja.

Generative AI ima raznolik raspon aplikacija koje nadilaze tekst, video, sliku, generiranje govora i povećanje podataka. Može se koristiti za stvaranje glazbe, razvoj igara, zdravstvenu skrb i još mnogo toga. U zdravstvu, generativna umjetna inteligencija može pomoći u stvaranju sintetičkih medicinskih podataka za obuku modela strojnog učenja, razvoj novih kandidata za lijekove i dizajn kliničkih ispitivanja. Ovo su samo neki od primjera mnogih mogućnosti za generativnu umjetnu inteligenciju, a kako tehnologija napreduje, možemo očekivati da će se pojaviti više aplikacija

Pročitajte više na stranicama Sequoiacap, Venturebeat, UI.com