Budućnost tehnologije ne oblikuju samo algoritmi i sistemi, već i ljudi koji istražuju, postavljaju nova pitanja i povezuju različite oblasti znanja.
Od laboratorija i univerzitetskih učionica do vodećih tehnoloških kompanija i razvoja savremenih AI sistema, karijera dr Dejana Grubišića predstavlja spoj radoznalosti, upornosti i spremnosti da se zakorači u nepoznato. Njegov profesionalni put pokazuje kako se temeljno znanje, interdisciplinarni pristup i otvorenost ka novim oblastima mogu pretočiti u rad na tehnologijama koje menjaju način na koji razumemo računare i inteligentne sisteme.
U razgovoru za Serbian Researchers, dr Grubišić govori o izazovima i prilikama koje donosi savremeno istraživanje, odnosu između nauke i industrije, ulozi međunarodne saradnje u razvoju karijere, kao i o tome kako izgleda rad na problemima koji se nalaze na samoj granici današnjih tehnoloških mogućnosti. Osvrnuli smo se i na budućnost veštačke inteligencije, značaj zajednice i mentorstva, kao i na lekcije koje mogu biti dragocene mladima na početku istraživačkog puta.
Vaš profesionalni put vodio Vas je od Srbije do Rice University u Teksasu, jednog od najprestižnijih istraživačkih univerziteta u SAD. Kako je izgledao taj put, od prvih interesovanja za računarstvo i nauku do rada na projektima koji danas imaju globalni značaj?
Taj put svakako nije bio prava linija, niti je bio unapred isplaniran. Prva interesovanja za nauku započela su na časovima fizike u Gimnaziji “Jovan Jovanović Zmaj” u Novom Sadu, koja su prerasla u regionalna i državna takmičenja. Momenat koji je tu bio ključan je kada mi je profesor fizike Gena Litričin, pred celim razredom rekao da nema šanse da na sledećem kontrolnom uradim tačno sve zadatke. Pogađate, na sledećem kontrolnom sam dobio najvišu ocenu, kao i samopouzdanje da mogu da rešim bilo koji problem.
Osnovne i master studije završio sam na Fakultetu tehničkih nauka u Novom Sadu. Smer za Energetiku, elektroniku i telekomunikacije (popularni E1) upisao sam, jer je bio blizak primenjenoj fizici, a sa druge strane oduvek me je interesovalo kako rade električni uređaji i šta se tačno desi kada pritisnete dugme za uključivanje na računaru. U drugoj godini opredelio sam se za smer Elektronika, gde smo imali vrhunske profesore koji su nas učili kako se prave čipovi od silicijumskih vejfera (eng. wafer) do digitalnog dizajna, pisanja operativnog sistema i na kraju aplikacija na njima.
Jedna stvar koja mi je uvek privlačila pažnju su hakatoni. Na moju žalost, većina hakatona je podrazumevala znanja iz web programiranja, softverskog inžinjerstva i obrade podataka, koja su mi bila strana. Ovo mi je bila dodatna motivacija da za master promenim smer i upišem Računarstvo visokih performansi (popularni E2), koji je prvi put bio realizovan te 2018. godine. Za mene je ovaj period bio vatreno krštenje. Na smeru nas je bilo šestorica, pri čemu su svi osim mene bili asistenti, među najboljima na E2 smeru, sa svim znanjima koje se podrazumevalo da imamo na masteru.
Imali smo nastavu 6 dana nedeljno, pri čemu je subota zauzimala 6 sati najobimnijeg predmeta Arhitekture za obradu velikih skupova podataka (eng. Big Data Architectures). Tu su bili i predmeti distribuirano programiranje, programiranje GPU-ova, kao i prvi dodir sa mašinskim učenjem. Svaka čast profesorima koji su osmislili ceo program, koji je po mom mišljenju i danas najjači master program na FTN-u i nešto što iskreno preporučujem svakom studentu zainteresovanom za ovu oblast.
Doktorske studije na Univerzitetu Rajs bile su sledeći korak. Za razliku od mastera studija koje se često plaćaju i do 50 000 dolara, doktorske vam omogućuju da uz mesečnu platu radite istraživanja i pohađate kurseve koji vas interesuju. Doktorske možete upisati direktno sa osnovnih studija, a ukoliko vam se žuri, često možete uzeti master diplomu i završiti posle 2 godine, bez da platite jedan dolar.
U toku 5 godina koje sam proveo na doktoratu imao sam sreću da radim u grupi profesora John Mellor-Crummey, na razvoju alata HPCToolkit, za analizu programa koji se izvršavaju na superkompjuterima. Pored ovoga, imao sam priliku da radim praksu u Berkli Labu, kao i dve prakse u Meti na razvoju optimizacije programa zasnovane na učenju sa pojačavanjem (eng. reinforcement learning) i velikim jezičkim modelima (eng. large language models). Upravo taj spoj sistemskog programiranja i mašinskog učenja pokazao se izuzetno atraktivnim i za razvoj jezičkih modela za pisanje koda, jer je to oblast sa dovoljno podataka i relativno lako merljivom metrikom za evaluaciju.
Po završetku doktorata, preselio sam se u Silicijumsku dolinu, gde sam još godinu dana radio na Metinim sistemima preporuke za Facebook Feed i Instagram, nakon čega sam odlučio da se pridružim startapu Axiom. Sada nakon godinu dana mogu reći da je to bila prava odluka. Za razliku od velikih korporacija u startapu morate sami da izgradite proizvod, da budete u toku sa najnovijim alatima na tržištu, kao i da preuzmete odgovornost za vođenje projekata. U Axiomu radimo na formalnom dokazivanju teorema i razvoju matematike uz pomoć veštačke inteligencije. To je oblast koja poslednjih nekoliko godina dobija globalni značaj, jer verifikacija koda i utemeljenje (eng. grounding) postaju usko grlo u razvoju AI softvera.
Tokom karijere radili ste i u SAD i u Nemačkoj, u akademskim institucijama, laboratorijama i vodećim tehnološkim kompanijama. Koliko su Vas ta međunarodna iskustva promenila, ne samo kao istraživača, već i u načinu na koji razmišljate o inovacijama, tehnologiji i nauci?
Pored redovnih kurseva nakon treće i četvrte godine osnovnih studija uradio sam prakse u Institutu za mikroelektroniku visokih performansi u Nemačkoj i Rajs univerzitetu u Hjustonu. Ove prakse bile su prozor u svet, tokom kojih sam, pored profesionalnog usavršavanja, dobio nešto važnije, samopouzdanje da neko iz Srbije može rame uz rame da sarađuje sa kolegama iz inostranstva. Naravno, prvih 20 puta ne razumete pola termina koji se koriste na sastancima i osećate se nelagodno da prezentujete svoj rad na stranom jeziku. Bez te neprijatnosti nema ni pravog napretka, pa kad sledeći put ne budete razumeli pola sastanka ili osećate da zaostajete, najverovatnije ste na pravom mestu.
Kada pogledate dosadašnji tok svoje karijere, da li postoji trenutak ili odluka koju biste izdvojili kao prelomnu, nešto što je suštinski usmerilo Vaš profesionalni razvoj?
Bez dvoumljenja, to je bio dolazak na doktorske studije u Ameriku. Doktorat sam započeo u isto vreme kada i prijateljica Anja Conev, koja je pohađala doktorske studije iz bioinformatike, pa nisam krenuo sam. Veliku ulogu odigrali su i profesor Zoran Budimlić i Vesna Mirković, koji su najpre organizovali praksu na Rajsu, a potom bili tu za nas šta god je trebalo. Pre nas su isti put prešli i drugi studenti iz Srbije, koji su takođe prvo došli na praksu pa upisali doktorat, tako da smo uvek imali od koga da dobijemo savet.
Na Rajsu sam prvi put bio u sredini gde je vrhunsko istraživanje svakodnevica, a ne izuzetak. Kursevi su izuzetno zahtevni, a konkurencija velika, tako da u sobi uvek postoji jedna osoba koja je pametnija od vas. Takvo okruženje vas uči skromnosti, ali vas i tera napred. Takođe prakse u vodećim svetskim kompanijama se ipak lakše dobiju kada aplicirate iz Amerike, ma šta HR departman tih kompanija rekao.
Jedna stvar za koju sam posebno zahvalan jeste to što se u Americi nijednom nisam osećao kao stranac. Štaviše, vrlo često sam se osećao privilegovano što imam akcenat i nešto drugačiju životnu priču od uobičajene. Pored ovoga, velika je privilegija imati priliku da upoznate ljude iz celog sveta i kroz njih različite kulture i poglede na svet.
Tokom karijere radili ste na veoma različitim i kompleksnim projektima, od kompajlera i superkompjuterskih alata do velikih jezičkih modela. Na koji projekat ste do sada najponosniji i zbog čega?
Najponosniji sam na projekat u kojem smo koristili velike jezičke modele za optimizaciju kompajlera. Radio sam ga u Meti, sa Chrisom Cumminsom i ostatkom tima, tokom jedne produžene prakse. Bio je to prvi rad koji je uopšte primenio velike jezičke modele na optimizaciju kompajlera, a tema se u međuvremenu razvila u čitav pravac istraživanja.
Kompajler pri prevođenju koda donosi niz odluka o tome kako da ga optimizuje. Mi smo trenirali model od 7 milijardi parametara koji na ulazu dobije neoptimizovan LLVM asembler, a na izlazu predloži kombinaciju optimizacija koja taj kod čini što manjim. Ključ je bio u tome što smo model usput trenirali da predvidi i broj instrukcija i sam optimizovani kod, pa je morao stvarno da razume šta optimizacija radi. Na kraju je smanjivao broj instrukcija 3% više od samog kompajlera, bez hiljada pokretanja kompilacije koje zahtevaju klasične metode.
Naredna dva rada nadograđivala su tu ideju. U drugom smo zatvorili petlju tako što smo modelu vraćali povratnu informaciju od kompajlera, da na osnovu stvarnog rezultata popravi sledeći predlog. U trećem smo uveli tehniku uzorkovanja koja daje raznovrsne predloge poređane po pouzdanosti modela, pa smo iz iste mreže dobijali bolja rešenja bez dodatnog treniranja.
Radovi koji su proizašli iz tog projekta:
Large language models for compiler optimization
Compiler generated feedback for large language models
Priority sampling of large language models for compilers
Pored međunarodne karijere, aktivno ste uključeni i u razvoj domaće AI zajednice kroz organizaciju “Serbian AI Society”. Kako danas ocenjujete stanje AI ekosistema u Srbiji, gde vidite najveći potencijal, a gde najveće izazove?
Ekosistem je mlad, ali se kreće brzo. Imamo jaku tehničku osnovu, dugu tradiciju u matematici i računarstvu i ljude koji se na svetskim takmičenjima redovno nalaze pri vrhu. Ono što nam je dugo nedostajalo nije talenat, nego mreža koja te ljude povezuje. Upravo to smo u Serbian AI Society pokušali da promenimo, pa danas okupljamo preko 300 AI profesionalaca iz više od 20 zemalja i 70 gradova.
Ono što se često vidi kao najveći problem, odliv mozgova, ja vidim kao priliku. Naši ljudi rade u vrhunskim institucijama, od MIT-a, Stanforda i Berklija do Google DeepMind-a, Mete i Microsofta i tamo skupljaju znanje i veze do kojih bismo kod kuće sporije došli. Ako ih povežemo sa zajednicom ovde, taj odlazak postaje dvosmerna ulica, a ne gubitak. Pravi izazov nije to što ljudi odlaze, nego to što im još uvek ne nudimo jasan način da deo tog znanja vrate.
Naravno, postoje i konkretne prepreke. Istraživanje i industrija se još uvek slabo dodiruju, jer fakulteti i firme retko rade na istim problemima. Tu su i pristup računarskim resursima i podacima, kao i nedostatak domaćeg kapitala koji bi rane ideje pretvorio u proizvode.
Zato kroz Serbian AI Society ne pokušavamo nikoga da sustižemo, nego da organizujemo ono što već imamo. Kroz Southeast Europe AI Summit započeli smo povezivanje ljudi i organizacija iz regiona koji se bave veštačkom inteligencijom, ali to je tek početak. Kroz radionice “Sa VI na Ti” širimo AI pismenost po gradovima Srbije, a kroz hakatone, školu mašinskog učenja za srednjoškolce i open-source projekte gradimo sledeću generaciju AI stručnjaka. Talenat sam po sebi nije dovoljan ako nema zajednicu koja ga drži na okupu i gura napred.
Postoji li knjiga (tehnička, naučna ili možda potpuno van struke), koju biste preporučili svakom mladom istraživaču i koja je na Vas ostavila poseban utisak?
Izdvojio bih tri, iako su verovatno mnogima već poznate.
“How to Win Friends and Influence People” Dejla Karnegija govori o tome kako se gradi poverenje i sarađuje sa ljudima. Danas se većina projekata radi u timovima i nije dovoljno doći do naučnih rezultata već ih iskomunicirati na pravi način.
“Measure What Matters” Džona Dora je o postavljanju jasnih ciljeva i merenju onoga što stvarno donosi vrednost, kroz OKR metodologiju. Sada kada imamo moćne AI asistente, ključno pitanje postaje kako postaviti eksperiment i koji je najkraći put do cilja. Najveći problem nije kako implementirati rešenje, već znati koje pitanje postaviti i kako evaluirati odgovor.
Za kraj, “The Alchemist” Paula Koelja je priča o praćenju sopstvenog puta i prepoznavanju prilika usput. Podsetnik je da karijera retko ide po planu i da je radoznalost često bolji vodič od unapred zacrtane putanje.
U svetu brzih tehnoloških promena i velike konkurencije, šta biste izdvojili kao najvažniju osobinu dobrog naučnika ili istraživača?
Ako bih morao da izdvojim, to je radoznalost u kombinaciji sa upornošću. Jedno bez drugog ne vredi mnogo. Radoznalost te dovede do pravog pitanja, a upornost je ono što te održi dok ne dođeš do odgovora.
Radoznalost je danas važnija nego ikada, jer se alati menjaju iz meseca u mesec, a veština koja je sad tražena za par godina može da zastari. Uz to, kako AI asistenti preuzimaju sve veći deo same implementacije, najvažnije postaje znati koje pitanje uopšte postaviti. Taj deo posla se teško automatizuje.
Upornost dolazi do izražaja kada nešto ne radi. Lako je biti znatiželjan dok ide glatko, ali prava razlika se vidi kada zapne, pa moraš da kopaš dalje umesto da odustaneš. Većina dobrih rezultata leži tačno sa druge strane tog trenutka kada bi najlakše bilo stati.