Poslušaj razgovor o temi
Sada svira: Uvod: čovjek u mračnoj sobi
Audio razgovor na hrvatskom, dva računalno generirana glasa, 21:44 minuta. Razgovor je sažetak doktorskog rada na kojem se članak temelji, a ne čitanje ovog teksta; mjestimično pojednostavljuje. Za podatke i brojke vrijedi tekst ispod.
Zamislite robota koji vam pomaže u stanu. Pitate ga: „Gdje su moji ključevi od auta?“ Klasičan tehnički sustav odgovorio bi: „Na koordinatama 578, 312, 105.“ Odgovor je točan, ali vam ne pomaže. Čovjek bi rekao: „Na komodi u dnevnoj sobi.“ A ako robotu kažete da ključeve donese, očekujete da se putem ne zaleti u zid, ne zapne za rub stola i ne sruši vazu.[1]
Tim primjerom počinje doktorski rad koji je autor ovog članka obranio u listopadu 2021. na Fakultetu strojarstva i brodogradnje u Zagrebu.[1] Ključni rezultati objavljeni su nekoliko mjeseci ranije u međunarodnom časopisu Applied Sciences.[2]
Rad postavlja dva pitanja koja su i danas otvorena. Može li stroj naučiti ponašanje na računalnom modelu, a zatim ga bez dotjerivanja primijeniti u stvarnom svijetu? I može li o tom svijetu govoriti jezikom koji čovjek razumije? U ovom članku pokazujemo kako je na ta pitanja odgovoreno — korak po korak, bez formula, ali i bez prešućivanja onoga što ne radi.
Prije nego što je umjetna inteligencija postala svakodnevica
Danas je „umjetna inteligencija“ riječ koju svatko koristi. Većina ljudi pod njom misli na alate poput ChatGPT-a, koji je javnosti otvoren 30. studenoga 2022.[4] Od tada se o AI-ju razgovara za kuhinjskim stolom, u školama i na sjednicama uprava.
Istraživanje o kojem pišemo nastalo je prije toga. Robot eMIR, na kojem se radilo, razvija se od sredine prošlog desetljeća; već 2015. objavljen je rad o programskom jeziku za tog robota.[5] Javni razgovor o očekivanim doprinosima doktorata održan je 2018., članak s ključnim rezultatima objavljen je u ožujku 2021., a rad je obranjen 7. listopada 2021.[1][2]
Treba biti precizan: umjetna inteligencija nije nastala s ChatGPT-om. Neuronske mreže i genetski algoritmi, koji su srce ovog istraživanja, poznati su desetljećima. Ali dok je ovo istraživanje nastajalo, nije bilo široko dostupnih jezičnih modela kojima biste mogli reći „napiši mi kod za neuronsku mrežu“. Sve što je u ovom istraživanju „inteligentno“ — neuronske mreže, genetski algoritmi, sustav bodovanja, veza sa simulatorom — napisano je od nule u programskom jeziku C++, bez gotovih biblioteka poput TensorFlowa ili Kerasa. Autor to u radu obrazlaže izravno: htio je vidjeti i moći prilagoditi svaki dio mreže.[1]
Umjetna inteligencija nije isto što i jezični model
Jezični model (engl. large language model, LLM) poput ChatGPT-a uči iz golemih količina teksta i odgovara tekstom. Umjetna inteligencija je mnogo širi pojam: obuhvaća i sustave koji upravljaju strojevima, prepoznaju oblike, planiraju putanje ili optimiziraju proizvodnju. Robot u ovom članku nema nikakav jezični model. Njegova „inteligencija“ je mala neuronska mreža koja iz deset izmjerenih udaljenosti odlučuje koliko brzo će se okretati lijevi, a koliko desni kotač. Kad na kraju „kaže“ nešto poput „plavi trokut jugozapadno“, to nije razgovor, nego opis prostora složen iz oblika, boje i položaja.
Problem: robot koji govori brojevima
Mobilni robot mora znati gdje se nalazi i što je oko njega. Od osamdesetih godina taj se problem rješavao strogo matematički: prostor se opisivao koordinatama, a putanja računala čistom računalnom snagom.[1] Kada su se pojavili laserski senzori udaljenosti i mala računala na jednoj pločici, prevladao je pristup poznat kao SLAM (engl. Simultaneous Localization And Mapping) — robot istodobno određuje svoj položaj i crta kartu prostora.[1]
Rezultat SLAM-a obično je oblak točaka: tisuće koordinata koje opisuju zidove i predmete. Za stroj je to savršen zapis. Za čovjeka je nečitljiv.[1]
U tvornici to nije velik problem, jer robotima upravljaju inženjeri koji razumiju koordinatne sustave i kinematiku. No roboti sve češće ulaze u prostore gdje ih koriste ljudi bez ikakvog tehničkog znanja: u domove, bolnice, škole. Takav robot morao bi razumjeti pojmove kao što su soba, stolica, čovjek, kretanje naprijed, prednost prolaska — i pristojnost.[1]
Čovjek prostor ne pamti u brojevima. Pamti odnose: „stol je lijevo od prozora“, „vrata su iza ormara“. Takav opis nije precizan i može imati više značenja, ali vrlo dobro odražava stvarni svijet i čovjeku je dovoljan da se snađe.[1] Istraživanje je krenulo upravo od toga: može li robot izgraditi sličan, kognitivni model prostora?
Model-based: najprije nauči na modelu
Drugi problem je učenje. Da bi se snašao u prostoru, robot mora nešto naučiti. Kad bi učio metodom pokušaja i pogrešaka na stvarnom stroju, trajalo bi predugo, a svaki bi sudar bio stvaran — s oštećenjima, zamjenom dijelova i satima rada.[1]
Rješenje je učiti na modelu. Umjesto da robot tisuće puta udari u zid u laboratoriju, to radi njegov virtualni dvojnik u simulaciji: robot istih dimenzija, istog pogona i istog senzora, u prostoru nacrtanom u CAD-u u mjerilu 1 : 1. Simulacija se može ubrzati, pokrenuti na više računala istodobno i ponavljati bez trošenja ičega osim struje.[1][2]
Što je model-based AI?
Izraz se u stručnoj literaturi koristi u više značenja. U užem smislu označava postupke strojnog učenja u kojima sustav koristi model svoje okoline da bi unaprijed procijenio posljedice svojih odluka. U ovom serijalu koristimo ga u širem, inženjerskom smislu: umjetna inteligencija koja uči i provjerava se na fizikalno vjernom modelu stroja — njegovoj kinematici, senzorima i okolini — prije nego što upravlja stvarnim strojem. Inženjeru je taj pristup blizak jer tako već radi: konstrukcija se provjerava proračunom prije izrade, a program za CNC stroj simulacijom prije prvog reza.
U ovom istraživanju „model“ se pojavljuje dvaput. Prvi je model robota i prostora u simulaciji, na kojem robot uči. Drugi je model koji robot sam izgradi na kraju: kognitivna karta prostora u kojem se našao. Prvi je sredstvo, drugi je cilj.
Robot eMIR i njegov digitalni dvojnik
eMIR (engl. educational Mobile Intelligent Robot) je edukacijski mobilni robot projektiran i izrađen na Fakultetu strojarstva i brodogradnje u Zagrebu. Postojala su tri robota, prepoznatljiva po boji — crveni, plavi i žuti. Za ovo istraživanje izrađen je četvrti, bijeli.[1]
Robot je malen: 300 × 250 mm, 3,15 kg. Pokreću ga dva kotača promjera 80 mm, svaki sa svojim motorom, na razmaku od 240 mm. Skreće tako da kotači idu različitim brzinama, kao gusjeničar. Upravlja njime Raspberry Pi 4B, računalo veličine bankovne kartice, a prostor mjeri rotacijski laserski senzor udaljenosti (LiDAR) RPLIDAR A2 koji skenira svih 360° i vidi do 12 m daleko.[1]
Jedna inženjerska odluka dobro pokazuje koliko model mora biti vjeran stvarnosti. Starije inačice robota imale su reduktore prijenosnog omjera 27 i mogle su voziti do 500 mm/s. Ali na naredbe neuronske mreže reagirale su pregrubo, s naglim trzajima i promjenama smjera. Novi robot dobio je reduktore omjera 71: sporiji je, najviše 185 mm/s, ali vozi mirno — i ponaša se sličnije svom modelu.[1] Model-based pristup ne znači samo dobar softver. Znači i hardver koji se ponaša onako kako ga model opisuje.
Robot radi u poligonu od 4 × 2 m: bijelom ograđenom prostoru s pregradama i predmetima različitih oblika i boja. Isti poligon postoji i u simulaciji. Da bi stvarni predmeti stajali točno ondje gdje stoje virtualni, pri slaganju poligona korištena je proširena stvarnost: na zaslonu mobitela CAD model se prikazuje preko stvarnog stola, pa se predmeti slažu bez metra i bez dodatnog mjerenja.[1]
Deset zraka umjesto tisuće točaka
LiDAR na stvarnom robotu mjeri i do 8000 točaka u sekundi.[1] Da je sve to išlo u neuronsku mrežu, mreža bi bila golema, a učenje sporo. Zato je u simulaciji senzor pojednostavljen na deset zraka, po jednu svakih 36°.[1]
Tih deset brojeva — deset udaljenosti do najbližih prepreka, u metrima — sve je što robot „vidi“. Može se usporediti s brkovima mačke u mraku: ne daju sliku, ali daju dovoljno da se životinja ne sudari i da osjeti prostor oko sebe.
Na stvarnom robotu LiDAR daje mnogo više točaka, ali neuronskoj mreži šalje isti oblik podatka: deset udaljenosti, u istim jedinicama. To je jedan od ključeva cijelog pristupa. Mreža ne zna dolaze li brojevi iz simulacije ili sa stvarnog senzora — i ne treba znati.[1]
Mozak od nekoliko stotina brojeva
Nitko robotu nije napisao pravilo „ako je zid blizu, skreni desno“. Njegovim kretanjem upravlja neuronska mreža: deset ulaza (udaljenosti s LiDAR-a), dva izlaza (brzine lijevog i desnog kotača) i između njih dva skrivena sloja. Isprobane su tri veličine: 5, 10 i 15 neurona po sloju.[1]
Cijelo „znanje“ takve mreže stane u nekoliko stotina brojeva, takozvanih težinskih koeficijenata. Mreža 5 × 5 ima ih 97, mreža 10 × 10 ima 242, a mreža 15 × 15 ima 452.[1] Cijelo ponašanje najmanjeg robota stane, dakle, u tablicu od 97 brojeva.
Što je neuronska mreža?
Matematički sustav labavo nadahnut živčanim stanicama. Ulazni brojevi množe se težinskim koeficijentima, zbrajaju i propuštaju kroz jednostavnu funkciju, sloj po sloj, dok se na izlazu ne dobije rezultat — ovdje dvije brzine kotača. Mreža ne sadrži pravila koja je netko napisao. Njezino ponašanje određuju samo koeficijenti, a „učenje“ znači pronaći koeficijente s kojima se mreža ponaša dobro. Zato je ista mreža mogla voziti virtualnog i stvarnog robota: dovoljno je prenijeti koeficijente.
Evolucija u računalu
Kako pronaći 452 broja s kojima robot vozi dobro? U ovom istraživanju ne računanjem, nego evolucijom.
Postupak se zove neuroevolucija, a nalikuje prirodnoj selekciji. U nultoj generaciji stvori se populacija od, primjerice, stotinu mreža s potpuno nasumičnim koeficijentima.[1] Svaka dobije svoju priliku da vozi virtualnog robota. Prizor je kaotičan: roboti se vrte u mjestu, ubrzavaju bez razloga, zalijeću se u zidove. Vožnja staje kad robot udari u prepreku, kad prođe 1000 koraka simulacije ili kad prijeđe dopuštenu udaljenost.[1]
Zatim slijedi ocjena. Svaka mreža dobiva bodove prema šest mjerila: koliko je prostora istražila, kolikom su se brzinom vrtjeli kotači, koliko su se razlikovale brzine lijevog i desnog kotača, koliko je koraka simulacije prošlo, koliki je put prijeđen i kakav je kut robota prema slobodnom prostoru. Najveću težinu ima istraženost prostora — namjerno, jer se tako robota tjera da istražuje, a ne da samo sigurno vozi u krug.[1]
Dvije najbolje mreže postaju „roditelji“. Nova mreža preuzima dio koeficijenata od jedne, a dio od druge — to je križanje. Zatim se nekoliko koeficijenata nasumično promijeni — to je mutacija. Tako nastaje sljedeća generacija, koja je u prosjeku malo bolja od prethodne. Generacija za generacijom, robot vozi sve bolje.[1]
Što je neuroevolucija?
Postupak u kojem se neuronska mreža ne uči na primjerima s točnim odgovorima, nego oponašanjem prirodne selekcije: stvori se populacija mreža, svaka se okuša u zadatku i dobije ocjenu, najbolje se križaju, a potomci se malo nasumično promijene. Prednost je što ne traži unaprijed poznat točan odgovor, samo način da se ponašanje ocijeni. Zato je prikladna za zadatke poput istraživanja nepoznatog prostora, za koje „točnog“ puta nema.
Rad pokazuje i koliko je važno kako se boduje. Kada bi najveću težinu dobila ravnomjernost vožnje, evolucija bi vrlo brzo „kaznila“ svako skretanje i uzgojila robota koji vozi samo ravno.[1] Ocjena je, drugim riječima, specifikacija. Što se u njoj ne nagrađuje, to se neće razviti. Ta pouka vrijedi daleko izvan robotike — za svaki sustav koji uči iz nagrade.
Robot koji uči na modelu ne postaje pametniji od modela. Ali model dopušta ono što stvarnost ne dopušta: tisuće pogrešaka koje ništa ne koštaju.
Trideset računala i jedna pobjednička mreža
Na jednom računalu učenje je bilo presporo. Najviše vremena odlazilo je na komunikaciju između programa u kojem je mreža (Qt, C++) i simulatora.[1] Superračunalo nije bilo dostupno, pa je rješenje bilo praktično: mreža od 30 običnih računala koja uče istodobno.[1]
Svako računalo trenira svoju populaciju. Nakon generacije izabere se mreža s najviše bodova i podijeli svim ostalim računalima kao nova polazna točka. Tako je učenje ubrzano tridesetak puta.[1] Rad navodi da tu raspodjelu tek treba automatizirati; to je predloženo za daljnji rad.[1]
Tri iznenađenja iz pokusa
Prvo: veća mreža učila je brže. Prije pokusa očekivalo se suprotno. Manja mreža ima manje koeficijenata koje treba pogoditi, pa bi trebala brže učiti. Pokazalo se da najveća mreža, 15 × 15, skuplja više bodova i to u manje generacija.[1] Objašnjenje iz rada: veća mreža ima više mogućih kombinacija, ali i mnogo više kombinacija koje su „dovoljno dobre“. Evolucija ih lakše pronađe.[1]
Drugo: najmanja mreža nije bila dovoljna. Mreža 5 × 5 nije davala dovoljno dobro upravljanje kretanjem.[1][2] To je vrijedan rezultat za praksu: pokazuje donju granicu složenosti ispod koje ovaj zadatak ne ide.
Treće: način na koji robot „osjeća“ udaljenost presudno utječe na učenje. Isprobane su dvije funkcije koje izmjerenu udaljenost pretvaraju u signal za mrežu. Prva je linearna do jednog metra, a sve dalje izjednačava — robot tada reagira samo na svoju neposrednu okolinu. Druga ima oblik sigmoide: vrlo naglo raste kad je prepreka sasvim blizu, a do otprilike jednog metra glatko prelazi u gornju vrijednost — bez oštrog loma kakav ima linearna funkcija. S tom funkcijom krivulja učenja bila je strmija, a rezultati bolji.[1]
Rad to uspoređuje s čovjekom koji prilazi vratima stana. Nekoliko metara prije vrata nije mu važno gdje je točno ključanica. Na dvadesetak centimetara „uključuje“ sve precizniju motoriku da bi ključ ušao u bravu.[1] Riječ je o usporedbi, ne o tvrdnji da robot razmišlja kao čovjek. Ali pomaže razumjeti zašto jedna naizgled sitna funkcija toliko mijenja ponašanje.
Veliki skok: iz simulacije u stvarni svijet
Sve dosad događalo se u računalu. Najvažniji korak cijelog rada najkraće je opisati: koeficijenti najbolje naučene mreže spremljeni su u običnu tekstualnu datoteku i preneseni na Raspberry Pi u stvarnom robotu. Ondje isti algoritam računa istu mrežu, samo što ulazi sada dolaze sa stvarnog LiDAR-a, a izlazi od 0 do 10 pretvaraju se u upravljački signal motora (PWM, od 0 do 1023). Nikakva dodatna upravljačka logika nije dodana.[1]
Što je jaz između simulacije i stvarnosti?
Engleski reality gap: razlika između ponašanja sustava u simulaciji i u stvarnom svijetu. Nastaje jer nijedan model nije potpun. Trenje, zračnost u reduktoru, šum senzora, pad napona baterije i refleksije u prostoru nikad nisu opisani savršeno. Zato upravljanje naučeno u simulaciji često ne radi dovoljno dobro na stvarnom stroju. Metode prijenosa iz simulacije u stvarnost (sim-to-real) pokušavaju taj jaz smanjiti: vjernijim modelom, izborom veličina koje su u oba svijeta iste ili učenjem koje je otporno na razlike.
Rad je predložio vlastitu metodu takvog prijenosa, u tri stadija: učenje u simulaciji, simultano zaključivanje i primjena naučenog na stvarnom robotu u stvarnoj okolini.[1][2] Robot je pušten u poligon čiji je raspored drastično izmijenjen u odnosu na one na kojima je učio. Predmete je poznavao, ali ne i njihov raspored.[1]
Kako dokazati da se stvarni robot ponaša kao virtualni? Provjera je bila nadasve praktična. Iznad poligona postavljena je kamera, a u prvim pokusima na robot je pričvršćena vrećica s pijeskom koja je ostavljala trag po podlozi. Kasnije je trag iscrtavao softver iz video zapisa, pomoću biblioteke OpenCV.[1]
Putanje su bile približno iste. Rad to pokazuje na detalju: kraj istog zelenog valjka robot se u simulaciji i u stvarnosti odmiče jednako, usporedno s njim. Autor ocjenjuje da je ponašanje u simulaciji i na stvarnom sustavu gotovo identično.[1]
Za čitatelja iz proizvodnje najbliža je usporedba koju povlači i sam rad: CAD/CAM/CNC lanac. Obrada se modelira i simulira na računalu, generira se G-kod i šalje stroju — a često ga treba dotjerati jer se upravljačka jedinica u simulaciji razlikuje od stvarne.[1] Razlika je u tome što je CNC obrada deterministička: sve je unaprijed zadano i poznato. Robot koji istražuje nepoznat prostor to nije. Njegovo se ponašanje mora provjeriti upravo u okolini koju ne poznaje.[1]
Kako robot kaže „plavi trokut jugozapadno“
Drugi dio rada odgovara na pitanje s početka: kako robot može o prostoru govoriti ljudskim jezikom.
Dok vozi, robot iz podataka LiDAR-a i enkodera na motorima gradi kartu prostora, rezolucije 2 cm.[1] Na toj karti program pronalazi predmete i za svaki izračuna jednostavan omjer: koliko je veći pravokutnik koji predmet opisuje od površine samog predmeta. Kvadrat ispunjava svoj okvir potpuno, pa je omjer 1. Trokut ispunjava pola okvira, pa je omjer 2. Krug je između, 4/π, otprilike 1,27. Taj omjer ne ovisi o veličini predmeta, samo o obliku.[1]
Zbog šuma mjerenja zadani su rasponi, a predmet izvan svih raspona označio bi se kao nepoznat. U pokusima se to nije dogodilo nijednom.[1] Robot, naravno, prepoznaje samo oblike koje ima u svojoj „memoriji“. I tu rad povlači usporedbu s djetetom: ne možete reći da je nešto lopta ako loptu nikad prije niste vidjeli.[1]
Rezultat nije popis koordinata, nego opis: „plavi trokut jugozapadno“, „zeleni krug južno od središta“.[1]
To je bila i hipoteza rada: da se jezikom osnovnih kognitivnih elemenata može opisati okolina robota i njegov odnos prema njoj te da se spajanjem mjerenja s različitih uređaja dobiva informacija više razine od zbroja pojedinačnih mjerenja.[1] Rad hipotezu smatra potvrđenom.[1]
Što ovo istraživanje dokazuje — a što ne
Za ovaj blog vrijedi pravilo da se uvijek razdvaja ono što je pokazano, ono što je istraživački cilj i ono što je pretpostavka.
Pokazano, u uvjetima pokusa: ponašanje naučeno isključivo u simulaciji preneseno je na stvarnog robota bez ponovnog učenja; robot je istražio njemu nepoznat raspored predmeta; putanje u simulaciji i stvarnosti bile su približno iste; predmeti poznatih oblika prepoznati su bez pogreške.[1][2]
Ograničenja koja rad sam navodi: robot prepoznaje samo pet unaprijed zadanih oblika; to ne znači da bi prepoznao sve što bi sreo u bolnici, školi ili tvornici.[1] Poligon je malen i jednostavan, senzor vidi samo u jednoj ravnini, a Raspberry Pi 4B ima granice za složenije zadatke.[1][2] Parametri mreža i genetskog algoritma određeni su pokusima i, kako rad izričito kaže, sigurno nisu najbolji mogući.[1]
Istraživački cilj, ne postignuće: veći i složeniji prostori, napredniji senzori koji predmete i klasificiraju i „razumiju“, te rad s pokretnim preprekama.[1][2] Pokretne prepreke tek su početno ispitane — robot je vozio dok su se pregrade premještale oko njega.[1]
Jedna napomena iz rada posebno je važna za industriju. Kamera na robotu bila je isključena iz upravljačke petlje jer je neuronska mreža s LiDAR-om bila dovoljna za vođenje. U industrijskoj primjeni, piše autor, kameru bi trebalo vratiti u petlju: sigurnosni zahtjevi traže senzore na više razina, za slučaj da jedna razina zakaže.[1] Ono što je dovoljno za pokus nije dovoljno za pogon.
Zašto je ova priča danas zanimljivija nego 2021.
Ovo je procjena autora, ne rezultat rada. Jezični modeli promijenili su način na koji razgovaramo sa strojevima. Ali stroj u pogonu ne radi s riječima, nego s masom, trenjem, momentom i sigurnosnim udaljenostima. Da bi umjetna inteligencija upravljala takvim strojem, mora negdje naučiti fiziku — a najjeftinije i najsigurnije mjesto za to je vjeran model.
Istodobno, cilj ovog istraživanja — robot koji o prostoru govori pojmovima razumljivima čovjeku — danas djeluje bliže, jer jezik više nije najteži dio. Najteži dio ostaje ono što ovaj rad pokazuje na malom primjeru: pouzdano povezati mjerenja, model i ponašanje stvarnog stroja. O tome govore sljedeći članci ovog serijala.
Što to znači za pogon — i za učionicu
Vlasniku ili voditelju pogona model-based pristup nudi nešto vrlo konkretno: ponašanje stroja uči se i provjerava na modelu, a ne na proizvodnji. Cijena je u tome što model mora biti vjeran — i mehanički, kao što pokazuje zamjena reduktora, i senzorski. Prije ulaganja u „pametno“ upravljanje vrijedi postaviti tri pitanja: postoji li model stroja i okoline koji se ponaša kao stvarnost, kako ćemo izmjeriti razliku između modela i stvarnosti, i tko je odgovoran kada stroj naiđe na nešto čega u modelu nije bilo.
Studentu tehničkog studija ovaj primjer pokazuje da umjetna inteligencija u strojarstvu nije odvojena disciplina. Za pokus su trebali kinematika diferencijalnog pogona, izbor reduktora, elektronika pogona i napajanja, obrada signala, CAD, simulacija, proširena stvarnost i programiranje u C++. Neuronska mreža bila je samo jedan dio sustava — i nije mogla raditi dok ostatak sustava nije bio dobro projektiran.
Tri pitanja za vas
- Koji stroj ili proces u vašem pogonu ili laboratoriju ima dovoljno vjeran model da biste na njemu smjeli učiti upravljanje? Kako biste to dokazali?
- Ako ocjena definira ponašanje, što biste u svom procesu nagrađivali — i koje bi neželjeno ponašanje ta ocjena mogla uzgojiti?
- Robot je prepoznao sve predmete jer je unaprijed poznavao njihove oblike. Gdje u vlastitom radu uspjeh sustava pripisujete „inteligenciji“, a zapravo dolazi od dobro odabranih pretpostavki?
Literatura i izvori
- Pavlic, T. Kognitivni model zatvorene okoline mobilnoga robota temeljen na mjerenjima. Doktorski rad, mentor M. Crneković. Sveučilište u Zagrebu, Fakultet strojarstva i brodogradnje, obranjen 7. 10. 2021.
- Pavlic, T.; Kušec, K.; Radočaj, D.; Britvić, A.; Lukas, M.; Milić, V.; Crneković, M. Cognitive Model of the Closed Environment of a Mobile Robot Based on Measurements. Applied Sciences 2021, 11, 2786. Objavljeno 20. 3. 2021. Otvoreni pristup, licencija CC BY 4.0.
- Video prikaz istraživanja: Cognitive Model of the Closed Environment of a Mobile Robot Based on Measurements. YouTube.
- OpenAI. Introducing ChatGPT. 30. studenoga 2022.
- Crneković, M.; Pavlic, T.; Lukas, M. Programming Language for the eMIR Mobile Robot. Proceedings of the CIM 2015 — 15th International Scientific Conference on Production Engineering, Zagreb, 2015., str. 81–89.