Matfyzáci vyvinuli softvér, ktorý vo svete nemá konkurenciu
Vďaka ich produktu vám na vytvorenie 3D modelu stačí niekoľko fotografií daného objektu. Je jedno, či ide o milimetrového chrobáka alebo celú mestskú štvrť. Na ovládanie softvéru, ktorý ako prvý na trhu umožnil automatickú registráciu fotografií a laserových skenov v jednom kroku a dodnes poskytuje presnosť a rýchlosť, o ktorej konkurencia môže len snívať, pritom nepotrebujete žiadne špeciálne zručnosti či vybavenie. A možnosti ďalšieho využitia? Už len v spojení s virtuálnou realitou a 3D tlačou sú takmer nekonečné. Nečudo, že ich vyhľadávajú firmy, ktoré digitalizujú kultúrne dedičstvo, ako i herné a filmové štúdiá po celom svete. Za fotogrametrickým softvérom, ktorý je od svojho spustenia jednotkou na trhu, stojí slovenská firma Capturing Reality, ktorú založila trojica absolventov Fakulty matematiky, fyziky a informatiky UK: Michal Jančošek a Tomáš a Martin Bujňákovci. Práve s Michalom (MJ) a Martinom (MB) sme sa porozprávali o výnimočnosti ich softvéru RealityCapture a jeho ďalších aplikáciách, ale i tom, prečo sú radi, že výučba na UK kládla silný dôraz na matematiku a teoretickú stránku informatiky.
Skúste nám najprv priblížiť, ako pracuje váš softvér – ideálne na konkrétnom príklade.
MJ: Povedzme, že pri návšteve múzea narazíte na zaujímavý objekt, napríklad sochu, ktorá vás nadchne svojou originalitou či dokonalými líniami. A to až do takej miery, že sa jej rozhodnete venovať hneď niekoľko záberov. Ak budete pri jej fotografovaní postupovať systematicky, t. j. obídete ju dookola, pričom každú časť sochy nafotíte minimálne z dvoch, ideálne z troch rôznych uhlov, ale zároveň pri tom istom detaile, tak vďaka nášmu softvéru získate z týchto 2D fotiek v priebehu niekoľkých minút trojrozmerný model sochy. Ten si potom napríklad viete vytlačiť na 3D tlačiarni.
MB: Akurát si treba uvedomiť, že fotenie pre fotogrametriu, ako sa vo všeobecnosti tento typ technológie nazýva, nie je o vytváraní umeleckých fotiek. Dôležitá je čo najväčšia hĺbka ostrosti a to, aby objekt zaberal čo najväčšiu plochu fotografie. Jednotlivé zábery sa tiež musia čiastočne prekrývať, aby softvér vedel identifikovať ich spoločné body.
MJ: Fotiť sa dá pritom čímkoľvek – zrkadlovkou, ale i mobilom. Samozrejme, to už závisí od vašej preferencie, ale i toho, v akej kvalite ten výsledný 3D model potrebujete.
Vyžaduje si práca s vaším softvérom nejaké špeciálne zručnosti, ktorými bežný používateľ nedisponuje?
MJ: Nie, žiadne výnimočné zručnosti nie sú nutné, používateľským rozhraním vás totiž prevedie tutoriál po spustení softvéru. Nemusíte byť nevyhnutne technický typ, aby ste to bez problémov zvládli. Šéfka nášho marketingového oddelenia si tesne po nástupe takto bez špeciálnych inštruktáží veľmi pekne zrekonštruovala lodičky.
Na princípe akej technológie váš softvér vlastne funguje?
MB: Úplným prazákladom tej metódy je tzv. triangulácia. Náš softvér v prvej fáze, ktorá sa nazýva alignácia, prepočítava pozíciu a orientáciu fotoaparátu v čase, keď fotografia vznikla, pričom súčasne vyhodnocuje aj iné parametre, napr. ohniskovú vzdialenosť či optické skreslenie. Následne na fotografiách hľadá spoločné body. Ak napríklad do softvéru vložíte fotografie dverí z rôznych uhlov, softvér musí na nich vedieť spoľahlivo identifikovať kľúčovú dierku, i keď sa na každom zábere nachádza na inej pozícii. To je dôležitou súčasťou druhej fázy – výpočtu 3D modelu. Keď už totiž softvér nájde na minimálne dvoch fotografiách spoločný bod, z fotoaparátov, ktoré úspešne lokalizoval počas prvej fázy, akoby „vystrelí“ svetelné lúče. Tie prechádzajú cez identifikovaný spoločný bod a pretnú sa v priestore. Práve nájdenie ich priesečníka, ktorý je tretím vrcholom pomyselného trojuholníka (odtiaľ názov triangulácia), softvéru umožňuje z 2D fotografií postupne vytvoriť 3D model nafoteného objektu. Poslednou fázou je výpočet farieb a textúr.
Využitie vášho softvéru je naozaj pestré. Napríklad firma Studio 727 prostredníctvom RealityCapture digitalizuje slovenské kultúrne dedičstvo. Vďaka tejto spolupráci sa 3D podoby dočkalo trebárs centrum Banskej Štiavnice. Ako dlho trvá realizácia projektu takéhoto rozsahu?
MJ: To je skôr otázka na našich zákazníkov, keďže my ako softvérová firma „len“ predávame licencie na náš softvér, nerealizujeme projekty. Vo všeobecnosti však môžeme povedať, že už len nafotiť to je zdĺhavý a komplikovaný proces. Takéto fotenie je totiž oveľa náročnejšie než fotenie pre mapy. Pre mapy fotíte dronom v systematickej šachovnici a každú nafotenú bunku si zrekonštruujete zvlášť. Pri projekte tohto typu a rozsahu si však len so zábermi z dronu či vrtuľníka nevystačíte. Potrebujete detailne nafotiť ulice, s najväčšou pravdepodobnosťou použijete aj laserové skeny... To sú státisíce záberov. Už samotné fotenie a zhromažďovanie vstupných dát vám tak vezme niekoľko týždňov. V porovnaní s tým je spracovanie naším softvérom už relatívne rýchle.
MB: A presne o to sa snažíme. Aby tou najkomplikovanejšou časťou celého procesu bolo práve fotenie. Keby sa robil takýto projekt pred érou nášho softvéru, bolo by to ak nie úplne nezrealizovateľné, tak minimálne nesmierne zložité. Fotenie by vtedy predstavovalo len zlomok času z toho, čo by zabralo spracovanie dát. Teraz je to naopak.
Váš softvér využívajú aj tvorcovia celosvetovo obľúbených počítačových hier, známy je aj v Hollywoode – trebárs hologramy vo filme Ghost in the Shell vymodeloval práve váš softvér. Čím je pre takýto typ zákazníkov práve váš softvér výnimočný?
MJ: V prípade Ghost in the Shell môžeme bez preháňania konštatovať, že práve náš softvér vznik filmu v tejto podobe vôbec umožnil. A to predovšetkým jeho schopnosť spracovať také masívne množstvo dát za neporovnateľne kratší čas, než ponúka naša konkurencia. Ako skonštatoval Dayton Taylor, šéf firmy Digital Air, ktorá za produkciou filmu stála: „Softvér RealityCapture nebol súčasťou nášho pracovného postupu, ale to bol náš pracovný postup.“ Kým inde by jeden hologram robili polroka, s naším softvérom ho mali za noc. Tak vznikol dostatočný priestor pre kreatívca, ktorý sa s výsledkom mohol hrať, vylepšovať ho, mal čas experimentovať, čo sa výrazne podpísalo pod kvalitu finálneho produktu. Naším softvérom tak vlastne odbúravame nutnosť mať v tíme desiatky až stovky špecialistov na vytváranie 3D modelov. Berieme to tak, že človek, ktorý používa náš softvér, je odborníkom na niečo iné. Čas, ktorý mu ušetríme, tak môže využiť na „šperkovanie“ výsledku.
MB: Práve tento raketový vzostup produktivity a kvality, ktorý ponúka náš softvér, je pre herný i filmový priemysel veľmi lákavý. Medzi zákazníkmi máme napríklad jednu anglickú firmu, ktorá otestovala náš produkt, o týždeň ho kúpila a v momente začala expandovať. Namiesto pôvodných dvoch dní zrazu vedeli digitálnu postavičku do hry dodať za dve hodiny. Z malého štúdia sa tak stala firmou, ktorá začala brať „trojáčkové“ tituly.
Veľmi zaujímavou aplikáciou vášho softvéru sú simulácie vo virtuálnej realite pre záchranné zložky...
MJ: Virtuálna realita je sama osebe silná technológia. Výzvou je však vytvoriť do virtuálneho 3D priestoru práve ten obsah, to prostredie. Ideálne tak, aby pôsobilo autenticky. Sú dve možnosti. Môžete si to namodelovať v 3D editoroch, čo je však veľmi komplikovaná záležitosť – vyžaduje si to špecialistu a veľmi veľa času. Nehovoriac o tom, že i keď umelec vytvorí trebárs zhorený dom, nech je akokoľvek šikovný, ten dom nebude vyzerať ako v skutočnosti, tú „umelosť“ bude z neho cítiť. Alebo tu je druhá možnosť. Zhorený dom si nafotíte či naskenujete a takto získané dáta zveríte softvéru, ktorý virtuálnej realite dodá verný 3D model danej scény. Je to oveľa jednoduchšie, rýchlejšie a navyše ste tak získali autentický obsah. To je pre simulácie ideálna kombinácia.
MB: Tá autentickosť je tam naozaj kľúčová. Veď ak chcete požiarnika, záchranára či policajta pripraviť do praxe, potrebujete mu ukázať reálnu scénu, i keď tam nemusia byť práve pekné veci, na ktoré by sa chcel pozerať. Rovnako si môžete nafotiť autonehodu, ktorú prenesiete do virtuálnej reality. Nováčikovia sa na tom môžu učiť, ako pomôcť zakliesnenému človeku z auta, ako postupovať, aby mu neublížili. V skutočnej realite na takéto zaúčanie a vyčerpávajúce zvažovanie možností nie je čas. Takto sa s často extrémnymi situáciami zoznamujú najprv v bezpečí a bez rizika, vedia si ich predstaviť, učia sa naplánovať si operáciu a koordinovať optimálny postup.
Kde ešte sa váš softvér používa?
MJ: Naši zákazníci rekonštruujú úplne všetko – od mikroskopických organizmov cez malé predmety až po budovy, ulice i celé mestá, kaňony, pohoria... Viacerí sa začínajú hrať s naším softvérom kvôli 3D tlači, robia si napríklad rekonštrukcie svojich rúk. Veľmi rozšírený je aj full-body scanning – vo fotobúdke človeka naraz odfotí viacero foťákov z viacerých uhlov a z toho sa zrekonštruuje jeho 3D model, ktorý sa použije ako postavička v hre. Softvéru je to jedno – preň je to fotografia ako fotografia. Veľkým hitom sa to stáva aj v architektúre: naskenuje sa časť mesta, kde sa plánuje výstavba, dosadí sa tam trojrozmerný model danej budovy a voilà – máte autentickú vizualizáciu toho, ako bude štvrť vyzerať po skončení stavebných prác.
MB: Zrekonštruovať sa však dajú aj scény z filmu či seriálu – Michal napríklad ešte na výške zrekonštruoval obývačku z Priateľov. Takisto si môžete vytvoriť 3D fotografiu svojich blízkych. Tie možnosti sú proste nekonečné. Máme trebárs zákazníkov, ktorí si na základe videí z NASA vytvorili 3D model vnútra orbitálnej stanice.
Existujú vôbec nejaké limity, s ktorými pri práci s ním treba rátať?
MJ: Limitácie má skôr samotná fotogrametria, ktorá má vo všeobecnosti problémy s priehľadnými, lesklými a jednofarebnými povrchmi. V takýchto prípadoch sa totiž softvéru ťažko identifikujú spoločné body. Niektoré typy povrchov sa však dajú zrekonštruovať zmenou snímacej techniky, napr. bielu stenu odporúčame naskenovať terestriálnym laserovým skenerom. Pomáhajú však aj niektoré jednoduché triky, napr. v prípade lesklých povrchov stačí použiť zmatňujúci sprej či detský púder.
Prezraďte nám niečo o svojich podnikateľských začiatkoch. Vraj ste to zvládli rozbehnúť bez investora. Ako sa vám to podarilo?
MJ: Máme za sebou pomerne dobrú doktorandskú kariéru na ČVUT v Prahe, kde sme sa v rámci centra strojového vnímania na katedre kybernetiky venovali výskumu v tejto oblasti. Ešte počas štúdia sme spravili program s názvom CMPMVS určený pre výskumnú komunitu na nekomerčné účely. Robil len malú časť z toho, čo náš softvér dokáže dnes, a to oveľa horšie a pomalšie, no napriek tomu si ho počas dvoch rokov stiahlo viac než 30 000 ľudí. To sme brali ako pozitívnu validáciu trhu, takže sme sa rozhodli, že ideme do toho. Uvedomovali sme si však, že v komerčnej rovine je táto verzia softvéru nepoužiteľná a budeme ju musieť celú prepísať. Preto keď sme skončili doktorandské, dali sme výpovede v práci, založili firmu, sadli za počítač, celý softvér prepísali a vylepšili a v priebehu polroka sme už mali funkčný prototyp, ktorý sme začali predávať. Veľmi rýchlo sme získali platiacich zákazníkov, takže sme dokázali to úvodné obdobie zvládnuť bez externých investícií.
MB: Je inak zaujímavé, že jeden z úplne prvých predajov prišiel práve z vedeckých kruhov. V roku 2014 sa nám pred dverami kancelárie znenazdania zjavila pani, ktorá sa predstavila ako profesorka antropológie z University of North Carolina v USA. Pamätáš sa? Zhodou okolností bola vtedy na Slovensku, a keďže dostala na nás odporúčanie, prišla za nami. S kolegami vtedy skúmali praveké maľby a rytiny na kameňoch v Juhoafrickej republike. Ukázali sme jej, ako si z fotiek môže jednoducho spraviť 3D model, ktorý môže ľubovoľne otáčať, zväčšovať, dokonca môže po ňom vo virtuálnej realite chodiť ako po planéte. To ju nadchlo. Veľmi rýchlo si náš softvér (vlastne ešte len jeho beta verziu) kúpili. O čosi neskôr nám písala, že sa im vďaka tomu podaril významný objav. Akonáhle totiž jednu kamennú maľbu preniesli do trojrozmerného priestoru, odstránili textúru a nasvietili to zboku, na slonovi zbadali sedieť postavičku človeka. To bola pre nich veľká vec, lebo z toho obdobia sa nenašiel žiadny iný záznam o tom, že by bol slon domestifikovaný, a už vôbec nie v tejto oblasti.
Predaj softvéru ste spustili v roku 2016. Odvtedy ste jednotkou na trhu. Čo vaše ďalšie plány a ambície?
MJ: Cieľom je udržať náš produkt na trhu čo najdlhšie, neustále ho vylepšovať a naďalej si udržiavať dostatočný náskok pred konkurenciou. Keďže sme momentálne na špici, to, že práve my prídeme s novými riešeniami, sa od nás tak akosi očakáva. Preto veľmi veľa investujeme do komerčného výskumu, skúšame rôzne technológie, testujeme, čo sa dá kam posunúť, niečo implementujeme, niečo prototypujeme... Ten priestor na zlepšovanie je stále obrovský. Momentálne dávame dokopy AI tím, teda hľadáme ľudí z oblasti umelej inteligencie, ktorá by nášmu softvéru mohla pomôcť s detekciou pohyblivých objektov, oblohy, vegetácie, dopravných značiek a podobne. Všetci tí, ktorí majú k tejto oblasti blízko, majú u nás dvere otvorené.
MB: Špeciálne sa potešíme absolventom z FMFI UK, našej alma mater. Nie je to o žiadnej nostalgii, naša skúsenosť je jednoducho taká, že Matfyz produkuje najlepších ľudí na trhu. Viacerí naši developeri v tíme študovali práve tam. Nehľadáme však len softvérových vývojárov, vítaní sú aj absolventi kartografie a geoinformatiky, ale i manažmentu či marketingovej komunikácie. Inak študentom, ktorí by mali záujem, cez leto ponúkame stáž. Nie je o skenovaní dokumentov a varení kávy, ale o naozajstnom vývoji a výskume.
Ako si vlastne spomínate na štúdium na UK?
MB: Bolo to náročné štúdium, ale som veľmi rád, že učitelia od nás tak veľa vyžadovali. Kládli silný dôraz na matematiku, ako i na teoretickú stránku informatiky. To je veľmi dôležité. Pretože trendy toho, ako sa informatika vyvíja, sa menia každý polrok, ale ten teoretický základ ostáva stále rovnaký. Keď mu človek rozumie, vie sa veľmi rýchlo adaptovať. Ale keď nechápe základ, je ako jednorazová baterka – akonáhle sa „vybije“, pre inovatívny pracovný trh stráca cenu, miesto mu rýchlo vyfúkne konkurencia. Preto som rád, že nám práve toto na výške zdôrazňovali.
MJ: Dúfajme, že nepoľavia. Snáď ešte pritvrdia.
MB: Plne to podporujem. Aby sa na to naozaj nešlo štýlom: „Viac študentov (hoc aj na úkor kvality), viac peňazí pre fakultu.“ To by bolo veľmi krátkozraké. Treba si uvedomiť, že vysoká škola musí vychovávať odborníkov, ktorí vedia vytvárať ťažké systémy. Všetko ľahké totiž onedlho nahradí umelá inteligencia. Produktom päťročného vysokoškolského štúdia by preto nemal byť absolvent, ktorý dokáže len „pekne formátovať kód“. To by bolo mrhanie prostriedkami i časom, veď to zvládne už šikovnejší stredoškolák. Výška musí vychovávať ľudí, ktorí budú vedieť formulovať algoritmy umelej inteligencie. Tých je aj bude stále málo.
Erika Hubčíková