„A szoftverművészet esetében is használjuk az algoritmusokat, a matematikát, a fizikát, de újabb és újabb dolgokat kell kitalálni, hogy vizuálisan meg tudjunk oldani bizonyos kihívásokat.”

Seres Szilvia beszélgetése Papp Gábor kreatív technológussal.

Hogyan definiálod azt, amivel most foglalkozol?

Szoftverművészetnek hívták a 2000-es évek elején, és akkor szoftverművész volt a titulusom. A 90-es évek közepén kapcsolódtam be a területre, de akkor még nem tudtam, hogy itt Magyarországon mások foglalkoznak-e vele. Később létrejött a generatív művészet, és kicsit specializálódtak, finomodtak a fogalmak. A terület általános elnevezése mára a kreatív kód lett, de ezt is sokféleképpen használják. Ma akár egy Telekom típusú cég is kiadhat egy kreatív kóderi álláshirdetést, ami nem ugyanazt takarja, mint amit a művészetben jelent.

A programozás kreatív munka – ami a kreatív kód esetén azonban leginkább a kreatívipari területeket fedi le, és elsősorban a kulturális intézményekhez, színházakhoz, múzeumokhoz, a reklám- és filmiparhoz kapcsolódó programozást jelenti. A játékiparban is ismert terület lett mára. Ma már vannak vizuáliseffekt-alkotó művészek vagy technikai művészek. Utóbbiak egyfajta összekötő szerepet töltenek be a művészek és a programozók között. A játékok ma már olyan vizuális technológiát alkalmaznak, hogy az iparág beemelte ezt a tudást, és nevet is adtak neki. Régen azt gondoltam, hogy ez a fajta kreatívprogramozás, amit én is csinálok, jóval előrébb jár, mint az ipar, ami ezt a típusú kódolást nem tudta hova tenni. Mára viszont ez teljesen átalakult. A kreatívprogramozói jelenlét azonban ma is kevésbé jellemző, ami miatt viszonylag nehéz is munkatársakat találnunk.

Programozóként végeztél?

1999-ben informatika szakon végeztem a Budapesti Műszaki és Gazdaságtudományi Egyetemen, de azt éreztem, hogy ez kevés lesz. Próbáltam a terület oktatási részét is megtapasztalni, ezért 2005-ben elvégeztem egy Art & Technology képzést Svédországban.

Mi vitt el a kreatív rész felé?

Egyrészt nagyon érdekelt a dolog vizuális oldala: hogy a programozás, mint művészeti eszköz hogyan működik, amire maga a programozói szakma nem adott elég rálátást. Ha például weboldalakat készítesz, akkor ma már vannak olyan megoldások, ahol mondjuk WebGL-ben a JavaScript programozási nyelvet kiegészíti a 3D-s számítógépes grafikai lehetőség, ami izgalmassá teheti a munkát. De ez nem általános, mert ez is egy külön szakma, ami ma már inkább a kreatívprogramozáshoz tartozik.

Azt szerettem volna kideríteni, hogy ezt a technológiát, amit tanulunk, hogyan tudom a kulturális szférában vizuálisan használni. Elkezdtem a szoftverek kulturális hatásaival foglalkozni, ami nagyon izgalmas terület. A szoftverművészet esetében is használjuk az algoritmusokat, a matematikát, a fizikát, de újabb és újabb dolgokat kell mindig kitalálni, hogy vizuálisan meg tudjunk oldani bizonyos problémákat, kihívásokat. Ez egy folyamatosan inspiráló és fejlődő terület. Ha egy terméken dolgozol mint programozó, ott megvan az a keret, amiben mozogsz. Művészként is megvan a saját stílusod, de ott is lehetnek korszakaid. A technológia esetében nem nagyon lehet leállni, mert új és új dolgok jönnek ki, ezért folyamatos a tanulás.

Milyen volt a svéd mesterképzés?

A módszerük 2002-ben még úttörő dolognak számított. Előtte indult el a Massachusettsi Műszaki Egyetemen (Massachusetts Institute of Technology) az Aesthetics + Computation Group John Maeda vezetésével, ezt követte első európai iskolaként a svéd képzés, belelőzve Massimo Banzi és csapatát az Arduinóval. A svédeknél az volt az alapkoncepció, hogy a képzőművészeti és a műszaki egyetem együtt szerzett egy külön épületet, ahol közös képzést indítottak el. 90%-ban művészek jöttek, akik technológiát akartak tanulni, hozzájuk képest én a másik véglet voltam, sokkal könnyebb helyzetben. Idővel ez a svéd képzés is átalakult, de Európában több helyen is lett hasonló. Ez volt az első alkalom az életemben, amikor együtt dolgoztam művészekkel. Bár előtte volt egy demoscene-es múltam a 90-es évekből, ami szintén megadta azt az igényt, hogy programozott vizuális dolgokat csináljak kicsit más irányba elindulva. A svéd képzés művészeti koncepcionális projekteiben jól láthatóvá vált, hogy milyen nehéz a két fél között a kommunikáció, ami azóta sem változott sokat.

A programozási nyelvek hogyan változtak?

A kezdetekben sok mindent Assemblyben írtam. Nehezen váltok, és ebben a programban nagyon jól lehetett irányítani, hogy mi milyen sebességgel fusson. Már rég mindenki magasabb szintű nyelvben programozott, amikor én még mindig Assemblyben kódoltam. A 2000-es években a szoftverprogramozás területén mindent mi írtunk meg a nulláról. Aztán megjelentek a grafikus kártyák, ezek sok mindent elvégeztek, de egy olyan irányváltást is adtak, ami előtérbe hozta a 3D alkotásokat. A kártyákat elsősorban a 3D játékok miatt készítették, amelyek ebben az időben kezdtek megjelenni, mert a technológia lehetővé tette. Amikor az eddig fix működésű grafikus kártyák nagyobb szabadságot engedtek a programozásban, és érdekesebb dolgok is elkezdődtek a 2000-es évek közepe felé, akkor kezdett engem is érdekelni a terület. Leegyszerűsítve ez nagyjából azt jelenti, hogy azelőtt egy meghatározott módon tudtál csak 3D testeket megjeleníteni: megadtad, hogy milyen poligonokból, milyen színnel, textúrával jelenjen meg, honnan jöjjön a fény. Ez viszonylag kötött működési mód, kiszámítható látványvilággal. Később lehetővé vált, hogy a testek árnyalását is teljesen szabadon programozhattad, így kinyíltak a vizuális lehetőségek.

Idővel megjelentek a művészeknek készített keretrendszerek, amiből a John Maeda által készített Design by Numbers volt az első, amit oktatásra használtak. John tanítványai kezdték el csinálni a Processinget később az MIT-n, majd a tanítványok tanítványai megalkották az openFrameworks rendszert, ami már C ++ nyelven íródott, és sebesség, valamint lehetőségek tekintetében sokkal közelebb áll a piacon is használt keretrendszerekhez.

Aztán jött a Cinder, amit sokat használtam. Ez már kizárólag a kreatívipar számára készült – szemben a korábban említett eszközökkel, amelyeket csak művészek képzésére hoztak létre –, mérnökök készítették, hogy piaci igényt szolgáljanak ki vele. 2013-ban Cannes-ban a szakma legelismertebb rendezvényén a Cannes Lions-on, azaz a Nemzetközi Kreativitás Fesztiválon nagydíjat nyertek vele innovációs kategóriában. Más irányt jelentetett, bár ugyanarra volt jó, de már ez is leáldozóban van, mert most a játékmotorok futnak, például az Unreal Engine vagy a Unity. Ha ma programozást szeretnél tanítani művészeknek, akkor a Unityt sokkal egyszerűbb megtanítani nekik, mert hozzá vannak szokva ahhoz, amit egy játék adhat látványban technológiában. Ezt egy Processing vagy az openFrameworks nagyon nehezen közelíti meg.

2007-től 2013-ig a Kitchen Budapest ösztöndíjasa, kutatója voltál. Milyen projekteken dolgoztatok?

Sok olyan projekt készült, ami kedves számomra. Az egyik, amin nagyon sokat dolgoztunk, Samu Bence álma volt, aki akkoriban még csak művészeti háttérrel rendelkezett, de aztán nagyon jól beletanult a programozás világába. Németh Péterrel segítettünk neki az Animata elkészítésében, ami egy valós idejű „képszintetizátor”-szoftver lett. A segítségével könnyen lehetett például élőkarakter-animációkat létrehozni úgy, hogy a karaktereket egy meglévő kép és egy arra felépített csontvázrendszer segítségével lehetett „életre kelteni”. A képek különböző mélységekben is elhelyezhetők voltak, amivel térbeli hatást keltettek. A szoftvert kívülről, üzenetekkel is lehetett irányítani. Például az EyesWeb szoftver alakfelismerő rendszerével együtt a karaktereket akár élő szereplők is mozgathatták. Megnyertük a PixelAche fesztivál Software of the Year díját vele. Készítettünk a segítségével egy Fordított Árnyékszínházat is 2007–2008 között: ennek mintája az indonéz árnyékbábszínház volt, amelyben finoman faragott és festett bőrbábok mozognak a képernyő mögött, így a néző mindig csak az árnyékukat látja. Mi egy olyan bábjátékot készítettünk, ahol az emberek a saját mozgásukkal tudták irányítani a bábokat. Ők voltak az árnyékok, akik irányítottak, miközben a bábok láthatóvá váltak és az árnyékok mozgása alapján mozdultak be.

Ma már mindenhol van, de 2007-ben még nem volt iPad vagy érintőképernyő. A KiBuban készítettük el a Multi-Touch közösségi érintőképernyőt, aminél azt vizsgáltuk, hogy hogyan lehet egy felületen több ponton érzékelni, ha hozzáérsz. Hardverestül, szoftverestül két hét alatt raktuk össze játékból. A célunk egy olyan prototípus kifejlesztése volt, amelyen újszerű felhasználói interakciókat tudunk vizsgálni és kifejleszteni. A végeredmény egy 2 × 1 méteres interaktív tábla lett, amin a kezünkkel, az ujjunkkal tudtunk – akár egyszerre többen is – egy vetített tartalommal kapcsolatba lépni. Ezek nagyon fontos tapasztalatok voltak.

Multi-Touch közösségi érintőképernyő, Kitchen Budapest, 2007

Mi volt a legfontosabb tapasztalat, amit a Kitchen Budapest adott?

Amikor a 90-es években elindultam a szoftverművészet területén, akkor még nem igazán volt látható, hogy ebből hogyan lehet megélni, de azért próbálkoztunk. A Kitchen Budapestnél a legfontosabb tanulság, amit kaphattam, az volt, hogy megtanultam, hogyan kell csapatban gondolkodni. Ott vált nyilvánvalóvá számomra, hogy ebben a világban az a brand, amit egy művész képvisel, egy személy köré épül fel, de nekem a csapat sokkal fontosabb. Már Svédországban is látszódott, hogy a különböző gondolkodású és hátterű emberek hogyan tudnak olyan dolgot létrehozni, amit én egyedül nem tudnék. Ez a színházi munkákban is jól tetten érhető: hiszen készítek valamilyen matematikai algoritmusból egy látványt, amit hozzákapcsolok egy ember mozgásához. Ez úgy működik, mint egy hangszer, amin a táncos megtanul játszani. Ez az egész matematikának egy élő, organikus viselkedést ad, amit egyedül, programozóként nem tudnék létrehozni.

A KiBu-ban is voltak ötletek, amiket egy-egy ember talált ki, de csak akkor indulhatott el a megvalósításuk, ha többen melléálltak. Ami elkészült, az persze egy közös alkotás lett, és a végeredmény természetesen eltért attól, ami az kiinduló ötlet volt. Engem a szoftver érdekelt mindig is, de voltak emberek, akiket a hardver, a design, a társadalmi, környezeti problémák – és így tudtunk közösen csinálni dolgokat. Egyrészt tehát a tudás összeadódása volt fontos a KiBuban, másrészt pedig a csapatmunka lehetőséget adott a fiatalabb generációval való kapcsolattartásra és a tudástranszferekre is.

Saját formációtokat, a XORXOR-t 2013-ban hoztátok létre.

A KiBu után alapítottuk meg 2013-ban a XORXOR-t Hajdu Gáspárral és Csík-Kovács Zoltánnal, mert szerettük volna továbbvinni ezt az egészet. Dolgoztunk együtt projekteken Nagy Ágostonnal, Samu Bencével, a MOME TechLabbel, Ruttkay Zsófiával is projektekre szerveződve. Van egy fix mag a XORXOR-ban, de nyitottak vagyunk arra, hogy jöjjenek új emberek. Volt szerencsém dolgozni a Marshmallow Laser Feasttel nemrég, akik egy angol kreatív stúdió, és kiderült, hogy ők ugyanígy dolgoznak: azaz projektre szerveződnek össze, és legtöbbször más csapattal. Jelentkeztek gyakornokok is hozzánk, akiknek örültünk, sőt van, aki azóta is velünk dolgozik. Emlékszem arra, hogy amikor elindultunk, mennyire nehéz volt olyan területet találni, ahol a tudásunkat tudtuk kamatoztatni. Ez ma valószínűleg egyszerűbb, de amiatt is a nyitottságot képviseljük, hogy az indulókat segíthessük.

Sziluett Cinema, Góbi Rita Társulat, 2014 Programozott látvány: Csík-Kovács Zoltán, Hajdu Gáspár, Papp Gábor
Sziluett Cinema, Góbi Rita Társulat, 2014 Programozott látvány: Csík-Kovács Zoltán, Hajdu Gáspár, Papp Gábor

Milyen területre kezdtetek el dolgozni?

Főleg színházi és múzeumi területre. Azok az intézmények lettek a megrendelőink, akiknek vagy kreatív látványra volt szükségük, vagy az erre való igény jelent meg náluk. Dolgoztunk együtt többször például Hiroaki Umeda japán táncos-koreográfussal. Nála egy viszonylag letisztult fekete-fehér látványvilágot hoztunk létre, ahol egyszerű vonalak, pöttyök követik a táncosok mozgását. A táncosokkal való együttműködés azért izgalmas számunkra, mert a táncos teste és mozdulatai adják a bejövő adatokat, amire a saját eszköztárunkkal, sokszor valós időben reagálnunk.

Sziluett Cinema, Góbi Rita Társulat, 2014
Programozott látvány: Csík-Kovács Zoltán, Hajdu Gáspár, Papp Gábor

Mondanál példát múzeumi projektekre is?

A MOME TechLabbel közösen készítettük 2016-ban az Iparművészeti Múzeumnak a Színtükör nevű interaktív installációnkat, ami a Színekre hangolva című kiállításuk kísérőprojektje volt. Ez egy olyan projekt volt, ahol a kiállított tárgyak rendezőelve nem valamiféle koncepció mentén állt össze, hanem egyszerűen csak a színekre koncentráltak. Volt egy piros, egy kék és egy zöld szoba, amiben tárgyakat állítottak ki. Minket azzal kerestek meg, hogy hozzunk létre egy olyan installációt vagy digitális látványt, ami ezt támogatja.

Az általunk kitalált projekt a látogató öltözékének színelemzésén alapult: egy tükör beszkennelte az előtte álló látogató öltözékét, s annak jellemző színeiből palettát állít elő, majd a kiállított műtárgyak közül társította a látogatóhoz azt, amely színben leginkább közel állt a ruhája árnyalataihoz. A kapott eredményből összesítőkép készült, amelyet a látogató elküldhetett magának. A látogatókat jellemző adatokból vizualizációk is születtek, amelyek többek között megmutatták, hogy mely legjellemzőbb színekben jelent meg a közönség egy adott időszak alatt, de azt is, hogy ki volt a legszínesebb látogató.

Ez az installáció múzeumi közegben is ismertté vált. Ahogy beérkezett a látogató a múzeumba, az első szobában találta magát, és az itt kapott személyes élmény rögtön összekapcsolta a kiállítással, illetve végig megmutatta, kereshetővé tette a személyes kapcsolatot a színek révén a tárgyakkal. Ezt a személyességet egy átlagos ismeretterjesztő kiállításban nehéz elérni úgy, hogy valamihez rögtön legyen egy látogatói kötődés. A digitális technológia ezt lehetővé tette.

De készítettünk például a Néprajzi Múzeumnak is egy könyvinstallációt (Bikur Holim adománykönyv, 2014), amit ott nem lehetett kézbe venni és lapozgatni, de a virtuális verziójával mégiscsak hozzá lehetett jutni információkhoz. Ez egy adománykönyv volt, amiben emberek nevei voltak, róluk és a családokról szóló történeteket is el tudtunk mesélni a segítségével.

Rész-Egész, immerzív virtuális valóság installáció, Iparművészeti Múzeum, 2019
Rész-Egész, immerzív virtuális valóság installáció, Iparművészeti Múzeum, 2019

Külföldi múzeumoknak is dolgoztok?

A Design Museum Holon dizájnerpárosokat kért fel arra, hogy a kooperációjukat valamilyen módon jelenítsék meg. Köztük egy Hollandiában élő dizájnerművész-párost, a BCXSY-t. Kitalálták, hogy szeretnének egy libikókát, és ahogyan a libikóka mozog, hozzon létre valamilyen világot, amiben az elektronikától a világ megteremtéséig segítettünk nekik. A látogató egy négy oldalról megvetített, kezdetekben sötét, zárt térbe lépett be, aminek a közepét foglalja el a mérleghinta. Ahogy elkezdenek hintázni a látogatók, a vetítésen megjelenik egy vonal, ami követi a libikóka dőlését. Később ez a vonal kibomlik, felépül belőle egy hegyes-völgyes táj. A mérleghinta mozgatásától függően – például az egyensúlyi helyzet egy megadott ideig való kitartásával – ez a világ különböző dolgokkal, felhőkkel, tavakkal stb. bővül.

Az intézmények mennyire élnek a lehetőségekkel?

A Tünet Együttessel, valamint a SZTAKI Média Technológia Csoportjával készítettük 2007-ben az első közös munkánkat, de utána nagyon sokáig nem volt megrendelésünk. Ennek több oka is van, egyrészt az alacsony költségvetések, valamint az, hogy egy táncdarabnak a próbái egy hónapig tartanak. A technológia miatt ez kevés idő volt akkoriban, de mára az új eszközök megjelenésével ez is változott. Magyarországról a 2010-es évek közepétől lettek megkeresések. A múzeumoknál szintén 2010-től tapasztaltuk azt, hogy rájöttek arra: ha a fiatalabb generációt is be akarják vonni, akkor kellene valami olyat csinálni, ami őket is érdekli. A technológiának próbáljuk megtalálni azt a módját, amitől folyékony lesz: amitől egyértelművé válik, hogy itt mi történik, és azt hogyan kell használni. Korosztálytól is függ, hogy mennyire lesznek sikeresek a megoldásaink.

Emlékszem az Internet.galaxisokra, ami az internet bemutatásáról szólt, és még sokkoló volt, hogy mennyire új ez a dolog. Ma már erről szó sincs, szinte mindenki ismeri, és az is nagyon látszik egy kiállításon, hogy a gyerekek már ebbe születnek bele: ha van egy képernyő, akkor rögtön hozzá akarnak érni és ugyanazokat a mozdulatokat szeretnék csinálni, mint otthon a telefonnal vagy tablettel. Ha viszont más az interakció, akkor nem tudják használni, mert nem tudják értelmezni.

 Jarosch Imre iparművész és Teigler István ötvös közös munkájához, a Heródes-templom makettjéhez készült animációs filmet a XORXOR és a Binaura csapatok készítették.
Jarosch Imre iparművész és Teigler István ötvös közös munkájához, a Heródes-templom makettjéhez készült animációs filmet a XORXOR és a Binaura csapatok készítették.

Koncepcióval vagy konkrét igényekkel keresnek meg benneteket?

A megkereséseknél az egyik tipikus hátrány, amikor a megrendelők ismernek pár technológiát, például a hologramot, az érintőképernyőt vagy a VR-t, és ezeket kérik, csak ebben gondolkodnak. De van több ellenpélda is, amikor koncepciót kapunk és közösen kitalálhatjuk, hogy mi lenne a legjobb megoldás. Erre példa a korábban említett Színekre hangolva kiállítás is. Általában azt szoktuk javasolni, hogy koncepcióból induljunk ki, és közösen készítsük el a terveket, de néha konkrét dolgokat kell megvalósítani. Sokszor adottak a már rendelkezésre álló hardverek, ami szintén nehezítheti a helyzetet és a tervezést.

MOME TechLab SzínTükör projekt, Iparművészeti Múzeum, 2016
Alkotók: Csík-Kovács Zoltán, Hajdu Gáspár, Nagy Ágoston, Papp Gábor, Ruttkay Zsófia, Samu Bence

Piacra is dolgoztok?

A nagy cégek ügynökségeken keresztül dolgoznak, és az ügynökségeknek kellene tudnia rólunk, vagy arról, hogy léteznek ilyen típusú kreatív installációk is, de ők jellemzően hagyományos megoldásokban gondolkodnak. Ez az egyik oka, ami miatt nem dolgozunk piacra. A másik ok pedig az időkorlát. Az ügynökségi projektek általában kéthetesek vagy azonnaliak. Volt már rá példa, hogy piacra dolgoztunk, de ritka, miközben ez külföldön már bevált dolog. Ott nagy cégek működnek együtt kis kreatívcégekkel. Pedig a külföldi dolgokat és megoldásokat itthon is ismerik.

Volt olyan nemzetközi italgyártó cég, aki megkeresett minket. Ismertük a cég korábban külföldön megjelent csodálatos kreatív installációit és nagyon vártuk, hogy itthon is hasonlót hozhassunk létre, de a végeredmény egy hagyományos grafikai reklámterv lett. Ennek lehetett költségvetési oka is, de ha jobban belegondolunk, ezek a munkák rizikósak. Csinálunk valami olyat, amit soha senki nem csinált; technológiát viszünk bele, ami macerás, rengeteg hardvert igényel, és nem biztos, hogy működni fog. Ehhez képest leforgatni egy filmet vagy nyomtatni egy óriásplakátot teljesen biztos vállalkozás. De azért próbálkozások talán már nálunk is elindultak.

Milyen munkán dolgoztál legutóbb?

A Royal Shakespeare Companyval dolgoztam legutóbb technikai művészként. Szerencsém volt megtapasztalni, hogy külföldön hogyan működik és mivel foglalkozik egy hasonló stúdió, mint a miénk. A fejlődés lehetőségét mutatta meg, és itt nem kifejezetten a külföldi piacra gondolok, hanem arra, hogy egy nagyon hasonló gondolkodásmóddal és technikai tudással rendelkező csapat, mint amilyeneket itthon is találni, mit képes létrehozni, ha szabadon alkothat. A vírushelyzet miatt most teljesen mindegy, hogy hol vagy a világban, mert mindenki otthonról dolgozik. Amikor erre rájöttünk, akkor ez új utakat nyitott meg, miközben sok utat le is zárt, hiszen pont a színházak és a múzeumok zártak be egyből.

A Royal Shakespeare Company a Marshmallow Laser Feasttel egy olyan előadást kezdett tervezni, ami új technológiákra épül, és ezeket ötvözi. Az elején egy VR-előadást terveztek, amihez oda kellett volna menni, de a járványhelyzet miatt változott a koncepció, és a projektet azonnal átállították egy interaktív streamelős előadássá. Amikor összeszedték hozzá a csapatot, már eleve az volt a döntés, hogy interaktív, online élményt akarnak létrehozni. Ezért olyan eszközöket raktunk bele, amit egy valós előadáson nem lehet használni. A darab a Szentivánéji álom egy változata volt. Az összes szereplő digitális mozgásrögzítéssel (motion capture) volt mozgatva, ami azt jelentette, hogy valós időben mozogtak egy teremben, és egy ledfalon látták azt, hogy az a figura, amit mozgatnak, éppen mit csinál.

A darabban nemcsak humanoid karakterek voltak, hanem volt például egy gyökérhálózatból összeállt arc, vagy egy sok száz molylepkéből felépülő nagy molylepke, ami repül és szétválik sok kis lepkére, majd újra összeáll. Ráadásul az egész úgy volt felvéve, hogy élő kamerával mozogtak a színészek körül, ami valós időben generált világban mozgatta a kamerát a virtuális avatárral. Ez egy virtual productionnek nevezett dolog, amit mostanában kezd el használni a filmipar is. A Mandalorian című televíziós sorozat is így készült, aminek a vírushelyzet is segített, mert így egy egész filmet fel lehet venni egy 10 × 10 méteres stúdióban úgy, hogy folyamatosan változik a háttér, és nem kell utazni sehova. A darabban ugyanígy volt: a környezetet valós időben hoztuk létre, és ebben mozogtak a kamerák.

Nézői oldalról több interakciós lehetőség is bekerült, volt egy olyan rész például, ahol a nézők világító szentjánosbogarakat dobálhattak be. A térben fénypöttyök jelezték, hogy hol jelentek meg ezek a bedobált bogarak, és a színész arrafelé ment, ahol ezek világítottak.

Milyen visszajelzései voltak az előadásoknak?

Tíz előadás volt, és pozitív visszajelzések jöttek. Hozzáteszem, a nyugati kultúra mindig nagyon pozitív. Ez is nagy élmény volt, hogy mennyire más a munkakultúra egy hasonló nyugati cégben, mint itthon. Ott minden a folyamatos visszajelzésre alapul, és mindig ki vannak hangsúlyozva a pozitív részek, amit itthon is jó lenne megvalósítani, mert ez nagyon inspiráló. Emiatt pedig az ember még többet tesz bele, ami jó a produkciónak és az alkotónak is.

Dream (Álom), William Shakespeare Szentivánéji álom című drámájának feldolgozása fotó: Stuart Martin/Royal Shakespeare Company, 2021
Dream (Álom), William Shakespeare Szentivánéji álom című drámájának feldolgozása
fotó: Stuart Martin/Royal Shakespeare Company, 2021

Mennyi idő alatt készült el az előadás?

2,5 hónap alatt állt össze, és olyan technológiákat ötvözött, ami egyedülállóvá tette. Az erdő szkennelt fákból állt, egyedi avatárokat építettünk fel, amelyek valós időben mozogtak. Volt benne egy faavatár, ami növényeket, virágokat tudott növeszteni, amelyek a mozgástól függően elrepültek. Nagyon dinamikus lett az egész, ami nagyon sok algoritmust igényelt. Volt benne például arctrackelés, ami azt jelenti, hogy a színész arcát is követjük, ami alapján az avatárok is képesek arckifejezéseket megjeleníteni. A zene is interaktív volt, sok része generálódott a színészek mozgásából. Egy webes felületen keresztül a néző interakcióba tudott lépni az előadással. Ehhez járult még a virtuális kamerás rész – tehát tényleg magas szintű technológia volt összerakva.

Lehetett volna nagyon stresszes is az egész, de a munkastílus és a profizmus miatt a feszültség nem volt érezhető. Sok rész nem sikerült olyannak, mint amit a megrendelők elképzeltek, mert nagyon magasra tették a mércét, de így is látványos, egyedülálló, nagyon magas szintű produkció született, ami egy új dolog. Ha színházi előadásént tekintünk rá – mint sokan tették is –, akkor lehet, hogy alulmarad az összehasonlításban, ha viszont K+F fejlesztésnek tekintjük, akkor abban a műfajban extra különleges.

Lehet ez a színház jövője?

Ez is egy eszköz. Azt kell nézni, hogy mi az, ami alátámasztja azt a koncepciót, amit szeretnénk megmutatni. Ez más, mint egy élő színházi előadás, de megnyit olyan utakat, amiket ott nem tudnánk használni. Érdekes és látványos, arról nem is beszélve, hogy nem vagy korlátozva 200 főre, mert megnézheti 2000 ember is. Adhatod a jegyet 100 forintért is, mert akkor is többet fogsz rajta keresni, mint amikor 200 ember ül a teremben. Az előadást ingyenesen lehetett megnézni, és ha interaktívan akartad, akkor került 10 fontba, ami nyilván nagyon csekély összeg. Általában telt ház volt. Az interaktív előadásnál a résztvevői számot 2000 főre limitálták. Ez 10 előadás alatt 20.000 nézőt hozott, ehhez jöttek hozzá a nem interaktív nézők. Remélem, hogy akinek ez döntési lehetőség vagy kényszer, a jövőben meglátja benne a pozitívumot, mert működhet. Ha párhuzamosan tudna haladni a kettő a jövőben, az lenne a legjobb.

A mesterséges intelligencia megjelenik a projektjeitekben?

Deák Kristóf keresett meg minket a Legjobb Játék című film elképzelésével, ahol ipari kamerákkal nézték a teret, és a szereplőknek különböző viselkedési mintákat kellett megjelölni a kamerák képein, majd ezt egy mesterséges intelligencia betanítására használták, aminek révén később elveszítették a munkájukat. Amikor elkezdtünk dolgozni, pont elérhetővé vált egy olyan technológia, amivel kameraképet lehetett analizálni úgy, hogy az emberi alakoknak a formáját, csontvázát elemeztük. Ezt használtuk a filmben. A rendező odaadta nekünk az ipari kamerák képeit, és azokat átfuttattva ezen a rendszeren láthattuk, hogy hol vannak az emberek. A szoftver, amit a színészek a filmben használtak, a valóságban is működő dolog volt, azaz a szoftver detektálta, hogy hol szerepelnek emberi alakok a képen, akiket a színészek kategorizáltak viselkedés alapján. Érdekes volt, hogy a rendező vágyához gyakorlatilag már létezett a bárki számára elérhető szoftver. Így az ötlete és a film kivitelezhetővé vált valós időben, VFX és utómunka nélkül.

Az open source technológiák, hardverek és a szoftvereszközök sok lehetőséget adnak. Segítségükkel a film esetében például lehetővé vált, hogy a gép értelmezze egy ember mozgását. Amíg ez nem volt, addig infrakamerákat használtunk, vagy infraleadeket, amit egy infrakamera nézett. Manapság már elérhetőek olyan ruhák vagy olyan kamerák, amelyeket speciálisan erre a célra fejlesztettek ki. Sőt, a mesterséges intelligencia is szerepbe kerül itt, mert olyan rendszerek vannak már betanítva, amelyek egyszerű kameraképen megmondják, hogy ez egy arc, felismerik annak ismertetőjegyeit, jelzik például egy álló ember végtagjait.

Mindez nemcsak a tudás, hanem a látvány szintjén is megjelenik. Vannak olyan MI-technológiák, amelyek hasonló látványokat tudnak generálni, ha betanítják őket. Ez is visszacsatol a beszélgetésünk legelejére, amikor arról beszéltünk, hogy ha a program generált egy képet, akkor ki a művész: a program vagy aki megírta? Itt ugyanaz történik: betanítunk egy rendszert, és a mesterséges intelligencia a meglévő képekből olyan dolgokat generál, ami elképzelhetetlen lenne nélküle. És ahogy 30 éve, úgy most is felmerül, hogy akkor most „Ki a művész?”.

A 2021-es beszélgetés a Digitális Perspektívák című könyvben is megjelent.

A Digitális Perspektívák megvásárolható az Írók Boltjában, a Műcsarnokban, a Szépművészeti és a Vasarely Múzeumban, a Magyar Nemzeti Galériában, a KAS Galériában, a Ludwig Múzeumban, valamint az ISBN Galériában. Online a digikult.hu-n és a Szépművészeti Múzeum online shopjában.

Megosztom

Comments are closed.