Prima lucrare creată de un algoritm rulând în cloud, la Art Safari

Prima lucrare creată de un algoritm rulând în cloud este disponibilă vizitatorilor de astăzi și până duminică, 21 mai.

Zona de experience de la Art Safari găzduiește un nou portret de Rembrandt, realizat la aproape 350 de ani de la moartea artistului. Autorul portretului este la prima sa lucrare artistică, la vârsta de doar doi ani: vorbim de un algoritm ce a descompus și analizat vreme de 18 luni toate tablourile semnate de Rembrandt pentru a putea asimila stilul, alegerile și intențiile maestrului olandez într-o nouă lucrare.

Un proiect al ING Bank Olanda împreună cu agenția JWT și Microsoft, „Următorul Rembrandt” este adus la București de Microsoft România, iar experiența e disponibilă vizitatorilor la pavilionul Art Safari Exeprience, Galeriile Kretzulescu, Calea Victoriei, nr. 45. Microsoft a asigurat, prin platforma de cloud Azure, considerabilele resurse computaționale și de stocare necesare realizării acestui proiect.

Poate un algoritm să învețe stilul unui mare maestru?

Fundația acestui proiect stă în colectarea și analiza de date vizuale. Cele 346 tablouri ale maestrului olandez au fost scanate la înaltă rezoluție atât 2D cât și 3D, apoi detaliile au fost amplificate prin algoritmi de deep learning rulând pe platforma de cloud Azure de la Microsoft. Întregul proces a durat mai bine de 18 luni și a implicat artiști, programatori, critici de artă, specialiști în date, istorici ai artei și ingineri, rezultând în 168.263 de „unități” vizuale pe care algoritmul le-a învățat și folosit.
Alegerea subiectului a fost făcută urmărind deciziile artistului în opera sa. Predilecția lui Rembrandt pentru portrete a ușurat decizia, dar a asigurat și o cantitate mai mare de date „de învățare” specifice subiectului pentru algoritmul ce urma să creeze „un nou Rembrandt”.

Detaliile portretului au fost stabilite împreună cu critici de artă și experți în opera pictorului, ținând cont de alegerile reale ale acestuia și de contextul istoric al activității lui. Subiectul: un bărbat între treizeci și patruzeci de ani, cu barbă, îmbrăcat în negru, cu guler alb și pălărie.

Odată definit „modelul”, algoritmul a creat imaginea folosind tehnicile de geometrie, compoziție, coloristică și detalii învățate din analiza tablourilor maestrului olandez. Rutine software de recunoaștere facială au analizat și clasificat cele mai des întâlnite geometrii folosite de Rembrandt pentru crearea fețelor și le-au aplicat pentru a genera trăsăturile „modelului” pe pânza virtuală a noului tablou.

„Următorul Rembrandt”  – Imagine versus Tablou

Incluse în algoritmul general, noile trăsături au devenit fața și bustul unui bărbat, vizualizat conform tehnicilor pictorului în termeni de proporție și compoziție. Dar o pictură nu e doar o imagine bi-dimensională, iar un „nou Rembrandt” avea nevoie de mai mult pentru a fi complet.

Odată ce portretul a fost complet, au fost adăugate textură și relief. În urma analizei tehnicii și tușelor tablourilor existente, imaginea creată a fost completată cu informații legate de înălțime pentru a recrea mișcările pensulei și aplicarea culorilor. O imprimantă 3D special dezvoltată pentru reproduceri de artă a aplicat 13 straturi de culoare succesive, recreând realist textura unei picturi clasice pentru cei 148 de milioane de pixeli ai noului Rembrandt.

Portretul este însoțit de o instalație interactivă ce detaliază tehnicile și datele folosite în crearea sa. Pe ecrane asociate tabloului, vizitatorul poate vedea algoritmii și știința din spatele imaginii, precum și a crea propriile tușe vizuale „în stilul lui Rembrandt” cu ajutorul unei pensule virtuale, folosind o variantă a algoritmului dezvoltat pentru proiect.