Дълго ще се спори могат ли алгоритмите да създават изкуство. И докато спорим… ето го това изкуство.

Технологията Deep dreaming – „дълбокият сън“, ни издава какво виждат алгоритмите на изкуствения интелект, преди обективно „да си свършат работата“. И картината е магична, свръхреална, спокойно може да се припише на човешки артист. Защото надниква отвъд видимото, открива в снимките и картините свои шаблони, акценти и нюанси, образи, които вълнуват.

А нали тъкмо това е изкуството?

Пионерното технологично решение, което го наподобява… се ражда от кошмара на един програмист.

При това ни дава не просто изключително интересни изображения, но само ни помага да разберем по-добре една от най-нашумелите напоследък технологии. А дори… може за да окаже полезно средство, за да научим още и за самото човешко творчество, за начина на работа на мозъка ни, за отношението ни към Вселената.

Аз съм Сънчо

18 май 2015 г. Александър Мордвинцев не спи спокойно, върти се в леглото и изведнъж… усеща, че в дома му е влязъл неканен гост! Отскоро работи в „Гугъл“ и живее на квартира в Цюрих, там е с бременната си съпруга и 3-годишния им син. Александър се оттърсва от съня и…

Разбира, че усещането е било кошмар, за щастие няма крадци. Но вече се е разсънил, не иска да буди семейството си и сяда зад компютъра, за да поработи. Замисля се: а как ли сънуват невронните мрежи?

Мордвинцев пуска в ход идеята, която му се е присънила преди малко… и го среща първата впечатляваща картина. Променя малко параметрите и отново е изумен. Вижда как на алгоритъма също „му се присънват“ изключително интересни образи.

Картина, като от LSD „пътешествие“, само че произведена не от халюциногени. А от алгоритми.

Понякога ще идвам във съня ти

В 2,32 ч Мордвинцев пуска видяното във вътрешната мрежа на тогавашния „Гугъл плюс“ за служителите на компанията. „Не съм сигурен дали наистина беше добра идея да изпробвам дълбока невронна мрежа в 2 часа“, пише той. И добавя: „Как да спя оттук нататък?…“

Това изображение се оказва първото в цялото научно направление „дийп дрийминг“. То ни показва как сладкото котенце се превръща в зловещо същество, като че ли излязло от халюциногенен сън. Първият „дълбок сън“ остава в историята с тематичното име „звярът от кошмара“.

Слънцето никога не залязва над инженерните центрове на „Гугъл“, снимката бързо привлича погледите на впечатлени колеги от другия край на планетата. След секунда идва първият лайк, гарниран с коментара „Очите ми! Очите ми!“. За нула време получава повече от 100 коментара, казват му, че видяното напомня книгите на Лъвкрафт и Мордвинцев е отприщил тъмните сили.

Колелото се завърта и след броени дни, на 17 юни 2015 г. „дийп дрийминг“ стига до света.

Така изглежда самият Мордвинцев по времето, когато създава алгоритъма.

Сън сънуваш, ой нерадост, опустяла младост

Това, което е хрумнало на Мордвинцев, е много малка, но гениална идея, която позволява да се родят изображенията, които виждате.

Дълбоките невронни мрежи са висшият пилотаж в областта на изкуствения интелект. Първоначално го свързвахме с машинното самообучение, а после се оказа, че то е само първата стъпка. Че алгоритмите му могат да бъдат „впрегнати“ в значително по-мощни структури, в които работят един до друг в слоеве, понякога „пържейки“ видеокарти, за да се допълват. Всичко това направи възможен напредъка, който днес виждаме в толкова много направления.

И ето, оказа се също, че тъкмо тези супермощни комбинации от алгоритми… могат да сънуват. Това ни показа несъстоялият се сън на Мордвинцев.

По това време е наскоро назначен служител на „Гугъл“. Въпреки че иска да се занимава с дълбоки невронни мрежи, работодателите му преценяват, че в екипите, които се занимават с това, има много хора, а той ще е по-полезен в проекта SafeSearch, чиято цел е да филтрира резултатите от търсенията за порнографско съдържание.

Мордвинцев в едно от първите подобни изображения

Маншон, Полуобувка и Мъхеста брада

В „Гугъл“ обаче имат оригиналната практика да позволяват на служителите си един ден в седмицата да работят по друг проект на компанията и Мордвинцев, разбира се, се насочва към любимата си тема.

Именно тя е в главата му и в онази нощ на знаменитото откритие. Той обаче знае, че няма достатъчно опит, за да развие идеята, затова в работата се включват двама негови колеги от „Гугъл“, впечатлени от поста му. 22-годишният тогава Крис Ола е още стажант в компанията, дошъл като млад талант. Спечелил е стипендията „20 под 20“, която му дава средства, за да изостави университета и да се насочи към работата.

Тройката допълва Майк Тика от офиса на „Гугъл“ в Сиатъл. Той пък има дълги години като биохимик, преди да се насочи към компютърните науки. Занимава се с тези технологии на изкуственияа интелект, които ще помогнат в разработката на нови лекарства. Но освен това е човек на изкуството – има авторски изложби като скулптор, произведенията му са вдъхновени от биохимичната му работа.

Тримата не се срещат нито веднъж на живо, но само за месец успяват да подготвят знаменития блогпост, в който показват на света изкуството на алгоритъма. Първо се чудят дали да не го направят под формата на научна публикация, но решават, че по-важно е идеята да стигне бързо до повече хора.

Някои от образите, „измислени“ от алгоритъма в оригиналния блогпост.

Тройка на разсъмване

В снимките, обработени от тримата чрез дийп дрийминг, планините се превръщат в пагоди, листата стават птици. В чистите фонове се появяват изящни ангели и зловещи демони. Крис Ола вижда и нови животни, нарича ги прасеохлюв, камилориба, птицокуче.

Първоначално наричат направление „интерсепционизъм“ – игра на думи със заглавието на фирма „Генезис“ (Inception) и думата за прекъсване – “interception”. В „Гугъл“ обаче се оказва, че вече има проект с това име, така се стига до промяна в названието и идва „дълбокото сънуване“.

А това название може би звучи метафорично, но е доста близо до действителността. Дълбоките невронни мрежи по същество представляват поредица от слоеве алгоритми, които анализират подадената информация. Накрая, на базата на прецизен анализ, връщат отговори. Например, способни са да определят кой е човекът на снимката.

Неслучайно се наричат „невронни мрежи“ – начинът им на обработка прилича на това, което се случва в мозъка ни. Всеки слой получава информацията от предходния и я предава нататък, оценявайки различни нейни параметри. Накрая идва последният слой, който трябва просто да изведе оценката, да направи класификацията на базата на всичко дотук.

Сънят безкрай, когато се измъкнеш

В случая се използват конволюционните невронни мрежи, чиято задача е да обработват изображения. Картинките биват превърнати в компютърен код и „неврончетата“ започват да ги обработват, търсейки закономерности. Често задачата им е да направят класификация – например да могат да преценяват какво е изображението на снимката – дали е човек или хамстер.

За да се случи това, те трябва да бъдат тренирани с огромен обем данни, на базата на които да настроят фините си параметри. И след това са готови за работа – можете да им изпратите снимка и те с изумително голям процент точност да познаят какво има на нея.

Само че доскоро оставаше енигма точният им начин на работа, това, което се случва в самата комуникация между слоевете. Именно тук се включи концепцията за „дийп дрийминг“. Идеята на Мордвинцев е да се усилят онези параметри, които алгоритъмът е преценил като важни, и да се визуализират, преди да се осъществи самата класификация.

Невронните мрежи през последните години се доказват като изключително успешно решение, например в лицевото разпознаване или обработката на естествени езици, но истината е, че до момента не знаем точно какво се случва в тях. Целта на Мордвинцев е да „надникне в мозъка“, да види как работи мрежата. Именно това успява да постигне. Макар и да не предполага, че то ще се изразява в съновиденията – мечти и кошмари, които виждате.

От сън спомен не остава

Мордвинцев прекъсва работата на конволюционната невронна мрежа, преди да е дала резултата си и ни показва какво вижда тя в обработката си до момента. След това той подсилва някои от входните параметри, за да се откроят нещата, които са я впечатлили.

С други думи, Мордвинцев просто променя задачата на мрежата – от това да ни каже какво има на една снимка към това да генерира нещо, което може би не съществува на нея. Доста различна парадигма…

Ако това се случи в първите слоеве, се забелязват само някакви по-общи щрихи – форми, цветове. Колкото по-„навътре“ се отива, толкова по-сложни стават обектите. Виждаме как мрежата откроява очи, форми. Първите слоеве засичат текстури, после фигури и накрая обекти.

Понякога малки настройки на алгоритъма създават съвсем различно изображение.

Бродница сънна в бездънна гора

Именно малко преди края на работата ѝ се появяват и най-зрелищните изображения, тези, които напомнят халюциногенни картини.

Сходството с тях съвсем не е случайно. Карл Фринстън, професор по невронауки от Лондон казва, че тези изображения „много точно показват нещо, което си представяме като резултат на психеделици или по време на халюцинация и това е напълно осезаемо“.

Метафората със съня в названието на технологията е прецизно насочена. Красивите или страшни картини, които виждаме, докато сме в покой и мозъкът ни обработва случилото се през последния ден, очевидно дори и визуално напомнят това, което „минава“ през слоевете на невронната мрежа.

Lucy in the Sky With Diamonds

Доста добро обяснение дава колегата на Мордвинцев Крис Тика. „Има дълбока връзка между начина, по който работят визуалните невронни мрежи и мозъкът ни. Ето защо според мен не е учудващо, че се забелязват сходни резултати. Ако използвате например химически стимуланти, това обърква невроните и предаването на синаптичните сигнали, получавате странни свръхинтерпретации и изкривявания. Мисля, че тук имаме пълна аналогия. Смятам, че изследването на невронните мрежи може наистина да ни помогне да разбираме по-добре и биологичните“.

Нашите мозъци „приютяват“ около 100 милиарда неврони, свързани с все още недокрай изучените 100 трилиона връзки. И, видим ли нещо, работят на сходен принцип. Имаме първоначална обработка на информацията във визуалния кортекс, който идентифицира линиите и ъглите. После данните отиват в частите от мозъка, които изпълват смисъла с образи – лица, очи, ръце. Накрая имаме оценката, която минава и през спомените и езиковите ни знания, за да определим какво виждаме.

При невронните мрежи принципите са сходни. Да, като обеми на връзките те все още са далеч от нашите показателите, по-близки са до доста по-ранни еволюционно форми на живот. Но бързо крачат напред. И освен това, в някои области се оказва, че вече „работят“ по-добре от човешкия мозък.

Спи градът в безшумните тъми

В първите дни след появата си, темата се превръща в хит. Всеки може да си поиграе със свои изображения, да се позабавлява със зловещите очички, които се появяват на портрета на тъщата… после, както с всеки хит, интересът позалязва. Обективно обаче дийп дрийминг навлиза сериозно като направление в областта на невронните мрежи и в близките години със сигурност ни очакват още интересни резултати.

Все повече се налага и като решение тогава, когато трябва да се оцени дали една невронна мрежа работи добре, дали архитектурата ѝ е правилна.

В началото тримата от „Гугъл“ използват вече тренирана невронна мрежа с често използваната в тази сфера колекция от данни ImageNet. Тя включва 1,2 млн. изображения с 1000 класа, цели 118 от които са породи кучета. Разбира се, това си личи и в самите изображения. По-късно идеята е приложена върху най-различни колекции и невронни мрежи. Дори и при такива, работещи с текст.

А за учените в тази сфера е важно и как точно изглежда обработката, това им дава много информация как и защо „вижда“ алгоритъмът. По какво се отличава от начина на работа на мозъка ни и по какво си прилича.

Например: често на изображенията от дълбокото сънуване се показват гирички. Човек би предположил, че за „компютърния мозък“ това ще са предмети с метален вид, издължени, в средата по-тънки и с широки тежести в края. Оказва се обаче, че по-скоро се открояват метални предмети, които са свързани задължително с човешка ръка.

Дийп дрийминг започва да генерира впечатления и интересни изображения дори ако му се подаде едноцветен кадър, случаен шум или еднообразна текстура. А дали… това не е начинът, по който работи въображението и на хората? По който всички ние мечтаем?

Сън ли, C

Откритието отваря много технологични, но и философски врати. Може би генерирането на образи с невронни мрежи може да промени представите ни за човешкото възприятие и творчеството.

Днес и тримата герои продължават да работят в „Гугъл“. Малко след откритието си Мордвинцев е прехвърлен в мечтания екип, където се занимава с лицево разпознаване. После се специализира в търсенето на още и още алгоритми, които са свързани с генерирането на изкуство, някои от тях също са впечатляващи. През 2021-а – 6 години след „кошмарната нощ“, той се зае по своеобразен начин да пресъздаде отново алгоритъма.

Идеята му идва, след като искат от него изображение, което да бъде включено в колекцията K21, събираща „изкуството на следващите 100 години“. Мордвинцев иска да пусне първоначалния си код, тогава е написал едва 30-ина реда, които са свършили цялата работа. Те обаче „не палят“, тъй като използват много външни библиотеки, които междувременно са променени. Затова програмистът се заема да напише всичко отначало. Избира класическия език C. Новият базов алгоритъм е вече от 1000 реда код, и, както казва създателят му, не зависи от никакви външни фактори. Ще може да се подкара винаги, докато C върви поне на един компютър.

Тематично тази програма – наречена deepdream.c, е продадена под формата на незаменяеми токени – NFT.

Сладки сънища

И така, дали това е изкуство? Нещо, създадено от нищо? Нещо, видяно и разтълкувано?

Както казва колегата на Мордвинцев Майк Тика, „ако мислим за човешката креативност, един малък компонент от нея е умението да събираш впечатления и да ги рекомбинираш по интересни, неочаквани начини. Яко е да видиш компютрите да забелязват неочаквани неща, които на хората не биха им хрумнали“.

Даваме думата и на Мордвинцев. „Мисля, че Пикасо е казал: „Аз никога не съм правил изкуство, аз правя само проучвания“. Разбира се, това е прекалено опростено. Учените трябва да цитират източниците си и да обясняват как ги използват. Да отделят време, за да покажат това, което правят, в рамките на нещата, които някой е направил преди тях. В изкуството не е така. Освен това, за мен произведение на изкуството е и малкото парченце код, което качих някога в Github. Кодът винаги е бил моето изкуство. Кодът е моята четка за рисуване“.

Пчелата, кацнала на слънчоглед се превръща в тази картина

Над сънния Люлин, прибулен

Тук можете да видите GitHub хранилището, където и аз си „поиграх“ с дълбокото сънуване за някои от изображенията, които виждате. А ако се увличате от компютърния код, можете да използвате този, за да се позабавлявате и вие, не е нужен някакъв кой знае колко специфичен софтуер.

А дори изобщо да не се занимавате с програмиране, пак можете да поекспериментирате тук. Ще се радвам после да споделите резултата.

Изкуственият интелект ще продължава да е магия или просто мошеничество в ежедневието ни. В негово лице имаме все по-мощно оръжие, което тепърва се учим да използваме. Но, както си личи от дълбокото сънуване, понякога просто една добра идея може да покаже как ръка за ръка човекът и алгоритъмът са способни да създават изкуство. Да създават своеобразна красота… а, както помним от добрия стар сънародник на Мордвинцев, тъкмо тя и никой друг ще спаси света.