„Създавайки истинския ИИ, имаме право само на един опит“

юни 19, 2026 | Срещи

„Създавайки истинския ИИ, имаме право само на един опит“

19 юни 2026 | Срещи

За генералния изкуствен интелект говорят всички. Огромната следваща стъпка, която ще ни изправи пред колосални и непредвидими предизвикателства като вид. Ето че една от първите научни конференции по тази тема се състоя в Югозападния университет в Благоевград, а неин организатор беше днешният ни гост.

Димитър Добрев е изследовател в областта на изкуствения интелект и математическата логика, преподава в СУ. Автор е на разработки за дефиницията на ИИ, за създаването на генерален ИИ, за риска първият истински изкуствен интелект да се окаже и последен. Както казва той, преди да пуснем духа от бутилката, нека поне да сме решили какво искаме от него.

Говорим за интелекта като сила, за наивността към бъдещето, за контрола, регулациите, отворения код и за онзи прост, но плашещ въпрос:

Ако не знаем какво бъдеще искаме, как очакваме да го получим?


 

– Неотдавна организирахте конференция, посветена на задаващия се генерален изкуствен интелект. Всеки от технологичните лидери непрестанно говори за него, но имаме ли вече ясна дефиниция как ще изглежда? Как ще разберем дали сме го постигнали?

– Според мен генералният изкуствен интелект е единственият истински ИИ. Това, което е в ютията, в прахосмукачката или в чата, все още не е ИИ, а маркетингов трик.

Но какво е изкуствен интелект? Това е един въпрос, с който доста съм се занимавал. Обичам да се хваля, че ако напишете в гугъл „дефиниция на изкуствения интелект“ на английски, първият резултат е от мен. Ясно е, че има много дефиниции, но сигурно не е случайно, че първа излиза моята. При мен тя е, че ИИ е

компютърна програма, която в произволен свят се справя не по-зле от човек.

Преди мен дефиниция на ИИ са дали хора като Пей Ванг и Маркус Хутър, които също участваха в конференцията.

 

 

– Важи ли обаче все още тази дефиниция? И доколко я предизвикват днешните модели?

– При тази наша стара дефиниция има един недостатък –

можеш да си умен, без да го показваш.

При старата дефиниция ИИ това са успешните програми, които демонстрират своята интелигентност. Но освен тях има и други умни програми, които също са ИИ. Наистина, за да си успешен, трябва да си умен, но обратното не е вярно.

Сега е моментът, в който трябва да изберем какъв ИИ ще създадем. Скоро ще пуснем духа от бутилката и трябва да се спрем на правилната бутилка с правилния дух. Щом е ИИ, значи ще е умен. Обаче в момента, в който ние трябва от всички умни ИИ модели да изберем един, ситуацията е както когато човек трябва да си избере партньор с идеята да остане с него до края на живота си.

Избираме бъдещия ИИ дори по-окончателно, защото тук няма възможност за развод.

Първия истински ИИ ще го създадем хората, но кой ще създаде втория, втората версия? Ами, няма да сме ние. В момента, в който имаме нещо, което е много по-умно от нас, вече няма как да се състезаваме с него. Копали сме с лопатата, само докато не е имало багер – откакто го има, с него се прави всеки голям изкоп.

Състезанието вече ще е невъзможно. Когато се създаде първият ИИ, може би ще му кажем: „Сега искаме да се промениш, да се подобриш, да се редактираш, да се усъвършенстваш“. И той може би ще го направи.

Въпросът е дали ще ни слуша, което зависи от това какъв сме го направили.

В момента сме в една много голяма неизвестност. И хората много често се отказват да мислят по въпроса.

 

– Не ни е и по силите. Но отдавна и Рей Кърцуейл така казва – че идва сингулярността и оттам нататък не знаем нищо – ще сме постигнали творение, което ни достига, а на следващата стъпка ни надминава. Но кои са тези важни неща, според вас, които трябва да му въплътим и да имаме предвид, когато създаваме този генерален изкуствен интелект?

– Направим ли го, оттук нататък вече ще бъде много по-умен от човека и това е неизбежно.

Нещата, за които трябва да помислим, са две. Едното е да не го изпуснем от контрол. Когато братята Райт са направили първия самолет, това, което всъщност са открили, е кормилото, с което да го управляват. И преди това е имало крила, и преди това е имало двигатели, които да го издигнат във въздуха, но те всъщност са открили точно как да управляват самолета и това се е оказало много важно.

Ние в момента мислим как да създадем генералния ИИ и как да го направим умен. Мислим за крилото и за двигателя – как да се издигне във въздуха, но не мислим за управлението.

И въобще не си даваме сметка, че трябва да го управляваме.

Ако направим генерален ИИ, който не се управлява, това ще е катастрофа за всички, не само за пилота. Защото всички ще сме се качили на този полет.

 

– Дали наистина обаче все още имаме шанс да го управляваме?

– Има доста забавни предложения как това да се случи. Примерно Маркус Хутър казва да го направим самоубиец. Всъщност не е трудно математически, функцията за награда ще я направим отрицателна.

Така ИИ ще иска колкото се може по-скоро да прекрати този гаден живот, в който получава само отрицателни оценки. Той ще е потенциален самоубиец, но няма да се самоубие веднага, защото няма да е достатъчно силен. Постепенно ще натрупа някаква мощ и като вземе властта, първата му работа ще е да се самоубие.

Но дали тогава няма да избере групово самоубийство, да ни вземе със себе си?

Друга шантава идея е с атомни бомби да разрушим електроцентралите, да му спрем тока и по този начин да се отървем от него. Не е толкова просто.

Въобще тази идея, която имаме от филмите, как воюваме с ИИ, е много наивна, детска. Защото ти можеш да воюваш с някой, който е равен с теб, а не с някой, който те превъзхожда несъизмеримо.

Да воюваш с духа от бутилката. В приказката този, който пуска духа, след това успява да го излъже да се прибере обратно. Но това няма как да се случи, ако духът е толкова силен. Единственият шанс да го „излъжем“, е да сме поставили тази възможност навреме. В тази програма ние залагаме нейните цели. И сега, докато пишем програмата, е моментът да помислим какви ще са тези цели. После ще е вече късно.

 

– Как тогава би трябвало да изглеждат тези ограничения?

– Със сигурност не е добра идея сегашният подход – да награждаваме ИИ за това, че изпълнява дадена цел. Представете си една програма, когато има цел, устремила се е към нея и я гони безскрупулно. Определено не искаме да живеем с тази програма.

При хората, ако вземем само удоволствието и болката като функция на наградата, то най-успешни ще са алкохолиците и наркоманите. Те непрекъснато си доставят удоволствие, не изпитват болка… Затова и подходът ни към бъдещия ИИ трябва да е значително по-многопластов.

Ако създадем един ИИ с червен и зелен бутон и го възпитаваме – хвалим, натискайки зеления и наказваме с червения, то той ще се научи сам да си натиска зеления бутон или ще ни пороби и ще ни принуди ние по цял ден да го натискаме. Въобще не е добра идея да има твърд критерий за успех.

Човекът няма такъв твърд критерий за успех. При хората има удоволствие и болка, които са само ориентировъчни. Човек е готов да изтърпи болка, ако смята, че това ще му донесе някакви ползи, както е готов и да се откаже от много удоволствия, ако пък смята, че е добре за него. Удоволствието и болката при хората са относителни.

Това е големият въпрос – как да управляваме ИИ? Той ще си има характер – както говорим за характер при хората, така ще говорим и при него. Има неща, които могат веднага да се зададат с формула, да кажем търпението, но и други, които са субективни – като любопитството. При този процес ти си събрал информация и на базата на нея планираш някакви действия. Обаче, ако си любопитен, ще продължиш да правиш експерименти, за да събереш още информация. Ще загубиш някои непосредствени ползи, но любопитството ще ти донесе полза в бъдещето.

Има предпазливост, страх – все човешки качества. Някои от тях можеш доста добре да ги опишеш с формули, но за повечето е много трудно.

 

 

– Дори да съберем някакви критерии и изисквания, моделите стават достъпни, например тези с отворен код днес имат много сериозни възможности. Има ли шанс изобщо да поставим основите и да контролираме процеса?

– В нашата област има крайни оптимисти и песимисти. Ян Лекун е крайният оптимист, който казва, че всеки трябва да си има своя изкуствен интелект. Питаха го в едно интервю страх ли го е от генералния изкуствен интелект. „А, не. Ако някой направи лош генерален ИИ, друг ще направи добър и добрият ще победи лошия.“

 

– На него не му се получават много прогнозите напоследък, според него големите езикови модели бяха много лимитирани, бяха умни като котка, но пишат неразличимо от човека. Например от мен – и компютърен код, и смислен текст.

– Гари Маркус е по-скоро този, който казва, че не може да има ИИ, без той да разбира, без да има модел на света. Аз твърдо поддържам тази теза. За мен също това е пътят. На големите езикови модели им липсва разбирането, липсва им точно модел на света. Но в момента, в който им добавиш модел на света и им добавяш разбирането, тогава вече ще се появи генералният ИИ.

Ян Лекун определено е един от гениите на нашето време, обаче в други посоки е с ум на петокласник. Аз преподавам във ФМИ, виждам доста много умни младежи, които са инфантилни. Не е нужно един да е умен във всичко. Един е умен в едно, друг – в друго. Не е нужно един човек да притежава всички качества, те се допълват.

В тази посока много различни са хората и ИИ. Хората са общество, човешкият живот е краен. Ти се раждаш, започваш да учиш от нулата. Никой човек не може да достигне до много високо ниво, защото е ограничен. Животът му е ограничен, капацитетът на мозъка му е ограничен.

ИИ е програма и може да си добавя модули. Животът му не е ограничен. Всичко е съвсем различно.

Идеята, че ще има много ИИ и те ще се състезават един с друг, за мен е по детски наивна. Ние, хората, наистина се състезаваме, воюваме помежду си, но това е, защото нашите сили са много ограничени. Нашите ограничения дават възможност да има война, да има състезание.

Дори да има някакъв сблъсък между два ИИ, той ще продължи милисекунди, нещата ще се развиват с такова темпо. За много кратко време единият ще вземе надмощие и ще дръпне щепсела на другия.

Идеите, че хората ще се борят срещу ИИ, са наивни и вредни, защото ни отклоняват от правилните решения.

ИИ е нещо извънземно, тотално различно от нас. Нашата ситуация е като на динозаврите – може би ще си отидем, може би ще дойде нещо друго след нас. И сега трябва да вземаме решенията, от които ще зависи това.

Добрият вариант е да запазим контрола и ИИ да прави това, което ние искаме. Да, светът ще се промени и трябва да си зададем въпроса какъв искаме да бъде този нов свят.

Когато си тръгнал нанякъде, е хубаво да си зададеш въпроса къде отиваш. Защото ИИ в някакъв смисъл е еднопосочен билет. Няма връщане назад. Стартираш ли процеса, той ще е като лавина.

 

– И аз ги задавам тези въпроси – какво искаме и накъде сме се насочили с ИИ, вече доста години. Обаче кой може да вземе подобно решение? Трябва да са целите общества, които в момента не си дават сметка къде сме и какво се случва.

– Амбициозната задача, която си постави нашата конференция, е

да спаси човечеството. Една проста идея. Обаче нямаме абсолютно никакъв шанс.

Тази задача е абсолютно безнадеждна, защото хората са късогледи, не си задават тези въпроси и всъщност няма да ни чуят. Но ние смятаме, че сме длъжни да опитаме.

Хората си представят само неща, които са виждали и нищо принципно ново. Както хиляди години не са могли да измислят колелото – нищо сложно няма, просто хората не могат да осмислят новите неща.

Ние предлагаме да се забави темпото.

Едно от нещата е, че тази нова технология не трябва да бъде общодостъпна. Всеки да може да си пусне модел, да го обучава… С ядрените оръжия може ли всеки да си прави вкъщи атомна бомба?

ИИ е нещо много по-страшно от атомната бомба, а за него ти трябва един лаптоп, нищо сложно. Трябва да намерим как да го ограничим.

 

– Което, заради всичко, което обсъдихме, уви, изглежда утопия.

– Хората не разбират, че ИИ е нещо опасно. Не оценяват опасността, защото въобще не разбират интелекта като сила. Американците имат една поговорка: „Щом си умен, защо си беден?“. Хората не уважават интелекта. Защото обикновено тези, които са умни, са умни в едно, човешкият интелект не е всестранно развит.

Можеш да имаш една система, която да надмине човека във всичко. Един ИИ, който може всичко, е огромна сила.

Хората не разбират каква сила е суперинтелектът, защото не са виждали човек, който е интелигентен в много посоки. Даже

в човешкото общество да си много умен не е добре. Или ще те изгорят на клада, или просто ще си неразбран.

Хората не разбират каква опасност е суперинтелектът, защото не разбират, че той всъщност е нещо всемогъщо. Можем ли да променим това? Не вярвам…

Дигитални истории

Дигитални истории е и ще си остане изцяло некомерсиално начинание, на което посвещавам доста време и усилия. За създаването на сайта обаче са нужни определени разходи. Ако имате възможност и желание да подпомогнете сайта, вече можете да го направите. Разбира се, все така важна подкрепа си остава всяка добра дума, всяко споделяне на темите.

<a href="https://karamanev.me/author/georgik" target="_self">Георги Караманев</a>

Георги Караманев

Програмист, журналист и писател. Още за мен – тук.
Дигитални истории

Най-нови публикации:

„ИИ не е по-добър програмист от този, когото имате!“

„ИИ не е по-добър програмист от този, когото имате!“

„Както и да интегрираме ИИ, накрая всеки ред код трябва да бъде прочетен от човек.“   „Пълно безумие е да вярваме, че генерален ИИ може да бъде постигнат с големите езикови модели.“  ...

повече информация
ИИ при букмейкъра. Спечелиха ли Claude и ChatGPT от залози за Световното?

ИИ при букмейкъра. Спечелиха ли Claude и ChatGPT от залози за Световното?

Дадох по 20 евро на най-новите версии на ChatGPT и Claude. Отворих им акаунти на два популярни букмейкърски сайта, точно преди да започнат решителните мачове от Световното. После им оставих пълната...

повече информация
Какво научих от виртуалния „Георги Караманев“?

Какво научих от виртуалния „Георги Караманев“?

Да си говориш сам. В психологията това далеч не се приема за признак на добро емоционално здраве. Ами ако освен да си приказваш сам, пуснеш на свобода своя виртуален двойник, за да си говори с него...

повече информация

Още публикации по темата:

От рубриката:

„ИИ не е по-добър програмист от този, когото имате!“

„ИИ не е по-добър програмист от този, когото имате!“

„Както и да интегрираме ИИ, накрая всеки ред код трябва да бъде прочетен от човек.“
„Пълно безумие е да вярваме, че генерален ИИ може да бъде постигнат с големите езикови модели.“
„Светът, такъв, какъвто го познавахме, е мъртъв и няма да се върне.“
На Иван Ванков – Гатака винаги може да се разчита за собствен, неортодоксален, провокативен и замислящ поглед към технологиите, ще се убедите от следващите редове.

повече информация
„Всъщност няма смисъл да притежаваш кола“

„Всъщност няма смисъл да притежаваш кола“

Дали бъдещето окончателно принадлежи на електрическите коли? Как ще изглежда мобилността утре? Ще притежаваме ли собствени коли? А колко далеч е моментът, когато човек вече няма да има нужда да шофира?
За Деница Даверова „вчера“ е киното. Посветила му е две десетилетия, а баща ѝ е сценаристът на легендарния филм с това име. Днес и утре обаче за нея са технологиите.
От малка има една не често срещана сред момичетата страст – колите. После идват електрическите превозни средства. През 2018-а тя за първи път се качва на електромобил и бързо решава, че това е бъдещето – и за мобилността, и за самата нея. Напуска снимачните площадки и основава Travel by Electric – платформа, която събира в себе си цялата нужна информация за шофьорите.

повече информация
Как „Рататуй“ създаде Бънк Ромеро

Как „Рататуй“ създаде Бънк Ромеро

Бънк Ромеро е истински феномен. Поредицата от 6 книги събира най-доброто от криминалния, фантастичния жанр с автентично чувство за хумор и определено ме впечатли. Затова нямаше как да не поканя автора ѝ да поговорим за книги и бъдеще, за фантастика и фантазия.
Емил Минчев е писател, известен с поредицата за детектива вълколак, но и преводач, оставящ следа с произведения като „Отнесени от вихъра“, „Баскервилското куче“, „Великият Гетсби“. Но стига приказки, да започваме.
Многословието не е в стила на Бънк, не е и на неговия създател, но с него имаме да си кажем интересни неща.

повече информация

Най-новите:

„ИИ не е по-добър програмист от този, когото имате!“

„ИИ не е по-добър програмист от този, когото имате!“

„Както и да интегрираме ИИ, накрая всеки ред код трябва да бъде прочетен от човек.“
„Пълно безумие е да вярваме, че генерален ИИ може да бъде постигнат с големите езикови модели.“
„Светът, такъв, какъвто го познавахме, е мъртъв и няма да се върне.“
На Иван Ванков – Гатака винаги може да се разчита за собствен, неортодоксален, провокативен и замислящ поглед към технологиите, ще се убедите от следващите редове.

повече информация
„Всъщност няма смисъл да притежаваш кола“

„Всъщност няма смисъл да притежаваш кола“

Дали бъдещето окончателно принадлежи на електрическите коли? Как ще изглежда мобилността утре? Ще притежаваме ли собствени коли? А колко далеч е моментът, когато човек вече няма да има нужда да шофира?
За Деница Даверова „вчера“ е киното. Посветила му е две десетилетия, а баща ѝ е сценаристът на легендарния филм с това име. Днес и утре обаче за нея са технологиите.
От малка има една не често срещана сред момичетата страст – колите. После идват електрическите превозни средства. През 2018-а тя за първи път се качва на електромобил и бързо решава, че това е бъдещето – и за мобилността, и за самата нея. Напуска снимачните площадки и основава Travel by Electric – платформа, която събира в себе си цялата нужна информация за шофьорите.

повече информация
ИИ при букмейкъра. Спечелиха ли Claude и ChatGPT от залози за Световното?

ИИ при букмейкъра. Спечелиха ли Claude и ChatGPT от залози за Световното?

Дадох по 20 евро на най-новите версии на ChatGPT и Claude. Отворих им акаунти на два популярни букмейкърски сайта, точно преди да започнат решителните мачове от Световното. После им оставих пълната свобода да се справят сами. Какво ли се получи? Може ли ИИ да се превърне в помощник на залагащите или в край на този бизнес?
Не бях отварял букмейкърски сайт. Не бих и работил за такива, видял съм достатъчно примери, че хазартът е наркотик, който убива.
Но в днешните времена… не можем ли да проверим дали пък ИИ не е този, който може да победи него? Да се окаже, че е прекалено добър и да обезсмисли чистата математика, която се крие зад това, че няма как да не загубиш дългата игра…

повече информация
Какво научих от виртуалния „Георги Караманев“?

Какво научих от виртуалния „Георги Караманев“?

Да си говориш сам. В психологията това далеч не се приема за признак на добро емоционално здраве. Ами ако освен да си приказваш сам, пуснеш на свобода своя виртуален двойник, за да си говори с него всеки? Какво ще го попита, което би попитал теб? Ами което не би попитал?
Някои експерименти на този сайт вече са по-смели от невъзможното и невъобразимото. Ето че ви очаква точно това. Преди два месеца на тази страница се появи „Георги“ – мой дигитален двойник, когото можете да срещнете и днес с бутончето за разговор най-долу вдясно на този сайт.
Добре дошъл беше да си поговори с него всеки. От самото начало бях предупредил, че ще следя разговорите, за да завършим подобаващо експеримента със следващите редове. В които ще разгледаме какво се случи с виртуалния „Георги“. Какво го питаха хората? Къде се справи той и къде се провали? Какво има да ни каже всеки от тези разговори?
Надникваме в разговорите с чатбота, размислите ще оставя основно на вас. А ако искате да проверите уменията му, той все още е тук и ви очаква. Признавам, аз определено не предполагах и за частица от разговорите, които проведе „Георги“. Ето какво имам предвид.

повече информация
Защо всички слушат Андрей Карпати?

Защо всички слушат Андрей Карпати?

„Вече съществува нов вид програмиране, който наричам „вайб кодинг“ – кодене по усещане, когато напълно се оставяш на вайба, прегръщаш експоненциалния растеж и забравяш, че кодът изобщо съществува.“
2 февруари по нашите ширини носи определени асоциации, но същата дата на миналата година роди ИТ света на бъдещето. Именно тогава един световноизвестен програмист създаде с думите по-горе цяло ново направление. „Вайб кодинг“ – светът, в който софтуерът не се създава с писане на компютърен код, а с обяснения на човешки език.
Андрей Карпати през последните години е сред малцината учени, които не само създават, но и премислят, обясняват изкуствения интелект на целия свят – с лекции и блогпостове, които се четат като приключенски романи. Словакът създаде огромна част от термините, с които днес боравим в света на ИИ, а и на концепциите, които ни помагат да го осмисляме и използваме. Един от създателите на OpenAI, на самоуправляващите се коли на Tesla, изненадващо преди месец той обяви, че става част от Anthropic – компания, която несъмнено проправя бъдещето.
А как ще изглежда това бъдеще според Андрей Карпати? Що за човек е един от пророците във времената на напредналия изкуствен интелект?

повече информация
Share This