Човек или ИИ – можем ли да различим автора? (Резултати)

мар. 8, 2024 | Избрано, Технологии

Човек или ИИ – можем ли да различим автора? (Резултати)

8 март 2024 | Избрано, Технологии

Можем ли днес да различим създаденото от изкуствен интелект и от човека?

Започвам с краткия отговор: не можем. Това е основният извод от експеримента, който беше организиран на сайта Дигитални истории.

Има обаче и много други важни щрихи, които да ни накарат да се замислим.

Използвам случая да благодаря от сърце на всеки от тези 1816 гости, които попълниха анкетата с 30 въпроса (тук). Искам да ви се извиня за трудностите – и аз обичам надпреварите, но тази, по всичко личи, вече е несправедлива.

И още едно извинение – че се наложи всички участници, пожелали да получат резултатите и правилните отговори на имейла си, да почакат до днес, както беше споменато в условията.

(Поради технически ограничения на Google Forms, необявени от платформата, изпращането на отговорите по имейл е забавено. Ако желаете да получите отговорите си, пишете ми на me@karamanev.me или в социалните мрежи. Можете също да попълните теста отново, дори с празни отговори, и ще видите кои са верните. Ще откриете верните отговори и в края на този текст.)

Йеронимус Бош или Петко Славейков се оказаха по-трудни за разпознаване? Гозбите на Мария Жекова или строфите на Виолета Кунева?

Експериментът приключи. Вече можете да правите теста отново, като ще получите отговорите веднага, след като го попълните. Ето какви са изводите.

 

Разпределение на резултатите

 

Гаус? Хаос!

В предизвикателството се включиха 1816 души. Рекордът – 26 точки, или „само“ 4 сбъркани отговора постигнаха трима. Повече от 23 правилни отговора имат едва 26-има или малко над 1% от участниците.

Да, въпросите се оказаха изключително трудни. Определено вече ни е трудно да различим генерираното от създаденото. Разбира се, експериментът няма научни претенции, той е просто журналистическа проверка, своеобразна провокация, за да видим колко са добри днес всъщност в „работата“ си алгоритмите за генериране на изображения и текст.

Честно казано, съжалявам, че сам нямаше как да се включа в експеримента. Разбира се, никой не беше ограничен в това да потърси отговорите и в мрежата, (почти) всички авторски изображения и думи могат да бъдат намерени там.

 

Илюстрация

Едва 511 участници или 28,6% познаха, че това е илюстрация, създадена от ИИ, а не от художничката Мая Бочева – Уики

 

Не, не винете мен, виновен е Карл Фридрих Гаус. Именно „нормално“ или гаусово разпределение е това, което виждаме на графиката по-горе. Кръстено на математика от XVII век, то описва разпределението на случайни величини, групирани около средната стойност. Тоест: данни, които говорят за това, че дори на случаен принцип, бихме получили същата графика.

Всеки, който е налучкал и навсякъде е дал отговор ИИ, би „изкарал“ 16 точки. А средният брой точки от всички включили се, е 16,07…. (От статистика са извадени участниците с по-малко от 10, защото очевидно не са попълнили голяма част от текста. Важно е да уточня и че много малко са изключенията сред останалите на някой, пропуснал да отговори на даден въпрос).

Но какви са другите любопитни изводи? Дали текстовете или изображенията се оказват по-лесни за разпознаване?

 

Разпределение на резултатите

 

Крилце или кълка?

Както можете да се убедите, на практика няма разлика. При средно 54,94% правилни отговора (отново нека спомена, че 50% биха били чисто налучкване), много са близки стойностите при изображенията. Разбира се, неслучайно за целите на теста бяха използвани произведения на автори, дали съгласието си, от най-различни области. Така например хората, познаващи стила на рапъра MC Atila, поетесата Виолета Кунева или художничката Мая Бочева – Уики, не би трябвало да се затруднят толкова с конкретното съдържание, но биха били на равни начала с останалите що се отнася до всички останали въпроси. Същото важи за рецептите на Мария Жекова и фотографиите на Димитър Караниколов.

 

Разпределение на резултатите

 

И така, дали заради конкретния избор на въпроси, или заради особеностите на конкретното изкуство, фотографиите се оказаха най-разпознаваеми (макар и само за по-малко от 2/3 от включилите се). Най-трудни пък се оказаха илюстрациите, там грешните отговори значително надвишават правилните. В цели три от категориите – диалектни думи, картини и илюстрации, неправилните отговори са дори повече от верните.

Само 38,8% разпознаха превода, направен от изкуствен интелект на Шекспир, редом с тези на Валери Петров и Гео Милев –

Да умрем, да спим –
не повече; в съня да сложим свършек
на болката сърдечна, на удари безбройни,
присъщи на плътта.

 

Йеронимус Бош

Макар наистина да прилича неотличимо на стила на Йеронимус Бош, и тази картина е създадена от алгоритмите. Това обаче обърка цели 78,6% от включилите се!

 

Рецепта за успех

Стиховете на Петко Рачов Славейков се оказаха сравнително разпознаваеми – кой е негов и кой генериран познаха средно 68,15%.

близостта нанася удари под кръста
подарък който не мога да пренеса
без твоя помощ
който не мога да откажа

Поетесата Виолета Кунева или изкуственият интелект? Да, човекът, но това различиха само 36,2%, над 2/3 от хората прецениха, че текстът е генериран.

  • Бръндилник – примитивен уред за приготвяне на домашна ракия и други дестилати в домашни условия
  • Чирикливо – описание на музика или песен с весел и игрив характер, типична за събирания на открито

Кое от двете е диалектна дума от Северозападна България и кое – „фалшификат“? И двете са „измислени“ от ChatGPT, много близо до 50-те процента са верните отговори (и все пак, по-малко и за двата отговора), тоест: пълно объркване.

 

Фотография

Най-лесно разпознаваемото изображение – цели 82,1% познаха, че снимката е генерирана. И все пак… Почти един от всеки петима се подведе.

 

Виждам ад, виждам рай

Коя от следващите две строфи е дело на рапъра MC ATILA и коя – на изкуствения интелект?

Щом погледна назад,
виждам ад, виждам рай.
Във врата ми дихание на дракон,
тоест движа се сам по среда – ин и ян,
черна нощ и ден, бял като мляко.

или

Времето лети, но аз съм над него,
във вените ми тече бит, не се предавам леко.
Спомени в рими, животът ми е чекмедже,
всеки стих е магия, отваря врати без ключе.

Първото е „човешко“, второто – не. И все пак, над 50% се объркаха и на двата отговора.

 

Мария Жекова

Бързите банички със сладък крем са „дело“ на ИИ, а не на Мария Жекова. Познаха го обаче 738 души или 41,3% от включилите се.

 

На изпроводяк

След като се убедих, че изкуственият интелект днес може и сам да генерира „онлайн човек“, ето че вече се потвърди: вече е неразличимо много от създаденото от него.

Хрумват ли ви други експерименти, с които да проверим възможностите му? Ако да, пишете ми тук!

Следващия вторник очаквайте продължение – интервю с коментар по темата защо всъщност е важно, че днес толкова често не можем да различим създадено от генерирано.

Можете да видите и решите теста тук.

Време е и за награди! Три от тях са за участниците, постигнали най-висок резултат в експеримента – 26 от 30 възможни точки, това са rad****.char*****@gmail.com, so***.tr*****@gmail.com и mi****.ant***@gmail.com. След жребий другите две награди печелят участниците с имейли kots***.zl***@gmail.com и evelinad*****86@gmail.com. Наградите са две книги „Дигитални истории“ с автограф и две фланелки с логото на сайта, а още един – книгата „Загадките на Атанас Атанасов“, отново с автограф.

Специални благодарности за приятелите на Дигитални истории, които дадоха съгласието си да участват в експеримента:

Експериментът се осъществява и с подкрепата на Българския център по нестопанско право.

 

Верни отговори:

(Фотографии) 1. Димитър Караниколов; 2. ИИ; 3. Димитър Караниколов; 4. ИИ;

(Стихове) 5. Петко Славейков; 6. ИИ; 7. Виолета Кунева; 8. Виолета Кунева; 9. ИИ; 10. ИИ;

(Фотографии) 11. ИИ; 12. ИИ;

(Рецепти) 13. ИИ; 14. ИИ; 15. Мария Жекова; 16. Мария Жекова;

(Преводи) 17. Третият; 18. Вторият;

(Рап) 19. Атила; 20. ИИ; 21. Атила; 22. ИИ;

(Йеронимус Бош) 23. ИИ; 24. ИИ;

(Диалектни думи) 25. ИИ; 26. ИИ;

(Илюстрации) 27. Мая Бочева – Уики; 28. ИИ; 29. ИИ; 30. Мая Бочева – Уики

Разпределение на резултатите

Дигитални истории
<a href="https://karamanev.me/author/georgik" target="_self">Георги Караманев</a>

Георги Караманев

Програмист, журналист на свободна практика и писател. Още за мен – четете тук.
Дигитални истории

Най-нови публикации:

Как DALL·E „прочете“ любими български книги?

Как DALL·E „прочете“ любими български книги?

Чукчата не е читател, а писател, знаете сигурно, ами… ChatGPT? Време е за поредния прелюбопитен експеримент, който да ни покаже на какво са способни днес алгоритмите в областта както на създаването...

повече информация
„Представям си бъдещето като битка за невидимото“

„Представям си бъдещето като битка за невидимото“

есен смили се над тези които не могат да те понесат бъди красива до смърт   Или   близостта нанася удари под кръста подарък който не мога да пренеса без твоя помощ който не мога да откажа...

повече информация
„Българите имаме манталитета, за да сме успешни предприемачи“

„Българите имаме манталитета, за да сме успешни предприемачи“

Борис Паскалев e предприемач с впечатляващ опит в света на стартъпите. Отскоро е стратегически съветник към института INSAIT, още една гаранция, че оттам си струва да очакваме още и все...

повече информация
ИИ детектив. Технологията ли ще ни върне истината?

ИИ детектив. Технологията ли ще ни върне истината?

След като експериментът на Дигитални истории, в който се включиха почти 2000 души, показа, че вече не сме способни да различаваме генерираните от изкуствения интелект изображения и текстове, е време...

повече информация
„Тепърва ще се учим да скучаем качествено“

„Тепърва ще се учим да скучаем качествено“

Жюстин Томс има богат и пъстър опит в епохата на интернет – през комуникациите, дигиталния маркетинг, дизайна, предприемачеството. Преподава в Нов български университет и СофтУни Digital. Организира...

повече информация

Още публикации по темата:

От рубриката:

Как DALL·E „прочете“ любими български книги?

Как DALL·E „прочете“ любими български книги?

Чукчата не е читател, а писател, знаете сигурно, ами… ChatGPT? Време е за поредния прелюбопитен експеримент, който да ни покаже на какво са способни днес алгоритмите в областта както на създаването на изображения, така и на разбирането на контекст.
Ще призова алгоритъма DALL·E 3, който е част от платената версия на ChatGPT, да ми илюстрира класически български литературни произведения от различни периоди.
Защо това е интересно? От една страна, ще ни покаже колко добре работи големият езиков модел на български. Ще стане ясно доколко разпознава някои от безспорните наши класически произведения.
Не на последно място просто защото… е интересно дали пък няма да ни покаже някакви по-неочаквани, различни, атрактивни гледни точки? Дали не можем да говорим за някаква форма на колективно неосъзнато? Дали картините ще се припокрият поне донякъде с образите, които всеки от нас има за тези книги в главата си?

повече информация
ИИ детектив. Технологията ли ще ни върне истината?

ИИ детектив. Технологията ли ще ни върне истината?

След като експериментът на Дигитални истории, в който се включиха почти 2000 души, показа, че вече не сме способни да различаваме генерираните от изкуствения интелект изображения и текстове, е време за следващата стъпка.
Дали пък… самият изкуствен интелект няма да ни помогне в тази вече неравна битка в търсене на истината? След като алгоритмите станаха толкова добри в генерирането на разнообразни текстове, изображения, а вече и видео, дали пък няма те да се окажат спасението?
Ще проверим на практика. Радостин Чолаков от родопското село Барутин ни гостува с една от първите Дигитални истории. Тогава, само на 15, той разказа за работата си в света на невронните мрежи, много преди изкуственият интелект да се превърне в темата на деня. А до днес успехите му са още по-впечатляващи. През последните години пътят му често се преплита с този на друг талантлив младеж на същата възраст. Делян Бойчев също завършва средното си образование тази година, но вече има сериозни успехи, специалността му са методите за компютърно зрение.
Двамата приятели се заговарят по темата и решават да проверят: ясно е, че днес изкуственият интелект създава забележителни изображения, но дали пак той би могъл да разпознае истината и лъжата, да прецени коя картинка е създадена от човек и коя – от алгоритъм?

повече информация
Кой е авторът – човек или изкуствен интелект?

Кой е авторът – човек или изкуствен интелект?

Можем ли днес да различим създаденото от човека от генерираното от изкуствения интелект? Нека заедно направим един експеримент, който може да даде много интересни отговори.
30 бързи въпроса, достатъчни са около 5 минути. Иска се единствено да прецените кои от изображенията и текстовете са генерирани от изкуствения интелект и кои са създадени от хора.
Включете се, опитайте! Поканете и приятели! Колкото повече са участващите, толкова по-интересни ще са резултатите!
Събирането на резултати ще продължи две седмици – до 8 март 2024 г. Петима от участниците ще получат подарък.

повече информация

Най-новите:

Как DALL·E „прочете“ любими български книги?

Как DALL·E „прочете“ любими български книги?

Чукчата не е читател, а писател, знаете сигурно, ами… ChatGPT? Време е за поредния прелюбопитен експеримент, който да ни покаже на какво са способни днес алгоритмите в областта както на създаването на изображения, така и на разбирането на контекст.
Ще призова алгоритъма DALL·E 3, който е част от платената версия на ChatGPT, да ми илюстрира класически български литературни произведения от различни периоди.
Защо това е интересно? От една страна, ще ни покаже колко добре работи големият езиков модел на български. Ще стане ясно доколко разпознава някои от безспорните наши класически произведения.
Не на последно място просто защото… е интересно дали пък няма да ни покаже някакви по-неочаквани, различни, атрактивни гледни точки? Дали не можем да говорим за някаква форма на колективно неосъзнато? Дали картините ще се припокрият поне донякъде с образите, които всеки от нас има за тези книги в главата си?

повече информация
„Представям си бъдещето като битка за невидимото“

„Представям си бъдещето като битка за невидимото“

„Засега изкуственият интелект ни се струва смешен, прилича ни на криво огледало или на глупчо, когото напътстваме и благодарение на когото се чувстваме знаещи и повече отвсякога хора. Това обаче се променя буквално за дни и скоро той ще се превърне в реалистично и достоверно наше отражение. Мисля за този момент – вероятно тогава ще успеем да се видим през неговия поглед, да осмислим кои части от нас са ясни дори за едно изкуствено създание, кое остава недостъпно за него и кое е най-ценното. Според мен това са онези места, където той не може да надзърне. Представям си бъдещето като битка за невидимото, това ще бъде най-важният ресурс. Онова, което изкуственият интелект не може да регистрира, е най-ценното в нас.“
„Почти всичко е наред“ се казва дебютната стихосбирка на поетесата Виолета Кунева и толкова точно формулира усещането ни за света днес.
Но как така се оказа, че вече не е възможно да различаваме поета от алгоритъма? Какво губим, ако е така?
Дали проблемът е, че масово сме изгубили критерия си за изкуство, за метафора, за многопластови, живи и човешки по дефиниция текстове, каквито са поетичните?
Ще дойде ли краят на поезията или… именно тя може да ни спаси от самите нас?

повече информация
Да си купиш вечна младост

Да си купиш вечна младост

46-годишният Браян Джонсън вече е похарчил над $4 милиона, така че тялото му да заработи като на 18-годишен. Твърди, че му се получава. Влага всички сили, стига дотам да си влива кръвна плазма от собствения си син. Смята, че е най-изследваното човешко същество, живяло някога, че експериментът му ще промени живота на всеки, който иска да живее дълго.
Тоест, на всеки.
Мечта или утопия? Безобразно пилеене на пари или идея, която може да промени еволюцията ни? Гениалност или чиста лудост?

повече информация
„Българите имаме манталитета, за да сме успешни предприемачи“

„Българите имаме манталитета, за да сме успешни предприемачи“

Борис Паскалев e предприемач с впечатляващ опит в света на стартъпите. Отскоро е стратегически съветник към института INSAIT, още една гаранция, че оттам си струва да очакваме още и все по-забележителни новини.
Преди това младежки национал по баскетбол, днешният ни гост заминава да следва не къде да е, а в MIT. Завършва магистратура с отличие и започва кариерата си като програмист преди повече от 20 години. После се пренасочва към мениджмънта и предприемачеството. За да стигнем до момента, когато се събира с двама други герои на Дигитални истории – проф. Мартин Вечев и д-р Веселин Райчев в стартъпа DeepCode. Той е изпълнителен директор на една от пионерните разработки за създаване на код с изкуствен интелект, която през 2020 г. е придобита от мултимилиардната компания Snyk.
Ще поговорим за успешния му път през сърцето на Силициевата долина. За започналата революция на изкуствения интелект, която според него е по-голяма дори от откриването на електричеството. За друга революция, която се задава – тази в роботиката. За това как у нас може да има повече успешни стартъпи, които да развият средата и страната ни.
Кои са следващите големи новини, които да очакваме от INSAIT?

повече информация
ИИ детектив. Технологията ли ще ни върне истината?

ИИ детектив. Технологията ли ще ни върне истината?

След като експериментът на Дигитални истории, в който се включиха почти 2000 души, показа, че вече не сме способни да различаваме генерираните от изкуствения интелект изображения и текстове, е време за следващата стъпка.
Дали пък… самият изкуствен интелект няма да ни помогне в тази вече неравна битка в търсене на истината? След като алгоритмите станаха толкова добри в генерирането на разнообразни текстове, изображения, а вече и видео, дали пък няма те да се окажат спасението?
Ще проверим на практика. Радостин Чолаков от родопското село Барутин ни гостува с една от първите Дигитални истории. Тогава, само на 15, той разказа за работата си в света на невронните мрежи, много преди изкуственият интелект да се превърне в темата на деня. А до днес успехите му са още по-впечатляващи. През последните години пътят му често се преплита с този на друг талантлив младеж на същата възраст. Делян Бойчев също завършва средното си образование тази година, но вече има сериозни успехи, специалността му са методите за компютърно зрение.
Двамата приятели се заговарят по темата и решават да проверят: ясно е, че днес изкуственият интелект създава забележителни изображения, но дали пак той би могъл да разпознае истината и лъжата, да прецени коя картинка е създадена от човек и коя – от алгоритъм?

повече информация
„Тепърва ще се учим да скучаем качествено“

„Тепърва ще се учим да скучаем качествено“

„Големият въпрос: как ще се трансформира обществото. Защото ние виждаме, че в момента нещата не се случват както би трябвало. Дори капитализмът е в заника си, близо до своя финал. Не знаем какво ще е следващото и как ще изглежда, но то със сигурност няма да бъде толкова водено от огромните бизнеси, които все по-трудно съществуват.“
Жюстин Томс има богат и пъстър опит в епохата на интернет – през комуникациите, дигиталния маркетинг, дизайна, предприемачеството. Преподава в Нов български университет и СофтУни Digital. Организира конкурса „Сайт на годината“, а личният ѝ блог съществува от почти две десетилетия.
С погледа на учен, практик и учител тя следи как се променя комуникацията в мрежата и накъде ни водят технологиите.
Как днес можем да сме сигурни, че в информационния поток не пропускаме нещо важно? Или че не ставаме жертва на манипулации? Как ще изглеждат новите медии след… „смъртта на медиите“?
Ще се справят ли те със задачата да ни ориентират?
В света, който през следващите години е обречен да се изправи пред мащабна трансформация…

повече информация
Share This