Човек или ИИ – можем ли да различим автора? (Резултати)

мар. 8, 2024 | Избрано, Технологии

Човек или ИИ – можем ли да различим автора? (Резултати)

8 март 2024 | Избрано, Технологии

Можем ли днес да различим създаденото от изкуствен интелект и от човека?

Започвам с краткия отговор: не можем. Това е основният извод от експеримента, който беше организиран на сайта Дигитални истории.

Има обаче и много други важни щрихи, които да ни накарат да се замислим.

Използвам случая да благодаря от сърце на всеки от тези 1816 гости, които попълниха анкетата с 30 въпроса (тук). Искам да ви се извиня за трудностите – и аз обичам надпреварите, но тази, по всичко личи, вече е несправедлива.

И още едно извинение – че се наложи всички участници, пожелали да получат резултатите и правилните отговори на имейла си, да почакат до днес, както беше споменато в условията.

(Поради технически ограничения на Google Forms, необявени от платформата, изпращането на отговорите по имейл е забавено. Ако желаете да получите отговорите си, пишете ми на me@karamanev.me или в социалните мрежи. Можете също да попълните теста отново, дори с празни отговори, и ще видите кои са верните. Ще откриете верните отговори и в края на този текст.)

Йеронимус Бош или Петко Славейков се оказаха по-трудни за разпознаване? Гозбите на Мария Жекова или строфите на Виолета Кунева?

Експериментът приключи. Вече можете да правите теста отново, като ще получите отговорите веднага, след като го попълните. Ето какви са изводите.

 

Разпределение на резултатите

 

Гаус? Хаос!

В предизвикателството се включиха 1816 души. Рекордът – 26 точки, или „само“ 4 сбъркани отговора постигнаха трима. Повече от 23 правилни отговора имат едва 26-има или малко над 1% от участниците.

Да, въпросите се оказаха изключително трудни. Определено вече ни е трудно да различим генерираното от създаденото. Разбира се, експериментът няма научни претенции, той е просто журналистическа проверка, своеобразна провокация, за да видим колко са добри днес всъщност в „работата“ си алгоритмите за генериране на изображения и текст.

Честно казано, съжалявам, че сам нямаше как да се включа в експеримента. Разбира се, никой не беше ограничен в това да потърси отговорите и в мрежата, (почти) всички авторски изображения и думи могат да бъдат намерени там.

 

Илюстрация

Едва 511 участници или 28,6% познаха, че това е илюстрация, създадена от ИИ, а не от художничката Мая Бочева – Уики

 

Не, не винете мен, виновен е Карл Фридрих Гаус. Именно „нормално“ или гаусово разпределение е това, което виждаме на графиката по-горе. Кръстено на математика от XVII век, то описва разпределението на случайни величини, групирани около средната стойност. Тоест: данни, които говорят за това, че дори на случаен принцип, бихме получили същата графика.

Всеки, който е налучкал и навсякъде е дал отговор ИИ, би „изкарал“ 16 точки. А средният брой точки от всички включили се, е 16,07…. (От статистика са извадени участниците с по-малко от 10, защото очевидно не са попълнили голяма част от текста. Важно е да уточня и че много малко са изключенията сред останалите на някой, пропуснал да отговори на даден въпрос).

Но какви са другите любопитни изводи? Дали текстовете или изображенията се оказват по-лесни за разпознаване?

 

Разпределение на резултатите

 

Крилце или кълка?

Както можете да се убедите, на практика няма разлика. При средно 54,94% правилни отговора (отново нека спомена, че 50% биха били чисто налучкване), много са близки стойностите при изображенията. Разбира се, неслучайно за целите на теста бяха използвани произведения на автори, дали съгласието си, от най-различни области. Така например хората, познаващи стила на рапъра MC Atila, поетесата Виолета Кунева или художничката Мая Бочева – Уики, не би трябвало да се затруднят толкова с конкретното съдържание, но биха били на равни начала с останалите що се отнася до всички останали въпроси. Същото важи за рецептите на Мария Жекова и фотографиите на Димитър Караниколов.

 

Разпределение на резултатите

 

И така, дали заради конкретния избор на въпроси, или заради особеностите на конкретното изкуство, фотографиите се оказаха най-разпознаваеми (макар и само за по-малко от 2/3 от включилите се). Най-трудни пък се оказаха илюстрациите, там грешните отговори значително надвишават правилните. В цели три от категориите – диалектни думи, картини и илюстрации, неправилните отговори са дори повече от верните.

Само 38,8% разпознаха превода, направен от изкуствен интелект на Шекспир, редом с тези на Валери Петров и Гео Милев –

Да умрем, да спим –
не повече; в съня да сложим свършек
на болката сърдечна, на удари безбройни,
присъщи на плътта.

 

Йеронимус Бош

Макар наистина да прилича неотличимо на стила на Йеронимус Бош, и тази картина е създадена от алгоритмите. Това обаче обърка цели 78,6% от включилите се!

 

Рецепта за успех

Стиховете на Петко Рачов Славейков се оказаха сравнително разпознаваеми – кой е негов и кой генериран познаха средно 68,15%.

близостта нанася удари под кръста
подарък който не мога да пренеса
без твоя помощ
който не мога да откажа

Поетесата Виолета Кунева или изкуственият интелект? Да, човекът, но това различиха само 36,2%, над 2/3 от хората прецениха, че текстът е генериран.

  • Бръндилник – примитивен уред за приготвяне на домашна ракия и други дестилати в домашни условия
  • Чирикливо – описание на музика или песен с весел и игрив характер, типична за събирания на открито

Кое от двете е диалектна дума от Северозападна България и кое – „фалшификат“? И двете са „измислени“ от ChatGPT, много близо до 50-те процента са верните отговори (и все пак, по-малко и за двата отговора), тоест: пълно объркване.

 

Фотография

Най-лесно разпознаваемото изображение – цели 82,1% познаха, че снимката е генерирана. И все пак… Почти един от всеки петима се подведе.

 

Виждам ад, виждам рай

Коя от следващите две строфи е дело на рапъра MC ATILA и коя – на изкуствения интелект?

Щом погледна назад,
виждам ад, виждам рай.
Във врата ми дихание на дракон,
тоест движа се сам по среда – ин и ян,
черна нощ и ден, бял като мляко.

или

Времето лети, но аз съм над него,
във вените ми тече бит, не се предавам леко.
Спомени в рими, животът ми е чекмедже,
всеки стих е магия, отваря врати без ключе.

Първото е „човешко“, второто – не. И все пак, над 50% се объркаха и на двата отговора.

 

Мария Жекова

Бързите банички със сладък крем са „дело“ на ИИ, а не на Мария Жекова. Познаха го обаче 738 души или 41,3% от включилите се.

 

На изпроводяк

След като се убедих, че изкуственият интелект днес може и сам да генерира „онлайн човек“, ето че вече се потвърди: вече е неразличимо много от създаденото от него.

Хрумват ли ви други експерименти, с които да проверим възможностите му? Ако да, пишете ми тук!

Следващия вторник очаквайте продължение – интервю с коментар по темата защо всъщност е важно, че днес толкова често не можем да различим създадено от генерирано.

Можете да видите и решите теста тук.

Време е и за награди! Три от тях са за участниците, постигнали най-висок резултат в експеримента – 26 от 30 възможни точки, това са rad****.char*****@gmail.com, so***.tr*****@gmail.com и mi****.ant***@gmail.com. След жребий другите две награди печелят участниците с имейли kots***.zl***@gmail.com и evelinad*****86@gmail.com. Наградите са две книги „Дигитални истории“ с автограф и две фланелки с логото на сайта, а още един – книгата „Загадките на Атанас Атанасов“, отново с автограф.

Специални благодарности за приятелите на Дигитални истории, които дадоха съгласието си да участват в експеримента:

Експериментът се осъществява и с подкрепата на Българския център по нестопанско право.

 

Верни отговори:

(Фотографии) 1. Димитър Караниколов; 2. ИИ; 3. Димитър Караниколов; 4. ИИ;

(Стихове) 5. Петко Славейков; 6. ИИ; 7. Виолета Кунева; 8. Виолета Кунева; 9. ИИ; 10. ИИ;

(Фотографии) 11. ИИ; 12. ИИ;

(Рецепти) 13. ИИ; 14. ИИ; 15. Мария Жекова; 16. Мария Жекова;

(Преводи) 17. Третият; 18. Вторият;

(Рап) 19. Атила; 20. ИИ; 21. Атила; 22. ИИ;

(Йеронимус Бош) 23. ИИ; 24. ИИ;

(Диалектни думи) 25. ИИ; 26. ИИ;

(Илюстрации) 27. Мая Бочева – Уики; 28. ИИ; 29. ИИ; 30. Мая Бочева – Уики

Разпределение на резултатите

Дигитални истории

Дигитални истории е и ще си остане изцяло некомерсиално начинание, на което посвещавам доста време и усилия. За създаването на сайта обаче са нужни определени разходи. Ако имате възможност и желание да подпомогнете сайта, вече можете да го направите. Разбира се, все така важна подкрепа си остава всяка добра дума, всяко споделяне на темите.

<a href="https://karamanev.me/author/georgik" target="_self">Георги Караманев</a>

Георги Караманев

Програмист, журналист и писател. Още за мен – тук.
Дигитални истории

Най-нови публикации:

Грешки (не)човешки

Грешки (не)човешки

Статията се препубликува от Тоест. Тя е част от рубриката Порция език и е подготвена съвместно с Павлина Върбанова.   Има ли грешка, има и прощка. Ако сте открили нещо нередно тук, значи и вие...

повече информация
Тест: Ще различите ли ИИ глас от човешки?

Тест: Ще различите ли ИИ глас от човешки?

Можете ли да си представите глас, неразличим от човешкия, който да чете новините? Или да ви се обади по телефона, без да има никакъв шанс да го различите? Не говорим за популярното решение гласът да...

повече информация

Още публикации по темата:

От рубриката:

Грешки (не)човешки

Грешки (не)човешки

Във времената, когато все по-малко медии и дори издателства се доверяват на специалисти, които да следят за правописа, дали пък изкуственият интелект (ИИ) няма да се окаже полезен помощник? Време е за един показателен правописен експеримент с участието на някои от най-мощните съвременни модели.
Всички (надяваме се) вярваме, че по правописа, а не по дрехите днес посрещат онлайн. В технологичната епоха общуваме все по-често чрез писмени текстове и начинът, по който го правим, определено издава толкова много на събеседника. Може ли ИИ да ни помогне да пишем грамотно?

повече информация
Тест: Ще различите ли ИИ глас от човешки?

Тест: Ще различите ли ИИ глас от човешки?

6 аудиозаписа, в които е произнeсена кратка фраза. Някои от тях са генерирани от ИИ, другите са истински човешки гласове. Ще ги различите ли?
Включете се до 1 август 2025 г. и при 6 правилни отговора участвате в жребия за скромен подарък.
Ще познаете ли кой глас е на човек и кой – на машина? Ръкавицата е хвърлена!

повече информация
Кой говори – човек или алгоритъм?

Кой говори – човек или алгоритъм?

Не е новина, че ИИ генерира изображения и текстове, които (проверено!) не могат да бъдат различени от създадените от човека. Видеото като че ли все още изостава, но… Можете ли да си представите глас, неразличим от човешкия, който да чете новините? Или да ви се обади по телефона, без да има никакъв шанс да го различите? Не говорим за популярното решение гласът да бъде клониран, а за напълно изкуствено създаден, който обаче е толкова убедителен. При това на чист български, който е почти невъзможен за човек, чийто роден език не е!
Време е за една звучна Дигитална история. А какво предизвикателство ви очаква след това…

повече информация

Най-новите:

Грешки (не)човешки

Грешки (не)човешки

Във времената, когато все по-малко медии и дори издателства се доверяват на специалисти, които да следят за правописа, дали пък изкуственият интелект (ИИ) няма да се окаже полезен помощник? Време е за един показателен правописен експеримент с участието на някои от най-мощните съвременни модели.
Всички (надяваме се) вярваме, че по правописа, а не по дрехите днес посрещат онлайн. В технологичната епоха общуваме все по-често чрез писмени текстове и начинът, по който го правим, определено издава толкова много на събеседника. Може ли ИИ да ни помогне да пишем грамотно?

повече информация
Тест: Ще различите ли ИИ глас от човешки?

Тест: Ще различите ли ИИ глас от човешки?

6 аудиозаписа, в които е произнeсена кратка фраза. Някои от тях са генерирани от ИИ, другите са истински човешки гласове. Ще ги различите ли?
Включете се до 1 август 2025 г. и при 6 правилни отговора участвате в жребия за скромен подарък.
Ще познаете ли кой глас е на човек и кой – на машина? Ръкавицата е хвърлена!

повече информация
Кой говори – човек или алгоритъм?

Кой говори – човек или алгоритъм?

Не е новина, че ИИ генерира изображения и текстове, които (проверено!) не могат да бъдат различени от създадените от човека. Видеото като че ли все още изостава, но… Можете ли да си представите глас, неразличим от човешкия, който да чете новините? Или да ви се обади по телефона, без да има никакъв шанс да го различите? Не говорим за популярното решение гласът да бъде клониран, а за напълно изкуствено създаден, който обаче е толкова убедителен. При това на чист български, който е почти невъзможен за човек, чийто роден език не е!
Време е за една звучна Дигитална история. А какво предизвикателство ви очаква след това…

повече информация
Колко изкара ИИ на матура?

Колко изкара ИИ на матура?

Какво ще стане, ако изпитаме на матурата по български език и литература три от най-мощните модели изкуствен интелект? Усилията им ще оценят двама опитни проверители на истинските зрелостни изпити. За да е състезанието още по-оспорвано и показателно, включваме двама реални зрелостници и мен, автора на тези редове.
Ще изкарат ли пълни шестици ChatGPT, Claude и Gemini, или ще се провалят с гръм и трясък?
Ще разпознаят ли учителите коя от работите е на изкуствен интелект и коя – на човек?
Кой ще получи най-високата и кой – най-ниската оценка?
Какво ще ни кажат резултатите и за най-показателния изпит в българското образование, и за напредъка на алгоритмите, и за големите въпроси, с които идват новите технологии?

повече информация
„Хайде да спрем да се подценяваме!“

„Хайде да спрем да се подценяваме!“

Как да сме по-щастливи като общество? Как да изведем на следващо ниво ИТ сектора в България?
Седнали двама програмисти да си говорят за счупения обществен разговор, за разделението, за пътя на успеха. Звучи като начало на виц, а се получи сериозно и замислящо интервю в подкаста на DEV.BG. Думите, които разменихме, ми се сториха толкова важни, че ще ви ги представя и тук.
Веско Колев е начело на Icanpreneur – стартъп, който помага на повече ИТ компании да създадат работещ продукт. Има богат опит в софтуерния свят и особено интересни наблюдения, с които ще се срещнем днес.
Защо и как е време отново да започнем не само да се слушаме, но и да си говорим, дори когато ни разделя актуалният спор на деня? Защо е изграждащо и осмислящо честото „настъпване на мотиката“ и си струва да се радваме, когато детето ни получи слаба оценка? Какво ни е нужно като общество, за да вървим заедно напред, и то в епохата на напредналия изкуствен интелект?

повече информация
Питър Тийл. Консервативният визионер

Питър Тийл. Консервативният визионер

Facebook, SpaceX, Airbnb, LinkedIn, PayPal, Ethereum. Революцията на OpenAI и ChatGPT, възходът на Доналд Тръмп и вездесъщия му (доскорошен) съюзник Илон Мъск.
Наистина ли има една личност, която събира всички тези явления? Нещо повече – не е преувеличено да се каже, че ако не беше днешният ни герой, надали някое от тях щеше да се претвори в реалност…
Питър Тийл си е спечелил името на пророк, на гуру. На големия визионер на технологичните времена. Докато в същото време има толкова противоречиви възгледи, които някак си остават встрани от големия медиен шум. Но това е типично за родения в Германия предприемач. Някои го приемат за сивия кардинал на Силициевата долина, други – за мъдрец, който може да покаже на всеки пътя към големия успех в технологичната епоха.
Мултимилиардер, той казва, че конкуренцията е измамно благо, а монополите са решението на бъдещето. Създава мащабна програма, за да помага на хора, избрали да изоставят образованието си, за да създадат собствен бизнес, което пък проправя пътя на следващото поколение технологични лидери.
Всичко това и още много е г-н Тийл. Време е да застане под светлината на прожекторите, защото със сигурност е един от хората, които вече са променили живота на всеки от нас. Нещо повече – от него се очаква да зависи все повече в турболентните технологични времена, в които живеем.

повече информация
Share This