Човек или ИИ – можем ли да различим автора? (Резултати)

мар. 8, 2024 | Избрано, Технологии

Човек или ИИ – можем ли да различим автора? (Резултати)

8 март 2024 | Избрано, Технологии

Можем ли днес да различим създаденото от изкуствен интелект и от човека?

Започвам с краткия отговор: не можем. Това е основният извод от експеримента, който беше организиран на сайта Дигитални истории.

Има обаче и много други важни щрихи, които да ни накарат да се замислим.

Използвам случая да благодаря от сърце на всеки от тези 1816 гости, които попълниха анкетата с 30 въпроса (тук). Искам да ви се извиня за трудностите – и аз обичам надпреварите, но тази, по всичко личи, вече е несправедлива.

И още едно извинение – че се наложи всички участници, пожелали да получат резултатите и правилните отговори на имейла си, да почакат до днес, както беше споменато в условията.

(Поради технически ограничения на Google Forms, необявени от платформата, изпращането на отговорите по имейл е забавено. Ако желаете да получите отговорите си, пишете ми на me@karamanev.me или в социалните мрежи. Можете също да попълните теста отново, дори с празни отговори, и ще видите кои са верните. Ще откриете верните отговори и в края на този текст.)

Йеронимус Бош или Петко Славейков се оказаха по-трудни за разпознаване? Гозбите на Мария Жекова или строфите на Виолета Кунева?

Експериментът приключи. Вече можете да правите теста отново, като ще получите отговорите веднага, след като го попълните. Ето какви са изводите.

 

Разпределение на резултатите

 

Гаус? Хаос!

В предизвикателството се включиха 1816 души. Рекордът – 26 точки, или „само“ 4 сбъркани отговора постигнаха трима. Повече от 23 правилни отговора имат едва 26-има или малко над 1% от участниците.

Да, въпросите се оказаха изключително трудни. Определено вече ни е трудно да различим генерираното от създаденото. Разбира се, експериментът няма научни претенции, той е просто журналистическа проверка, своеобразна провокация, за да видим колко са добри днес всъщност в „работата“ си алгоритмите за генериране на изображения и текст.

Честно казано, съжалявам, че сам нямаше как да се включа в експеримента. Разбира се, никой не беше ограничен в това да потърси отговорите и в мрежата, (почти) всички авторски изображения и думи могат да бъдат намерени там.

 

Илюстрация

Едва 511 участници или 28,6% познаха, че това е илюстрация, създадена от ИИ, а не от художничката Мая Бочева – Уики

 

Не, не винете мен, виновен е Карл Фридрих Гаус. Именно „нормално“ или гаусово разпределение е това, което виждаме на графиката по-горе. Кръстено на математика от XVII век, то описва разпределението на случайни величини, групирани около средната стойност. Тоест: данни, които говорят за това, че дори на случаен принцип, бихме получили същата графика.

Всеки, който е налучкал и навсякъде е дал отговор ИИ, би „изкарал“ 16 точки. А средният брой точки от всички включили се, е 16,07…. (От статистика са извадени участниците с по-малко от 10, защото очевидно не са попълнили голяма част от текста. Важно е да уточня и че много малко са изключенията сред останалите на някой, пропуснал да отговори на даден въпрос).

Но какви са другите любопитни изводи? Дали текстовете или изображенията се оказват по-лесни за разпознаване?

 

Разпределение на резултатите

 

Крилце или кълка?

Както можете да се убедите, на практика няма разлика. При средно 54,94% правилни отговора (отново нека спомена, че 50% биха били чисто налучкване), много са близки стойностите при изображенията. Разбира се, неслучайно за целите на теста бяха използвани произведения на автори, дали съгласието си, от най-различни области. Така например хората, познаващи стила на рапъра MC Atila, поетесата Виолета Кунева или художничката Мая Бочева – Уики, не би трябвало да се затруднят толкова с конкретното съдържание, но биха били на равни начала с останалите що се отнася до всички останали въпроси. Същото важи за рецептите на Мария Жекова и фотографиите на Димитър Караниколов.

 

Разпределение на резултатите

 

И така, дали заради конкретния избор на въпроси, или заради особеностите на конкретното изкуство, фотографиите се оказаха най-разпознаваеми (макар и само за по-малко от 2/3 от включилите се). Най-трудни пък се оказаха илюстрациите, там грешните отговори значително надвишават правилните. В цели три от категориите – диалектни думи, картини и илюстрации, неправилните отговори са дори повече от верните.

Само 38,8% разпознаха превода, направен от изкуствен интелект на Шекспир, редом с тези на Валери Петров и Гео Милев –

Да умрем, да спим –
не повече; в съня да сложим свършек
на болката сърдечна, на удари безбройни,
присъщи на плътта.

 

Йеронимус Бош

Макар наистина да прилича неотличимо на стила на Йеронимус Бош, и тази картина е създадена от алгоритмите. Това обаче обърка цели 78,6% от включилите се!

 

Рецепта за успех

Стиховете на Петко Рачов Славейков се оказаха сравнително разпознаваеми – кой е негов и кой генериран познаха средно 68,15%.

близостта нанася удари под кръста
подарък който не мога да пренеса
без твоя помощ
който не мога да откажа

Поетесата Виолета Кунева или изкуственият интелект? Да, човекът, но това различиха само 36,2%, над 2/3 от хората прецениха, че текстът е генериран.

  • Бръндилник – примитивен уред за приготвяне на домашна ракия и други дестилати в домашни условия
  • Чирикливо – описание на музика или песен с весел и игрив характер, типична за събирания на открито

Кое от двете е диалектна дума от Северозападна България и кое – „фалшификат“? И двете са „измислени“ от ChatGPT, много близо до 50-те процента са верните отговори (и все пак, по-малко и за двата отговора), тоест: пълно объркване.

 

Фотография

Най-лесно разпознаваемото изображение – цели 82,1% познаха, че снимката е генерирана. И все пак… Почти един от всеки петима се подведе.

 

Виждам ад, виждам рай

Коя от следващите две строфи е дело на рапъра MC ATILA и коя – на изкуствения интелект?

Щом погледна назад,
виждам ад, виждам рай.
Във врата ми дихание на дракон,
тоест движа се сам по среда – ин и ян,
черна нощ и ден, бял като мляко.

или

Времето лети, но аз съм над него,
във вените ми тече бит, не се предавам леко.
Спомени в рими, животът ми е чекмедже,
всеки стих е магия, отваря врати без ключе.

Първото е „човешко“, второто – не. И все пак, над 50% се объркаха и на двата отговора.

 

Мария Жекова

Бързите банички със сладък крем са „дело“ на ИИ, а не на Мария Жекова. Познаха го обаче 738 души или 41,3% от включилите се.

 

На изпроводяк

След като се убедих, че изкуственият интелект днес може и сам да генерира „онлайн човек“, ето че вече се потвърди: вече е неразличимо много от създаденото от него.

Хрумват ли ви други експерименти, с които да проверим възможностите му? Ако да, пишете ми тук!

Следващия вторник очаквайте продължение – интервю с коментар по темата защо всъщност е важно, че днес толкова често не можем да различим създадено от генерирано.

Можете да видите и решите теста тук.

Време е и за награди! Три от тях са за участниците, постигнали най-висок резултат в експеримента – 26 от 30 възможни точки, това са rad****.char*****@gmail.com, so***.tr*****@gmail.com и mi****.ant***@gmail.com. След жребий другите две награди печелят участниците с имейли kots***.zl***@gmail.com и evelinad*****86@gmail.com. Наградите са две книги „Дигитални истории“ с автограф и две фланелки с логото на сайта, а още един – книгата „Загадките на Атанас Атанасов“, отново с автограф.

Специални благодарности за приятелите на Дигитални истории, които дадоха съгласието си да участват в експеримента:

Експериментът се осъществява и с подкрепата на Българския център по нестопанско право.

 

Верни отговори:

(Фотографии) 1. Димитър Караниколов; 2. ИИ; 3. Димитър Караниколов; 4. ИИ;

(Стихове) 5. Петко Славейков; 6. ИИ; 7. Виолета Кунева; 8. Виолета Кунева; 9. ИИ; 10. ИИ;

(Фотографии) 11. ИИ; 12. ИИ;

(Рецепти) 13. ИИ; 14. ИИ; 15. Мария Жекова; 16. Мария Жекова;

(Преводи) 17. Третият; 18. Вторият;

(Рап) 19. Атила; 20. ИИ; 21. Атила; 22. ИИ;

(Йеронимус Бош) 23. ИИ; 24. ИИ;

(Диалектни думи) 25. ИИ; 26. ИИ;

(Илюстрации) 27. Мая Бочева – Уики; 28. ИИ; 29. ИИ; 30. Мая Бочева – Уики

Разпределение на резултатите

Дигитални истории

Дигитални истории е и ще си остане изцяло некомерсиално начинание, на което посвещавам доста време и усилия. За създаването на сайта обаче са нужни определени разходи. Ако имате възможност и желание да подпомогнете сайта, вече можете да го направите. Разбира се, все така важна подкрепа си остава всяка добра дума, всяко споделяне на темите.

<a href="https://karamanev.me/author/georgik" target="_self">Георги Караманев</a>

Георги Караманев

Програмист, журналист на свободна практика и писател. Още за мен – четете тук.
Дигитални истории

Най-нови публикации:

Във Вихъра на квантовите нанотехнологии

Във Вихъра на квантовите нанотехнологии

Живеем в силициевата ера, казва днешният ни гост. А следващите стъпки в развитието на начините, по които създаваме чипове, са свързани не само с напредъка ни в технологиите, но и с развитието ни...

повече информация
„Мислиш си, че знаеш. Докато нещо друго решава какво да ти показва“

„Мислиш си, че знаеш. Докато нещо друго решава какво да ти показва“

„Минималистичен стил, повторения, измамна простота, звук от свят, който се променя, индустриализира, тихите тонове могат да бъдат интерпретирани както като последните стонове на отдаващото се на...

повече информация
Какво мислят българите за изкуствения интелект? (Резултати)

Какво мислят българите за изкуствения интелект? (Резултати)

След дълго събиране на отговори в мащабната анкета на Дигитални истории дойде време да обобщим резултатите! Какво мислят българите за изкуствения интелект? Впечатлява ли ги напредъкът в тази област...

повече информация
Не! Човешки ресурси…

Не! Човешки ресурси…

Отиваме на мач! Кой играе днес? Човекът срещу изкуствения интелект, мачът „не е свирен“. Поканили сме съдия с дългогодишен опит, няма да даваме шанс на досадния ВАР. Може ли алгоритъмът да си намери...

повече информация
Бай Ганьо срещу ChatGPT. Ще гласувате ли?

Бай Ганьо срещу ChatGPT. Ще гласувате ли?

След броени дни се задават 7-ите поредни избори за Народно събрание само в рамките на 3 години. Вероятно е активността да е още по-ниска от рекордите, които не спираме да подобряваме, по всичко...

повече информация

Още публикации по темата:

От рубриката:

Какво мислят българите за изкуствения интелект? (Резултати)

Какво мислят българите за изкуствения интелект? (Резултати)

След дълго събиране на отговори в мащабната анкета на Дигитални истории дойде време да обобщим резултатите! Какво мислят българите за изкуствения интелект? Впечатлява ли ги напредъкът му и използват ли го ежедневно? Със страх или с ентусиазъм посрещат следващите големи стъпки в тази посока? Вярват ли, че е възможен генерален изкуствен интелект? Смятат ли, че през следващите години ни очакват мащабни промени? Дойде време да разберем на базата на безпристрастния поглед на данните!

повече информация
Бай Ганьо срещу ChatGPT. Ще гласувате ли?

Бай Ганьо срещу ChatGPT. Ще гласувате ли?

След броени дни се задават 7-ите поредни избори за Народно събрание само в рамките на 3 години. Вероятно е активността да е още по-ниска от рекордите, които не спираме да подобряваме, по всичко изглежда, че в Парламента ще влязат още повече партии.
Как да излезем от омагьосания кръг? Защо политиката у нас се превърна в толкова неблагодарно и непрестижно занимание? Къде са лидерите, които да ни вдъхновяват и за които да гласуваме с гордост, а не като за най-малкото зло? Къде са програмите, идеите, визионерството? Ясните политически позиции, принципите… Толкова ли е трудно в крайна сметка?
Разбира се, отговорите е редно да дават специалистите – политолози, социолози, общовойскови коментатори с важни гледни точки. И те ги дават всяка сутрин по телевизиите и целодневно онлайн, но всичко резултира в чесане на езици и допълнително разделяне, подпомогнато от технологиите.
Така че избирам да дам думата на два безспорни авторитета – Бай Ганьо, който така и не иска да си отиде – ще се убедите по цитатите, с които Алеко ни разказва толкова много за политиката по нашите ширини и отношението към нея. И, разбира се, на ChatGPT, чиято най-нова версия обещава да е още по-добра и близка до човешките отговори.

повече информация
Какво мислите за изкуствения интелект? Мнението ви е важно!

Какво мислите за изкуствения интелект? Мнението ви е важно!

Мнението ви е важно! През последните години се разделяме в крайности и шаблони в отношението си към технологиите. А изкуственият интелект се превръща във водеща тема, за която всеки има какво да каже.
Как смятате – дали изкуственият интелект е неоправдан медиен шум, или големият фактор, който ще промени бъдещето ни като вид? Ще отвори невероятни възможности пред хората или ще превърне света в дигитален концлагер?
Сега е моментът да кажете какво мислите по темата!
Смятам, че е важно да разберем какво е отношението към ИИ на колкото може повече хора. Ще съм ви благодарен, ако попълните 20 бързи въпроса, нужни са ви само 5 минути.
Благодаря от сърце за всяко попълване, за всяко споделяне!

повече информация

Най-новите:

Един каскадьор срещу хакерите

Един каскадьор срещу хакерите

Кое е по-трудно – да нокаутираш Антонио Бандерас, или да се справиш с кибератаките, насочени към голяма компания? Надали има повече от един човек на света, който да отговори от личен опит на този въпрос. Само днешният ни гост.
Веселин Троянов е участвал като каскадьор в безброй холивудски суперпродукции, снимал се е редом с Джейсън Момоа, Скарлет Йохансон, Гари Олдман, Раян Рейнолдс, Антонио Бандерас.
А днес е начело на българския екип на Check Point – глобална компания за киберсигурност с огромен опит. Докато разработва и своя платформа за инфлуенсъри.
Да, за сигурността ще си говорим и за инцидентите. За риска и предпазливостта. За каскадьорите и зрелищните катастрофи, които може да си осигури всеки, оказал се не достатъчно внимателен онлайн… А може ли изобщо да има безопасност в мрежата?

повече информация
Във Вихъра на квантовите нанотехнологии

Във Вихъра на квантовите нанотехнологии

Живеем в силициевата ера, казва днешният ни гост. А следващите стъпки в развитието на начините, по които създаваме чипове, са свързани не само с напредъка ни в технологиите, но и с развитието ни като цивилизация.
Проф. Вихър Георгиев завършва докторантура в Оксфорд, а през последните години в Университета на Глазгоу преподава и води научни изследвания именно в тази област, от която зависи дали ще успеем да минем на следващото ниво. Дали ще намерим следващата парадигма, която ще ни позволи да запазим прословутото експоненциално развитие на изчислителната мощ на компютрите?
Професорът не само помага за създаването на следващото поколение чипове, но и за технологиите, които ще ни помогнат лабораторните изследвания да стигнат дотам, че с малък сензор да можем да научим толкова за жизнените си показатели и болестите в тялото ни, колкото днес не биха могли да ни кажат и най-модерните лаборатории.

повече информация
„Мислиш си, че знаеш. Докато нещо друго решава какво да ти показва“

„Мислиш си, че знаеш. Докато нещо друго решава какво да ти показва“

„Минималистичен стил, повторения, измамна простота, звук от свят, който се променя, индустриализира, тихите тонове могат да бъдат интерпретирани както като последните стонове на отдаващото се на машините човечество, така и като първите плахи песни на новородените машини.“
Владимир Полеганов публикува романа си „Другият сън“ преди почти десетилетие. А в него някои щрихи отекват пророчески. За това как делегираме още и още на машините – и спомените, и знанията, и самите себе си.
Днешният ни гост е писател, преводач, сценарист, преподавател. И събеседник, с когото си струва да поговорим за книгите и бъдещето. За думите и машините. За това дали няма да закъснее литературата да ни припомни какво е да сме хора и какво никога не бива да делегираме на машините…

повече информация
Какво мислят българите за изкуствения интелект? (Резултати)

Какво мислят българите за изкуствения интелект? (Резултати)

След дълго събиране на отговори в мащабната анкета на Дигитални истории дойде време да обобщим резултатите! Какво мислят българите за изкуствения интелект? Впечатлява ли ги напредъкът му и използват ли го ежедневно? Със страх или с ентусиазъм посрещат следващите големи стъпки в тази посока? Вярват ли, че е възможен генерален изкуствен интелект? Смятат ли, че през следващите години ни очакват мащабни промени? Дойде време да разберем на базата на безпристрастния поглед на данните!

повече информация
Не! Човешки ресурси…

Не! Човешки ресурси…

Отиваме на мач! Кой играе днес? Човекът срещу изкуствения интелект, мачът „не е свирен“. Поканили сме съдия с дългогодишен опит, няма да даваме шанс на досадния ВАР.
Може ли алгоритъмът да си намери работа? Направих си този експеримент, създаденият от ChatGPT Максим Иванов стигна до две интервюта за работа, получи и допълнителни шансове. Мачът свърши, време е за анализа.
Петър Джугански има опит като помощник съдия от над 250 мача в професионалния футбол, сред които финал за Купата на България, срещи на Байерн, Виляреал, националния отбор на Испания… А днес е „ейчар“ – HR, специалист по управлението на човешките ресурси, но и… обратното. Води подкаста НеЧовешки ресурси, който разглежда пъстри теми, свързани с работата.
Начело е на екипа, отговарящ за подбора на кадри в голяма софтуерна компания, опитах да го подведа, като изпратих генерираното CV и на тяхна обява.
Какво ли се получи, дали го подведох? И по-важното: как изглеждат днес перспективите във все по-оспорвания мач между ИИ и човека? Наистина ли софтуерната сфера вече не посреща нови хора? Започнаха ли да изчезват професии заради изкуствения интелект? Ще се превърне ли България в притегателно работно място за хората от далечни страни и трябва ли това да ни плаши? Ще разберете след последния съдийски сигнал…

повече информация
Бай Ганьо срещу ChatGPT. Ще гласувате ли?

Бай Ганьо срещу ChatGPT. Ще гласувате ли?

След броени дни се задават 7-ите поредни избори за Народно събрание само в рамките на 3 години. Вероятно е активността да е още по-ниска от рекордите, които не спираме да подобряваме, по всичко изглежда, че в Парламента ще влязат още повече партии.
Как да излезем от омагьосания кръг? Защо политиката у нас се превърна в толкова неблагодарно и непрестижно занимание? Къде са лидерите, които да ни вдъхновяват и за които да гласуваме с гордост, а не като за най-малкото зло? Къде са програмите, идеите, визионерството? Ясните политически позиции, принципите… Толкова ли е трудно в крайна сметка?
Разбира се, отговорите е редно да дават специалистите – политолози, социолози, общовойскови коментатори с важни гледни точки. И те ги дават всяка сутрин по телевизиите и целодневно онлайн, но всичко резултира в чесане на езици и допълнително разделяне, подпомогнато от технологиите.
Така че избирам да дам думата на два безспорни авторитета – Бай Ганьо, който така и не иска да си отиде – ще се убедите по цитатите, с които Алеко ни разказва толкова много за политиката по нашите ширини и отношението към нея. И, разбира се, на ChatGPT, чиято най-нова версия обещава да е още по-добра и близка до човешките отговори.

повече информация
Share This