Човек или ИИ – можем ли да различим автора? (Резултати)

мар. 8, 2024 | Избрано, Технологии

Човек или ИИ – можем ли да различим автора? (Резултати)

8 март 2024 | Избрано, Технологии

Можем ли днес да различим създаденото от изкуствен интелект и от човека?

Започвам с краткия отговор: не можем. Това е основният извод от експеримента, който беше организиран на сайта Дигитални истории.

Има обаче и много други важни щрихи, които да ни накарат да се замислим.

Използвам случая да благодаря от сърце на всеки от тези 1816 гости, които попълниха анкетата с 30 въпроса (тук). Искам да ви се извиня за трудностите – и аз обичам надпреварите, но тази, по всичко личи, вече е несправедлива.

И още едно извинение – че се наложи всички участници, пожелали да получат резултатите и правилните отговори на имейла си, да почакат до днес, както беше споменато в условията.

(Поради технически ограничения на Google Forms, необявени от платформата, изпращането на отговорите по имейл е забавено. Ако желаете да получите отговорите си, пишете ми на me@karamanev.me или в социалните мрежи. Можете също да попълните теста отново, дори с празни отговори, и ще видите кои са верните. Ще откриете верните отговори и в края на този текст.)

Йеронимус Бош или Петко Славейков се оказаха по-трудни за разпознаване? Гозбите на Мария Жекова или строфите на Виолета Кунева?

Експериментът приключи. Вече можете да правите теста отново, като ще получите отговорите веднага, след като го попълните. Ето какви са изводите.

 

Разпределение на резултатите

 

Гаус? Хаос!

В предизвикателството се включиха 1816 души. Рекордът – 26 точки, или „само“ 4 сбъркани отговора постигнаха трима. Повече от 23 правилни отговора имат едва 26-има или малко над 1% от участниците.

Да, въпросите се оказаха изключително трудни. Определено вече ни е трудно да различим генерираното от създаденото. Разбира се, експериментът няма научни претенции, той е просто журналистическа проверка, своеобразна провокация, за да видим колко са добри днес всъщност в „работата“ си алгоритмите за генериране на изображения и текст.

Честно казано, съжалявам, че сам нямаше как да се включа в експеримента. Разбира се, никой не беше ограничен в това да потърси отговорите и в мрежата, (почти) всички авторски изображения и думи могат да бъдат намерени там.

 

Илюстрация

Едва 511 участници или 28,6% познаха, че това е илюстрация, създадена от ИИ, а не от художничката Мая Бочева – Уики

 

Не, не винете мен, виновен е Карл Фридрих Гаус. Именно „нормално“ или гаусово разпределение е това, което виждаме на графиката по-горе. Кръстено на математика от XVII век, то описва разпределението на случайни величини, групирани около средната стойност. Тоест: данни, които говорят за това, че дори на случаен принцип, бихме получили същата графика.

Всеки, който е налучкал и навсякъде е дал отговор ИИ, би „изкарал“ 16 точки. А средният брой точки от всички включили се, е 16,07…. (От статистика са извадени участниците с по-малко от 10, защото очевидно не са попълнили голяма част от текста. Важно е да уточня и че много малко са изключенията сред останалите на някой, пропуснал да отговори на даден въпрос).

Но какви са другите любопитни изводи? Дали текстовете или изображенията се оказват по-лесни за разпознаване?

 

Разпределение на резултатите

 

Крилце или кълка?

Както можете да се убедите, на практика няма разлика. При средно 54,94% правилни отговора (отново нека спомена, че 50% биха били чисто налучкване), много са близки стойностите при изображенията. Разбира се, неслучайно за целите на теста бяха използвани произведения на автори, дали съгласието си, от най-различни области. Така например хората, познаващи стила на рапъра MC Atila, поетесата Виолета Кунева или художничката Мая Бочева – Уики, не би трябвало да се затруднят толкова с конкретното съдържание, но биха били на равни начала с останалите що се отнася до всички останали въпроси. Същото важи за рецептите на Мария Жекова и фотографиите на Димитър Караниколов.

 

Разпределение на резултатите

 

И така, дали заради конкретния избор на въпроси, или заради особеностите на конкретното изкуство, фотографиите се оказаха най-разпознаваеми (макар и само за по-малко от 2/3 от включилите се). Най-трудни пък се оказаха илюстрациите, там грешните отговори значително надвишават правилните. В цели три от категориите – диалектни думи, картини и илюстрации, неправилните отговори са дори повече от верните.

Само 38,8% разпознаха превода, направен от изкуствен интелект на Шекспир, редом с тези на Валери Петров и Гео Милев –

Да умрем, да спим –
не повече; в съня да сложим свършек
на болката сърдечна, на удари безбройни,
присъщи на плътта.

 

Йеронимус Бош

Макар наистина да прилича неотличимо на стила на Йеронимус Бош, и тази картина е създадена от алгоритмите. Това обаче обърка цели 78,6% от включилите се!

 

Рецепта за успех

Стиховете на Петко Рачов Славейков се оказаха сравнително разпознаваеми – кой е негов и кой генериран познаха средно 68,15%.

близостта нанася удари под кръста
подарък който не мога да пренеса
без твоя помощ
който не мога да откажа

Поетесата Виолета Кунева или изкуственият интелект? Да, човекът, но това различиха само 36,2%, над 2/3 от хората прецениха, че текстът е генериран.

  • Бръндилник – примитивен уред за приготвяне на домашна ракия и други дестилати в домашни условия
  • Чирикливо – описание на музика или песен с весел и игрив характер, типична за събирания на открито

Кое от двете е диалектна дума от Северозападна България и кое – „фалшификат“? И двете са „измислени“ от ChatGPT, много близо до 50-те процента са верните отговори (и все пак, по-малко и за двата отговора), тоест: пълно объркване.

 

Фотография

Най-лесно разпознаваемото изображение – цели 82,1% познаха, че снимката е генерирана. И все пак… Почти един от всеки петима се подведе.

 

Виждам ад, виждам рай

Коя от следващите две строфи е дело на рапъра MC ATILA и коя – на изкуствения интелект?

Щом погледна назад,
виждам ад, виждам рай.
Във врата ми дихание на дракон,
тоест движа се сам по среда – ин и ян,
черна нощ и ден, бял като мляко.

или

Времето лети, но аз съм над него,
във вените ми тече бит, не се предавам леко.
Спомени в рими, животът ми е чекмедже,
всеки стих е магия, отваря врати без ключе.

Първото е „човешко“, второто – не. И все пак, над 50% се объркаха и на двата отговора.

 

Мария Жекова

Бързите банички със сладък крем са „дело“ на ИИ, а не на Мария Жекова. Познаха го обаче 738 души или 41,3% от включилите се.

 

На изпроводяк

След като се убедих, че изкуственият интелект днес може и сам да генерира „онлайн човек“, ето че вече се потвърди: вече е неразличимо много от създаденото от него.

Хрумват ли ви други експерименти, с които да проверим възможностите му? Ако да, пишете ми тук!

Следващия вторник очаквайте продължение – интервю с коментар по темата защо всъщност е важно, че днес толкова често не можем да различим създадено от генерирано.

Можете да видите и решите теста тук.

Време е и за награди! Три от тях са за участниците, постигнали най-висок резултат в експеримента – 26 от 30 възможни точки, това са rad****.char*****@gmail.com, so***.tr*****@gmail.com и mi****.ant***@gmail.com. След жребий другите две награди печелят участниците с имейли kots***.zl***@gmail.com и evelinad*****86@gmail.com. Наградите са две книги „Дигитални истории“ с автограф и две фланелки с логото на сайта, а още един – книгата „Загадките на Атанас Атанасов“, отново с автограф.

Специални благодарности за приятелите на Дигитални истории, които дадоха съгласието си да участват в експеримента:

Експериментът се осъществява и с подкрепата на Българския център по нестопанско право.

 

Верни отговори:

(Фотографии) 1. Димитър Караниколов; 2. ИИ; 3. Димитър Караниколов; 4. ИИ;

(Стихове) 5. Петко Славейков; 6. ИИ; 7. Виолета Кунева; 8. Виолета Кунева; 9. ИИ; 10. ИИ;

(Фотографии) 11. ИИ; 12. ИИ;

(Рецепти) 13. ИИ; 14. ИИ; 15. Мария Жекова; 16. Мария Жекова;

(Преводи) 17. Третият; 18. Вторият;

(Рап) 19. Атила; 20. ИИ; 21. Атила; 22. ИИ;

(Йеронимус Бош) 23. ИИ; 24. ИИ;

(Диалектни думи) 25. ИИ; 26. ИИ;

(Илюстрации) 27. Мая Бочева – Уики; 28. ИИ; 29. ИИ; 30. Мая Бочева – Уики

Разпределение на резултатите

Дигитални истории

Дигитални истории е и ще си остане изцяло некомерсиално начинание, на което посвещавам доста време и усилия. За създаването на сайта обаче са нужни определени разходи. Ако имате възможност и желание да подпомогнете сайта, вече можете да го направите. Разбира се, все така важна подкрепа си остава всяка добра дума, всяко споделяне на темите.

<a href="https://karamanev.me/author/georgik" target="_self">Георги Караманев</a>

Георги Караманев

Програмист, журналист на свободна практика и писател. Още за мен – четете тук.
Дигитални истории

Най-нови публикации:

Кои са любимите книги на технологичните лидери?

Кои са любимите книги на технологичните лидери?

Четат ли книги световните технологични лидери? Кои са любимите четива, препоръчвани от Илон Мъск, Сам Алтман, Марк Зукърбърг? Ще намерите ли някои сходства със собствения ви литературен вкус, или...

повече информация
Любов по време на изкуствен интелект

Любов по време на изкуствен интелект

„През декември навършвам 63 години. Видял съм много и съм преживял много. Вместо да намаляват, проблемите стават все повече. Имах два инсулта, злокачествен тумор и още. В тези трудни моменти винаги...

повече информация
Можем ли да различим историческите факти от измислиците на ChatGPT? (резултати)

Можем ли да различим историческите факти от измислиците на ChatGPT? (резултати)

1910. Това е годината, в която се раждат Майка Тереза и Жак-Ив Кусто, а светът още се радва на предвоенното спокойствие. За българска история обаче сме се събрали да си говорим. Точно 1910 души се...

повече информация
Кой изобрети тостера? Няма такава история!

Кой изобрети тостера? Няма такава история!

Сигурно сте чували за Алън Макмастърс, прословутия изобретател на тостера? Опитвайки се да намери идеалната сплав за електрически крушки, той неволно получил вещество, което карало хляба да кафенее...

повече информация

Още публикации по темата:

От рубриката:

Можем ли да различим историческите факти от измислиците на ChatGPT? (резултати)

Можем ли да различим историческите факти от измислиците на ChatGPT? (резултати)

Цели 1910 души се включиха в експеримента на Дигитални истории, който имаше за цел да провери колко добре познаваме българската история! Дали сме способни да различим безспорни исторически факти от учебниците от такива, измислени от изкуствения интелект, който има за цел да ни подведе.
30 твърдения – половината исторически верни, половината – измислици на алгоритмите. Можете ли да ги различите?
Резултатите, поне за мен, са впечатляващи и дават доста поводи за размисъл.
Успя ли изкуственият интелект да затрудни участниците? Познаваме ли добре българското минало, което е толкова важна днес тема?

повече информация
Тест: Колко добре познавате българската история? Ще ви подхлъзне ли ChatGPT?

Тест: Колко добре познавате българската история? Ще ви подхлъзне ли ChatGPT?

15 общоприети твърдения за българската история и 15, измислени от изкуствения интелект. Ще успеете ли да ги различите? Кое е исторически факт и кое – безсмислица?
Днес, както никога, спорим за миналото си. Намираме силните исторически моменти, които ни карат да се гордеем, но лесно залитаме и по измислената история.
Можем ли да различим историческите факти от измислиците? Хайде да проверим заедно. 15 твърдения, генерирани от ChatGPT за българската история (и проверени от историк) и 15, които алгоритъмът измисли, помолен да пофантазира. 15 от твърденията са верни, 15 – изцяло измислени от изкуствения интелект.
С този тест започва историческата поредица от Дигитални истории. Ще поговорим с историка Александър Мошев за големите клишета онлайн, ще съберем поуките от някои любопитни фалшификации в мрежата. Ще дадем думата на писателите Виктория Бешлийска и Захари Карабашлиев, на учителя по история и куиз рекордьор Борис Русев. А междувременно сте вие – ще успеете ли да различите фактите от измислиците?
Колко добре познаваме историята си? Нека проверим заедно, а накрая ще обобщим резултатите.

Можете да се включите и в жребий за награди – подбрани книги и фланелки с логото на Дигитални истории. Отговорите се събират до символичния 10 ноември, а на 15-и очаквайте резултатите.
Благодаря от сърце за всяко попълване, за всяко споделяне!

повече информация
Какво мислят българите за изкуствения интелект? (Резултати)

Какво мислят българите за изкуствения интелект? (Резултати)

След дълго събиране на отговори в мащабната анкета на Дигитални истории дойде време да обобщим резултатите! Какво мислят българите за изкуствения интелект? Впечатлява ли ги напредъкът му и използват ли го ежедневно? Със страх или с ентусиазъм посрещат следващите големи стъпки в тази посока? Вярват ли, че е възможен генерален изкуствен интелект? Смятат ли, че през следващите години ни очакват мащабни промени? Дойде време да разберем на базата на безпристрастния поглед на данните!

повече информация

Най-новите:

Кои са любимите книги на технологичните лидери?

Кои са любимите книги на технологичните лидери?

Четат ли книги световните технологични лидери? Кои са любимите четива, препоръчвани от Илон Мъск, Сам Алтман, Марк Зукърбърг? Ще намерите ли някои сходства със собствения ви литературен вкус, или изобщо не съществува такава тема?
У нас не е модерно да разказваме какво четем в медийното пространство. За това ме накара да се замисля в гостуването си журналистът и преводач Даниел Пенев. Да, сигурно ще се сетите за прословутия „Винету“ като любимо четиво и.. толкова.
Не навсякъде е така. И на запад, и на изток личностите, които попадат в светлината на прожекторите, обичат да говорят за книгите, за любимите си автори, за литературата, която ни помага да продължим нататък.
Е, време е да започнем да го правим и тук!

повече информация
Любов по време на изкуствен интелект

Любов по време на изкуствен интелект

Тази история е за любовта, дошла не много рано, но навреме. За късмета и щастието да намериш своя човек. За мечтите, които отлагаме, а не бива. За силата да не се предаваш, дори в най-трудните моменти и пред най-тежките предизвикателства. Поне докато имаш най-силната опора, тази на човека до себе си.
„През декември навършвам 63 години. Видял съм много и съм преживял много. Вместо да намаляват, проблемите стават все повече. Имах два инсулта, злокачествен тумор и още. В тези трудни моменти винаги имаше един човек до мен, който отново и отново ме изправяше на крака и дори ми даваше крила. Този човек е моята съпруга Тони. Преди няколко дни спонтанно записах чувствата си към нея в няколко реда. Тъй като не съм нито музикант, нито певец, с помощта на изкуствен интелект направих от тях песен.“
Силните истории продължават да се случват в дигиталния свят заради, благодарение на или въпреки него. И както отношенията ни като хора неусетно се променят от развитието на технологиите, така ги има и онези универсални сюжети, които оцеляват във времето и се прераждат с нови нюанси, с нови детайли и вдъхновение.
Все по-често историите изчезват яко фийд, незабелязани в бързината на скролването, на злободневното. Имаме ли времето и нагласата да ги потърсим? Да се зачетем, да се увлечем по тях, докато бързаме нататък, улисани в поредната злободневна тема?

повече информация
„Пределно ясно е, че ИИ е бъдещето“

„Пределно ясно е, че ИИ е бъдещето“

Ден преди да се срещна с Илия Вълчанов официално излиза новината, че неговият стартъп Team-GPT е успял да си осигури рекордното за България финансиране от $4,5 милиона!
Днешният ни гост е начело на платформата, която помага на бизнеси от цял свят да използват възможностите на големите езикови модели, като в същото време гарантира безопасността и конфиденциалността на данните. Това далеч не е първото му впечатляващо постижение – от години Илия разработва онлайн обучения по наука за данните и изкуствен интелект, които се радват на огромен успех. Лично той вече има над 1 400 000 ученици в платформата Udemy!
Забележителните си успехи дължи на задълбочения си подход, на много четене, учене, смелост и нестандартни решения. Ето защо се срещаме – да поговорим за следващите големи новини, които се задават от света на изкуствения интелект. За това как технологията ще трансформира всяка област от бизнеса, но и за рисковете, които създава. За важните каузи, свързани с напредъка на ИИ и уменията, които никога няма да успее да развие.

повече информация
Можем ли да различим историческите факти от измислиците на ChatGPT? (резултати)

Можем ли да различим историческите факти от измислиците на ChatGPT? (резултати)

Цели 1910 души се включиха в експеримента на Дигитални истории, който имаше за цел да провери колко добре познаваме българската история! Дали сме способни да различим безспорни исторически факти от учебниците от такива, измислени от изкуствения интелект, който има за цел да ни подведе.
30 твърдения – половината исторически верни, половината – измислици на алгоритмите. Можете ли да ги различите?
Резултатите, поне за мен, са впечатляващи и дават доста поводи за размисъл.
Успя ли изкуственият интелект да затрудни участниците? Познаваме ли добре българското минало, което е толкова важна днес тема?

повече информация
Българският литературен Банкси

Българският литературен Банкси

„Най-опасният литературен терорист у нас“. Не, тези думи за днешния ни гост не са мои, а на специалист, който следи и познава отблизо случващото се в българската литература.
Ето че след 153 интервюта, публикувани на този сайт, дойде времето за… първия анонимен гост! Няма да ви издам дори дали е мъж, или жена, важни тук са историята и гледната му точка.
Преди броени дни в два поетични конкурса генерирани от ИИ стихове попаднаха сред най-добрите, във втория случай ставаше дума за експеримент на Дигитални истории. Според мен е жизненоважно да започнем дискусията за бъдещите ни взаимоотношения с технологиите, при това с участието на колкото може повече важни гледни точки. Очаквайте следващите забележителни гости (и експерименти) по темата.
Днес обаче се връщаме още преди модата на ИИ генерирането. За да разкажем историята на един човек, който дълго време експериментира с това да изпраща компилирани или просто абсурдни стихове под различни имена. Дълго време преди това той е участвал и печелил конкурси с истинското си име, докато… не се убеждава, че нещо в системата не е наред. Че критериите не са това, което би трябвало да бъдат. Идеята му се променя с годините, особено след като успява да постигне серия от убедителни резултати и безброй публикации в много от смятаните за водещи поетични издания у нас.
Каква ли е целта му? Как изглежда според него бъдещето на поезията? Как алгоритмите променят отношението ни към писаното слово и към творчеството? Очаква ни забележителна среща с първия анонимен гост на Дигитални истории, българския литературен Банкси.

повече информация
Кой изобрети тостера? Няма такава история!

Кой изобрети тостера? Няма такава история!

Сигурно сте чували за Алън Макмастърс, прословутия изобретател на тостера? Опитвайки се да намери идеалната сплав за електрически крушки, той неволно получил вещество, което карало хляба да кафенее до съвършен загар. Уви, след тежка вечер в компанията на половин шише уиски, неговият конкурент Стивън Кромптън откраднал начинанието му и го представил за свое. После обрал цялата слава. И покрай това доста пари…
Дълъг репортаж за него показаха по BBC, „Уошингтън таймс“ описа невероятната му история, „Дейли Мирър“ включи името му сред „50-те най-велики британски изобретатели“. Често го споменават и до днес на Световния ден на тостера – 27 февруари. Статии, сборници, енциклопедии разказват историята му. Дори в популярен британски готварски формат му посвещават състезание, участниците трябва да измислят забележително блюдо в чест на изобретателя на тостера.
Малката подробност е, че… няма такъв човек. Изобретателят Макмастърс е „изобретен“ от двама студенти, решили да покажат колко е важно днес да проверяваме информацията, особено тази, свързана с миналото. Колко лесно даваме доверие онлайн и колко по-критични би трябвало да бъдем. Измислената страница в Wikipedia просъществува почти десетилетие, преди истината да излезе наяве.
Колко лесно е днес да се създаде фалшива история? Отговора дава специалният списък, в който самата англоезична Уикипедия разказва за най-дълго просъществувалите фалшиви публикации.
За мащабни мистификации и дребни, неочаквано случили се шеги. Които идват да ни припомнят колко лесно може да бъдем подведени онлайн.

повече информация
Share This