Можем ли да различим историческите факти от измислиците на ChatGPT? (резултати)

ное. 22, 2024 | Технологии

Можем ли да различим историческите факти от измислиците на ChatGPT? (резултати)

22 ноември 2024 | Технологии

1910. Това е годината, в която се раждат Майка Тереза и Жак-Ив Кусто, а светът още се радва на предвоенното спокойствие. За българска история обаче сме се събрали да си говорим. Точно 1910 души се включиха в експеримента на Дигитални истории, който имаше за цел да провери колко добре познаваме българската история. Дали сме способни да различим безспорни исторически факти от учебниците от такива, измислени от изкуствения интелект, който има за цел да ни подведе.

30 твърдения – половината исторически верни, половината – измислици на алгоритмите.

Резултатите, поне за мен, са впечатляващи. Ето защо дойде време да ги обобщим и разгледаме. Успя ли изкуственият интелект да затрудни участниците? Познаваме ли добре българското минало, което е толкова важна днес тема? (Анкетата отново е отворена, този път без да събираме резултатите. Можете да опитате да я решите тук, преди да четете нататък, ако не искате да разберете верните отговори.)

И така, цели 1910 души! Благодаря от сърце на всеки от тях!

Експеримент история

 

Поучителна история

Бързам да ви кажа кой първи не се справи с теста… Признавам си, това бях аз. Още едно доказателство колко е трудно, но и колко важно в наши дни човек да проверява историческите факти. След като бях изпитал анкетата с повече от 10 мои близки и приятели, двама от които – историци, бях спокоен, че твърденията са проверени. Но още първия ден след публикуването ѝ започнаха да валят имейли и сигнали, че някои от твърденията, които съм посочил като верни, изобщо не са такива. Ставаше дума за грешна година, за невярна фактология, дори за едно историческо клише, което по-късно оборих с помощта на историка Александър Мошев в материала по темата. Наложи се две от твърденията да бъдат сменени напълно, други да бъдат сериозно прецизирани. Използвам случая да се извиня на всеки, когото неволно съм подвел!

Търсейки дали ChatGPT може да ни подведе… сам се подведох с немалък процент от твърденията, които уж бях потвърдил и проверил! Мисля, че е доста поучително. Така или иначе, благодарение на същите възможности, които ни дават технологиите, твърденията бяха прецезирани и малка част от участниците попълниха теста с неточности. Също така отговорите на подвеждащите въпроси не са вземани предвид никъде в статистиката, която ви представям.

 

Силна история

Време е да се насочим към нея. Ето и забележителния резултат! Цели 36 души не са се подвели по нито едно от твърденията! Специални поздравления и за тях, и за всички останали с висок резултат! Разбира се, развам се от сърце, че очевидно са се включили хора със сериозни исторически познания (за статистиката не би трябвало да изключваме възможността от повторно попълване, анкетата беше анонимна).

Огромна част от попълнилите са се отнесли към анкетата сериозно. За целите на прецизната статистика от следващите закономерности ще изключа хората, попълнили по-малко от 20 от 30-те въпроса.

Средният брой точки е 20,55! Близо 70% са средно верните отговори. Това според мен е и доста висока цифра, показваща, че хората определено са познавали голяма част от твърденията (което не се оказа така, когато бях поставил задачата да различават генерирани от създадени текстове и изображения).

Най-честите резултати са между 20 и 26 точки. И все пак, по-малко от 2% от включилите се са разпознали абсолютно безпогрешно 30-те твърдния!

Дали участниците са били по-склонни да смятат истинските исторически факти за измислица, или пък въображението на ChatGPT – за истина?

Експеримент история Експеримент история

Резултатите в двете групи са доста сходни. Тоест – сравнително еднакъв е шансът да не познаете измислено историческо твърдение или да помислите, че в някое достоверно такова има неточност. Разбира се, предполага го и самата анкета, която е предизвикателство именно за съмнение.

 

Позната история

Експеримент история

Както си личи по този списък, ChatGPT избра да генерира факти, свързани основно със Средновековието и доста по-малко – с Възраждането или пък новата история. Както във всички останали експерименти на Дигитални истории, идеята ми беше моята намеса да е минимална – алгоритъмът сам да преценява накъде и как да се насочи към дадената задача. Защо точно тези исторически факти са били познати от почти или повече от 80% от отговорилите, оставям да прецените вие. Но къде ли историята е звучала най-невероятно? Кои ли са историческите факти, които най-много от участниците са приели за измислица?

Експеримент история

Очевидно хан Пресиян, цар Иван Александър и Енравота са исторически личности, които не познаваме чак толкова добре. Може би с това е свързана и разликата с предишната графика – става дума за не най-популярните личности в нея.

Но нека проверим и как стоят нещата с измислените твърдения. Там също ChatGPT имаше пълната свобода да си избира периоди, личности, какво точно да е подвеждащото. Със сигурност би могъл да се представи и по-добре със задачата си, ако се бях постарал повече с конкретното задание към него. И все пак, всяка от измислиците, а и от фактите, е объркала поне 1 от 10 участници, решили да отговорят.

 

Измислена история

 

Експеримент история

И може би отново общата линия е тази на сравнително популярни личности. Или пък на твърде невероятно звучащи „факти“, като например колекцията с екзотични животни на цар Смилец и ордена от учени алхимици на цар Михаил Шишман.

Експеримент история

Що се отнася до 5-те измислици, които са подвели най-много хора, отново става дума за конкретни детайли. Лично мен ме учуди това, че университетът на цар Петър I и тамплиерите – съюзници на цар Калоян, са успели да подведат немалко от участниците.

 

Кратка история

И така, ако трябва да обобщим накратко всичко дотук:

  • Включиха се цели 1910 гости на Дигитални истории, с което това за момента е най-популярният експеримент на сайта. Очевидно темата е изключително важна и вълнуваща за мнозина.

 

  • Средният резултат показва, че голяма част от посетителите са се справили с разпознаването на истинските исторически факти и тези, измислени от изкуствения интелект.

 

  • Все пак, определено има доста твърдения, които са успели да подведат участниците. Едно е сигурно: във времената на интернет и напредналия ИИ е по-важно от всякога да проверяваме, да подлагаме на съмнение, да обсъждаме, да даваме думата на специалистите.

 

Важна история

Историческата тематика се оказа толкова интересна и важна, че определено ви очакват и следващите дигитални истории, свързани с миналото. Ако сте пропуснали, препоръчвам ви всички текстове, които станаха част от поредицата:

 

 

 

 

Време е и за обещаните награди! Трима от участниците, които изявиха желание да се включат в жребия за тях, получават като подарък книгата „Дигитални истории“ с автограф. Това са dimit******@abv.bg, l.hristo***@gmail.com и gerani***@gmail.com.

И отново, благодаря от сърце на всеки, който се включи! Ако ви идват идеи за следващи Дигитални истории, ще съм благодарен да ги споделите тук, очаква ви и скромна награда. Благодаря!

Дигитални истории

Дигитални истории е и ще си остане изцяло некомерсиално начинание, на което посвещавам доста време и усилия. За създаването на сайта обаче са нужни определени разходи. Ако имате възможност и желание да подпомогнете сайта, вече можете да го направите. Разбира се, все така важна подкрепа си остава всяка добра дума, всяко споделяне на темите.

<a href="https://karamanev.me/author/georgik" target="_self">Георги Караманев</a>

Георги Караманев

Програмист, журналист и писател. Още за мен – тук.
Дигитални истории

Най-нови публикации:

Как да надникнем в „мислите“ на изкуствения интелект?

Как да надникнем в „мислите“ на изкуствения интелект?

Озовахме се във време, в което чатботът не е просто помощник, а и „психотерапевт“. Преди още да го познаваме достатъчно добре, преди да сме заложили етичните рамки. Вече виждаме първите...

повече информация
5 г. Дигитални истории! Ще решите ли куиза с награди?

5 г. Дигитални истории! Ще решите ли куиза с награди?

Точно преди 5 години излезе „Робот с мартеничка“, първият материал на сайта Дигитални истории! Оттогава всяка седмица се появяват по един или два дълги текста, рисуващи историята на самите Дигитални...

повече информация
Как ИИ нарисува 10 класически стиха? 2022 срещу 2026 г.

Как ИИ нарисува 10 класически стиха? 2022 срещу 2026 г.

Вярвахте ли преди няколко години, че изкуственият интелект ще създава толкова изпипани изображения? От свръхреалистични „фотографии“ до персонализирани карикатури в поредната модна тема, която...

повече информация
Денят, в който програмистите спряха да пишат код

Денят, в който програмистите спряха да пишат код

Представяте ли си какво им е било на кочияшите, когато видели първите автомобили? Сигурно в началото са се чувствали в безопасност. „Кой ли ще се качи в тези странни кубчета? Вместо да се наслаждава...

повече информация
Поет + ИИ = Apollo ex Machina. Кои са победителите?

Поет + ИИ = Apollo ex Machina. Кои са победителите?

Дойде време да обявим победителите в първия у нас (и един от първите по света) конкурс за поезия, генерирана с помощта на изкуствен интелект – Apollo ex Machina. На церемония в Столична библиотека...

повече информация

Още публикации по темата:

От рубриката:

5 г. Дигитални истории! Ще решите ли куиза с награди?

5 г. Дигитални истории! Ще решите ли куиза с награди?

Точно преди 5 години излезе първият материал на сайта Дигитални истории! Моят скромен подарък е един забавен и неочакван куиз с награди. Опитайте да се справите с 30 въпроса и ще се включите в жребия за 10 книги, свързани по един или друг начин с историята на начинанието. Куизът отнема не повече от 10 минути, опитайте! А после ви чака изключително любопитната му история…

повече информация
Как ИИ нарисува 10 класически стиха? 2022 срещу 2026 г.

Как ИИ нарисува 10 класически стиха? 2022 срещу 2026 г.

През 2022 г. призовах първия впечатляващ ИИ модел за изображения MidJourney да изпълни неочаквана задача. Подадох му 10 цитата от любими български поети, за да видим какво ще нарисува той. Резултатите бяха впечатляващи и замислящи, това се превърна в една от най-четените и обсъждани Дигитални истории.
Оттогава мина почти петилетка. Как ли ще изглеждат картинките, които днес ще нарисуват най-модерните модели по същите тези стихове? ИИ несъмнено ще покаже повече умения, но дали ще покаже и творчество, разбиране? Дали илюстрациите му ще са по-близко до изкуство? Преценете сами…
„В живота си нивга не бях се надявал
на толкова мил комплимент:
покани ме AI – най-новият AI –
дома си на чашка абсент.“

повече информация
Денят, в който програмистите спряха да пишат код

Денят, в който програмистите спряха да пишат код

Само за месец някои от безспорните авторитети от различни поколения и области на компютърния свят се обединиха зад една и съща идея. Днес не е нужно човекът да пише компютърен код. Защото изкуственият интелект вече го прави по-добре от нас.
Тази Дигитална история е важна не само за десетките милиони програмисти, но и защото е силен пример. Тя се случва в софтуерния свят, но няма причина да не се повтори във всяка друга област, където ИИ навлиза по-бавно, но също толкова неумолимо.
Май е време да „слизаме“ от клавиатурите. Но… какво да захванем тогава? Какво ще правят програмистите, когато вече не пишат код?

повече информация

Най-новите:

Как да надникнем в „мислите“ на изкуствения интелект?

Как да надникнем в „мислите“ на изкуствения интелект?

„Работата, професионалния живот, устремът да постигаме корпоративни успехи и позиции, това се е превърнало в масова култура на обществото ни в световен мащаб. Много хора осмислят по този начин живота си и до момента. Оттук нататък ще трябва да го променим. Ще трябва да търсим смисъл.“
Озовахме се във време, в което чатботът не е просто помощник, а и „психотерапевт“. Преди още да го познаваме достатъчно добре, преди да сме заложили етичните рамки. Вече виждаме първите предизвикателства от това, а тепърва се задават истинските проблеми.
Доника Боримечкова е психолог и психотерапевт с над 15 години опит. Този път решихме заедно да поканим на психотерапевтичен сеанс… изкуствения интелект. Защото, както казва Доника, вече много от клиентите ѝ получават съвети от него, преди да я срещнат. Така и не открихме начин и подход, с който да направим подобен експеримент, затова решихме да обсъдим темата, да поставим основите, след което да поканим всеки от вас да ни даде идеи как да продължим. Ето как започва този разговор.

повече информация
5 г. Дигитални истории! Ще решите ли куиза с награди?

5 г. Дигитални истории! Ще решите ли куиза с награди?

Точно преди 5 години излезе първият материал на сайта Дигитални истории! Моят скромен подарък е един забавен и неочакван куиз с награди. Опитайте да се справите с 30 въпроса и ще се включите в жребия за 10 книги, свързани по един или друг начин с историята на начинанието. Куизът отнема не повече от 10 минути, опитайте! А после ви чака изключително любопитната му история…

повече информация
От Floor-а до Quizza. Предизвикай знанията си!

От Floor-а до Quizza. Предизвикай знанията си!

Представям ви Quizza! Сайт, който създадохме с доброволен труд. В който можете да се предизвикате, като решите някой от многобройните ни постоянни куизове на какви ли не теми. Можете да се изправите в седмично състезание срещу някои от познатите ви от он- и офлайн състезания герои! И, не на последно място, да срещнете каузи, зад които всеки от нас застава с името си!
Не се съмнявам, че снощи сте гледали първия епизод от The Floor, новото и иновативно състезание по NOVA. Ако не сте, изобщо не е късно, тепърва остават цели 12 епизода. Само по себе си е повод за празник, че игра за знание, а не за скандали, се появява в праймтайма и вярвам, че ще бъде хитът на сезона. Слуховете (и ChatGPT) мълвят, че и аз съм там.
Тук сме обаче за една малко по-различна дигитална история, която е тясно свързана с играта. Тя идва да ни покаже, че когато сме заедно, сме способни на чудеса. Че щом хора, събрани уж да се състезават и побеждават един друг, могат да си протегнат ръка за нещо по-голямо, значи и обществото ни може да го направи.
Обичате ли да провокирате и проверявате знанията си? Търсите ли смислени каузи, на които да помогнете, като сте сигурни, че помощта отива на точното място и помага за нещо важно и устойчиво?
Ако отговорът ви е „да“ дори на един от тези въпроси, то тази Дигитална история е точно за вас!

повече информация
Как ИИ нарисува 10 класически стиха? 2022 срещу 2026 г.

Как ИИ нарисува 10 класически стиха? 2022 срещу 2026 г.

През 2022 г. призовах първия впечатляващ ИИ модел за изображения MidJourney да изпълни неочаквана задача. Подадох му 10 цитата от любими български поети, за да видим какво ще нарисува той. Резултатите бяха впечатляващи и замислящи, това се превърна в една от най-четените и обсъждани Дигитални истории.
Оттогава мина почти петилетка. Как ли ще изглеждат картинките, които днес ще нарисуват най-модерните модели по същите тези стихове? ИИ несъмнено ще покаже повече умения, но дали ще покаже и творчество, разбиране? Дали илюстрациите му ще са по-близко до изкуство? Преценете сами…
„В живота си нивга не бях се надявал
на толкова мил комплимент:
покани ме AI – най-новият AI –
дома си на чашка абсент.“

повече информация
Денят, в който програмистите спряха да пишат код

Денят, в който програмистите спряха да пишат код

Само за месец някои от безспорните авторитети от различни поколения и области на компютърния свят се обединиха зад една и съща идея. Днес не е нужно човекът да пише компютърен код. Защото изкуственият интелект вече го прави по-добре от нас.
Тази Дигитална история е важна не само за десетките милиони програмисти, но и защото е силен пример. Тя се случва в софтуерния свят, но няма причина да не се повтори във всяка друга област, където ИИ навлиза по-бавно, но също толкова неумолимо.
Май е време да „слизаме“ от клавиатурите. Но… какво да захванем тогава? Какво ще правят програмистите, когато вече не пишат код?

повече информация
Поет + ИИ = Apollo ex Machina. Кои са победителите?

Поет + ИИ = Apollo ex Machina. Кои са победителите?

Дойде време да обявим победителите в първия у нас (и един от първите по света) конкурс за поезия, генерирана с помощта на изкуствен интелект – Apollo ex Machina.
На церемония в Столична библиотека бяха обявени избраниците на журито. Там бе представена и стихосбирката с избрани творби от надпреварата, дело на издателство Scribens. След малко ще можете да прочетете стиховете на най-добрите и да прецените сами колко добри са те.

повече информация
Share This