Можем ли да различим историческите факти от измислиците на ChatGPT? (резултати)

ное. 22, 2024 | Технологии

Можем ли да различим историческите факти от измислиците на ChatGPT? (резултати)

22 ноември 2024 | Технологии

1910. Това е годината, в която се раждат Майка Тереза и Жак-Ив Кусто, а светът още се радва на предвоенното спокойствие. За българска история обаче сме се събрали да си говорим. Точно 1910 души се включиха в експеримента на Дигитални истории, който имаше за цел да провери колко добре познаваме българската история. Дали сме способни да различим безспорни исторически факти от учебниците от такива, измислени от изкуствения интелект, който има за цел да ни подведе.

30 твърдения – половината исторически верни, половината – измислици на алгоритмите.

Резултатите, поне за мен, са впечатляващи. Ето защо дойде време да ги обобщим и разгледаме. Успя ли изкуственият интелект да затрудни участниците? Познаваме ли добре българското минало, което е толкова важна днес тема? (Анкетата отново е отворена, този път без да събираме резултатите. Можете да опитате да я решите тук, преди да четете нататък, ако не искате да разберете верните отговори.)

И така, цели 1910 души! Благодаря от сърце на всеки от тях!

Експеримент история

 

Поучителна история

Бързам да ви кажа кой първи не се справи с теста… Признавам си, това бях аз. Още едно доказателство колко е трудно, но и колко важно в наши дни човек да проверява историческите факти. След като бях изпитал анкетата с повече от 10 мои близки и приятели, двама от които – историци, бях спокоен, че твърденията са проверени. Но още първия ден след публикуването ѝ започнаха да валят имейли и сигнали, че някои от твърденията, които съм посочил като верни, изобщо не са такива. Ставаше дума за грешна година, за невярна фактология, дори за едно историческо клише, което по-късно оборих с помощта на историка Александър Мошев в материала по темата. Наложи се две от твърденията да бъдат сменени напълно, други да бъдат сериозно прецизирани. Използвам случая да се извиня на всеки, когото неволно съм подвел!

Търсейки дали ChatGPT може да ни подведе… сам се подведох с немалък процент от твърденията, които уж бях потвърдил и проверил! Мисля, че е доста поучително. Така или иначе, благодарение на същите възможности, които ни дават технологиите, твърденията бяха прецезирани и малка част от участниците попълниха теста с неточности. Също така отговорите на подвеждащите въпроси не са вземани предвид никъде в статистиката, която ви представям.

 

Силна история

Време е да се насочим към нея. Ето и забележителния резултат! Цели 36 души не са се подвели по нито едно от твърденията! Специални поздравления и за тях, и за всички останали с висок резултат! Разбира се, развам се от сърце, че очевидно са се включили хора със сериозни исторически познания (за статистиката не би трябвало да изключваме възможността от повторно попълване, анкетата беше анонимна).

Огромна част от попълнилите са се отнесли към анкетата сериозно. За целите на прецизната статистика от следващите закономерности ще изключа хората, попълнили по-малко от 20 от 30-те въпроса.

Средният брой точки е 20,55! Близо 70% са средно верните отговори. Това според мен е и доста висока цифра, показваща, че хората определено са познавали голяма част от твърденията (което не се оказа така, когато бях поставил задачата да различават генерирани от създадени текстове и изображения).

Най-честите резултати са между 20 и 26 точки. И все пак, по-малко от 2% от включилите се са разпознали абсолютно безпогрешно 30-те твърдния!

Дали участниците са били по-склонни да смятат истинските исторически факти за измислица, или пък въображението на ChatGPT – за истина?

Експеримент история Експеримент история

Резултатите в двете групи са доста сходни. Тоест – сравнително еднакъв е шансът да не познаете измислено историческо твърдение или да помислите, че в някое достоверно такова има неточност. Разбира се, предполага го и самата анкета, която е предизвикателство именно за съмнение.

 

Позната история

Експеримент история

Както си личи по този списък, ChatGPT избра да генерира факти, свързани основно със Средновековието и доста по-малко – с Възраждането или пък новата история. Както във всички останали експерименти на Дигитални истории, идеята ми беше моята намеса да е минимална – алгоритъмът сам да преценява накъде и как да се насочи към дадената задача. Защо точно тези исторически факти са били познати от почти или повече от 80% от отговорилите, оставям да прецените вие. Но къде ли историята е звучала най-невероятно? Кои ли са историческите факти, които най-много от участниците са приели за измислица?

Експеримент история

Очевидно хан Пресиян, цар Иван Александър и Енравота са исторически личности, които не познаваме чак толкова добре. Може би с това е свързана и разликата с предишната графика – става дума за не най-популярните личности в нея.

Но нека проверим и как стоят нещата с измислените твърдения. Там също ChatGPT имаше пълната свобода да си избира периоди, личности, какво точно да е подвеждащото. Със сигурност би могъл да се представи и по-добре със задачата си, ако се бях постарал повече с конкретното задание към него. И все пак, всяка от измислиците, а и от фактите, е объркала поне 1 от 10 участници, решили да отговорят.

 

Измислена история

 

Експеримент история

И може би отново общата линия е тази на сравнително популярни личности. Или пък на твърде невероятно звучащи „факти“, като например колекцията с екзотични животни на цар Смилец и ордена от учени алхимици на цар Михаил Шишман.

Експеримент история

Що се отнася до 5-те измислици, които са подвели най-много хора, отново става дума за конкретни детайли. Лично мен ме учуди това, че университетът на цар Петър I и тамплиерите – съюзници на цар Калоян, са успели да подведат немалко от участниците.

 

Кратка история

И така, ако трябва да обобщим накратко всичко дотук:

  • Включиха се цели 1910 гости на Дигитални истории, с което това за момента е най-популярният експеримент на сайта. Очевидно темата е изключително важна и вълнуваща за мнозина.

 

  • Средният резултат показва, че голяма част от посетителите са се справили с разпознаването на истинските исторически факти и тези, измислени от изкуствения интелект.

 

  • Все пак, определено има доста твърдения, които са успели да подведат участниците. Едно е сигурно: във времената на интернет и напредналия ИИ е по-важно от всякога да проверяваме, да подлагаме на съмнение, да обсъждаме, да даваме думата на специалистите.

 

Важна история

Историческата тематика се оказа толкова интересна и важна, че определено ви очакват и следващите дигитални истории, свързани с миналото. Ако сте пропуснали, препоръчвам ви всички текстове, които станаха част от поредицата:

 

 

 

 

Време е и за обещаните награди! Трима от участниците, които изявиха желание да се включат в жребия за тях, получават като подарък книгата „Дигитални истории“ с автограф. Това са dimit******@abv.bg, l.hristo***@gmail.com и gerani***@gmail.com.

И отново, благодаря от сърце на всеки, който се включи! Ако ви идват идеи за следващи Дигитални истории, ще съм благодарен да ги споделите тук, очаква ви и скромна награда. Благодаря!

Дигитални истории

Дигитални истории е и ще си остане изцяло некомерсиално начинание, на което посвещавам доста време и усилия. За създаването на сайта обаче са нужни определени разходи. Ако имате възможност и желание да подпомогнете сайта, вече можете да го направите. Разбира се, все така важна подкрепа си остава всяка добра дума, всяко споделяне на темите.

<a href="https://karamanev.me/author/georgik" target="_self">Георги Караманев</a>

Георги Караманев

Програмист, журналист и писател. Още за мен – тук.
Дигитални истории

Най-нови публикации:

Грешки (не)човешки

Грешки (не)човешки

Статията се препубликува от Тоест. Тя е част от рубриката Порция език и е подготвена съвместно с Павлина Върбанова.   Има ли грешка, има и прощка. Ако сте открили нещо нередно тук, значи и вие...

повече информация
Тест: Ще различите ли ИИ глас от човешки?

Тест: Ще различите ли ИИ глас от човешки?

Можете ли да си представите глас, неразличим от човешкия, който да чете новините? Или да ви се обади по телефона, без да има никакъв шанс да го различите? Не говорим за популярното решение гласът да...

повече информация

Още публикации по темата:

От рубриката:

Грешки (не)човешки

Грешки (не)човешки

Във времената, когато все по-малко медии и дори издателства се доверяват на специалисти, които да следят за правописа, дали пък изкуственият интелект (ИИ) няма да се окаже полезен помощник? Време е за един показателен правописен експеримент с участието на някои от най-мощните съвременни модели.
Всички (надяваме се) вярваме, че по правописа, а не по дрехите днес посрещат онлайн. В технологичната епоха общуваме все по-често чрез писмени текстове и начинът, по който го правим, определено издава толкова много на събеседника. Може ли ИИ да ни помогне да пишем грамотно?

повече информация
Тест: Ще различите ли ИИ глас от човешки?

Тест: Ще различите ли ИИ глас от човешки?

6 аудиозаписа, в които е произнeсена кратка фраза. Някои от тях са генерирани от ИИ, другите са истински човешки гласове. Ще ги различите ли?
Включете се до 1 август 2025 г. и при 6 правилни отговора участвате в жребия за скромен подарък.
Ще познаете ли кой глас е на човек и кой – на машина? Ръкавицата е хвърлена!

повече информация
Кой говори – човек или алгоритъм?

Кой говори – човек или алгоритъм?

Не е новина, че ИИ генерира изображения и текстове, които (проверено!) не могат да бъдат различени от създадените от човека. Видеото като че ли все още изостава, но… Можете ли да си представите глас, неразличим от човешкия, който да чете новините? Или да ви се обади по телефона, без да има никакъв шанс да го различите? Не говорим за популярното решение гласът да бъде клониран, а за напълно изкуствено създаден, който обаче е толкова убедителен. При това на чист български, който е почти невъзможен за човек, чийто роден език не е!
Време е за една звучна Дигитална история. А какво предизвикателство ви очаква след това…

повече информация

Най-новите:

Грешки (не)човешки

Грешки (не)човешки

Във времената, когато все по-малко медии и дори издателства се доверяват на специалисти, които да следят за правописа, дали пък изкуственият интелект (ИИ) няма да се окаже полезен помощник? Време е за един показателен правописен експеримент с участието на някои от най-мощните съвременни модели.
Всички (надяваме се) вярваме, че по правописа, а не по дрехите днес посрещат онлайн. В технологичната епоха общуваме все по-често чрез писмени текстове и начинът, по който го правим, определено издава толкова много на събеседника. Може ли ИИ да ни помогне да пишем грамотно?

повече информация
Тест: Ще различите ли ИИ глас от човешки?

Тест: Ще различите ли ИИ глас от човешки?

6 аудиозаписа, в които е произнeсена кратка фраза. Някои от тях са генерирани от ИИ, другите са истински човешки гласове. Ще ги различите ли?
Включете се до 1 август 2025 г. и при 6 правилни отговора участвате в жребия за скромен подарък.
Ще познаете ли кой глас е на човек и кой – на машина? Ръкавицата е хвърлена!

повече информация
Кой говори – човек или алгоритъм?

Кой говори – човек или алгоритъм?

Не е новина, че ИИ генерира изображения и текстове, които (проверено!) не могат да бъдат различени от създадените от човека. Видеото като че ли все още изостава, но… Можете ли да си представите глас, неразличим от човешкия, който да чете новините? Или да ви се обади по телефона, без да има никакъв шанс да го различите? Не говорим за популярното решение гласът да бъде клониран, а за напълно изкуствено създаден, който обаче е толкова убедителен. При това на чист български, който е почти невъзможен за човек, чийто роден език не е!
Време е за една звучна Дигитална история. А какво предизвикателство ви очаква след това…

повече информация
Колко изкара ИИ на матура?

Колко изкара ИИ на матура?

Какво ще стане, ако изпитаме на матурата по български език и литература три от най-мощните модели изкуствен интелект? Усилията им ще оценят двама опитни проверители на истинските зрелостни изпити. За да е състезанието още по-оспорвано и показателно, включваме двама реални зрелостници и мен, автора на тези редове.
Ще изкарат ли пълни шестици ChatGPT, Claude и Gemini, или ще се провалят с гръм и трясък?
Ще разпознаят ли учителите коя от работите е на изкуствен интелект и коя – на човек?
Кой ще получи най-високата и кой – най-ниската оценка?
Какво ще ни кажат резултатите и за най-показателния изпит в българското образование, и за напредъка на алгоритмите, и за големите въпроси, с които идват новите технологии?

повече информация
„Хайде да спрем да се подценяваме!“

„Хайде да спрем да се подценяваме!“

Как да сме по-щастливи като общество? Как да изведем на следващо ниво ИТ сектора в България?
Седнали двама програмисти да си говорят за счупения обществен разговор, за разделението, за пътя на успеха. Звучи като начало на виц, а се получи сериозно и замислящо интервю в подкаста на DEV.BG. Думите, които разменихме, ми се сториха толкова важни, че ще ви ги представя и тук.
Веско Колев е начело на Icanpreneur – стартъп, който помага на повече ИТ компании да създадат работещ продукт. Има богат опит в софтуерния свят и особено интересни наблюдения, с които ще се срещнем днес.
Защо и как е време отново да започнем не само да се слушаме, но и да си говорим, дори когато ни разделя актуалният спор на деня? Защо е изграждащо и осмислящо честото „настъпване на мотиката“ и си струва да се радваме, когато детето ни получи слаба оценка? Какво ни е нужно като общество, за да вървим заедно напред, и то в епохата на напредналия изкуствен интелект?

повече информация
Питър Тийл. Консервативният визионер

Питър Тийл. Консервативният визионер

Facebook, SpaceX, Airbnb, LinkedIn, PayPal, Ethereum. Революцията на OpenAI и ChatGPT, възходът на Доналд Тръмп и вездесъщия му (доскорошен) съюзник Илон Мъск.
Наистина ли има една личност, която събира всички тези явления? Нещо повече – не е преувеличено да се каже, че ако не беше днешният ни герой, надали някое от тях щеше да се претвори в реалност…
Питър Тийл си е спечелил името на пророк, на гуру. На големия визионер на технологичните времена. Докато в същото време има толкова противоречиви възгледи, които някак си остават встрани от големия медиен шум. Но това е типично за родения в Германия предприемач. Някои го приемат за сивия кардинал на Силициевата долина, други – за мъдрец, който може да покаже на всеки пътя към големия успех в технологичната епоха.
Мултимилиардер, той казва, че конкуренцията е измамно благо, а монополите са решението на бъдещето. Създава мащабна програма, за да помага на хора, избрали да изоставят образованието си, за да създадат собствен бизнес, което пък проправя пътя на следващото поколение технологични лидери.
Всичко това и още много е г-н Тийл. Време е да застане под светлината на прожекторите, защото със сигурност е един от хората, които вече са променили живота на всеки от нас. Нещо повече – от него се очаква да зависи все повече в турболентните технологични времена, в които живеем.

повече информация
Share This