Можем ли да различим историческите факти от измислиците на ChatGPT? (резултати)

ное. 22, 2024 | Технологии

Можем ли да различим историческите факти от измислиците на ChatGPT? (резултати)

22 ноември 2024 | Технологии

1910. Това е годината, в която се раждат Майка Тереза и Жак-Ив Кусто, а светът още се радва на предвоенното спокойствие. За българска история обаче сме се събрали да си говорим. Точно 1910 души се включиха в експеримента на Дигитални истории, който имаше за цел да провери колко добре познаваме българската история. Дали сме способни да различим безспорни исторически факти от учебниците от такива, измислени от изкуствения интелект, който има за цел да ни подведе.

30 твърдения – половината исторически верни, половината – измислици на алгоритмите.

Резултатите, поне за мен, са впечатляващи. Ето защо дойде време да ги обобщим и разгледаме. Успя ли изкуственият интелект да затрудни участниците? Познаваме ли добре българското минало, което е толкова важна днес тема? (Анкетата отново е отворена, този път без да събираме резултатите. Можете да опитате да я решите тук, преди да четете нататък, ако не искате да разберете верните отговори.)

И така, цели 1910 души! Благодаря от сърце на всеки от тях!

Експеримент история

 

Поучителна история

Бързам да ви кажа кой първи не се справи с теста… Признавам си, това бях аз. Още едно доказателство колко е трудно, но и колко важно в наши дни човек да проверява историческите факти. След като бях изпитал анкетата с повече от 10 мои близки и приятели, двама от които – историци, бях спокоен, че твърденията са проверени. Но още първия ден след публикуването ѝ започнаха да валят имейли и сигнали, че някои от твърденията, които съм посочил като верни, изобщо не са такива. Ставаше дума за грешна година, за невярна фактология, дори за едно историческо клише, което по-късно оборих с помощта на историка Александър Мошев в материала по темата. Наложи се две от твърденията да бъдат сменени напълно, други да бъдат сериозно прецизирани. Използвам случая да се извиня на всеки, когото неволно съм подвел!

Търсейки дали ChatGPT може да ни подведе… сам се подведох с немалък процент от твърденията, които уж бях потвърдил и проверил! Мисля, че е доста поучително. Така или иначе, благодарение на същите възможности, които ни дават технологиите, твърденията бяха прецезирани и малка част от участниците попълниха теста с неточности. Също така отговорите на подвеждащите въпроси не са вземани предвид никъде в статистиката, която ви представям.

 

Силна история

Време е да се насочим към нея. Ето и забележителния резултат! Цели 36 души не са се подвели по нито едно от твърденията! Специални поздравления и за тях, и за всички останали с висок резултат! Разбира се, развам се от сърце, че очевидно са се включили хора със сериозни исторически познания (за статистиката не би трябвало да изключваме възможността от повторно попълване, анкетата беше анонимна).

Огромна част от попълнилите са се отнесли към анкетата сериозно. За целите на прецизната статистика от следващите закономерности ще изключа хората, попълнили по-малко от 20 от 30-те въпроса.

Средният брой точки е 20,55! Това е и доста висока цифра, показваща, че хората определено са познавали голяма част от твърденията (което не се оказа така, когато бях поставил задачата да различават генерирани от създадени текстове и изображения).

Най-честите резултати са между 20 и 26 точки. И все пак, по-малко от 2% от включилите се са разпознали абсолютно безпогрешно 30-те твърдния!

Дали участниците са били по-склонни да смятат истинските исторически факти за измислица, или пък въображението на ChatGPT – за истина?

Експеримент история Експеримент история

Резултатите в двете групи са доста сходни. Тоест – сравнително еднакъв е шансът да не познаете измислено историческо твърдение или да помислите, че в някое достоверно такова има неточност. Разбира се, предполага го и самата анкета, която е предизвикателство именно за съмнение.

 

Позната история

Експеримент история

Както си личи по този списък, ChatGPT избра да генерира факти, свързани основно със Средновековието и доста по-малко – с Възраждането или пък новата история. Както във всички останали експерименти на Дигитални истории, идеята ми беше моята намеса да е минимална – алгоритъмът сам да преценява накъде и как да се насочи към дадената задача. Защо точно тези исторически факти са били познати от почти или повече от 80% от отговорилите, оставям да прецените вие. Но къде ли историята е звучала най-невероятно? Кои ли са историческите факти, които най-много от участниците са приели за измислица?

Експеримент история

Очевидно хан Пресиян, цар Иван Александър и Енравота са исторически личности, които не познаваме чак толкова добре. Може би с това е свързана и разликата с предишната графика – става дума за не най-популярните личности в нея.

Но нека проверим и как стоят нещата с измислените твърдения. Там също ChatGPT имаше пълната свобода да си избира периоди, личности, какво точно да е подвеждащото. Със сигурност би могъл да се представи и по-добре със задачата си, ако се бях постарал повече с конкретното задание към него. И все пак, всяка от измислиците, а и от фактите, е объркала поне 1 от 10 участници, решили да отговорят.

 

Измислена история

 

Експеримент история

И може би отново общата линия е тази на сравнително популярни личности. Или пък на твърде невероятно звучащи „факти“, като например колекцията с екзотични животни на цар Смилец и ордена от учени алхимици на цар Михаил Шишман.

Експеримент история

Що се отнася до 5-те измислици, които са подвели най-много хора, отново става дума за конкретни детайли. Лично мен ме учуди това, че университетът на цар Петър I и тамплиерите – съюзници на цар Калоян, са успели да подведат немалко от участниците.

 

Кратка история

И така, ако трябва да обобщим накратко всичко дотук:

  • Включиха се цели 1910 гости на Дигитални истории, с което това за момента е най-популярният експеримент на сайта. Очевидно темата е изключително важна и вълнуваща за мнозина.

 

  • Средният резултат показва, че голяма част от посетителите са се справили с разпознаването на истинските исторически факти и тези, измислени от изкуствения интелект.

 

  • Все пак, определено има доста твърдения, които са успели да подведат участниците. Едно е сигурно: във времената на интернет и напредналия ИИ е по-важно от всякога да проверяваме, да подлагаме на съмнение, да обсъждаме, да даваме думата на специалистите.

 

Важна история

Историческата тематика се оказа толкова интересна и важна, че определено ви очакват и следващите дигитални истории, свързани с миналото. Ако сте пропуснали, препоръчвам ви всички текстове, които станаха част от поредицата:

 

 

 

 

Време е и за обещаните награди! Трима от участниците, които изявиха желание да се включат в жребия за тях, получават като подарък книгата „Дигитални истории“ с автограф. Това са dimit******@abv.bg, l.hristo***@gmail.com и gerani***@gmail.com.

И отново, благодаря от сърце на всеки, който се включи! Ако ви идват идеи за следващи Дигитални истории, ще съм благодарен да ги споделите тук, очаква ви и скромна награда. Благодаря!

Дигитални истории

Дигитални истории е и ще си остане изцяло некомерсиално начинание, на което посвещавам доста време и усилия. За създаването на сайта обаче са нужни определени разходи. Ако имате възможност и желание да подпомогнете сайта, вече можете да го направите. Разбира се, все така важна подкрепа си остава всяка добра дума, всяко споделяне на темите.

<a href="https://karamanev.me/author/georgik" target="_self">Георги Караманев</a>

Георги Караманев

Програмист, журналист на свободна практика и писател. Още за мен – четете тук.
Дигитални истории

Най-нови публикации:

Кой изобрети тостера? Няма такава история!

Кой изобрети тостера? Няма такава история!

Сигурно сте чували за Алън Макмастърс, прословутия изобретател на тостера? Опитвайки се да намери идеалната сплав за електрически крушки, той неволно получил вещество, което карало хляба да кафенее...

повече информация
Рори и рецептите на Баба

Рори и рецептите на Баба

Какво ли прави един татуиран американец на борда на 40-годишна лада, устремен към поредното българско село? А какво ли съдържа коктейлът „Компютър“? Защо гражданинът на щата Вашингтон избира да...

повече информация
Айнщайн се прекланя пред Дънов? 12 клишета от българската история

Айнщайн се прекланя пред Дънов? 12 клишета от българската история

Първият християнски манастир е у нас. Пловдив е най-старият град на Земята. Айнщайн се прекланя пред Петър Дънов, а Хан Тервел е спасителят на Европа. Нещо повече, никога не сме губили военен флаг....

повече информация
ИИ влезе сред най-добрите на втори поетичен конкурс (експеримент)

ИИ влезе сред най-добрите на втори поетичен конкурс (експеримент)

Сред модерните новини на деня – изборите, Big Brother и внезапното нахлуване на есента, някак си в обществения дневен ред се вмъкна вестта, че в престижния конкурс за младежка поезия „Веселин...

повече информация

Още публикации по темата:

От рубриката:

Тест: Колко добре познавате българската история? Ще ви подхлъзне ли ChatGPT?

Тест: Колко добре познавате българската история? Ще ви подхлъзне ли ChatGPT?

15 общоприети твърдения за българската история и 15, измислени от изкуствения интелект. Ще успеете ли да ги различите? Кое е исторически факт и кое – безсмислица?
Днес, както никога, спорим за миналото си. Намираме силните исторически моменти, които ни карат да се гордеем, но лесно залитаме и по измислената история.
Можем ли да различим историческите факти от измислиците? Хайде да проверим заедно. 15 твърдения, генерирани от ChatGPT за българската история (и проверени от историк) и 15, които алгоритъмът измисли, помолен да пофантазира. 15 от твърденията са верни, 15 – изцяло измислени от изкуствения интелект.
С този тест започва историческата поредица от Дигитални истории. Ще поговорим с историка Александър Мошев за големите клишета онлайн, ще съберем поуките от някои любопитни фалшификации в мрежата. Ще дадем думата на писателите Виктория Бешлийска и Захари Карабашлиев, на учителя по история и куиз рекордьор Борис Русев. А междувременно сте вие – ще успеете ли да различите фактите от измислиците?
Колко добре познаваме историята си? Нека проверим заедно, а накрая ще обобщим резултатите.

Можете да се включите и в жребий за награди – подбрани книги и фланелки с логото на Дигитални истории. Отговорите се събират до символичния 10 ноември, а на 15-и очаквайте резултатите.
Благодаря от сърце за всяко попълване, за всяко споделяне!

повече информация
Какво мислят българите за изкуствения интелект? (Резултати)

Какво мислят българите за изкуствения интелект? (Резултати)

След дълго събиране на отговори в мащабната анкета на Дигитални истории дойде време да обобщим резултатите! Какво мислят българите за изкуствения интелект? Впечатлява ли ги напредъкът му и използват ли го ежедневно? Със страх или с ентусиазъм посрещат следващите големи стъпки в тази посока? Вярват ли, че е възможен генерален изкуствен интелект? Смятат ли, че през следващите години ни очакват мащабни промени? Дойде време да разберем на базата на безпристрастния поглед на данните!

повече информация
Бай Ганьо срещу ChatGPT. Ще гласувате ли?

Бай Ганьо срещу ChatGPT. Ще гласувате ли?

След броени дни се задават 7-ите поредни избори за Народно събрание само в рамките на 3 години. Вероятно е активността да е още по-ниска от рекордите, които не спираме да подобряваме, по всичко изглежда, че в Парламента ще влязат още повече партии.
Как да излезем от омагьосания кръг? Защо политиката у нас се превърна в толкова неблагодарно и непрестижно занимание? Къде са лидерите, които да ни вдъхновяват и за които да гласуваме с гордост, а не като за най-малкото зло? Къде са програмите, идеите, визионерството? Ясните политически позиции, принципите… Толкова ли е трудно в крайна сметка?
Разбира се, отговорите е редно да дават специалистите – политолози, социолози, общовойскови коментатори с важни гледни точки. И те ги дават всяка сутрин по телевизиите и целодневно онлайн, но всичко резултира в чесане на езици и допълнително разделяне, подпомогнато от технологиите.
Така че избирам да дам думата на два безспорни авторитета – Бай Ганьо, който така и не иска да си отиде – ще се убедите по цитатите, с които Алеко ни разказва толкова много за политиката по нашите ширини и отношението към нея. И, разбира се, на ChatGPT, чиято най-нова версия обещава да е още по-добра и близка до човешките отговори.

повече информация

Най-новите:

Българският литературен Банкси

Българският литературен Банкси

„Най-опасният литературен терорист у нас“. Не, тези думи за днешния ни гост не са мои, а на специалист, който следи и познава отблизо случващото се в българската литература.
Ето че след 153 интервюта, публикувани на този сайт, дойде времето за… първия анонимен гост! Няма да ви издам дори дали е мъж, или жена, важни тук са историята и гледната му точка.
Преди броени дни в два поетични конкурса генерирани от ИИ стихове попаднаха сред най-добрите, във втория случай ставаше дума за експеримент на Дигитални истории. Според мен е жизненоважно да започнем дискусията за бъдещите ни взаимоотношения с технологиите, при това с участието на колкото може повече важни гледни точки. Очаквайте следващите забележителни гости (и експерименти) по темата.
Днес обаче се връщаме още преди модата на ИИ генерирането. За да разкажем историята на един човек, който дълго време експериментира с това да изпраща компилирани или просто абсурдни стихове под различни имена. Дълго време преди това той е участвал и печелил конкурси с истинското си име, докато… не се убеждава, че нещо в системата не е наред. Че критериите не са това, което би трябвало да бъдат. Идеята му се променя с годините, особено след като успява да постигне серия от убедителни резултати и безброй публикации в много от смятаните за водещи поетични издания у нас.
Каква ли е целта му? Как изглежда според него бъдещето на поезията? Как алгоритмите променят отношението ни към писаното слово и към творчеството? Очаква ни забележителна среща с първия анонимен гост на Дигитални истории, българския литературен Банкси.

повече информация
Кой изобрети тостера? Няма такава история!

Кой изобрети тостера? Няма такава история!

Сигурно сте чували за Алън Макмастърс, прословутия изобретател на тостера? Опитвайки се да намери идеалната сплав за електрически крушки, той неволно получил вещество, което карало хляба да кафенее до съвършен загар. Уви, след тежка вечер в компанията на половин шише уиски, неговият конкурент Стивън Кромптън откраднал начинанието му и го представил за свое. После обрал цялата слава. И покрай това доста пари…
Дълъг репортаж за него показаха по BBC, „Уошингтън таймс“ описа невероятната му история, „Дейли Мирър“ включи името му сред „50-те най-велики британски изобретатели“. Често го споменават и до днес на Световния ден на тостера – 27 февруари. Статии, сборници, енциклопедии разказват историята му. Дори в популярен британски готварски формат му посвещават състезание, участниците трябва да измислят забележително блюдо в чест на изобретателя на тостера.
Малката подробност е, че… няма такъв човек. Изобретателят Макмастърс е „изобретен“ от двама студенти, решили да покажат колко е важно днес да проверяваме информацията, особено тази, свързана с миналото. Колко лесно даваме доверие онлайн и колко по-критични би трябвало да бъдем. Измислената страница в Wikipedia просъществува почти десетилетие, преди истината да излезе наяве.
Колко лесно е днес да се създаде фалшива история? Отговора дава специалният списък, в който самата англоезична Уикипедия разказва за най-дълго просъществувалите фалшиви публикации.
За мащабни мистификации и дребни, неочаквано случили се шеги. Които идват да ни припомнят колко лесно може да бъдем подведени онлайн.

повече информация
Рори и рецептите на Баба

Рори и рецептите на Баба

Какво ли прави един татуиран американец на борда на 40-годишна лада, устремен към поредното българско село? А какво ли съдържа коктейлът „Компютър“? Защо гражданинът на щата Вашингтон избира да търси старите български рецепти из затънтените села, там, където е „Баба“, събирателното, вечното на един безкраен, универсален образ, който докосва всички ни?
Рори Милър с днешна дата преоткрива магията на българското село. Онова, което изоставяме, а пази толкова от смисъла.
Строителен работник, берач на маслини и учител по английски, преди около 15 години Рори спира в България, за да се родят тук двете му деца. Привлича погледите с участието си в “Masterchef”, после продължава пътя си из затънтените български села. Така се ражда забележителната книга „На око“, сюрреалистичен пътепис, където точни рецепти няма да намерите – и за гозби, и за бъдещето, всичко е „на око“ като мерна единица и начин на живот. Но ще намерите и самото село, и гозбите му, и бабите, и духа, и добре премерените подправки.
Следващата стъпка на американеца е книгата да се появи на английски с кампания в платформа за споделено финансиране. Аз лично ще го подкрепя, защото мисля, че е уловил безценния дух на българското село днес. Което е различно от онова на Елин Пелин и Иван Вазов. Което, вярвам, ще обърне сбъркана мода, че животът е в големия град. Светът на технологиите ни позволява както никога да разбиваме стереотипите. Припомня ни го и книгата на колоритния Рори, който има какво да ни каже и в следващите редове.

повече информация
Айнщайн се прекланя пред Дънов? 12 клишета от българската история

Айнщайн се прекланя пред Дънов? 12 клишета от българската история

Първият християнски манастир е у нас. Пловдив е най-старият град на Земята. Айнщайн се прекланя пред Петър Дънов, а Хан Тервел е спасителят на Европа. Нещо повече, никога не сме губили военен флаг.
Кое от твърденията, които можете да намерите всеки ден онлайн, има историческа обосновка? Къде можем да говорим за различни тълкувания, къде поводът за гордост има пълно основание и къде става дума за откровена измислица?
Историята е толкова важна област, която ни събира и дели. Щедро поле за гордост и за манипулации.
Вие можете ли да различите някои общоприети твърдения, свързани с българската история, от такива, измислени от изкуствения интелект? Опитайте тук, този експеримент ще даде интересни резултати!
А ние ще проверим някои от най-популярните твърдения, поводи за гордост онлайн, които можете да видите навсякъде. Не, няма да фактчектваме, според мен тази идея е обречена, защото и историята, както журналистиката, не може да бъде точна наука.
Срещаме се с историка Александър Мошев, за да поговорим на базата на изворите и на логиката, да се опитаме да потърсим рационалния поглед. Аз му подавам без предварителни условия 12 избрани клишета, а той ще разкаже повече за тях и за това доколко съвпадат с мнението на днешната историография.

повече информация
Кое лекува историческите рани?

Кое лекува историческите рани?

Историята днес ни свързва и дели, разпалва и вълнува, както никога преди. Разбира се, и защото, „който контролира миналото, контролира бъдещето“.
Захари Карабашлиев с най-новия си роман – „Рана“ се обърна именно към българската история, към едни от най-драматичните ѝ и важни моменти. Към раните, които ни нанася миналото, към предците, чийто път продължаваме. Романът наднича в няколко от големите теми на последните 150 години по вълнуващ и автентичен начин. Писателят вече ми е гостувал, срещаме се отново, за да поговорим за миналото. За силните му истории и вълнението. За поуките и отговорите. За това, което ни събира и което ни дели.

повече информация
ИИ влезе сред най-добрите на втори поетичен конкурс (експеримент)

ИИ влезе сред най-добрите на втори поетичен конкурс (експеримент)

В литературните среди отекна новината, че в престижния конкурс за младежка поезия „Веселин Ханчев“ сред избраните от журито финалисти е попаднал неочакван състезател – 21-годишният Христиан Папазов от силистренското село Ножарево е изпратил стихове, генерирани от изкуствен интелект. Христиан (или който и да стои зад това име) се отказа от участието си, пишейки, че единствената му цел е била да привлече вниманието към темата.
Не знам дали вярвате в съвпадения, аз – не. На 25 октомври, ден преди новината да излезе, бяха обявени 10-те избраници на журито в друг популярен поетичен конкурс. И ето че отново в селекцията попаднаха… генерирани стихове. Този път като част от експеримент на Дигитални истории.
Но как така само за два дни двама „автори“ със стихове, написани от ИИ, се озоваха сред най-добрите, тези, измежду които ще бъдат избрани победителите? И, по-важното: кои са големите въпроси и изводи от това? Вярваме или не в съвпадения, явно е, че е дошло време да поговорим по-адекватно и задълбочено за големите въпроси на днешния ден.
Денят на будителите според мен е точният, за да се събудим…

повече информация
Share This