Можем ли да различим историческите факти от измислиците на ChatGPT? (резултати)

ное. 22, 2024 | Технологии

Можем ли да различим историческите факти от измислиците на ChatGPT? (резултати)

22 ноември 2024 | Технологии

1910. Това е годината, в която се раждат Майка Тереза и Жак-Ив Кусто, а светът още се радва на предвоенното спокойствие. За българска история обаче сме се събрали да си говорим. Точно 1910 души се включиха в експеримента на Дигитални истории, който имаше за цел да провери колко добре познаваме българската история. Дали сме способни да различим безспорни исторически факти от учебниците от такива, измислени от изкуствения интелект, който има за цел да ни подведе.

30 твърдения – половината исторически верни, половината – измислици на алгоритмите.

Резултатите, поне за мен, са впечатляващи. Ето защо дойде време да ги обобщим и разгледаме. Успя ли изкуственият интелект да затрудни участниците? Познаваме ли добре българското минало, което е толкова важна днес тема? (Анкетата отново е отворена, този път без да събираме резултатите. Можете да опитате да я решите тук, преди да четете нататък, ако не искате да разберете верните отговори.)

И така, цели 1910 души! Благодаря от сърце на всеки от тях!

Експеримент история

 

Поучителна история

Бързам да ви кажа кой първи не се справи с теста… Признавам си, това бях аз. Още едно доказателство колко е трудно, но и колко важно в наши дни човек да проверява историческите факти. След като бях изпитал анкетата с повече от 10 мои близки и приятели, двама от които – историци, бях спокоен, че твърденията са проверени. Но още първия ден след публикуването ѝ започнаха да валят имейли и сигнали, че някои от твърденията, които съм посочил като верни, изобщо не са такива. Ставаше дума за грешна година, за невярна фактология, дори за едно историческо клише, което по-късно оборих с помощта на историка Александър Мошев в материала по темата. Наложи се две от твърденията да бъдат сменени напълно, други да бъдат сериозно прецизирани. Използвам случая да се извиня на всеки, когото неволно съм подвел!

Търсейки дали ChatGPT може да ни подведе… сам се подведох с немалък процент от твърденията, които уж бях потвърдил и проверил! Мисля, че е доста поучително. Така или иначе, благодарение на същите възможности, които ни дават технологиите, твърденията бяха прецезирани и малка част от участниците попълниха теста с неточности. Също така отговорите на подвеждащите въпроси не са вземани предвид никъде в статистиката, която ви представям.

 

Силна история

Време е да се насочим към нея. Ето и забележителния резултат! Цели 36 души не са се подвели по нито едно от твърденията! Специални поздравления и за тях, и за всички останали с висок резултат! Разбира се, развам се от сърце, че очевидно са се включили хора със сериозни исторически познания (за статистиката не би трябвало да изключваме възможността от повторно попълване, анкетата беше анонимна).

Огромна част от попълнилите са се отнесли към анкетата сериозно. За целите на прецизната статистика от следващите закономерности ще изключа хората, попълнили по-малко от 20 от 30-те въпроса.

Средният брой точки е 20,55! Близо 70% са средно верните отговори. Това според мен е и доста висока цифра, показваща, че хората определено са познавали голяма част от твърденията (което не се оказа така, когато бях поставил задачата да различават генерирани от създадени текстове и изображения).

Най-честите резултати са между 20 и 26 точки. И все пак, по-малко от 2% от включилите се са разпознали абсолютно безпогрешно 30-те твърдния!

Дали участниците са били по-склонни да смятат истинските исторически факти за измислица, или пък въображението на ChatGPT – за истина?

Експеримент история Експеримент история

Резултатите в двете групи са доста сходни. Тоест – сравнително еднакъв е шансът да не познаете измислено историческо твърдение или да помислите, че в някое достоверно такова има неточност. Разбира се, предполага го и самата анкета, която е предизвикателство именно за съмнение.

 

Позната история

Експеримент история

Както си личи по този списък, ChatGPT избра да генерира факти, свързани основно със Средновековието и доста по-малко – с Възраждането или пък новата история. Както във всички останали експерименти на Дигитални истории, идеята ми беше моята намеса да е минимална – алгоритъмът сам да преценява накъде и как да се насочи към дадената задача. Защо точно тези исторически факти са били познати от почти или повече от 80% от отговорилите, оставям да прецените вие. Но къде ли историята е звучала най-невероятно? Кои ли са историческите факти, които най-много от участниците са приели за измислица?

Експеримент история

Очевидно хан Пресиян, цар Иван Александър и Енравота са исторически личности, които не познаваме чак толкова добре. Може би с това е свързана и разликата с предишната графика – става дума за не най-популярните личности в нея.

Но нека проверим и как стоят нещата с измислените твърдения. Там също ChatGPT имаше пълната свобода да си избира периоди, личности, какво точно да е подвеждащото. Със сигурност би могъл да се представи и по-добре със задачата си, ако се бях постарал повече с конкретното задание към него. И все пак, всяка от измислиците, а и от фактите, е объркала поне 1 от 10 участници, решили да отговорят.

 

Измислена история

 

Експеримент история

И може би отново общата линия е тази на сравнително популярни личности. Или пък на твърде невероятно звучащи „факти“, като например колекцията с екзотични животни на цар Смилец и ордена от учени алхимици на цар Михаил Шишман.

Експеримент история

Що се отнася до 5-те измислици, които са подвели най-много хора, отново става дума за конкретни детайли. Лично мен ме учуди това, че университетът на цар Петър I и тамплиерите – съюзници на цар Калоян, са успели да подведат немалко от участниците.

 

Кратка история

И така, ако трябва да обобщим накратко всичко дотук:

  • Включиха се цели 1910 гости на Дигитални истории, с което това за момента е най-популярният експеримент на сайта. Очевидно темата е изключително важна и вълнуваща за мнозина.

 

  • Средният резултат показва, че голяма част от посетителите са се справили с разпознаването на истинските исторически факти и тези, измислени от изкуствения интелект.

 

  • Все пак, определено има доста твърдения, които са успели да подведат участниците. Едно е сигурно: във времената на интернет и напредналия ИИ е по-важно от всякога да проверяваме, да подлагаме на съмнение, да обсъждаме, да даваме думата на специалистите.

 

Важна история

Историческата тематика се оказа толкова интересна и важна, че определено ви очакват и следващите дигитални истории, свързани с миналото. Ако сте пропуснали, препоръчвам ви всички текстове, които станаха част от поредицата:

 

 

 

 

Време е и за обещаните награди! Трима от участниците, които изявиха желание да се включат в жребия за тях, получават като подарък книгата „Дигитални истории“ с автограф. Това са dimit******@abv.bg, l.hristo***@gmail.com и gerani***@gmail.com.

И отново, благодаря от сърце на всеки, който се включи! Ако ви идват идеи за следващи Дигитални истории, ще съм благодарен да ги споделите тук, очаква ви и скромна награда. Благодаря!

Дигитални истории

Дигитални истории е и ще си остане изцяло некомерсиално начинание, на което посвещавам доста време и усилия. За създаването на сайта обаче са нужни определени разходи. Ако имате възможност и желание да подпомогнете сайта, вече можете да го направите. Разбира се, все така важна подкрепа си остава всяка добра дума, всяко споделяне на темите.

<a href="https://karamanev.me/author/georgik" target="_self">Георги Караманев</a>

Георги Караманев

Програмист, журналист на свободна практика и писател. Още за мен – четете тук.
Дигитални истории

Най-нови публикации:

Кои са любимите книги на технологичните лидери?

Кои са любимите книги на технологичните лидери?

Четат ли книги световните технологични лидери? Кои са любимите четива, препоръчвани от Илон Мъск, Сам Алтман, Марк Зукърбърг? Ще намерите ли някои сходства със собствения ви литературен вкус, или...

повече информация
Любов по време на изкуствен интелект

Любов по време на изкуствен интелект

„През декември навършвам 63 години. Видял съм много и съм преживял много. Вместо да намаляват, проблемите стават все повече. Имах два инсулта, злокачествен тумор и още. В тези трудни моменти винаги...

повече информация
Кой изобрети тостера? Няма такава история!

Кой изобрети тостера? Няма такава история!

Сигурно сте чували за Алън Макмастърс, прословутия изобретател на тостера? Опитвайки се да намери идеалната сплав за електрически крушки, той неволно получил вещество, което карало хляба да кафенее...

повече информация
Рори и рецептите на Баба

Рори и рецептите на Баба

Какво ли прави един татуиран американец на борда на 40-годишна лада, устремен към поредното българско село? А какво ли съдържа коктейлът „Компютър“? Защо гражданинът на щата Вашингтон избира да...

повече информация

Още публикации по темата:

От рубриката:

Тест: Колко добре познавате българската история? Ще ви подхлъзне ли ChatGPT?

Тест: Колко добре познавате българската история? Ще ви подхлъзне ли ChatGPT?

15 общоприети твърдения за българската история и 15, измислени от изкуствения интелект. Ще успеете ли да ги различите? Кое е исторически факт и кое – безсмислица?
Днес, както никога, спорим за миналото си. Намираме силните исторически моменти, които ни карат да се гордеем, но лесно залитаме и по измислената история.
Можем ли да различим историческите факти от измислиците? Хайде да проверим заедно. 15 твърдения, генерирани от ChatGPT за българската история (и проверени от историк) и 15, които алгоритъмът измисли, помолен да пофантазира. 15 от твърденията са верни, 15 – изцяло измислени от изкуствения интелект.
С този тест започва историческата поредица от Дигитални истории. Ще поговорим с историка Александър Мошев за големите клишета онлайн, ще съберем поуките от някои любопитни фалшификации в мрежата. Ще дадем думата на писателите Виктория Бешлийска и Захари Карабашлиев, на учителя по история и куиз рекордьор Борис Русев. А междувременно сте вие – ще успеете ли да различите фактите от измислиците?
Колко добре познаваме историята си? Нека проверим заедно, а накрая ще обобщим резултатите.

Можете да се включите и в жребий за награди – подбрани книги и фланелки с логото на Дигитални истории. Отговорите се събират до символичния 10 ноември, а на 15-и очаквайте резултатите.
Благодаря от сърце за всяко попълване, за всяко споделяне!

повече информация
Какво мислят българите за изкуствения интелект? (Резултати)

Какво мислят българите за изкуствения интелект? (Резултати)

След дълго събиране на отговори в мащабната анкета на Дигитални истории дойде време да обобщим резултатите! Какво мислят българите за изкуствения интелект? Впечатлява ли ги напредъкът му и използват ли го ежедневно? Със страх или с ентусиазъм посрещат следващите големи стъпки в тази посока? Вярват ли, че е възможен генерален изкуствен интелект? Смятат ли, че през следващите години ни очакват мащабни промени? Дойде време да разберем на базата на безпристрастния поглед на данните!

повече информация
Бай Ганьо срещу ChatGPT. Ще гласувате ли?

Бай Ганьо срещу ChatGPT. Ще гласувате ли?

След броени дни се задават 7-ите поредни избори за Народно събрание само в рамките на 3 години. Вероятно е активността да е още по-ниска от рекордите, които не спираме да подобряваме, по всичко изглежда, че в Парламента ще влязат още повече партии.
Как да излезем от омагьосания кръг? Защо политиката у нас се превърна в толкова неблагодарно и непрестижно занимание? Къде са лидерите, които да ни вдъхновяват и за които да гласуваме с гордост, а не като за най-малкото зло? Къде са програмите, идеите, визионерството? Ясните политически позиции, принципите… Толкова ли е трудно в крайна сметка?
Разбира се, отговорите е редно да дават специалистите – политолози, социолози, общовойскови коментатори с важни гледни точки. И те ги дават всяка сутрин по телевизиите и целодневно онлайн, но всичко резултира в чесане на езици и допълнително разделяне, подпомогнато от технологиите.
Така че избирам да дам думата на два безспорни авторитета – Бай Ганьо, който така и не иска да си отиде – ще се убедите по цитатите, с които Алеко ни разказва толкова много за политиката по нашите ширини и отношението към нея. И, разбира се, на ChatGPT, чиято най-нова версия обещава да е още по-добра и близка до човешките отговори.

повече информация

Най-новите:

Кои са любимите книги на технологичните лидери?

Кои са любимите книги на технологичните лидери?

Четат ли книги световните технологични лидери? Кои са любимите четива, препоръчвани от Илон Мъск, Сам Алтман, Марк Зукърбърг? Ще намерите ли някои сходства със собствения ви литературен вкус, или изобщо не съществува такава тема?
У нас не е модерно да разказваме какво четем в медийното пространство. За това ме накара да се замисля в гостуването си журналистът и преводач Даниел Пенев. Да, сигурно ще се сетите за прословутия „Винету“ като любимо четиво и.. толкова.
Не навсякъде е така. И на запад, и на изток личностите, които попадат в светлината на прожекторите, обичат да говорят за книгите, за любимите си автори, за литературата, която ни помага да продължим нататък.
Е, време е да започнем да го правим и тук!

повече информация
Любов по време на изкуствен интелект

Любов по време на изкуствен интелект

Тази история е за любовта, дошла не много рано, но навреме. За късмета и щастието да намериш своя човек. За мечтите, които отлагаме, а не бива. За силата да не се предаваш, дори в най-трудните моменти и пред най-тежките предизвикателства. Поне докато имаш най-силната опора, тази на човека до себе си.
„През декември навършвам 63 години. Видял съм много и съм преживял много. Вместо да намаляват, проблемите стават все повече. Имах два инсулта, злокачествен тумор и още. В тези трудни моменти винаги имаше един човек до мен, който отново и отново ме изправяше на крака и дори ми даваше крила. Този човек е моята съпруга Тони. Преди няколко дни спонтанно записах чувствата си към нея в няколко реда. Тъй като не съм нито музикант, нито певец, с помощта на изкуствен интелект направих от тях песен.“
Силните истории продължават да се случват в дигиталния свят заради, благодарение на или въпреки него. И както отношенията ни като хора неусетно се променят от развитието на технологиите, така ги има и онези универсални сюжети, които оцеляват във времето и се прераждат с нови нюанси, с нови детайли и вдъхновение.
Все по-често историите изчезват яко фийд, незабелязани в бързината на скролването, на злободневното. Имаме ли времето и нагласата да ги потърсим? Да се зачетем, да се увлечем по тях, докато бързаме нататък, улисани в поредната злободневна тема?

повече информация
„Пределно ясно е, че ИИ е бъдещето“

„Пределно ясно е, че ИИ е бъдещето“

Ден преди да се срещна с Илия Вълчанов официално излиза новината, че неговият стартъп Team-GPT е успял да си осигури рекордното за България финансиране от $4,5 милиона!
Днешният ни гост е начело на платформата, която помага на бизнеси от цял свят да използват възможностите на големите езикови модели, като в същото време гарантира безопасността и конфиденциалността на данните. Това далеч не е първото му впечатляващо постижение – от години Илия разработва онлайн обучения по наука за данните и изкуствен интелект, които се радват на огромен успех. Лично той вече има над 1 400 000 ученици в платформата Udemy!
Забележителните си успехи дължи на задълбочения си подход, на много четене, учене, смелост и нестандартни решения. Ето защо се срещаме – да поговорим за следващите големи новини, които се задават от света на изкуствения интелект. За това как технологията ще трансформира всяка област от бизнеса, но и за рисковете, които създава. За важните каузи, свързани с напредъка на ИИ и уменията, които никога няма да успее да развие.

повече информация
Българският литературен Банкси

Българският литературен Банкси

„Най-опасният литературен терорист у нас“. Не, тези думи за днешния ни гост не са мои, а на специалист, който следи и познава отблизо случващото се в българската литература.
Ето че след 153 интервюта, публикувани на този сайт, дойде времето за… първия анонимен гост! Няма да ви издам дори дали е мъж, или жена, важни тук са историята и гледната му точка.
Преди броени дни в два поетични конкурса генерирани от ИИ стихове попаднаха сред най-добрите, във втория случай ставаше дума за експеримент на Дигитални истории. Според мен е жизненоважно да започнем дискусията за бъдещите ни взаимоотношения с технологиите, при това с участието на колкото може повече важни гледни точки. Очаквайте следващите забележителни гости (и експерименти) по темата.
Днес обаче се връщаме още преди модата на ИИ генерирането. За да разкажем историята на един човек, който дълго време експериментира с това да изпраща компилирани или просто абсурдни стихове под различни имена. Дълго време преди това той е участвал и печелил конкурси с истинското си име, докато… не се убеждава, че нещо в системата не е наред. Че критериите не са това, което би трябвало да бъдат. Идеята му се променя с годините, особено след като успява да постигне серия от убедителни резултати и безброй публикации в много от смятаните за водещи поетични издания у нас.
Каква ли е целта му? Как изглежда според него бъдещето на поезията? Как алгоритмите променят отношението ни към писаното слово и към творчеството? Очаква ни забележителна среща с първия анонимен гост на Дигитални истории, българския литературен Банкси.

повече информация
Кой изобрети тостера? Няма такава история!

Кой изобрети тостера? Няма такава история!

Сигурно сте чували за Алън Макмастърс, прословутия изобретател на тостера? Опитвайки се да намери идеалната сплав за електрически крушки, той неволно получил вещество, което карало хляба да кафенее до съвършен загар. Уви, след тежка вечер в компанията на половин шише уиски, неговият конкурент Стивън Кромптън откраднал начинанието му и го представил за свое. После обрал цялата слава. И покрай това доста пари…
Дълъг репортаж за него показаха по BBC, „Уошингтън таймс“ описа невероятната му история, „Дейли Мирър“ включи името му сред „50-те най-велики британски изобретатели“. Често го споменават и до днес на Световния ден на тостера – 27 февруари. Статии, сборници, енциклопедии разказват историята му. Дори в популярен британски готварски формат му посвещават състезание, участниците трябва да измислят забележително блюдо в чест на изобретателя на тостера.
Малката подробност е, че… няма такъв човек. Изобретателят Макмастърс е „изобретен“ от двама студенти, решили да покажат колко е важно днес да проверяваме информацията, особено тази, свързана с миналото. Колко лесно даваме доверие онлайн и колко по-критични би трябвало да бъдем. Измислената страница в Wikipedia просъществува почти десетилетие, преди истината да излезе наяве.
Колко лесно е днес да се създаде фалшива история? Отговора дава специалният списък, в който самата англоезична Уикипедия разказва за най-дълго просъществувалите фалшиви публикации.
За мащабни мистификации и дребни, неочаквано случили се шеги. Които идват да ни припомнят колко лесно може да бъдем подведени онлайн.

повече информация
Рори и рецептите на Баба

Рори и рецептите на Баба

Какво ли прави един татуиран американец на борда на 40-годишна лада, устремен към поредното българско село? А какво ли съдържа коктейлът „Компютър“? Защо гражданинът на щата Вашингтон избира да търси старите български рецепти из затънтените села, там, където е „Баба“, събирателното, вечното на един безкраен, универсален образ, който докосва всички ни?
Рори Милър с днешна дата преоткрива магията на българското село. Онова, което изоставяме, а пази толкова от смисъла.
Строителен работник, берач на маслини и учител по английски, преди около 15 години Рори спира в България, за да се родят тук двете му деца. Привлича погледите с участието си в “Masterchef”, после продължава пътя си из затънтените български села. Така се ражда забележителната книга „На око“, сюрреалистичен пътепис, където точни рецепти няма да намерите – и за гозби, и за бъдещето, всичко е „на око“ като мерна единица и начин на живот. Но ще намерите и самото село, и гозбите му, и бабите, и духа, и добре премерените подправки.
Следващата стъпка на американеца е книгата да се появи на английски с кампания в платформа за споделено финансиране. Аз лично ще го подкрепя, защото мисля, че е уловил безценния дух на българското село днес. Което е различно от онова на Елин Пелин и Иван Вазов. Което, вярвам, ще обърне сбъркана мода, че животът е в големия град. Светът на технологиите ни позволява както никога да разбиваме стереотипите. Припомня ни го и книгата на колоритния Рори, който има какво да ни каже и в следващите редове.

повече информация
Share This