Можем ли да различим историческите факти от измислиците на ChatGPT? (резултати)

ное. 22, 2024 | Технологии

Можем ли да различим историческите факти от измислиците на ChatGPT? (резултати)

22 ноември 2024 | Технологии

1910. Това е годината, в която се раждат Майка Тереза и Жак-Ив Кусто, а светът още се радва на предвоенното спокойствие. За българска история обаче сме се събрали да си говорим. Точно 1910 души се включиха в експеримента на Дигитални истории, който имаше за цел да провери колко добре познаваме българската история. Дали сме способни да различим безспорни исторически факти от учебниците от такива, измислени от изкуствения интелект, който има за цел да ни подведе.

30 твърдения – половината исторически верни, половината – измислици на алгоритмите.

Резултатите, поне за мен, са впечатляващи. Ето защо дойде време да ги обобщим и разгледаме. Успя ли изкуственият интелект да затрудни участниците? Познаваме ли добре българското минало, което е толкова важна днес тема? (Анкетата отново е отворена, този път без да събираме резултатите. Можете да опитате да я решите тук, преди да четете нататък, ако не искате да разберете верните отговори.)

И така, цели 1910 души! Благодаря от сърце на всеки от тях!

Експеримент история

 

Поучителна история

Бързам да ви кажа кой първи не се справи с теста… Признавам си, това бях аз. Още едно доказателство колко е трудно, но и колко важно в наши дни човек да проверява историческите факти. След като бях изпитал анкетата с повече от 10 мои близки и приятели, двама от които – историци, бях спокоен, че твърденията са проверени. Но още първия ден след публикуването ѝ започнаха да валят имейли и сигнали, че някои от твърденията, които съм посочил като верни, изобщо не са такива. Ставаше дума за грешна година, за невярна фактология, дори за едно историческо клише, което по-късно оборих с помощта на историка Александър Мошев в материала по темата. Наложи се две от твърденията да бъдат сменени напълно, други да бъдат сериозно прецизирани. Използвам случая да се извиня на всеки, когото неволно съм подвел!

Търсейки дали ChatGPT може да ни подведе… сам се подведох с немалък процент от твърденията, които уж бях потвърдил и проверил! Мисля, че е доста поучително. Така или иначе, благодарение на същите възможности, които ни дават технологиите, твърденията бяха прецезирани и малка част от участниците попълниха теста с неточности. Също така отговорите на подвеждащите въпроси не са вземани предвид никъде в статистиката, която ви представям.

 

Силна история

Време е да се насочим към нея. Ето и забележителния резултат! Цели 36 души не са се подвели по нито едно от твърденията! Специални поздравления и за тях, и за всички останали с висок резултат! Разбира се, развам се от сърце, че очевидно са се включили хора със сериозни исторически познания (за статистиката не би трябвало да изключваме възможността от повторно попълване, анкетата беше анонимна).

Огромна част от попълнилите са се отнесли към анкетата сериозно. За целите на прецизната статистика от следващите закономерности ще изключа хората, попълнили по-малко от 20 от 30-те въпроса.

Средният брой точки е 20,55! Близо 70% са средно верните отговори. Това според мен е и доста висока цифра, показваща, че хората определено са познавали голяма част от твърденията (което не се оказа така, когато бях поставил задачата да различават генерирани от създадени текстове и изображения).

Най-честите резултати са между 20 и 26 точки. И все пак, по-малко от 2% от включилите се са разпознали абсолютно безпогрешно 30-те твърдния!

Дали участниците са били по-склонни да смятат истинските исторически факти за измислица, или пък въображението на ChatGPT – за истина?

Експеримент история Експеримент история

Резултатите в двете групи са доста сходни. Тоест – сравнително еднакъв е шансът да не познаете измислено историческо твърдение или да помислите, че в някое достоверно такова има неточност. Разбира се, предполага го и самата анкета, която е предизвикателство именно за съмнение.

 

Позната история

Експеримент история

Както си личи по този списък, ChatGPT избра да генерира факти, свързани основно със Средновековието и доста по-малко – с Възраждането или пък новата история. Както във всички останали експерименти на Дигитални истории, идеята ми беше моята намеса да е минимална – алгоритъмът сам да преценява накъде и как да се насочи към дадената задача. Защо точно тези исторически факти са били познати от почти или повече от 80% от отговорилите, оставям да прецените вие. Но къде ли историята е звучала най-невероятно? Кои ли са историческите факти, които най-много от участниците са приели за измислица?

Експеримент история

Очевидно хан Пресиян, цар Иван Александър и Енравота са исторически личности, които не познаваме чак толкова добре. Може би с това е свързана и разликата с предишната графика – става дума за не най-популярните личности в нея.

Но нека проверим и как стоят нещата с измислените твърдения. Там също ChatGPT имаше пълната свобода да си избира периоди, личности, какво точно да е подвеждащото. Със сигурност би могъл да се представи и по-добре със задачата си, ако се бях постарал повече с конкретното задание към него. И все пак, всяка от измислиците, а и от фактите, е объркала поне 1 от 10 участници, решили да отговорят.

 

Измислена история

 

Експеримент история

И може би отново общата линия е тази на сравнително популярни личности. Или пък на твърде невероятно звучащи „факти“, като например колекцията с екзотични животни на цар Смилец и ордена от учени алхимици на цар Михаил Шишман.

Експеримент история

Що се отнася до 5-те измислици, които са подвели най-много хора, отново става дума за конкретни детайли. Лично мен ме учуди това, че университетът на цар Петър I и тамплиерите – съюзници на цар Калоян, са успели да подведат немалко от участниците.

 

Кратка история

И така, ако трябва да обобщим накратко всичко дотук:

  • Включиха се цели 1910 гости на Дигитални истории, с което това за момента е най-популярният експеримент на сайта. Очевидно темата е изключително важна и вълнуваща за мнозина.

 

  • Средният резултат показва, че голяма част от посетителите са се справили с разпознаването на истинските исторически факти и тези, измислени от изкуствения интелект.

 

  • Все пак, определено има доста твърдения, които са успели да подведат участниците. Едно е сигурно: във времената на интернет и напредналия ИИ е по-важно от всякога да проверяваме, да подлагаме на съмнение, да обсъждаме, да даваме думата на специалистите.

 

Важна история

Историческата тематика се оказа толкова интересна и важна, че определено ви очакват и следващите дигитални истории, свързани с миналото. Ако сте пропуснали, препоръчвам ви всички текстове, които станаха част от поредицата:

 

 

 

 

Време е и за обещаните награди! Трима от участниците, които изявиха желание да се включат в жребия за тях, получават като подарък книгата „Дигитални истории“ с автограф. Това са dimit******@abv.bg, l.hristo***@gmail.com и gerani***@gmail.com.

И отново, благодаря от сърце на всеки, който се включи! Ако ви идват идеи за следващи Дигитални истории, ще съм благодарен да ги споделите тук, очаква ви и скромна награда. Благодаря!

Дигитални истории

Дигитални истории е и ще си остане изцяло некомерсиално начинание, на което посвещавам доста време и усилия. За създаването на сайта обаче са нужни определени разходи. Ако имате възможност и желание да подпомогнете сайта, вече можете да го направите. Разбира се, все така важна подкрепа си остава всяка добра дума, всяко споделяне на темите.

<a href="https://karamanev.me/author/georgik" target="_self">Георги Караманев</a>

Георги Караманев

Програмист, журналист и писател. Още за мен – тук.
Дигитални истории

Най-нови публикации:

Васил Анастасов. VR среща взаимоучителната метода

Васил Анастасов. VR среща взаимоучителната метода

Той е на 21, а вече е помогнал на повече от 200 деца да направят първите си стъпки в професионално поприще, което може да се превърне в успешна кариера. Днес Васил Анастасов се е заел с още една...

повече информация
Оригами назаем. Колко струват авторските права онлайн?

Оригами назаем. Колко струват авторските права онлайн?

Понякога животът в мрежата ражда казуси, които не биха ни хрумнали, колкото и да отпускаме въображението си. Представете си, почти като в роман на Кафка, изведнъж започват да ви се появяват реклами...

повече информация
„Забравихме, че бебето знае как да се роди“

„Забравихме, че бебето знае как да се роди“

Как технологиите промениха бременността и раждането? С какво облекчиха и как – парадоксално, в други посоки създадоха проблеми за начина, по който идваме на бял свят? Жени Маркова се свърза с мен...

повече информация
Как срещаме децата с технологиите? (резултати от анкетата)

Как срещаме децата с технологиите? (резултати от анкетата)

По колко часа на ден децата имат досег с екран? Трябва ли в училище да има телефони? Как изглежда технологичното бъдеще за днешните деца? Какво има смисъл да учат? С какво е различно днешното...

повече информация
„Страх от технологии = изоставане на нацията“

„Страх от технологии = изоставане на нацията“

Толкова е пъстър пътят на днешната ни гостенка! 11 години се занимава с журналистика. После се насочва към туризма, за да стане… управител на хотел на Марианските острови в Тихия океан. Докато...

повече информация

Още публикации по темата:

От рубриката:

Васил Анастасов. VR среща взаимоучителната метода

Васил Анастасов. VR среща взаимоучителната метода

Той е на 21, а вече е помогнал на повече от 200 деца да направят първите си стъпки в професионално поприще, което може да се превърне в успешна кариера.
Днес Васил Анастасов се е заел с още една кауза. С помощта на модерните технологии да направи българските музеи по-атрактивни, привлекателни за младите. В началото сам извървява пътя към магията не миналото, за да разбере смисъла и важността на експонатите, които иначе се крият зад неразбираеми витрини с неатрактивни табели.
Хайде, нека потърсим заедно съкровище! Да опитаме да намерим важните пътеки сред обраслата поляна. За това как да превърнем музеите в магнетични места за младите. Къде се крият любопитството и желанието да споделяш знание, да помагаш. За историите на фона на най-модерните технологии в разработването на компютърни игри и системи с добавена и виртуална реалност. Запретвайте ръкави, чака ни приключение!

повече информация
Как срещаме децата с технологиите? (резултати от анкетата)

Как срещаме децата с технологиите? (резултати от анкетата)

По колко часа на ден децата имат досег с екран? Трябва ли в училище да има телефони? Как изглежда технологичното бъдеще за днешните деца? Какво има смисъл да учат? С какво е различно днешното родителство?
Тези и още много важни въпроси отправих в началото на февруари към родителите и близките на деца до 11 години. Анкетата на Дигитални истории събра повече от 350 мнения. Изводите са показателни, замислящи. Посланията, събрани там, си струва да бъдат четени и обсъждани.
Благодаря от сърце на всеки, който я попълни, на всеки, който помогна повече хора да се включат! Ето какви се оказаха резултатите.

повече информация
Таралежите се раждат без ИИ

Таралежите се раждат без ИИ

В какъв свят ще живеят днешните деца?
Какво има смисъл да учат днес и кое би било загуба на време, усилия и пари?
Кога и как да ги срещнем с технологиите така, че да им помогнем да се опознаят, без някой да пострада?
А кога да ги „запознаем“ с изкуствения интелект?
Ще потърся отговорите на тези и други важни въпроси, свързани с децата и технологиите. Започва дълга поредица от детски Дигитални истории.
Ето защо според мен е жизненоважно да навлезем по-дълбоко в тези огромни теми:

повече информация

Най-новите:

Бил Гейтс и Философският камък

Бил Гейтс и Философският камък

Представяте ли си основателя на „Майкрософт“ като крадец на време? Как катеренето на високи планински върхове предопределя най-големите му успехи в софтуерния свят? Защо мечтата да победи баба си на карти е сред основните идеи, превърнали го в най-богатия човек на планетата?
Надали някой би обвинил Бил Гейтс, че притежава уменията на блестящ белетрист, обаче историите, които ни разказва един от най-важните (харесвани или не) хора на нашето време определено са впечатляващи. Избрах да ви разкажа 8 от тях…

повече информация
Васил Анастасов. VR среща взаимоучителната метода

Васил Анастасов. VR среща взаимоучителната метода

Той е на 21, а вече е помогнал на повече от 200 деца да направят първите си стъпки в професионално поприще, което може да се превърне в успешна кариера.
Днес Васил Анастасов се е заел с още една кауза. С помощта на модерните технологии да направи българските музеи по-атрактивни, привлекателни за младите. В началото сам извървява пътя към магията не миналото, за да разбере смисъла и важността на експонатите, които иначе се крият зад неразбираеми витрини с неатрактивни табели.
Хайде, нека потърсим заедно съкровище! Да опитаме да намерим важните пътеки сред обраслата поляна. За това как да превърнем музеите в магнетични места за младите. Къде се крият любопитството и желанието да споделяш знание, да помагаш. За историите на фона на най-модерните технологии в разработването на компютърни игри и системи с добавена и виртуална реалност. Запретвайте ръкави, чака ни приключение!

повече информация
Оригами назаем. Колко струват авторските права онлайн?

Оригами назаем. Колко струват авторските права онлайн?

Понякога животът в мрежата ражда казуси, които не биха ни хрумнали, колкото и да отпускаме въображението си. Представете си, почти като в роман на Кафка, изведнъж започват да ви се появяват реклами на китайски магазини… за да ви предлагат нещо, което, много добре знаете, вие сте създали.
Какво бихте направили в такава ситуация?
Не Грегор Замза се казва нашият днешен герой, а Атанас Михалчев. Фотограф, художник, преподавател, от 3 десетилетия той живее в Канада и развива своето изкуство. Освен картините си – в пъстра палитра от стилове, той продава онлайн и малки, добре измислени и стимулиращи въображението и ловкостта детски комплекти за оригами. Които изведнъж… се оказва, че не са негови.
Наистина ли намерихме достатъчно добри механизми за защита на авторското право онлайн? Ще успее ли днешният ни герой да си върне откраднатото? Ще възтържествува ли справедливостта?

повече информация
„Забравихме, че бебето знае как да се роди“

„Забравихме, че бебето знае как да се роди“

Как технологиите промениха бременността и раждането? С какво облекчиха и как – парадоксално, в други посоки създадоха проблеми за начина, по който идваме на бял свят?
Евгения Маркова се свърза с мен заради поредицата „Дигитални деца“ с предложението да поговорим за този аспект от връзката на технологиите с родителството. Тя живее в Германия и макар че дълги години е работила в сферата на маркетинга и разработката на софтуер, днес основното ѝ занимание е на дула. Особено популярно на запад, това е попрището на жени, които не са медицински специалисти, но помагат с информация, съвети, практическа и емоционална подкрепа на бъдещите майки.
Кога предоверяването на технологиите може да се превърне в проблем при бременността и раждането? Защо си струва в някои посоки да се върнем към традициите и повече да слушаме тялото си, а не само медицинските показатели или чужди съвети? Време е за един важен разговор, който според мен би могъл да даде много полезни идеи за хората, които тепърва се готвят да станат родители.

повече информация
Как срещаме децата с технологиите? (резултати от анкетата)

Как срещаме децата с технологиите? (резултати от анкетата)

По колко часа на ден децата имат досег с екран? Трябва ли в училище да има телефони? Как изглежда технологичното бъдеще за днешните деца? Какво има смисъл да учат? С какво е различно днешното родителство?
Тези и още много важни въпроси отправих в началото на февруари към родителите и близките на деца до 11 години. Анкетата на Дигитални истории събра повече от 350 мнения. Изводите са показателни, замислящи. Посланията, събрани там, си струва да бъдат четени и обсъждани.
Благодаря от сърце на всеки, който я попълни, на всеки, който помогна повече хора да се включат! Ето какви се оказаха резултатите.

повече информация
„Страх от технологии = изоставане на нацията“

„Страх от технологии = изоставане на нацията“

Елица Стоилова казва, че дигиталната грамотност би трябвало да се превърне в национална цел, ако искаме да вървим напред. „Липсата ѝ води до страх от технологиите = консерватизъм в тяхното въвеждане и използване = изоставане на нацията ни в множество посоки. Какво е бъдещето на неграмотните народи?“, написа ми тя.
Толкова е пъстър пътят на днешната ни гостенка! 11 години се занимава с журналистика. После се насочва към туризма, за да стане… управител на хотел на Марианските острови в Тихия океан. Докато накрая акостира в ИТ света. Разбира, че голяма част от задачите в туризма успешно могат да се изпълняват от алгоритми, тъй като са повторяеми. Така създава чатбот платформата UMNI, много преди друг един чатбот да привлече погледите на света към това колко е напреднал изкуственият интелект.
Но как така… тя е толкова оптимистично настроена за пътя напред? Гостенката ни смята, че ако правилно изиграем картите си, ИИ ни води към едно прекрасно бъдеще. От какво зависи дали ще изиграем картите си както трябва? И защо понякога си струва дори да изоставиш едно от най-райските кътчета на планетата, преследвайки мечтите? Търсим важни и неочаквани отговори в следващите редове.

повече информация
Share This