Можем ли да различим историческите факти от измислиците на ChatGPT? (резултати)

ное. 22, 2024 | Технологии

Можем ли да различим историческите факти от измислиците на ChatGPT? (резултати)

22 ноември 2024 | Технологии

1910. Това е годината, в която се раждат Майка Тереза и Жак-Ив Кусто, а светът още се радва на предвоенното спокойствие. За българска история обаче сме се събрали да си говорим. Точно 1910 души се включиха в експеримента на Дигитални истории, който имаше за цел да провери колко добре познаваме българската история. Дали сме способни да различим безспорни исторически факти от учебниците от такива, измислени от изкуствения интелект, който има за цел да ни подведе.

30 твърдения – половината исторически верни, половината – измислици на алгоритмите.

Резултатите, поне за мен, са впечатляващи. Ето защо дойде време да ги обобщим и разгледаме. Успя ли изкуственият интелект да затрудни участниците? Познаваме ли добре българското минало, което е толкова важна днес тема? (Анкетата отново е отворена, този път без да събираме резултатите. Можете да опитате да я решите тук, преди да четете нататък, ако не искате да разберете верните отговори.)

И така, цели 1910 души! Благодаря от сърце на всеки от тях!

Експеримент история

 

Поучителна история

Бързам да ви кажа кой първи не се справи с теста… Признавам си, това бях аз. Още едно доказателство колко е трудно, но и колко важно в наши дни човек да проверява историческите факти. След като бях изпитал анкетата с повече от 10 мои близки и приятели, двама от които – историци, бях спокоен, че твърденията са проверени. Но още първия ден след публикуването ѝ започнаха да валят имейли и сигнали, че някои от твърденията, които съм посочил като верни, изобщо не са такива. Ставаше дума за грешна година, за невярна фактология, дори за едно историческо клише, което по-късно оборих с помощта на историка Александър Мошев в материала по темата. Наложи се две от твърденията да бъдат сменени напълно, други да бъдат сериозно прецизирани. Използвам случая да се извиня на всеки, когото неволно съм подвел!

Търсейки дали ChatGPT може да ни подведе… сам се подведох с немалък процент от твърденията, които уж бях потвърдил и проверил! Мисля, че е доста поучително. Така или иначе, благодарение на същите възможности, които ни дават технологиите, твърденията бяха прецезирани и малка част от участниците попълниха теста с неточности. Също така отговорите на подвеждащите въпроси не са вземани предвид никъде в статистиката, която ви представям.

 

Силна история

Време е да се насочим към нея. Ето и забележителния резултат! Цели 36 души не са се подвели по нито едно от твърденията! Специални поздравления и за тях, и за всички останали с висок резултат! Разбира се, развам се от сърце, че очевидно са се включили хора със сериозни исторически познания (за статистиката не би трябвало да изключваме възможността от повторно попълване, анкетата беше анонимна).

Огромна част от попълнилите са се отнесли към анкетата сериозно. За целите на прецизната статистика от следващите закономерности ще изключа хората, попълнили по-малко от 20 от 30-те въпроса.

Средният брой точки е 20,55! Близо 70% са средно верните отговори. Това според мен е и доста висока цифра, показваща, че хората определено са познавали голяма част от твърденията (което не се оказа така, когато бях поставил задачата да различават генерирани от създадени текстове и изображения).

Най-честите резултати са между 20 и 26 точки. И все пак, по-малко от 2% от включилите се са разпознали абсолютно безпогрешно 30-те твърдния!

Дали участниците са били по-склонни да смятат истинските исторически факти за измислица, или пък въображението на ChatGPT – за истина?

Експеримент история Експеримент история

Резултатите в двете групи са доста сходни. Тоест – сравнително еднакъв е шансът да не познаете измислено историческо твърдение или да помислите, че в някое достоверно такова има неточност. Разбира се, предполага го и самата анкета, която е предизвикателство именно за съмнение.

 

Позната история

Експеримент история

Както си личи по този списък, ChatGPT избра да генерира факти, свързани основно със Средновековието и доста по-малко – с Възраждането или пък новата история. Както във всички останали експерименти на Дигитални истории, идеята ми беше моята намеса да е минимална – алгоритъмът сам да преценява накъде и как да се насочи към дадената задача. Защо точно тези исторически факти са били познати от почти или повече от 80% от отговорилите, оставям да прецените вие. Но къде ли историята е звучала най-невероятно? Кои ли са историческите факти, които най-много от участниците са приели за измислица?

Експеримент история

Очевидно хан Пресиян, цар Иван Александър и Енравота са исторически личности, които не познаваме чак толкова добре. Може би с това е свързана и разликата с предишната графика – става дума за не най-популярните личности в нея.

Но нека проверим и как стоят нещата с измислените твърдения. Там също ChatGPT имаше пълната свобода да си избира периоди, личности, какво точно да е подвеждащото. Със сигурност би могъл да се представи и по-добре със задачата си, ако се бях постарал повече с конкретното задание към него. И все пак, всяка от измислиците, а и от фактите, е объркала поне 1 от 10 участници, решили да отговорят.

 

Измислена история

 

Експеримент история

И може би отново общата линия е тази на сравнително популярни личности. Или пък на твърде невероятно звучащи „факти“, като например колекцията с екзотични животни на цар Смилец и ордена от учени алхимици на цар Михаил Шишман.

Експеримент история

Що се отнася до 5-те измислици, които са подвели най-много хора, отново става дума за конкретни детайли. Лично мен ме учуди това, че университетът на цар Петър I и тамплиерите – съюзници на цар Калоян, са успели да подведат немалко от участниците.

 

Кратка история

И така, ако трябва да обобщим накратко всичко дотук:

  • Включиха се цели 1910 гости на Дигитални истории, с което това за момента е най-популярният експеримент на сайта. Очевидно темата е изключително важна и вълнуваща за мнозина.

 

  • Средният резултат показва, че голяма част от посетителите са се справили с разпознаването на истинските исторически факти и тези, измислени от изкуствения интелект.

 

  • Все пак, определено има доста твърдения, които са успели да подведат участниците. Едно е сигурно: във времената на интернет и напредналия ИИ е по-важно от всякога да проверяваме, да подлагаме на съмнение, да обсъждаме, да даваме думата на специалистите.

 

Важна история

Историческата тематика се оказа толкова интересна и важна, че определено ви очакват и следващите дигитални истории, свързани с миналото. Ако сте пропуснали, препоръчвам ви всички текстове, които станаха част от поредицата:

 

 

 

 

Време е и за обещаните награди! Трима от участниците, които изявиха желание да се включат в жребия за тях, получават като подарък книгата „Дигитални истории“ с автограф. Това са dimit******@abv.bg, l.hristo***@gmail.com и gerani***@gmail.com.

И отново, благодаря от сърце на всеки, който се включи! Ако ви идват идеи за следващи Дигитални истории, ще съм благодарен да ги споделите тук, очаква ви и скромна награда. Благодаря!

Дигитални истории

Дигитални истории е и ще си остане изцяло некомерсиално начинание, на което посвещавам доста време и усилия. За създаването на сайта обаче са нужни определени разходи. Ако имате възможност и желание да подпомогнете сайта, вече можете да го направите. Разбира се, все така важна подкрепа си остава всяка добра дума, всяко споделяне на темите.

<a href="https://karamanev.me/author/georgik" target="_self">Георги Караманев</a>

Георги Караманев

Програмист, журналист и писател. Още за мен – тук.
Дигитални истории

Най-нови публикации:

Какво научих от виртуалния „Георги Караманев“?

Какво научих от виртуалния „Георги Караманев“?

Да си говориш сам. В психологията това далеч не се приема за признак на добро емоционално здраве. Ами ако освен да си приказваш сам, пуснеш на свобода своя виртуален двойник, за да си говори с него...

повече информация
Нямате работа?!

Нямате работа?!

Темата за работните места, които ИИ вече завзема, тепърва излиза на дневен ред. Как точно технологията ще промени професиите? Кого ще замени и какви нови поприща ще създаде? Ще остане ли изобщо...

повече информация
„Създавайки истинския ИИ, имаме право само на един опит“

„Създавайки истинския ИИ, имаме право само на един опит“

За генералния изкуствен интелект говорят всички. Огромната следваща стъпка, която ще ни изправи пред колосални и непредвидими предизвикателства като вид. Ето че една от първите научни конференции по...

повече информация

Още публикации по темата:

От рубриката:

Нямате работа?!

Нямате работа?!

Темата за работните места, които ИИ вече завзема, тепърва излиза на дневен ред. Как точно технологията ще промени професиите? Кого ще замени и какви нови поприща ще създаде? Ще остане ли изобщо работа за хората? Дали не е време да помислим за въвеждането на безусловен базов доход?

повече информация
Апокалипсис. Как?

Апокалипсис. Как?

85 секунди. Символичният часовник, който показва колко сме близо до края на света, за първи път през 2026-а посочи този безумно кратък срок.
Отива си поколението, което не само помни последната (засега) световна война, но и стана свидетел на първите (дано да бъдат и последни) взривове на ядрено оръжие.
Като че ли имунитетът на човечеството изтича. Само че нямаме пробата Манту, за да ни припомни, да ни стресне, да ни замисли.
Това е най-неприятната Дигитална история от над 500. Но вярвам, че е важно да бъде разказана.
Какво ще стане, ако един ден някъде по света се взриви ядрена бомба?

повече информация

Най-новите:

Какво научих от виртуалния „Георги Караманев“?

Какво научих от виртуалния „Георги Караманев“?

Да си говориш сам. В психологията това далеч не се приема за признак на добро емоционално здраве. Ами ако освен да си приказваш сам, пуснеш на свобода своя виртуален двойник, за да си говори с него всеки? Какво ще го попита, което би попитал теб? Ами което не би попитал?
Някои експерименти на този сайт вече са по-смели от невъзможното и невъобразимото. Ето че ви очаква точно това. Преди два месеца на тази страница се появи „Георги“ – мой дигитален двойник, когото можете да срещнете и днес с бутончето за разговор най-долу вдясно на този сайт.
Добре дошъл беше да си поговори с него всеки. От самото начало бях предупредил, че ще следя разговорите, за да завършим подобаващо експеримента със следващите редове. В които ще разгледаме какво се случи с виртуалния „Георги“. Какво го питаха хората? Къде се справи той и къде се провали? Какво има да ни каже всеки от тези разговори?
Надникваме в разговорите с чатбота, размислите ще оставя основно на вас. А ако искате да проверите уменията му, той все още е тук и ви очаква. Признавам, аз определено не предполагах и за частица от разговорите, които проведе „Георги“. Ето какво имам предвид.

повече информация
Защо всички слушат Андрей Карпати?

Защо всички слушат Андрей Карпати?

„Вече съществува нов вид програмиране, който наричам „вайб кодинг“ – кодене по усещане, когато напълно се оставяш на вайба, прегръщаш експоненциалния растеж и забравяш, че кодът изобщо съществува.“
2 февруари по нашите ширини носи определени асоциации, но същата дата на миналата година роди ИТ света на бъдещето. Именно тогава един световноизвестен програмист създаде с думите по-горе цяло ново направление. „Вайб кодинг“ – светът, в който софтуерът не се създава с писане на компютърен код, а с обяснения на човешки език.
Андрей Карпати през последните години е сред малцината учени, които не само създават, но и премислят, обясняват изкуствения интелект на целия свят – с лекции и блогпостове, които се четат като приключенски романи. Словакът създаде огромна част от термините, с които днес боравим в света на ИИ, а и на концепциите, които ни помагат да го осмисляме и използваме. Един от създателите на OpenAI, на самоуправляващите се коли на Tesla, изненадващо преди месец той обяви, че става част от Anthropic – компания, която несъмнено проправя бъдещето.
А как ще изглежда това бъдеще според Андрей Карпати? Що за човек е един от пророците във времената на напредналия изкуствен интелект?

повече информация
Нямате работа?!

Нямате работа?!

Темата за работните места, които ИИ вече завзема, тепърва излиза на дневен ред. Как точно технологията ще промени професиите? Кого ще замени и какви нови поприща ще създаде? Ще остане ли изобщо работа за хората? Дали не е време да помислим за въвеждането на безусловен базов доход?

повече информация
„Създавайки истинския ИИ, имаме право само на един опит“

„Създавайки истинския ИИ, имаме право само на един опит“

За генералния изкуствен интелект говорят всички. Огромната следваща стъпка, която ще ни изправи пред колосални и непредвидими предизвикателства като вид. Ето че една от първите научни конференции по тази тема се състоя в Югозападния университет в Благоевград, а неин организатор беше днешният ни гост.
Димитър Добрев е изследовател в областта на изкуствения интелект и математическата логика, преподава в СУ. Автор е на разработки за дефиницията на ИИ, за създаването на генерален ИИ, за риска първият истински изкуствен интелект да се окаже и последен. Както казва той, преди да пуснем духа от бутилката, нека поне да сме решили какво искаме от него.
Говорим за интелекта като сила, за наивността към бъдещето, за контрола, регулациите, отворения код и за онзи прост, но плашещ въпрос:
Ако не знаем какво бъдеще искаме, как очакваме да го получим?

повече информация
Как „Рататуй“ създаде Бънк Ромеро

Как „Рататуй“ създаде Бънк Ромеро

Бънк Ромеро е истински феномен. Поредицата от 6 книги събира най-доброто от криминалния, фантастичния жанр с автентично чувство за хумор и определено ме впечатли. Затова нямаше как да не поканя автора ѝ да поговорим за книги и бъдеще, за фантастика и фантазия.
Емил Минчев е писател, известен с поредицата за детектива вълколак, но и преводач, оставящ следа с произведения като „Отнесени от вихъра“, „Баскервилското куче“, „Великият Гетсби“. Но стига приказки, да започваме.
Многословието не е в стила на Бънк, не е и на неговия създател, но с него имаме да си кажем интересни неща.

повече информация
Share This