Колко изкара ChatGPT на матурата по български?

юни 28, 2024 | Истории

Колко изкара ChatGPT на матурата по български?

28 юни 2024 | Истории

По света може много да се говори за теста на Тюринг, но ние си имаме български еквивалент, който е не по-малко показателен – матурата по български език и литература.

След като всяко лято излязат оценките, медиите бързат да се впечатлят от ниските резултати (макар и тази година да са малко по-добри). Как обаче би се справил ChatGPT? Колко ли ще изкара суперзвездата в света на изкуствения интелект? Ще му стигне ли балът, за да влезе в елитна университетска специалност?

Време е за един прелюбопитен експеримент. Ще задам на нашия герой без никакви допълнителни указания задачите от тазгодишния зрелостен изпит. За да има елемент на състезание, ще се включа и аз, също ще попълня матурата.

 

Изпити по никое време

После идва ред на учителя г-н Светослав Стойчев, който е сред истинските оценители на матурите и се съгласи да се включи в експеримента. Той ще получи двете попълнени форми – от мен и ChatGPT, и ще ги оцени, точно както се случва в практиката. И като допълнение – ще проверим дали учителят ще успее да различи кое е попълнено от алгоритъма и кое – от попрестарял зрелостник.

Кой ли от двама ни ще се изложи повече? Вземайте пуканките.

Впрочем, не е късно да се включите и вие! Тазгодишната матура ще намерите тук, после можем да сравним резултатите, поне във въпросите с фиксиран отговор.

 

ChatGPT на матура

 

Пак ще се срещнем…

Първо е мой ред, за да не се изкушавам да крада отговорите от листа на съседния чин. Няма как за автентичност да си осигуря класна стая, сядам насред мола. Сам ще съм си квестор, обещавам да се отнеса сериозно към задачата.

По мое време още нямаше матури, което дава жокер и колко далеч е било това мое време. Тъкмо 21 години са минали от годината, когато бих се явявал на подобни изпити, ако не исках да влизам веднага в казармата.

Ще простите носталгичната нотка, тя е продиктувана още от първите задачи, които ме връщат в гимназията. Правописът е сравнително лесен, все пак същите тези 21 години си изкарвам хляба с писане на думи (и JavaScript). О, добра новина, имаме доста граматика, тук би трябвало да съм доста по-успешен от железния си съперник, на него понякога в българския език му куцат например главните букви.

После идва ред на задачите, свързани с показана графика. На истинската матура имаше проблем с отпечатването, заради който на нея бяха признати за верни всички отговори. Ние с колегата обаче нямаме такива проблеми, ще се опитаме да се справим и с нея.

Следва приложен текст за историята на рекламата, написан толкова „увлекателно“ и „художествено“, че определено би могъл да е дело на моя съперник. Ето, тук се замислям повече – какво се казва в изречението „Без съмнение рекламата е продукт, но и „продуцент“.“ Хм-хм, да видим дали ще позная.

 

ChatGPT на матура

 

Който се учи…

Идва време за литература. „Кой проблем е заложен в интерпретацията на темата за вярата и надеждата в „Спасова могила“?“ То всичко хубаво, ама ако си спомнях каква беше изобщо тази „Спасова могила“… Налучквам.

„Запишете ЕДНО значение на заглавието „Две души“ за смисъла на творбата.“ Ох, май ще трябва да си припомня конспекта по литература, вие сещате ли се коя беше тя? Отново се налага да стрелям на посоки.

Така или иначе, струва ми се, че се справям добре с повечето въпроси. Харесва ми много, че са включени автори като Добромир Тонев, въпросите са интересни.

Попълвам първите две части доста по-бързо от времето, което ми дава МОН (все пак съм в мол) и идва време за тежката артилерия – финалния текст, който дава цели 30 от 100-те точки. Мога да избирам между есе и интерпретативно съчинение за „Цената на компромиса“ в „Приказка за стълбата“ на Смирненски.

Ама защо ми дават и целия текст на великото произведение, не се ли очаква да съм го учил в училище и да го познавам добре?

 

ChatGPT на матура

 

Електронен дневник

Простете отново невежеството ми, не помня точните критерии за интерпретативно съчинение, а може и по мое време формата да е била друга. Карам от сърце, наистина харесвам много текста и темата! Ограничението е 4 страници, само че на ръка, а аз предавам текста си на компютър. (Иначе бих изправил проверителя пред невъзможната задача да декодира почерка ми, с това също не би се справил дори споменатият Тюринг.) Страница и малко се оказват размислите ми, преди да усетя, че почвам да се повтарям.

Готов съм, предавам изпита (на себе си), но вместо, както е редно, да ходя да го полея (или да оглася мола, броейки до 12 за влизане в роля), направо е време за поправка.

Тук вече няма да се потя аз, а ChatGPT. За протокола – използвам новата версия с модела ChatGPT 4о (омни). Инструктирам го специално да не търси отговорите ми онлайн, за да няма риска да попадне на самата матура. Но дори ако случаят е такъв, лесно ще хвана преписвача – тогава няма да има грешен отговор.

Не се впускам в никакви конкретни указания, което със сигурност би подобрило представянето на електронния зрелостник. Копирам въпросите, после и отговорите – включително и последния, с дългия текст. Моля го за финал и той да се поизпоти над темата за компромиса при Смирненски, но изпитваният не дава индикации, че се поти, а веднага ми връща текст.

 

ChatGPT на матура

 

Стената на плача

Двата файла са готови, разбърквам (онче-бонче) и ги изпращам на Светослав Стойчев. Тук е моментът специално да благодаря за отделеното време на младия учител по български език и литература от Националната природо-математическа гимназия! Идеята за експеримента му допадна и той се включи с ентусиазъм.

След няколко дни вълнение е време двамата с електронния ми съученик да видим какво сме направили…

В първия критерий, честно казано, няма голяма изненада, поне за мен. Учителят с пълна увереност е познал кой от двата изпита е направен от човек и кой – от алгоритъм. Казва, че това няма как да се случи по въпросите с предложени отговори, но определено се е откроило по интерпретативното съчинение. С какво ли?

„По текста се вижда, че ChatGPT не може да разпознава фразеологизми. Не умее да прави препратки и асоциативни връзки. Използва доста скован език, липсва му живот. Изреченията следват едни и същи синтактични схеми“, безпощадно откровен е към електронния зрелостник учителят. „Другото, което ми направи впечатление, е, че в текста изкуственият интелект повтаря многократно едни и същи твърдения, не умее да разгледа проблема в дълбочина и да го обвърже с друг свой опит – личен, читателски.“

 

ChatGPT на матура

 

Висша форма на доверие

И все пак, важно е да уточним, че въпреки това алгоритъмът се е справил доста добре спрямо критериите и е получил немалко точки. Още нещо, което според Светослав е отличило ChatGPT, са словесните конструкции, в които си личи влиянието на английския. Разбира се, това обаче би могло да се случи и с текстовете на млади хора, както е ставало дума в Дигитални истории.

„Интересно ми е дали изкуственият интелект ще успее да се развие в някакъв момент толкова, че да изглежда като естествен носител на езика. И ми е любопитно дали среща същите затруднения с лексикалните норми и на английски. Паронимията също е нещо, което не е успял да хване“, допълва учителят.

Важни уточнения са, че ChatGPT наистина е обучаван на данни, много малка част от които са били на български и един достатъчно добър модел, специализиран в нашия език, не би страдал от този проблем. Също е редно да спомена, че резултатът щеше да е значително по-добър, ако бях дал по-конкретни указания на алгоритъма за това какво се търси, какво да включи в текста и в каква роля да го направи. А също и след няколко итерации, в които му посоча грешките, тогава авторът би бил доста по-трудно различим, както показа друг мой експеримент, в който се включиха почти 2000 души.

И така, време е да се разделим… разбира се, шегувам се, време е за резултатите.

 

ChatGPT на матура

Илюстрация на Midjourney по „Приказка за стълбата“

 

Един неразделен клас

Добрата новина. С колегата сме отличници! И все пак… аз съм се оказал една идея по-добър! При максимален сбор от 100 точки ChatGPT e изкарал цели 90, а аз – 93. Всичко това би ни донесло отлична оценка – тъй като скалата, предоставена от МОН, е ориентировъчна, изчислявам, че би значело оценка около 5,70 за алгоритъма и 5,80 за мен.

Още само два верни отговора и щях да имам пълна шестица, още само 5 – за чатбота. Доста прилично, какво ще кажете?

Любопитно е да разгледаме какво сме сбъркали. Можете да видите моята матура тук (грешките са отбелязани), а представянето на „колегата“ – тук.

Е, да, всичко, за което се колебаех, съм объркал – можеше да имам и малко късмет. Тук-там съм допуснал няколко правописни грешки, съвсем нормално в бързането (молът в неделя не е най-тихото място). Само една точка под максимума съм си заслужил за текста.

Това е и основната разлика, която ни разделя с „колегата“ – срещу моите 29 точки за разсъжденията си по Смирненски той е получил 27. Любопитно е и какво е сбъркал – 4 от задачите с фиксиран отговор, не прави разлика между „образование“ и „образувание“, но пък видимо е „чел“ произведенията, за които аз не успях да се сетя. Говори за „корупцията на моралните и духовните ценности“, но е допуснал по-малко правописни грешки от мен.

„Приказка за стълбата“ на Христо Смирненски е една от най-запомнящите се и дълбоки алегории за човешката същност и цената на компромисите, които правим по пътя към успеха и властта“, смята нашият човек. И аз разбирам какво има предвид проверителят (с още едно важно уточнение, че в случая той знаеше, че единият от двата текста е генериран).

 

ChatGPT на матура

Илюстрация на ChatGPT по „Приказка за стълбата“

 

Цената на компромиса

Как ли стоят постиженията ни в сравнение с истинските 12-класници? Доста добре, дори на фона на това, че тазгодишните резултати бяха най-високите от 2008 г., откакто у нас се провеждат задължителните матури по български език и литература.

Младежите имат средно 58,48 от 100-те точки, което се равнява на оценка добър (4,32) при среден успех миналата година добър (3,93). 10% са двойките (за целта трябва да събереш под 30 точки, което, от това, което видях, наистина изисква сериозни усилия).

От всички 46 916 ученици отличен (над 5,50) са изкарали 5557 души, тоест, най-вероятно, и двамата с ChatGPT бихме попаднали в 5% на най-добрите резултати. Специално си струва да похвалим 24-имата, изкарали пълните 100 точки, на тях определено не им трябва изкуствен интелект, имат предостатъчно естествен.

Какви са изводите? Оставям ги на вас, според мен и двамата бихме се справили прилично с теста на Тюринг, с всички въпроси, които това поставя… или един от нас не би, след като учителят разпозна автора? Няма да казвам кой, не искам да рискувам да ми се обиди.

А сега вече наистина е време да се разделим, с колегата зрелостник имаме нова важна задача. С този резултат от матура, ако имаме прилични и останалите оценки, включени в бала, определено бихме могли да влезем в повечето, включително и доста престижни университетски специалности… Време е да помислим за квартирка.

Дръж се, Студентски град, треперете, дискотеки, ние с ChatGPT идваме!

Дигитални истории

Дигитални истории е и ще си остане изцяло некомерсиално начинание, на което посвещавам доста време и усилия. За създаването на сайта обаче са нужни определени разходи. Ако имате възможност и желание да подпомогнете сайта, вече можете да го направите. Разбира се, все така важна подкрепа си остава всяка добра дума, всяко споделяне на темите.

<a href="https://karamanev.me/author/georgik" target="_self">Георги Караманев</a>

Георги Караманев

Програмист, журналист на свободна практика и писател. Още за мен – четете тук.
Дигитални истории

Най-нови публикации:

Агент GPT. Когато изкуствените интелекти заиграят в отбор

Агент GPT. Когато изкуствените интелекти заиграят в отбор

Какво ли ще стане, ако обърнем стереотипа за изкуствен интелект? Нямаме насреща си един модел, с който например да си чатим, а безброй отделни „индивиди“. Раздаваме им задачи, всеки от тях работи...

повече информация
„ИИ вече може да помогне в абсолютно всяка човешка задача“

„ИИ вече може да помогне в абсолютно всяка човешка задача“

Николай Марков е сред специалистите, които проправят пътя към все по-масовото навлизане на изкуствения интелект във всяка област от живота ни. Макар повече от 2 десетилетия да е в света на...

повече информация
„До 5 години ще слеем реалното и виртуалното“

„До 5 години ще слеем реалното и виртуалното“

Говорим си в Техническия университет в София, а… можем да сме навсякъде. Защото в лабораторията, в която се срещаме, се развиват следващите поколения средства за добавена и виртуална реалност. Те...

повече информация
Името на Apple-а. Историите зад големите марки онлайн

Името на Apple-а. Историите зад големите марки онлайн

Братовчеди ли са Java и JavaScript и ако нямат нищо общо… защо носят толкова подобни имена? Защо в название и символ на Apple се превръща толкова експлоатиран символ като ябълката? Какво ли е…...

повече информация

Още публикации по темата:

От рубриката:

PC Mania, Gamers Workshop… Легендите се завръщат!

PC Mania, Gamers Workshop… Легендите се завръщат!

Обичаш компютрите и за да можеш да ги ползваш… си купуваш списания!?
Ама не е ли странно? Та нали онлайн има всичко? Днес е така, но тази дигитална история се ражда в едновременно близкото и толкова далечно компютърно минало. Едно хлапе мечтае да получи непознато списание с лика на Джеймс Бонд, което е привлякло погледа му. Лишава се от джобните си, за да го купи, но само няколко часа по-късно му го вземат „батковците“. Така обаче се пробужда интересът му към култовите компютърни списания от края на миналия век, любими четива на цяло едно поколение.
Десетилетия по-късно момчето отново „среща“ същия Бонд, списанието отприщва историята нататък. Минават хиляди упорити часове, докато днес проект „Лазарус“ е завършен, всеки може да разгледа пълната колекция от легендарните компютърни списания от 90-те и първите години на 21-и век. Един своеобразен културен феномен, който трудно може да може да бъде обяснен на следващите млади…
Вие кое списание обичахте? PC Mania, Gamers Workshop или някое друго от дългия списък?

повече информация
Евгений Замятин. Забравеният пророк

Евгений Замятин. Забравеният пророк

„Ние“ на Евгений Замятин е блестящ роман, защото в него наднича онова бъдеще, в което технологиите са победили човека. Вкарали са го в математическата си хватка, превърнали са го в цифра, в инструмент. Една от най-силните метафори на онова, което може би се задава и за което все повече си струва да си говорим. Технологиите определят правилата, а ние сме се превърнали в безсмислените части на един суров механизъм…
Често споменаваме Оруел и Олдъс Хъксли. И с пълно основание! Антиутопичните възможни светове, които си мислехме, че са останали в ХХ век, се завърнаха като тема, като заплаха.
Този писател е вдъхновител и на двамата, единственият му роман е антиутопия, не по-малко замисляща и осмисляща от тези на двамата класици. Защото се вглежда не толкова във възможния осъществен тоталитаризъм, а в една още по-актуална днес посока.

повече информация
Радиевите момичета. Когато технологията се окаже ужас

Радиевите момичета. Когато технологията се окаже ужас

Открито е невероятно мощно явление, създаващо ново вещество! Не само че лекува дори нелечимите случаи на рак, но ще отвори очите на науката в толкова много посоки. Например… да освети тъмната нощ!
Мария Кюри открива радиоактивността, получава цели две Нобелови награди и проправя пътя на бъдещето.
Тя отваря вратите на една нова технология, която се оказва неочаквано успешна… До момента, когато става ясно, че силно сме подценявали опасностите от нея. Това ще струва живота на хиляди хора, които просто са търсели препитание.
Дали познаваме достатъчно технологиите, на които се доверяваме? Може ли и прословутият изкуствен интелект или пък някое от другите днес модерни направления да се окаже по-опасно, отколкото изглежда на пръв поглед?
Най-важното е да се замисляме, да обмисляме, да обсъждаме. Да си разказваме.
Истории като тази на радиевите момичета си струва да се четат по-често. За това са историите – да ни карат да подлагаме на съмнение, да имаме едно наум. Уви, не всичко, което блести, е злато…

повече информация

Най-новите:

Агент GPT. Когато изкуствените интелекти заиграят в отбор

Агент GPT. Когато изкуствените интелекти заиграят в отбор

Какво ли ще стане, ако обърнем стереотипа за изкуствен интелект? Нямаме насреща си един модел, с който например да си чатим, а безброй отделни „индивиди“. Раздаваме им задачи, всеки от тях работи автономно, специализира се в дадена работа, трупа знания по нея, контролира другите…
Целта например е да създават софтуер. Единият модел ще се научи да формулира изискванията, друг да пише програмния код, трети ще подготви визуалната страна, четвърти ще тества кое и как се е получило… и така ще се събере цяла софтуерна фирма, работеща милиони пъти по-бързо от обичайните, защото е изградена не от хора, а от алгоритми.
Колко далечно е днес това бъдеще?
Неотдавна Сам Алтман каза, че именно в тази посока се задават много сериозни пробиви. ИИ агентите са една от областите в компютърните науки, където очакваме големи новини. Следващите поколения изкуствен интелект, способни да решават значително по-сложни и комплексни задачи, допускащи много по-малко грешки. Мнозина от най-големите специалисти казват, че чрез този подход ще извървим следващата голяма стъпка в развитието на изкуствения интелект. Ето защо.

повече информация
„ИИ вече може да помогне в абсолютно всяка човешка задача“

„ИИ вече може да помогне в абсолютно всяка човешка задача“

Николай Марков е сред специалистите, които проправят пътя към все по-масовото навлизане на изкуствения интелект във всяка област от живота ни. Макар повече от 2 десетилетия да е в света на информационните технологии, той е завършил инженерна физика и макроикономика. Опитът му минава от разработването на облачни решения през киберсигурността до изследването и внедряването на изкуствен интелект.
Днес е начело на екипа по ИИ, девопс и облачни практики на SoftServe. Заедно с това в TeamLandi разработва система, с чиято помощ малкият и среден бизнес ще получи достъп до пълния спектър възможности, които дава изкуственият интелект.
Защо тези технологии са тук, за да останат и да променят живота ни? Как така изкуственият интелект е първата технология, която може да навлезе в абсолютно всяка област? Как ще изглежда бъдещето?

повече информация
PC Mania, Gamers Workshop… Легендите се завръщат!

PC Mania, Gamers Workshop… Легендите се завръщат!

Обичаш компютрите и за да можеш да ги ползваш… си купуваш списания!?
Ама не е ли странно? Та нали онлайн има всичко? Днес е така, но тази дигитална история се ражда в едновременно близкото и толкова далечно компютърно минало. Едно хлапе мечтае да получи непознато списание с лика на Джеймс Бонд, което е привлякло погледа му. Лишава се от джобните си, за да го купи, но само няколко часа по-късно му го вземат „батковците“. Така обаче се пробужда интересът му към култовите компютърни списания от края на миналия век, любими четива на цяло едно поколение.
Десетилетия по-късно момчето отново „среща“ същия Бонд, списанието отприщва историята нататък. Минават хиляди упорити часове, докато днес проект „Лазарус“ е завършен, всеки може да разгледа пълната колекция от легендарните компютърни списания от 90-те и първите години на 21-и век. Един своеобразен културен феномен, който трудно може да може да бъде обяснен на следващите млади…
Вие кое списание обичахте? PC Mania, Gamers Workshop или някое друго от дългия списък?

повече информация
„До 5 години ще слеем реалното и виртуалното“

„До 5 години ще слеем реалното и виртуалното“

Говорим си в Техническия университет в София, а… можем да сме навсякъде. Защото в лабораторията, в която се срещаме, се развиват следващите поколения средства за добавена и виртуална реалност. Те все по-убедително ще ни водят към съвършената имитация на света около нас.
Доц. Агата Манолова е декан на Факултета по телекомуникации на ТУ, преподавател с огромен опит. Специалист в компютърното зрение и невронните мрежи, но също и в разработването на добавена и виртуална реалност, холографски комуникации.
Защо въпреки очакванията на Марк Зукърбърг все още не сме в метавселената, където щяхме да прекарваме цялото си време? Колко далеч е моментът, когато ще постигнем съвършената, неразличима виртуална реалност? Кои са най-важните стъпки по този път и възможно ли е да се окаже невъзможно? Защо българските специалисти в тази област са толкова търсени и уважавани по света?
Време е за един съвсем инженерен и реален разговор за виртуалното и големите въпроси, които се задават в тази посока.

повече информация
Името на Apple-а. Историите зад големите марки онлайн

Името на Apple-а. Историите зад големите марки онлайн

Братовчеди ли са Java и JavaScript и ако нямат нищо общо… защо носят толкова подобни имена? Защо в название и символ на Apple се превръща толкова експлоатиран символ като ябълката? Какво ли е… Adobe? А Google? Има ли Lenovo общо с Ленин?
„Туй, което зовем ний „роза“, ще ухае сладко под всяко друго име“, казва Жулиета, цитирана от Шекспир. А туй, което зовем Apple или Amazon, щеше ли да ухае сладко под друго име?
Можем само да гадаем. Но зад названията на най-големите в онлайн света понякога се крият забавни истории. В следващите редове ще минем набързо през някои от най-поучителните и неочакваните.

повече информация
Кога се срещат щастието и успехът?

Кога се срещат щастието и успехът?

Има ли рецепта за успех в живота? А какво изобщо е успехът? Среща ли се, или се сблъсква с щастието? Кое обединява хората, постигнали забележителни резултати? А щастливи ли са те?
Полина Маринова Помплиано се посвещава на мисията да търси тези важни отговори. Като в същото време дава много силен пример как би изглеждала журналистиката на бъдещето.
От дете живее в САЩ, където сбъдва голямата си мечта да е журналист – кариерата ѝ минава през CNN и Fortune, докато не решава, че е време за следваща стъпка. Така създава собствена медия – бюлетинът The Profile, в който разказва историите на най-успелите хора в света, вече има над 100 000 абонати. Събира есенцията в първата си книга „Скрита дарба“, преведена на 12 езика, сред които и българския, благодарение на Даниел Пенев.
За срещата на успеха и щастието, за парите и късмета ще си поговорим с авторката, която си е общувала с хора като Дуейн Джонсън – Скалата, Мелинда Гейтс и Ричард Брансън. За бъдещето на медиите и начина, по който се снабдяваме с информация. За несъвършенствата, които създават изкуството и вечната сила на историите, които продължават да ни правят хора…

повече информация
Share This