По света може много да се говори за теста на Тюринг, но ние си имаме български еквивалент, който е не по-малко показателен – матурата по български език и литература.

След като всяко лято излязат оценките, медиите бързат да се впечатлят от ниските резултати (макар и тази година да са малко по-добри). Как обаче би се справил ChatGPT? Колко ли ще изкара суперзвездата в света на изкуствения интелект? Ще му стигне ли балът, за да влезе в елитна университетска специалност?

Време е за един прелюбопитен експеримент. Ще задам на нашия герой без никакви допълнителни указания задачите от тазгодишния зрелостен изпит. За да има елемент на състезание, ще се включа и аз, също ще попълня матурата.

Изпити по никое време

После идва ред на учителя г-н Светослав Стойчев, който е сред истинските оценители на матурите и се съгласи да се включи в експеримента. Той ще получи двете попълнени форми – от мен и ChatGPT, и ще ги оцени, точно както се случва в практиката. И като допълнение – ще проверим дали учителят ще успее да различи кое е попълнено от алгоритъма и кое – от попрестарял зрелостник.

Кой ли от двама ни ще се изложи повече? Вземайте пуканките.

Впрочем, не е късно да се включите и вие! Тазгодишната матура ще намерите тук, после можем да сравним резултатите, поне във въпросите с фиксиран отговор.

Пак ще се срещнем…

Първо е мой ред, за да не се изкушавам да крада отговорите от листа на съседния чин. Няма как за автентичност да си осигуря класна стая, сядам насред мола. Сам ще съм си квестор, обещавам да се отнеса сериозно към задачата.

По мое време още нямаше матури, което дава жокер и колко далеч е било това мое време. Тъкмо 21 години са минали от годината, когато бих се явявал на подобни изпити, ако не исках да влизам веднага в казармата.

Ще простите носталгичната нотка, тя е продиктувана още от първите задачи, които ме връщат в гимназията. Правописът е сравнително лесен, все пак същите тези 21 години си изкарвам хляба с писане на думи (и JavaScript). О, добра новина, имаме доста граматика, тук би трябвало да съм доста по-успешен от железния си съперник, на него понякога в българския език му куцат например главните букви.

После идва ред на задачите, свързани с показана графика. На истинската матура имаше проблем с отпечатването, заради който на нея бяха признати за верни всички отговори. Ние с колегата обаче нямаме такива проблеми, ще се опитаме да се справим и с нея.

Следва приложен текст за историята на рекламата, написан толкова „увлекателно“ и „художествено“, че определено би могъл да е дело на моя съперник. Ето, тук се замислям повече – какво се казва в изречението „Без съмнение рекламата е продукт, но и „продуцент“.“ Хм-хм, да видим дали ще позная.

Който се учи…

Идва време за литература. „Кой проблем е заложен в интерпретацията на темата за вярата и надеждата в „Спасова могила“?“ То всичко хубаво, ама ако си спомнях каква беше изобщо тази „Спасова могила“… Налучквам.

„Запишете ЕДНО значение на заглавието „Две души“ за смисъла на творбата.“ Ох, май ще трябва да си припомня конспекта по литература, вие сещате ли се коя беше тя? Отново се налага да стрелям на посоки.

Така или иначе, струва ми се, че се справям добре с повечето въпроси. Харесва ми много, че са включени автори като Добромир Тонев, въпросите са интересни.

Попълвам първите две части доста по-бързо от времето, което ми дава МОН (все пак съм в мол) и идва време за тежката артилерия – финалния текст, който дава цели 30 от 100-те точки. Мога да избирам между есе и интерпретативно съчинение за „Цената на компромиса“ в „Приказка за стълбата“ на Смирненски.

Ама защо ми дават и целия текст на великото произведение, не се ли очаква да съм го учил в училище и да го познавам добре?

Електронен дневник

Простете отново невежеството ми, не помня точните критерии за интерпретативно съчинение, а може и по мое време формата да е била друга. Карам от сърце, наистина харесвам много текста и темата! Ограничението е 4 страници, само че на ръка, а аз предавам текста си на компютър. (Иначе бих изправил проверителя пред невъзможната задача да декодира почерка ми, с това също не би се справил дори споменатият Тюринг.) Страница и малко се оказват размислите ми, преди да усетя, че почвам да се повтарям.

Готов съм, предавам изпита (на себе си), но вместо, както е редно, да ходя да го полея (или да оглася мола, броейки до 12 за влизане в роля), направо е време за поправка.

Тук вече няма да се потя аз, а ChatGPT. За протокола – използвам новата версия с модела ChatGPT 4о (омни). Инструктирам го специално да не търси отговорите ми онлайн, за да няма риска да попадне на самата матура. Но дори ако случаят е такъв, лесно ще хвана преписвача – тогава няма да има грешен отговор.

Не се впускам в никакви конкретни указания, което със сигурност би подобрило представянето на електронния зрелостник. Копирам въпросите, после и отговорите – включително и последния, с дългия текст. Моля го за финал и той да се поизпоти над темата за компромиса при Смирненски, но изпитваният не дава индикации, че се поти, а веднага ми връща текст.

Стената на плача

Двата файла са готови, разбърквам (онче-бонче) и ги изпращам на Светослав Стойчев. Тук е моментът специално да благодаря за отделеното време на младия учител по български език и литература от Националната природо-математическа гимназия! Идеята за експеримента му допадна и той се включи с ентусиазъм.

След няколко дни вълнение е време двамата с електронния ми съученик да видим какво сме направили…

В първия критерий, честно казано, няма голяма изненада, поне за мен. Учителят с пълна увереност е познал кой от двата изпита е направен от човек и кой – от алгоритъм. Казва, че това няма как да се случи по въпросите с предложени отговори, но определено се е откроило по интерпретативното съчинение. С какво ли?

„По текста се вижда, че ChatGPT не може да разпознава фразеологизми. Не умее да прави препратки и асоциативни връзки. Използва доста скован език, липсва му живот. Изреченията следват едни и същи синтактични схеми“, безпощадно откровен е към електронния зрелостник учителят. „Другото, което ми направи впечатление, е, че в текста изкуственият интелект повтаря многократно едни и същи твърдения, не умее да разгледа проблема в дълбочина и да го обвърже с друг свой опит – личен, читателски.“

Висша форма на доверие

И все пак, важно е да уточним, че въпреки това алгоритъмът се е справил доста добре спрямо критериите и е получил немалко точки. Още нещо, което според Светослав е отличило ChatGPT, са словесните конструкции, в които си личи влиянието на английския. Разбира се, това обаче би могло да се случи и с текстовете на млади хора, както е ставало дума в Дигитални истории.

„Интересно ми е дали изкуственият интелект ще успее да се развие в някакъв момент толкова, че да изглежда като естествен носител на езика. И ми е любопитно дали среща същите затруднения с лексикалните норми и на английски. Паронимията също е нещо, което не е успял да хване“, допълва учителят.

Важни уточнения са, че ChatGPT наистина е обучаван на данни, много малка част от които са били на български и един достатъчно добър модел, специализиран в нашия език, не би страдал от този проблем. Също е редно да спомена, че резултатът щеше да е значително по-добър, ако бях дал по-конкретни указания на алгоритъма за това какво се търси, какво да включи в текста и в каква роля да го направи. А също и след няколко итерации, в които му посоча грешките, тогава авторът би бил доста по-трудно различим, както показа друг мой експеримент, в който се включиха почти 2000 души.

И така, време е да се разделим… разбира се, шегувам се, време е за резултатите.

Илюстрация на Midjourney по „Приказка за стълбата“

Един неразделен клас

Добрата новина. С колегата сме отличници! И все пак… аз съм се оказал една идея по-добър! При максимален сбор от 100 точки ChatGPT e изкарал цели 90, а аз – 93. Всичко това би ни донесло отлична оценка – тъй като скалата, предоставена от МОН, е ориентировъчна, изчислявам, че би значело оценка около 5,70 за алгоритъма и 5,80 за мен.

Още само два верни отговора и щях да имам пълна шестица, още само 5 – за чатбота. Доста прилично, какво ще кажете?

Любопитно е да разгледаме какво сме сбъркали. Можете да видите моята матура тук (грешките са отбелязани), а представянето на „колегата“ – тук.

Е, да, всичко, за което се колебаех, съм объркал – можеше да имам и малко късмет. Тук-там съм допуснал няколко правописни грешки, съвсем нормално в бързането (молът в неделя не е най-тихото място). Само една точка под максимума съм си заслужил за текста.

Това е и основната разлика, която ни разделя с „колегата“ – срещу моите 29 точки за разсъжденията си по Смирненски той е получил 27. Любопитно е и какво е сбъркал – 4 от задачите с фиксиран отговор, не прави разлика между „образование“ и „образувание“, но пък видимо е „чел“ произведенията, за които аз не успях да се сетя. Говори за „корупцията на моралните и духовните ценности“, но е допуснал по-малко правописни грешки от мен.

„Приказка за стълбата“ на Христо Смирненски е една от най-запомнящите се и дълбоки алегории за човешката същност и цената на компромисите, които правим по пътя към успеха и властта“, смята нашият човек. И аз разбирам какво има предвид проверителят (с още едно важно уточнение, че в случая той знаеше, че единият от двата текста е генериран).

Илюстрация на ChatGPT по „Приказка за стълбата“

Цената на компромиса

Как ли стоят постиженията ни в сравнение с истинските 12-класници? Доста добре, дори на фона на това, че тазгодишните резултати бяха най-високите от 2008 г., откакто у нас се провеждат задължителните матури по български език и литература.

Младежите имат средно 58,48 от 100-те точки, което се равнява на оценка добър (4,32) при среден успех миналата година добър (3,93). 10% са двойките (за целта трябва да събереш под 30 точки, което, от това, което видях, наистина изисква сериозни усилия).

От всички 46 916 ученици отличен (над 5,50) са изкарали 5557 души, тоест, най-вероятно, и двамата с ChatGPT бихме попаднали в 5% на най-добрите резултати. Специално си струва да похвалим 24-имата, изкарали пълните 100 точки, на тях определено не им трябва изкуствен интелект, имат предостатъчно естествен.

Какви са изводите? Оставям ги на вас, според мен и двамата бихме се справили прилично с теста на Тюринг, с всички въпроси, които това поставя… или един от нас не би, след като учителят разпозна автора? Няма да казвам кой, не искам да рискувам да ми се обиди.

А сега вече наистина е време да се разделим, с колегата зрелостник имаме нова важна задача. С този резултат от матура, ако имаме прилични и останалите оценки, включени в бала, определено бихме могли да влезем в повечето, включително и доста престижни университетски специалности… Време е да помислим за квартирка.

Дръж се, Студентски град, треперете, дискотеки, ние с ChatGPT идваме!