Колко изкара ChatGPT на матурата по български?

юни 28, 2024 | Избрано, Истории

Колко изкара ChatGPT на матурата по български?

28 юни 2024 | Избрано, Истории

Можете да чуете тази Дигитална история в  Storytel

По света може много да се говори за теста на Тюринг, но ние си имаме български еквивалент, който е не по-малко показателен – матурата по български език и литература.

След като всяко лято излязат оценките, медиите бързат да се впечатлят от ниските резултати (макар и тази година да са малко по-добри). Как обаче би се справил ChatGPT? Колко ли ще изкара суперзвездата в света на изкуствения интелект? Ще му стигне ли балът, за да влезе в елитна университетска специалност?

Време е за един прелюбопитен експеримент. Ще задам на нашия герой без никакви допълнителни указания задачите от тазгодишния зрелостен изпит. За да има елемент на състезание, ще се включа и аз, също ще попълня матурата.

 

Изпити по никое време

После идва ред на учителя г-н Светослав Стойчев, който е сред истинските оценители на матурите и се съгласи да се включи в експеримента. Той ще получи двете попълнени форми – от мен и ChatGPT, и ще ги оцени, точно както се случва в практиката. И като допълнение – ще проверим дали учителят ще успее да различи кое е попълнено от алгоритъма и кое – от попрестарял зрелостник.

Кой ли от двама ни ще се изложи повече? Вземайте пуканките.

Впрочем, не е късно да се включите и вие! Тазгодишната матура ще намерите тук, после можем да сравним резултатите, поне във въпросите с фиксиран отговор.

 

ChatGPT на матура

 

Пак ще се срещнем…

Първо е мой ред, за да не се изкушавам да крада отговорите от листа на съседния чин. Няма как за автентичност да си осигуря класна стая, сядам насред мола. Сам ще съм си квестор, обещавам да се отнеса сериозно към задачата.

По мое време още нямаше матури, което дава жокер и колко далеч е било това мое време. Тъкмо 21 години са минали от годината, когато бих се явявал на подобни изпити, ако не исках да влизам веднага в казармата.

Ще простите носталгичната нотка, тя е продиктувана още от първите задачи, които ме връщат в гимназията. Правописът е сравнително лесен, все пак същите тези 21 години си изкарвам хляба с писане на думи (и JavaScript). О, добра новина, имаме доста граматика, тук би трябвало да съм доста по-успешен от железния си съперник, на него понякога в българския език му куцат например главните букви.

После идва ред на задачите, свързани с показана графика. На истинската матура имаше проблем с отпечатването, заради който на нея бяха признати за верни всички отговори. Ние с колегата обаче нямаме такива проблеми, ще се опитаме да се справим и с нея.

Следва приложен текст за историята на рекламата, написан толкова „увлекателно“ и „художествено“, че определено би могъл да е дело на моя съперник. Ето, тук се замислям повече – какво се казва в изречението „Без съмнение рекламата е продукт, но и „продуцент“.“ Хм-хм, да видим дали ще позная.

 

ChatGPT на матура

 

Който се учи…

Идва време за литература. „Кой проблем е заложен в интерпретацията на темата за вярата и надеждата в „Спасова могила“?“ То всичко хубаво, ама ако си спомнях каква беше изобщо тази „Спасова могила“… Налучквам.

„Запишете ЕДНО значение на заглавието „Две души“ за смисъла на творбата.“ Ох, май ще трябва да си припомня конспекта по литература, вие сещате ли се коя беше тя? Отново се налага да стрелям на посоки.

Така или иначе, струва ми се, че се справям добре с повечето въпроси. Харесва ми много, че са включени автори като Добромир Тонев, въпросите са интересни.

Попълвам първите две части доста по-бързо от времето, което ми дава МОН (все пак съм в мол) и идва време за тежката артилерия – финалния текст, който дава цели 30 от 100-те точки. Мога да избирам между есе и интерпретативно съчинение за „Цената на компромиса“ в „Приказка за стълбата“ на Смирненски.

Ама защо ми дават и целия текст на великото произведение, не се ли очаква да съм го учил в училище и да го познавам добре?

 

ChatGPT на матура

 

Електронен дневник

Простете отново невежеството ми, не помня точните критерии за интерпретативно съчинение, а може и по мое време формата да е била друга. Карам от сърце, наистина харесвам много текста и темата! Ограничението е 4 страници, само че на ръка, а аз предавам текста си на компютър. (Иначе бих изправил проверителя пред невъзможната задача да декодира почерка ми, с това също не би се справил дори споменатият Тюринг.) Страница и малко се оказват размислите ми, преди да усетя, че почвам да се повтарям.

Готов съм, предавам изпита (на себе си), но вместо, както е редно, да ходя да го полея (или да оглася мола, броейки до 12 за влизане в роля), направо е време за поправка.

Тук вече няма да се потя аз, а ChatGPT. За протокола – използвам новата версия с модела ChatGPT 4о (омни). Инструктирам го специално да не търси отговорите ми онлайн, за да няма риска да попадне на самата матура. Но дори ако случаят е такъв, лесно ще хвана преписвача – тогава няма да има грешен отговор.

Не се впускам в никакви конкретни указания, което със сигурност би подобрило представянето на електронния зрелостник. Копирам въпросите, после и отговорите – включително и последния, с дългия текст. Моля го за финал и той да се поизпоти над темата за компромиса при Смирненски, но изпитваният не дава индикации, че се поти, а веднага ми връща текст.

 

ChatGPT на матура

 

Стената на плача

Двата файла са готови, разбърквам (онче-бонче) и ги изпращам на Светослав Стойчев. Тук е моментът специално да благодаря за отделеното време на младия учител по български език и литература от Националната природо-математическа гимназия! Идеята за експеримента му допадна и той се включи с ентусиазъм.

След няколко дни вълнение е време двамата с електронния ми съученик да видим какво сме направили…

В първия критерий, честно казано, няма голяма изненада, поне за мен. Учителят с пълна увереност е познал кой от двата изпита е направен от човек и кой – от алгоритъм. Казва, че това няма как да се случи по въпросите с предложени отговори, но определено се е откроило по интерпретативното съчинение. С какво ли?

„По текста се вижда, че ChatGPT не може да разпознава фразеологизми. Не умее да прави препратки и асоциативни връзки. Използва доста скован език, липсва му живот. Изреченията следват едни и същи синтактични схеми“, безпощадно откровен е към електронния зрелостник учителят. „Другото, което ми направи впечатление, е, че в текста изкуственият интелект повтаря многократно едни и същи твърдения, не умее да разгледа проблема в дълбочина и да го обвърже с друг свой опит – личен, читателски.“

 

ChatGPT на матура

 

Висша форма на доверие

И все пак, важно е да уточним, че въпреки това алгоритъмът се е справил доста добре спрямо критериите и е получил немалко точки. Още нещо, което според Светослав е отличило ChatGPT, са словесните конструкции, в които си личи влиянието на английския. Разбира се, това обаче би могло да се случи и с текстовете на млади хора, както е ставало дума в Дигитални истории.

„Интересно ми е дали изкуственият интелект ще успее да се развие в някакъв момент толкова, че да изглежда като естествен носител на езика. И ми е любопитно дали среща същите затруднения с лексикалните норми и на английски. Паронимията също е нещо, което не е успял да хване“, допълва учителят.

Важни уточнения са, че ChatGPT наистина е обучаван на данни, много малка част от които са били на български и един достатъчно добър модел, специализиран в нашия език, не би страдал от този проблем. Също е редно да спомена, че резултатът щеше да е значително по-добър, ако бях дал по-конкретни указания на алгоритъма за това какво се търси, какво да включи в текста и в каква роля да го направи. А също и след няколко итерации, в които му посоча грешките, тогава авторът би бил доста по-трудно различим, както показа друг мой експеримент, в който се включиха почти 2000 души.

И така, време е да се разделим… разбира се, шегувам се, време е за резултатите.

 

ChatGPT на матура

Илюстрация на Midjourney по „Приказка за стълбата“

 

Един неразделен клас

Добрата новина. С колегата сме отличници! И все пак… аз съм се оказал една идея по-добър! При максимален сбор от 100 точки ChatGPT e изкарал цели 90, а аз – 93. Всичко това би ни донесло отлична оценка – тъй като скалата, предоставена от МОН, е ориентировъчна, изчислявам, че би значело оценка около 5,70 за алгоритъма и 5,80 за мен.

Още само два верни отговора и щях да имам пълна шестица, още само 5 – за чатбота. Доста прилично, какво ще кажете?

Любопитно е да разгледаме какво сме сбъркали. Можете да видите моята матура тук (грешките са отбелязани), а представянето на „колегата“ – тук.

Е, да, всичко, за което се колебаех, съм объркал – можеше да имам и малко късмет. Тук-там съм допуснал няколко правописни грешки, съвсем нормално в бързането (молът в неделя не е най-тихото място). Само една точка под максимума съм си заслужил за текста.

Това е и основната разлика, която ни разделя с „колегата“ – срещу моите 29 точки за разсъжденията си по Смирненски той е получил 27. Любопитно е и какво е сбъркал – 4 от задачите с фиксиран отговор, не прави разлика между „образование“ и „образувание“, но пък видимо е „чел“ произведенията, за които аз не успях да се сетя. Говори за „корупцията на моралните и духовните ценности“, но е допуснал по-малко правописни грешки от мен.

„Приказка за стълбата“ на Христо Смирненски е една от най-запомнящите се и дълбоки алегории за човешката същност и цената на компромисите, които правим по пътя към успеха и властта“, смята нашият човек. И аз разбирам какво има предвид проверителят (с още едно важно уточнение, че в случая той знаеше, че единият от двата текста е генериран).

 

ChatGPT на матура

Илюстрация на ChatGPT по „Приказка за стълбата“

 

Цената на компромиса

Как ли стоят постиженията ни в сравнение с истинските 12-класници? Доста добре, дори на фона на това, че тазгодишните резултати бяха най-високите от 2008 г., откакто у нас се провеждат задължителните матури по български език и литература.

Младежите имат средно 58,48 от 100-те точки, което се равнява на оценка добър (4,32) при среден успех миналата година добър (3,93). 10% са двойките (за целта трябва да събереш под 30 точки, което, от това, което видях, наистина изисква сериозни усилия).

От всички 46 916 ученици отличен (над 5,50) са изкарали 5557 души, тоест, най-вероятно, и двамата с ChatGPT бихме попаднали в 5% на най-добрите резултати. Специално си струва да похвалим 24-имата, изкарали пълните 100 точки, на тях определено не им трябва изкуствен интелект, имат предостатъчно естествен.

Какви са изводите? Оставям ги на вас, според мен и двамата бихме се справили прилично с теста на Тюринг, с всички въпроси, които това поставя… или един от нас не би, след като учителят разпозна автора? Няма да казвам кой, не искам да рискувам да ми се обиди.

А сега вече наистина е време да се разделим, с колегата зрелостник имаме нова важна задача. С този резултат от матура, ако имаме прилични и останалите оценки, включени в бала, определено бихме могли да влезем в повечето, включително и доста престижни университетски специалности… Време е да помислим за квартирка.

Дръж се, Студентски град, треперете, дискотеки, ние с ChatGPT идваме!

Дигитални истории

Дигитални истории е и ще си остане изцяло некомерсиално начинание, на което посвещавам доста време и усилия. За създаването на сайта обаче са нужни определени разходи. Ако имате възможност и желание да подпомогнете сайта, вече можете да го направите. Разбира се, все така важна подкрепа си остава всяка добра дума, всяко споделяне на темите.

<a href="https://karamanev.me/author/georgik" target="_self">Георги Караманев</a>

Георги Караманев

Програмист, журналист на свободна практика и писател. Още за мен – четете тук.
Дигитални истории

Най-нови публикации:

„Дигиталното може да почака, детството – не“

„Дигиталното може да почака, детството – не“

Как да изведем от мрежата децата, които вече са прекалено увлечени от нея? Това е голямата кауза на Александрина Георгиева. Програмист със сериозен опит, днес тя е начело на фондацията Offline kids,...

повече информация
„Идва епоха, в която ще трябва да преизобретим себе си“

„Идва епоха, в която ще трябва да преизобретим себе си“

Как ще изглежда утрешният ден? Защо се задава „епохата, в която предстои да преизобретяваме себе си“? Какво има смисъл да учат днешните деца, за да са готови за бъдещето? Кои професиите ще оцелеят?...

повече информация
Как срещаме децата с технологиите? (Анкета)

Как срещаме децата с технологиите? (Анкета)

В какъв свят ще живеят децата ни? А как да ги срещнем с технологиите по най-добрия начин? Имам две хлапета и този сайт го има, защото тези въпроси не ми дават мира. Докато има още толкова важни...

повече информация
„Нямам търпение ИИ да става все по-добър!“

„Нямам търпение ИИ да става все по-добър!“

Изкуственият интелект хвърля ръкавицата към хората на изкуството във все повече области. Докато мнозина смятат, че технологията е далеч от това да създава по-добре от хората, все по-често и рязко се...

повече информация
:-) Усмихни се! Приказка за първия емотикон

🙂 Усмихни се! Приказка за първия емотикон

🙂 В началото даже си имаше и „нос“: 🙂 С идването на интернет текстът се преля в изображенията и обратното. И въпреки че всичко в онлайн света се променя главоломно, символът „първопроходник“...

повече информация

Още публикации по темата:

От рубриката:

Таралежите се раждат без ИИ

Таралежите се раждат без ИИ

В какъв свят ще живеят днешните деца?
Какво има смисъл да учат днес и кое би било загуба на време, усилия и пари?
Кога и как да ги срещнем с технологиите така, че да им помогнем да се опознаят, без някой да пострада?
А кога да ги „запознаем“ с изкуствения интелект?
Ще потърся отговорите на тези и други важни въпроси, свързани с децата и технологиите. Започва дълга поредица от детски Дигитални истории.
Ето защо според мен е жизненоважно да навлезем по-дълбоко в тези огромни теми:

повече информация
:-) Усмихни се! Приказка за първия емотикон

🙂 Усмихни се! Приказка за първия емотикон

С идването на интернет текстът се преля в изображенията и обратното. И въпреки че всичко в онлайн света се променя главоломно, символът „първопроходник“ оцелява до днес.
Усмивката, която всички използваме ежедневно, „нарисувана“ само с 2 или 3 знака, е може би най-разпознаваемият знак на онлайн епохата. Модите, технологичните поколения, социалните мрежи идват и си отиват, докато „смайли“-то си остава, вечно и разпознаваемо.
Знаете ли кой е „баща“ му? Колкото и да е странно, комбинацията от знаци си има конкретен „изобретател“ и още един „кръстник“, който му помага да скочи в интернет. Графичният дизайнер Харви Бел печели за начинанието си – стилизирано смеещо се лице, „цели“ 45 долара. Той никога не е претендирал за авторски права, вместо това десетилетия по-късно създава фондация, която набира средства за деца в нужда, чийто символ, разбира се, е усмивката.
Усмихнете се на живота! Време е за една лъчезарна дигитална история.

повече информация
Поколенчески въпрос. Дигиталните лидери и култът към личността

Поколенчески въпрос. Дигиталните лидери и култът към личността

Кои са най-ярките личности в общественото пространство през последните десетилетия? Тези, от които най-малко бихме го очаквали, ако вярваме на стереотипите – хората на технологиите. От Бил Гейтс, когото целокупното конспиративно човечество превърна в основния виновник за пандемията до Илон Мъск, който, докато ни „спасява“ свободата на словото, е последната ни истинска надежда да се извисим в Космоса като цивилизация…
Да, култът към личността в дигиталните времена изживява доста странен апогей. Политиците отдавна изгубиха магията си на интересни личности, хората на изкуството стоят по-скоро насочени към конкретните си аудитории… докато знаменитостите, свързани с технологичния прогрес, се превърнаха в силните образи на новото време.
Дали защото технологията е днешната магия? Неразбираема за много от хората, променяща, атрактивна… Свърховеци ли са силните образи на дигиталните времена? Получават ли заслужената си слава иноваторите, или процъфтяват крадците на идеи? По какво си приличат и се отличават представителите на различните поколения? Срещаме доста различни дигитални истории…

повече информация

Най-новите:

„Дигиталното може да почака, детството – не“

„Дигиталното може да почака, детството – не“

Как да изведем от мрежата децата, които вече са прекалено увлечени от нея? Това е голямата кауза на Александрина Георгиева. Програмист със сериозен опит, днес тя е начело на фондацията Offline kids, която има мисията да помага на родителите в търсене на баланса.
Кога срещата с технологиите може да се превърне в проблем за децата? Как да намерим този толкова труден баланс? Как да срещаме децата с технологиите, без това да е за сметка на основни човешки умения, които ще им трябват в бъдеще? Ако усетим, че детето прекарва часове пред телефона или таблета, има ли път назад?
Време е за една прелюбопитна лична история и безброй ценни съвети за всеки дигитален родител. За всеки, което смята, че от време на време е важно децата да се озоват и офлайн.

повече информация
„Идва епоха, в която ще трябва да преизобретим себе си“

„Идва епоха, в която ще трябва да преизобретим себе си“

Как ще изглежда утрешният ден? Защо се задава „епохата, в която предстои да преизобретяваме себе си“? Какво има смисъл да учат днешните деца, за да са готови за бъдещето? Кои професиите ще оцелеят? И как да намерим онези, все по-дефицитни умения, които си струва да им помагаме да развиват?
Доц. Мариана Тодорова е пионер на българската футурология в съвременния ѝ вид. Превърна се в традиция в началото на всяка година да ми гостува с прогнози, които недвусмислено се претворяват в реалност.
„Връщаме се към това най-изконно човешко качество за критично мислене, разсъждение и дебати.“
„Въпрос на време е повечето от задачите, които изпълняваме, да бъдат иззети от изкуствения интелект. Ще живеем в една перманентна промяна и в един момент няма да можем да наваксаме. Бихме могли да реагираме като човечество само чрез глобален политически консенсус, в който да решим, въпреки че технологията може да прави почти всичко, хората остават. Но подобна философия е много анти капитализма и се изисква или някакъв безкраен хуманизъм, или диктаторство, за да се наложи.“
Можем ли да сме готови за бъдещето?

повече информация
Таралежите се раждат без ИИ

Таралежите се раждат без ИИ

В какъв свят ще живеят днешните деца?
Какво има смисъл да учат днес и кое би било загуба на време, усилия и пари?
Кога и как да ги срещнем с технологиите така, че да им помогнем да се опознаят, без някой да пострада?
А кога да ги „запознаем“ с изкуствения интелект?
Ще потърся отговорите на тези и други важни въпроси, свързани с децата и технологиите. Започва дълга поредица от детски Дигитални истории.
Ето защо според мен е жизненоважно да навлезем по-дълбоко в тези огромни теми:

повече информация
Как срещаме децата с технологиите? (Анкета)

Как срещаме децата с технологиите? (Анкета)

В какъв свят ще живеят децата ни? А как да ги срещнем с технологиите по най-добрия начин?
Имам две хлапета и този сайт го има, защото тези въпроси не ми дават мира. Докато има още толкова важни въпроси, на които е време да намерим отговор.
Нека ги обсъдим, а после да потърсим отговорите. Нека заедно нарисуваме картината на днешното дигитално родителство и погледа му към бъдещето.
Анкетата е насочена към родителите на деца от 0 до 11 години (а и към баби, дядовци, хора, които имат отношение към децата). Темите на тийнейжърите също са изключително важни, и за тях ще дойде моментът.
Анкетата е анонимна, можете да отговорите на въпросите, които си изберете. Можете да се включите и в жребий за награди – подбрани книги и фланелки с логото на Дигитални истории. Отговорите се събират до 28 февруари, а в началото на март очаквайте резултатите.
С тази анкета започва поредицата от важни Дигитални истории за децата и технологиите. Ще поговорим за майчинството и бащинството днес, за промените в образованието, за професиите на бъдещето. Поканил съм забележителни гости, от които всеки родител (включително и аз) има много какво да научи.
Благодаря от сърце за всяко попълване, за всяко споделяне!

повече информация
„Нямам търпение ИИ да става все по-добър!“

„Нямам търпение ИИ да става все по-добър!“

Изкуственият интелект хвърля ръкавицата към хората на изкуството във все повече области. Докато мнозина смятат, че технологията е далеч от това да създава по-добре от хората, все по-често и рязко се оказва обратното. Къде тогава отиват творчеството, изкуството, въображението? Как да ценим пътя, след като резултатът е лесен? Живеем в изненадващ свят, в който трябва да си адаптивен, за да оцелееш.
Любомир Сергеев е фотограф, дигитален артист, режисьор и продуцент с 30-годишен опит в областта на рекламата. Работил е на 5 континента, живял е в Лондон и Ню Йорк. Носител на дълъг списък от награди, сред които е „Victoria“, считана за най-престижна в света на фотографията. 12 години подред е в световната селекция „200 най-добри дигитални артисти“.

повече информация
:-) Усмихни се! Приказка за първия емотикон

🙂 Усмихни се! Приказка за първия емотикон

С идването на интернет текстът се преля в изображенията и обратното. И въпреки че всичко в онлайн света се променя главоломно, символът „първопроходник“ оцелява до днес.
Усмивката, която всички използваме ежедневно, „нарисувана“ само с 2 или 3 знака, е може би най-разпознаваемият знак на онлайн епохата. Модите, технологичните поколения, социалните мрежи идват и си отиват, докато „смайли“-то си остава, вечно и разпознаваемо.
Знаете ли кой е „баща“ му? Колкото и да е странно, комбинацията от знаци си има конкретен „изобретател“ и още един „кръстник“, който му помага да скочи в интернет. Графичният дизайнер Харви Бел печели за начинанието си – стилизирано смеещо се лице, „цели“ 45 долара. Той никога не е претендирал за авторски права, вместо това десетилетия по-късно създава фондация, която набира средства за деца в нужда, чийто символ, разбира се, е усмивката.
Усмихнете се на живота! Време е за една лъчезарна дигитална история.

повече информация
Share This