Колко изкара ChatGPT на матурата по български?

юни 28, 2024 | Избрано, Истории

Колко изкара ChatGPT на матурата по български?

28 юни 2024 | Избрано, Истории

Можете да чуете тази Дигитална история в  Storytel

По света може много да се говори за теста на Тюринг, но ние си имаме български еквивалент, който е не по-малко показателен – матурата по български език и литература.

След като всяко лято излязат оценките, медиите бързат да се впечатлят от ниските резултати (макар и тази година да са малко по-добри). Как обаче би се справил ChatGPT? Колко ли ще изкара суперзвездата в света на изкуствения интелект? Ще му стигне ли балът, за да влезе в елитна университетска специалност?

Време е за един прелюбопитен експеримент. Ще задам на нашия герой без никакви допълнителни указания задачите от тазгодишния зрелостен изпит. За да има елемент на състезание, ще се включа и аз, също ще попълня матурата.

 

Изпити по никое време

После идва ред на учителя г-н Светослав Стойчев, който е сред истинските оценители на матурите и се съгласи да се включи в експеримента. Той ще получи двете попълнени форми – от мен и ChatGPT, и ще ги оцени, точно както се случва в практиката. И като допълнение – ще проверим дали учителят ще успее да различи кое е попълнено от алгоритъма и кое – от попрестарял зрелостник.

Кой ли от двама ни ще се изложи повече? Вземайте пуканките.

Впрочем, не е късно да се включите и вие! Тазгодишната матура ще намерите тук, после можем да сравним резултатите, поне във въпросите с фиксиран отговор.

 

ChatGPT на матура

 

Пак ще се срещнем…

Първо е мой ред, за да не се изкушавам да крада отговорите от листа на съседния чин. Няма как за автентичност да си осигуря класна стая, сядам насред мола. Сам ще съм си квестор, обещавам да се отнеса сериозно към задачата.

По мое време още нямаше матури, което дава жокер и колко далеч е било това мое време. Тъкмо 21 години са минали от годината, когато бих се явявал на подобни изпити, ако не исках да влизам веднага в казармата.

Ще простите носталгичната нотка, тя е продиктувана още от първите задачи, които ме връщат в гимназията. Правописът е сравнително лесен, все пак същите тези 21 години си изкарвам хляба с писане на думи (и JavaScript). О, добра новина, имаме доста граматика, тук би трябвало да съм доста по-успешен от железния си съперник, на него понякога в българския език му куцат например главните букви.

После идва ред на задачите, свързани с показана графика. На истинската матура имаше проблем с отпечатването, заради който на нея бяха признати за верни всички отговори. Ние с колегата обаче нямаме такива проблеми, ще се опитаме да се справим и с нея.

Следва приложен текст за историята на рекламата, написан толкова „увлекателно“ и „художествено“, че определено би могъл да е дело на моя съперник. Ето, тук се замислям повече – какво се казва в изречението „Без съмнение рекламата е продукт, но и „продуцент“.“ Хм-хм, да видим дали ще позная.

 

ChatGPT на матура

 

Който се учи…

Идва време за литература. „Кой проблем е заложен в интерпретацията на темата за вярата и надеждата в „Спасова могила“?“ То всичко хубаво, ама ако си спомнях каква беше изобщо тази „Спасова могила“… Налучквам.

„Запишете ЕДНО значение на заглавието „Две души“ за смисъла на творбата.“ Ох, май ще трябва да си припомня конспекта по литература, вие сещате ли се коя беше тя? Отново се налага да стрелям на посоки.

Така или иначе, струва ми се, че се справям добре с повечето въпроси. Харесва ми много, че са включени автори като Добромир Тонев, въпросите са интересни.

Попълвам първите две части доста по-бързо от времето, което ми дава МОН (все пак съм в мол) и идва време за тежката артилерия – финалния текст, който дава цели 30 от 100-те точки. Мога да избирам между есе и интерпретативно съчинение за „Цената на компромиса“ в „Приказка за стълбата“ на Смирненски.

Ама защо ми дават и целия текст на великото произведение, не се ли очаква да съм го учил в училище и да го познавам добре?

 

ChatGPT на матура

 

Електронен дневник

Простете отново невежеството ми, не помня точните критерии за интерпретативно съчинение, а може и по мое време формата да е била друга. Карам от сърце, наистина харесвам много текста и темата! Ограничението е 4 страници, само че на ръка, а аз предавам текста си на компютър. (Иначе бих изправил проверителя пред невъзможната задача да декодира почерка ми, с това също не би се справил дори споменатият Тюринг.) Страница и малко се оказват размислите ми, преди да усетя, че почвам да се повтарям.

Готов съм, предавам изпита (на себе си), но вместо, както е редно, да ходя да го полея (или да оглася мола, броейки до 12 за влизане в роля), направо е време за поправка.

Тук вече няма да се потя аз, а ChatGPT. За протокола – използвам новата версия с модела ChatGPT 4о (омни). Инструктирам го специално да не търси отговорите ми онлайн, за да няма риска да попадне на самата матура. Но дори ако случаят е такъв, лесно ще хвана преписвача – тогава няма да има грешен отговор.

Не се впускам в никакви конкретни указания, което със сигурност би подобрило представянето на електронния зрелостник. Копирам въпросите, после и отговорите – включително и последния, с дългия текст. Моля го за финал и той да се поизпоти над темата за компромиса при Смирненски, но изпитваният не дава индикации, че се поти, а веднага ми връща текст.

 

ChatGPT на матура

 

Стената на плача

Двата файла са готови, разбърквам (онче-бонче) и ги изпращам на Светослав Стойчев. Тук е моментът специално да благодаря за отделеното време на младия учител по български език и литература от Националната природо-математическа гимназия! Идеята за експеримента му допадна и той се включи с ентусиазъм.

След няколко дни вълнение е време двамата с електронния ми съученик да видим какво сме направили…

В първия критерий, честно казано, няма голяма изненада, поне за мен. Учителят с пълна увереност е познал кой от двата изпита е направен от човек и кой – от алгоритъм. Казва, че това няма как да се случи по въпросите с предложени отговори, но определено се е откроило по интерпретативното съчинение. С какво ли?

„По текста се вижда, че ChatGPT не може да разпознава фразеологизми. Не умее да прави препратки и асоциативни връзки. Използва доста скован език, липсва му живот. Изреченията следват едни и същи синтактични схеми“, безпощадно откровен е към електронния зрелостник учителят. „Другото, което ми направи впечатление, е, че в текста изкуственият интелект повтаря многократно едни и същи твърдения, не умее да разгледа проблема в дълбочина и да го обвърже с друг свой опит – личен, читателски.“

 

ChatGPT на матура

 

Висша форма на доверие

И все пак, важно е да уточним, че въпреки това алгоритъмът се е справил доста добре спрямо критериите и е получил немалко точки. Още нещо, което според Светослав е отличило ChatGPT, са словесните конструкции, в които си личи влиянието на английския. Разбира се, това обаче би могло да се случи и с текстовете на млади хора, както е ставало дума в Дигитални истории.

„Интересно ми е дали изкуственият интелект ще успее да се развие в някакъв момент толкова, че да изглежда като естествен носител на езика. И ми е любопитно дали среща същите затруднения с лексикалните норми и на английски. Паронимията също е нещо, което не е успял да хване“, допълва учителят.

Важни уточнения са, че ChatGPT наистина е обучаван на данни, много малка част от които са били на български и един достатъчно добър модел, специализиран в нашия език, не би страдал от този проблем. Също е редно да спомена, че резултатът щеше да е значително по-добър, ако бях дал по-конкретни указания на алгоритъма за това какво се търси, какво да включи в текста и в каква роля да го направи. А също и след няколко итерации, в които му посоча грешките, тогава авторът би бил доста по-трудно различим, както показа друг мой експеримент, в който се включиха почти 2000 души.

И така, време е да се разделим… разбира се, шегувам се, време е за резултатите.

 

ChatGPT на матура

Илюстрация на Midjourney по „Приказка за стълбата“

 

Един неразделен клас

Добрата новина. С колегата сме отличници! И все пак… аз съм се оказал една идея по-добър! При максимален сбор от 100 точки ChatGPT e изкарал цели 90, а аз – 93. Всичко това би ни донесло отлична оценка – тъй като скалата, предоставена от МОН, е ориентировъчна, изчислявам, че би значело оценка около 5,70 за алгоритъма и 5,80 за мен.

Още само два верни отговора и щях да имам пълна шестица, още само 5 – за чатбота. Доста прилично, какво ще кажете?

Любопитно е да разгледаме какво сме сбъркали. Можете да видите моята матура тук (грешките са отбелязани), а представянето на „колегата“ – тук.

Е, да, всичко, за което се колебаех, съм объркал – можеше да имам и малко късмет. Тук-там съм допуснал няколко правописни грешки, съвсем нормално в бързането (молът в неделя не е най-тихото място). Само една точка под максимума съм си заслужил за текста.

Това е и основната разлика, която ни разделя с „колегата“ – срещу моите 29 точки за разсъжденията си по Смирненски той е получил 27. Любопитно е и какво е сбъркал – 4 от задачите с фиксиран отговор, не прави разлика между „образование“ и „образувание“, но пък видимо е „чел“ произведенията, за които аз не успях да се сетя. Говори за „корупцията на моралните и духовните ценности“, но е допуснал по-малко правописни грешки от мен.

„Приказка за стълбата“ на Христо Смирненски е една от най-запомнящите се и дълбоки алегории за човешката същност и цената на компромисите, които правим по пътя към успеха и властта“, смята нашият човек. И аз разбирам какво има предвид проверителят (с още едно важно уточнение, че в случая той знаеше, че единият от двата текста е генериран).

 

ChatGPT на матура

Илюстрация на ChatGPT по „Приказка за стълбата“

 

Цената на компромиса

Как ли стоят постиженията ни в сравнение с истинските 12-класници? Доста добре, дори на фона на това, че тазгодишните резултати бяха най-високите от 2008 г., откакто у нас се провеждат задължителните матури по български език и литература.

Младежите имат средно 58,48 от 100-те точки, което се равнява на оценка добър (4,32) при среден успех миналата година добър (3,93). 10% са двойките (за целта трябва да събереш под 30 точки, което, от това, което видях, наистина изисква сериозни усилия).

От всички 46 916 ученици отличен (над 5,50) са изкарали 5557 души, тоест, най-вероятно, и двамата с ChatGPT бихме попаднали в 5% на най-добрите резултати. Специално си струва да похвалим 24-имата, изкарали пълните 100 точки, на тях определено не им трябва изкуствен интелект, имат предостатъчно естествен.

Какви са изводите? Оставям ги на вас, според мен и двамата бихме се справили прилично с теста на Тюринг, с всички въпроси, които това поставя… или един от нас не би, след като учителят разпозна автора? Няма да казвам кой, не искам да рискувам да ми се обиди.

А сега вече наистина е време да се разделим, с колегата зрелостник имаме нова важна задача. С този резултат от матура, ако имаме прилични и останалите оценки, включени в бала, определено бихме могли да влезем в повечето, включително и доста престижни университетски специалности… Време е да помислим за квартирка.

Дръж се, Студентски град, треперете, дискотеки, ние с ChatGPT идваме!

Дигитални истории

Дигитални истории е и ще си остане изцяло некомерсиално начинание, на което посвещавам доста време и усилия. За създаването на сайта обаче са нужни определени разходи. Ако имате възможност и желание да подпомогнете сайта, вече можете да го направите. Разбира се, все така важна подкрепа си остава всяка добра дума, всяко споделяне на темите.

<a href="https://karamanev.me/author/georgik" target="_self">Георги Караманев</a>

Георги Караманев

Програмист, журналист и писател. Още за мен – тук.
Дигитални истории

Най-нови публикации:

„Днес можем да сме всичко, а избираме да сме еднакви“

„Днес можем да сме всичко, а избираме да сме еднакви“

Можете ли да различите 15 детски рисунки от 15 изображения, генерирани от изкуствен интелект? Предизвикателството за деца и родители на Дигитални истории за броени дни провокира над 2500 души да...

повече информация

Още публикации по темата:

От рубриката:

Питър Тийл. Консервативният визионер

Питър Тийл. Консервативният визионер

Facebook, SpaceX, Airbnb, LinkedIn, PayPal, Ethereum. Революцията на OpenAI и ChatGPT, възходът на Доналд Тръмп и вездесъщия му (доскорошен) съюзник Илон Мъск.
Наистина ли има една личност, която събира всички тези явления? Нещо повече – не е преувеличено да се каже, че ако не беше днешният ни герой, надали някое от тях щеше да се претвори в реалност…
Питър Тийл си е спечелил името на пророк, на гуру. На големия визионер на технологичните времена. Докато в същото време има толкова противоречиви възгледи, които някак си остават встрани от големия медиен шум. Но това е типично за родения в Германия предприемач. Някои го приемат за сивия кардинал на Силициевата долина, други – за мъдрец, който може да покаже на всеки пътя към големия успех в технологичната епоха.
Мултимилиардер, той казва, че конкуренцията е измамно благо, а монополите са решението на бъдещето. Създава мащабна програма, за да помага на хора, избрали да изоставят образованието си, за да създадат собствен бизнес, което пък проправя пътя на следващото поколение технологични лидери.
Всичко това и още много е г-н Тийл. Време е да застане под светлината на прожекторите, защото със сигурност е един от хората, които вече са променили живота на всеки от нас. Нещо повече – от него се очаква да зависи все повече в турболентните технологични времена, в които живеем.

повече информация
Какъв ще станеш, когато пораснеш?

Какъв ще станеш, когато пораснеш?

Какви искат да бъдат, когато пораснат, днешните хлапета? Навръх техния празник, време е за резултатите от една любопитна анкета.
Поредицата на Дигитални истории за срещата на децата с технологиите събра важни гледни точки по много теми. От 350 души, включили се в анкетата на сайта, 289 избраха да отговорят:
Какви искат да станат децата, когато пораснат?
„Инфлуенсър“ или „лекар“ – кой според вас ще се окаже най-срещаният отговор?
Как се променят мечтите на хлапетата?
Какво говори това за нас, възрастните, за технологиите, за духа на времето?

повече информация
Тест: Кой го нарисува – дете или ИИ?

Тест: Кой го нарисува – дете или ИИ?

Време е за неочакван, но важен тест. За експеримент, който поставя важни въпроси за бъдещето на творчеството, на човешкото, на образованието.
Предизвикайте себе си и своята интуиция! 15 картини, нарисувани от деца между 3 и 10 г., и 15 – генерирани от изкуствения интелект. Ако успеете да ги различите, очакват ви награди!
Отговорите се събират до 1 юли, анкетата не би ви отнела повече от 10 минути. За всяко от 30-те изображения е достатъчно да предположите дали е нарисувано от дете, или генерирано от ИИ, а също и да оцените техниката и въображението, вложени в първите 10. Можете да отговорите и само на част от въпросите. Анкетата е отворена и за деца!

повече информация

Най-новите:

Колко изкара ИИ на матура?

Колко изкара ИИ на матура?

Какво ще стане, ако изпитаме на матурата по български език и литература три от най-мощните модели изкуствен интелект? Усилията им ще оценят двама опитни проверители на истинските зрелостни изпити. За да е състезанието още по-оспорвано и показателно, включваме двама реални зрелостници и мен, автора на тези редове.
Ще изкарат ли пълни шестици ChatGPT, Claude и Gemini, или ще се провалят с гръм и трясък?
Ще разпознаят ли учителите коя от работите е на изкуствен интелект и коя – на човек?
Кой ще получи най-високата и кой – най-ниската оценка?
Какво ще ни кажат резултатите и за най-показателния изпит в българското образование, и за напредъка на алгоритмите, и за големите въпроси, с които идват новите технологии?

повече информация
„Хайде да спрем да се подценяваме!“

„Хайде да спрем да се подценяваме!“

Как да сме по-щастливи като общество? Как да изведем на следващо ниво ИТ сектора в България?
Седнали двама програмисти да си говорят за счупения обществен разговор, за разделението, за пътя на успеха. Звучи като начало на виц, а се получи сериозно и замислящо интервю в подкаста на DEV.BG. Думите, които разменихме, ми се сториха толкова важни, че ще ви ги представя и тук.
Веско Колев е начело на Icanpreneur – стартъп, който помага на повече ИТ компании да създадат работещ продукт. Има богат опит в софтуерния свят и особено интересни наблюдения, с които ще се срещнем днес.
Защо и как е време отново да започнем не само да се слушаме, но и да си говорим, дори когато ни разделя актуалният спор на деня? Защо е изграждащо и осмислящо честото „настъпване на мотиката“ и си струва да се радваме, когато детето ни получи слаба оценка? Какво ни е нужно като общество, за да вървим заедно напред, и то в епохата на напредналия изкуствен интелект?

повече информация
Питър Тийл. Консервативният визионер

Питър Тийл. Консервативният визионер

Facebook, SpaceX, Airbnb, LinkedIn, PayPal, Ethereum. Революцията на OpenAI и ChatGPT, възходът на Доналд Тръмп и вездесъщия му (доскорошен) съюзник Илон Мъск.
Наистина ли има една личност, която събира всички тези явления? Нещо повече – не е преувеличено да се каже, че ако не беше днешният ни герой, надали някое от тях щеше да се претвори в реалност…
Питър Тийл си е спечелил името на пророк, на гуру. На големия визионер на технологичните времена. Докато в същото време има толкова противоречиви възгледи, които някак си остават встрани от големия медиен шум. Но това е типично за родения в Германия предприемач. Някои го приемат за сивия кардинал на Силициевата долина, други – за мъдрец, който може да покаже на всеки пътя към големия успех в технологичната епоха.
Мултимилиардер, той казва, че конкуренцията е измамно благо, а монополите са решението на бъдещето. Създава мащабна програма, за да помага на хора, избрали да изоставят образованието си, за да създадат собствен бизнес, което пък проправя пътя на следващото поколение технологични лидери.
Всичко това и още много е г-н Тийл. Време е да застане под светлината на прожекторите, защото със сигурност е един от хората, които вече са променили живота на всеки от нас. Нещо повече – от него се очаква да зависи все повече в турболентните технологични времена, в които живеем.

повече информация
„Днес можем да сме всичко, а избираме да сме еднакви“

„Днес можем да сме всичко, а избираме да сме еднакви“

Защо е толкова важно да разберем умеем ли да различаваме детските рисунки от генерирани изображения? Как изглежда бъдещето на творчеството, на изкуството, на човека във времената, когато алгоритмите се оказват неразличими и дори по-добри автори от нас самите? На какво има смисъл да учим децата днес?
Можете ли да различите 15 детски рисунки от 15 изображения, генерирани от изкуствен интелект? Предизвикателството за деца и родители на Дигитални истории за броени дни провокира над 2500 души да проверят интуицията си! Резултатите от теста се очертават изключително интересни, ще поговорим за тях след края му – на 1 юли.
Експериментът е създаден заедно с днешната ни гостенка – Елица Станева-Бритън. Психолог, журналист, преподавател, в момента тя работи по докторската си дисертация в БАН, а темата е творчеството в ерата на изкуствения интелект. Дойде време да поговорим по всяка от тези теми.

повече информация
Какъв ще станеш, когато пораснеш?

Какъв ще станеш, когато пораснеш?

Какви искат да бъдат, когато пораснат, днешните хлапета? Навръх техния празник, време е за резултатите от една любопитна анкета.
Поредицата на Дигитални истории за срещата на децата с технологиите събра важни гледни точки по много теми. От 350 души, включили се в анкетата на сайта, 289 избраха да отговорят:
Какви искат да станат децата, когато пораснат?
„Инфлуенсър“ или „лекар“ – кой според вас ще се окаже най-срещаният отговор?
Как се променят мечтите на хлапетата?
Какво говори това за нас, възрастните, за технологиите, за духа на времето?

повече информация
Тест: Кой го нарисува – дете или ИИ?

Тест: Кой го нарисува – дете или ИИ?

Време е за неочакван, но важен тест. За експеримент, който поставя важни въпроси за бъдещето на творчеството, на човешкото, на образованието.
Предизвикайте себе си и своята интуиция! 15 картини, нарисувани от деца между 3 и 10 г., и 15 – генерирани от изкуствения интелект. Ако успеете да ги различите, очакват ви награди!
Отговорите се събират до 1 юли, анкетата не би ви отнела повече от 10 минути. За всяко от 30-те изображения е достатъчно да предположите дали е нарисувано от дете, или генерирано от ИИ, а също и да оцените техниката и въображението, вложени в първите 10. Можете да отговорите и само на част от въпросите. Анкетата е отворена и за деца!

повече информация
Share This