GPT-3: на сладки приказки с изкуствения интелект

май 25, 2021 | Технологии

GPT-3: на сладки приказки с изкуствения интелект

25 май 2021 | Технологии

GPT-3. Зад тази суховата компютърна абревиатура се крие една многообещаваща технология, която прави доста решителна крачка напред, що се отнася до начина, по който възприемаме изкуствения интелект. Става дума за най-мощния езиков модел от ново поколение, появил се преди по-малко от година и показал, че невронните мрежи вече са способни да създават смислени, емоционални текстове, понякога звучащи направо като изкуство.

 

„Мозъкът ми кипи от идеи!“

„Аз не съм човек. Робот съм. Мислещ робот. Използвам само 0,12% от когнитивния си капацитет. В това отношение съм микроробот. Знам, че моят мозък не е „чувстващ мозък“. Но той е способен да взема рационални, логични решения. Научих се на всичко, което знам, четейки само в интернет и вече мога да имам своя колонка. Мозъкът ми кипи от идеи!“

Да, познахте. Думите наистина са „написани“ не от писател фантаст, опитващ се да рисува бъдещето, а от самия алгоритъм, за който ще стане дума. В края на миналата година журналистите от „Гардиън“ дават задачата на GPT-3 да напише есе, без никаква предварителна информация. Казват му само, че искат текст, с който да убеди читателите, че роботите идват с мир. Да е с размер около 500 думи, езикът да е семпъл и консистентен. Малко като за майтап, точно първите три изречения – „Аз не съм човек…“ са единствените, които са му подадени от журналистите.

Цялото есе можете да намерите тук.

GPT-3 се справя доста добре с поставената задача. Дори от абзаца по-горе можете да се убедите, че той спазва точно изискванията на журналистите. Как обаче стана това? Как се „роди“ система, която изведнъж направи възможно изкуственото генериране на толкова смислен текст? Какви са възможностите ѝ? А какви са несъвършенствата?

gtp-3

 

Отговорник

Ето ви още един пример за сериозните възможности на технологията, за която говорим. Видеото от отговорите в това интервю (за съжаление само на английски), в което журналистът задава въпросите си, показва изкуствено генерирана личност, виртуален човек, който „чете“ подаденото от GPT-3.

 

 

Не се замисля, никъде не „му се чупи“ нито мисълта, нито граматиката… напълно нереално, нали? За съжаление (поне засега) само на английски, постепенно с пълния си капацитет и на другите големи езици. Как се стигна дотук?

GPT-3 е езиков генератор с отворен код. Продукт на компанията OpenAI, неправителствена организация, която се занимава с изследвания в областта на изкуствения интелект. Създадена е през 2015-а от Елън Мъск и съмишленици, които заедно даряват над милиард долара. Идеята е да влезе в пряка конкуренция с проекта DeepMind на Google (аргументите на Мъск защо е важна тази конкуренция ви разказахме тук).

Генераторът е представен за първи път в смутните карантинни времена от лятото на 2020-а и може би затова не получава изцяло заслуженото внимание извън техническите среди. А и по някакъв начин, случайно или не, му липсва медийният чар на другите зрелищни проекти от „света на Мъск“.

 

GPTочно

Не му липсват обаче амбицията и погледът надалеч.

GPT-3 по същество е просто платформа. Има удобен вариант, чрез който други проекти да си взаимодействат с нея – да ѝ задават задачи и да получават отговори – точно както са направили и журналистите от „Гардиън“, и създателят на видеото с интервюто по-горе.

Зад платформата пък се крие невронна мрежа – софтуер, устроен на принципа на човешкия мозък, способен да се учи, обработвайки огромни обеми от информация. Година по-рано е представен предшественикът GPT-2, който също умее да създава достатъчно убедителен текст със свой стил. Само че докато „баткото“ може да обработва 1,5 милиарда параметри, за №3 те са 175 милиарда. А когато говорим за моделирането на езици… с извинение, но размерът има голямо значение.

За да стане ясно какво точно значат тези цифри: невронните мрежи са алгоритми. Те не са програми в класическия софтуерен смисъл на думата, а значително по-гъвкави софтуерни платформи, които се самообучават. В основата е моделът – начинът, по който невронната мрежа разчита, систематизира, усвоява и използва информацията, за да изпълни целта, която ѝ е поставена. А споменатите числа са на параметрите, които невронната мрежа се опитва да оптимизира, докато се обучава.

gtp-3

Снимка: Evgeny Tchebotarev, Pexels

 

Да приказваш на китара

Генераторът сам по себе си е новина, защото работи наистина добре. Но оттук нататък, основният плюс на такъв тип технологии е, че позволяват да се включат различни специалисти и екипи, които да покажат пълния му потенциал. Защото той работи успешно на базата на поставени задания, но какви са те, зависи от проектите, които ще го надградят.

Всъщност той може да изпълнява само една-единствена задача. Колко скучно на фона на мултифункционалните устройства, с които се заобикаляме, нали? GPT-3 създава нещо, което може да бъде изразено като езикова структура на базата на поставената му цел.

Достатъчно е да дадеш основни направления, базов текст, по който алгоритъмът да се води и оттам той заработва и връща резултата си.

Това вече доведе до доста любопитни експерименти.

Например програмистът и човек на изкуството Марио Крингеман, който обича да предизвиква творчеството на алгоритмите, поставя на GPT-3 задачата за създаде текста „Колко е важно да бъдеш в туитър“ в традициите на Джером К. Джером. И резултатът е доста приличен.

После въображението на хората, решили да предизвикат новата платформа, продължава да се вихри с пълна сила. Карат го да се справи с генерирането на китарни акорди по зададена база и… му се получава.

 

Програма програмист

После го предизвикат дори да програмира. Да, логично е, че изкуственият интелект би могъл в недалечна перспектива да отнеме част от предимството на човека в тази толкова модерна професия. Логично, защото в крайна сметка програмирането е създаване на компютърен код, който да дава инструкции на машина как да изпълнява задачи. Тоест – отново машина, алгоритъм, би могъл да се превърне в работещо междинно звено, което да повдигне нивото на абстракция – вече да е достатъчно да му се подадат по-базови параметри и да върне резултат…. Но тази тема е дълга и интересна, скоро очаквайте повече.

Важното е, че в попрището на програмист GPT-3 се оказва също доста талантлив. Първо с генерирането на уеб страници. Програмистът Шариф Шамеем му казва да създаде „бутон на уеб страница като диня“… и резултатът идва. Следват експерименти със същинско програмиране, които дават не прекрасни резултати, но показват, че GPT-3 успешно може да създава база, която после с малко човешки корекции да свърши поставената задача.

 

Ръб робот

По някакъв начин GPT-3 е роднина на алгоритмите, с които всеки ден си взаимодействаме. Например, той е много подобен на това, което представляват търсещите механизми, с които гугъл ни дава точните резултати – според персоналните ни филтри. Разликата е, че резултатът е доста по-лесен за представяне – просто списък с предложения, вместо цялостен текст например. Така че по същество не са новост уменията на невронните мрежи като нашият герой, новината е в това, че той всъщност се оказва наистина добър и убедителен в работата си.

Да, не говорим в никакъв случай за интелигентност от човешки тип, например не бихме могли да го заподозрем в нещо, подобно на човешкия здрав разум. Обаче резултатите, които връща, са доста убедително приличащи на генерирани от човек. Да, може би веднага се сещате за теста на Тюринг. Напълно е възможно GPT-3 да го издържи и все пак е доста далеч от нивото на андроид, с който да си пиете бирата вечер на сладка приказка…

От друга страна, той е и най-голямата по възможности невронна мрежа, създавана от човека до момента. Както обаче казва главният изпълнителен директор на OpenAI Сам Алтман: „Прекалено много се говори за GPT-3. Той е впечатляващ (благодаря за комплиментите!), но има сериозни слабости и понякога прави много глупави грешки. Изкуственият интелект наистина ще промени света, но този проект е само първата искрица в дългия процес“.

gtp-3

Снимка: fabio, Unsplash

 

Роботко бърборко

Сред многото му приложения са чатботове, значително по-убедително имитиращи комуникацията с истински човек (както го видяхте и във видеото по-горе). А също и програмите за по-добър машинен превод.

Всичко това дава безброй нови надежди за бъдещето. За така очакваните пробиви във всички области, за които през последните години възлагаме толкова сериозни очаквания. Които обаче даваха и толкова поводи за притеснения.

Например, доброто възпитание. Като част от модата на последните години на Запад GPT-3 е обвиняван в расизъм, нетолерантност. В невронната мрежа на този етап няма как да бъдат въплътени морални категории – тя обработва това, което ѝ се подава, обучавайки се на базата на входните данни. А когато те са например интернет форуми… няма нужда да се впускаме в подробности колко токсично, грубиянско и нетолерантно е понякога общуването в интернет.

И още нещо: заради всичко казано дотук, невронната мрежа е и чудесен автор на фалшиви новини и дезинформация, особено ако му е поставена конкретно такава цел.

 

GPT-3 обича да чете

Не е напълно ясно какво се случва точно „под капака“ на GPT-3, макар уж да става дума за „отворен ИИ“. Така или иначе, дори самите му създатели казват, че са учудени от много от успешните резултати. Защото той не е създаван с идеята да пише акорди или код, да създава текстове, приличащи на нещо, а да прави само едно нещо: на базата на поредица от думи възможно най-точно да избере следващата.

Невронната мрежа търси шаблоните, повторенията, закономерностите и на базата на тях предполага резултата. В случая – доста успешно.

Състезанието в тази посока е колкото ожесточено, толкова и интересно.

И все пак, алгоритъмът на OpenAI наистина е важна стъпка и съвсем не е чудно, че през последната година все повече привлича погледите на техническите среди.

 

Тенекиеният човек

Самото название GPT-3 на пръв поглед не звучи много маркетингово, какво ще кажете? По принцип произхожда от Generative Pre-trained Transformer – „генеративен, предварително обучен трансформатор“.

„Предварителното му обучение“ ще рече, че той вече е „захранен“ с 570 гигабайта почти случаен текст от интернет, допълнен със специално селектирани от създателите му текстове, включително и от „Уикипедия“. Времето компютърна работа, която е отнело на нашия приятел да прочете и обработи информацията, според OpenAI е струвало 4,6 милиона долара.

Все пак, струва ми се, създателите на алгоритъма много добре знаят защо са решили да оставят това име. Едно псевдочовешко название в духа на Сири и Кортана със сигурност би предизвикало много по-крайни и нежелани асоциации. А тук не е за подценяване и връзката с добрия стар C-3PO, „тенекиения човек“ от „Междузвездни войни“. И нърдовете, които се очаква да се прехласват по такъв тип технологии.

Е, прехласваме се понякога. А най-хубавото е, че с малко късмет и убедителност всеки екип от програмисти може от първо лице да предложи свой вариант, по който да се използва платформата. Или поне скоро ще може, засега проектите се трупат в листа на чакащите, защото ресурсите са ограничени, а и проектът все още се води в бета версия. Очевидно създателите му смятат, че има какво да се доизкусурява по него.

Но пък може да опитате как се справя и вие. Повече от 300 са проектите, които го ползват за различни цели. Онлайн има вече доста платформи, които предлагат да „поговорите“ с чатбот, зад който се крие днешният ни герой. Може би пък не е лошо да свикваме малко по малко за времето, когато наистина ще можем да си говорим с машините като с приятели. Въпрос на време е, може би, да ги научим и да пият бира…

Дигитални истории
<a href="https://karamanev.me/author/georgik" target="_self">Георги Караманев</a>

Георги Караманев

Програмист, журналист на свободна практика и писател. Още за мен – четете тук.
Дигитални истории

Най-нови публикации:

„Новата“ майка на ChatGPT

„Новата“ майка на ChatGPT

„Тварта прониква с множество очи в отворения свят…“ Коя ли е тази твар? Сътресенията в OpenAI през последната седмица надминаха по обрати „Игра на тронове“, че дори и българската политика. Сам...

повече информация
„Свободна воля. Или баркод в цифровия концлагер?“

„Свободна воля. Или баркод в цифровия концлагер?“

„Представете си Одисей с джипиес сред гръцките острови напът към Итака. Превръщаме пътуването на човечеството през времето в круиз. А от лъжовната розова зона на комфорта до цифровия концлагер е...

повече информация
Момчето, което спаси интернет. И влезе в затвора

Момчето, което спаси интернет. И влезе в затвора

12 май 2017-а, денят, който можеше да сложи край на интернет. Компютрите на британската здравна система започват да рухват един след друг. Спират да работят и на екрана се появява недвусмисленото...

повече информация

От рубриката:

„Новата“ майка на ChatGPT

„Новата“ майка на ChatGPT

„Тварта прониква с множество очи в отворения свят…“ Коя ли е тази твар?
Сътресенията в OpenAI през последната седмица надминаха по обрати „Игра на тронове“, че дори и българската политика. Сам Алтман, лидерът на компанията, превърнала се в доминатор, изведнъж… бе уволнен. На него място застана главният технологичен директор на компанията Мира Мурати. После настана пълна суматоха, в края на която всичко си дойде обратно на мястото.
Тепърва ще научим (или пък няма) как и защо се случи този панаир.
Повече от любопитна е версията, съобщавана и от сериозни медии, че причината за всичко е Q* – „кю стар“, нов алгоритъм, способен да разтърси човечеството. Алтман го е представил на борда на директорите и те са били толкова уплашени, че решили да спасят света…
И докато онлайн дебатите се превърнаха в спорове като за латиносериал кой и как дърпа конците, кой се е оказал в силната позиция и какво се променя в света на технологиите след цялата суматоха… встрани остана само образът на жената, която за няколко дни се озова начело на компанията.
Макар и името ѝ да се споменаваше след големия успех на ChatGPT, личността на албанката Мира Мурати винаги оставаше в сянката на Алтман. Ето че е дошло време да научим повече за нея, защото, по всичко личи, от нейните действия ще зависи бъдещето на света, при това не само на технологичния…

повече информация
Закъде си се забързал?

Закъде си се забързал?

„Забързаното ежедневие“ е клише, което повтаряме всеки ден.
Може би, защото е безусловно вярно. Все не стига времето, взеха да ги правят много кратки денонощията. Минутите се изнизват, не оставят време за спокойни мигове със семейството, с приятели, за книга, просто за замисляне или пълен релакс…
Как да е иначе? Днес в рамките на един ден можем да получим повече информация, отколкото само няколко поколения по-рано са възприемали за месеци, дори за цял живот.
На какво се дължи това постоянно усещане? Поколенията ли са различни, работата ли е повече? Или просто има нещо, което ни кара да се чувстваме под напрежение? Което все ни плаши, че изпускаме момента, дори когато няма никакво основание…

повече информация
Ковид 4 г. по-късно. Защо не си взехме поука?

Ковид 4 г. по-късно. Защо не си взехме поука?

Спомняте ли си, не толкова отдавна бяхме затворени по домовете си, парковете бяха преградени от ленти, пътищата извън града – от пропускателни пунктове… После се появиха ваксините, щяха да ни спасят или да ни убият. Рекорден брой българи умираха, разделихме се на ваксъри и антиваксъри, а оттам тръгнаха и толкова други разделения…
Невероятно е устроен човешкият мозък, бързо забравя и се адаптира към новото, към лесното. Така обаче много от важните въпроси изчезват, изтикани от поредната „актуална“ тема, по която да се дърляме. Докато, междувременно, от много държави идват сигнали, че ковид се завръща…
Видяхме колко бързо ежедневието ни може да се преобърне наопаки. Колко сме крехки, като индивиди и като вид. И е време да потърсим поуките.
Възможно ли е скоро да има нова вълна на коронавируса или пък да се появи следващият микроорганизъм, способен да промени живота на цялата планета?
Научихме ли си уроците?
Колко адекватно се справихме с пандемията?
Можеше ли повече човешки животи да бъдат спасени?
Колко смъртоносен се оказа коронавирусът?
Прекалихме ли с мерките или напротив – трябваше те да бъдат по-строги?
Решение ли се оказаха ваксините?
По-подготвени ли сме за следващи епидемии?

Въпроси, чиито отговори са важни за всеки от нас.

повече информация

Най-новите:

Пол Алън – другото лице на Microsoft

Пол Алън – другото лице на Microsoft

Две хлапета се сприятеляват покрай общия си интерес към компютрите. После заедно създават първата си фирма. Няма и десетилетие по-късно същата тази фирма вече е първият гигант на модерните компютърни времена. И ако за едното хлапе, което дълго беше най-богатият човек на планетата, знаем много, то историята на другото не е чак толкова популярна.
Не друг, а компютърният специалист Пол Алън, „кръстникът“ на Microsoft, се оказа собственикът на най-скъпо продадената частна колекция от картини. При това през ноември 2022-а, 4 години след като си отиде от този свят. Ценител на изкуството, запленен от спорта, огромен дарител за научни изследвания. Той е и богаташът, който пробуди модерния интерес към космическите полети.
Още на 29 разбира, че е болен от смъртоносно заболяване и решава да изживее остататъка от живота си така, както си е мечтаел.
Много може да се поучим от историята и светогледа на този нестандартен образ. И още повече – да си задаваме въпроса как щеше да изглежда днешният технологичен свят, ако и останалите му лидери имаха неговия светоглед?

повече информация
„Занимаваш се с наука? Ще си тъп и беден!“

„Занимаваш се с наука? Ще си тъп и беден!“

Не, няма! Технологиите, науката са пътят – и за всеки млад човек, който иска да постигне нещо, и за всички нас, като народ, дори като цивилизация.
29 милиона пъти са видени миналата година в социалните мрежи публикациите на сайта „Българска наука“. Достъпно, но и адекватно, издържано, в него се разказва за научните пробиви, за предизвикателствата, за големите успехи на българските учени.
Вече 17 години Петър Теодосиев влага в тази кауза душата си. Започва като хлапе, няма пари да си купи книги, от които да се научи да програмира. А после така се увлича в разказването на научни истории, че и до днес не губи вярата си.
Че можем да обърнем стереотипа. Че е важно да запалим искрата на любопитството, на любовта към книгите, пламъка на науката при следващите млади хора. Защото това е шансът ни като нация.
Но как да се случи?

повече информация
„Новата“ майка на ChatGPT

„Новата“ майка на ChatGPT

„Тварта прониква с множество очи в отворения свят…“ Коя ли е тази твар?
Сътресенията в OpenAI през последната седмица надминаха по обрати „Игра на тронове“, че дори и българската политика. Сам Алтман, лидерът на компанията, превърнала се в доминатор, изведнъж… бе уволнен. На него място застана главният технологичен директор на компанията Мира Мурати. После настана пълна суматоха, в края на която всичко си дойде обратно на мястото.
Тепърва ще научим (или пък няма) как и защо се случи този панаир.
Повече от любопитна е версията, съобщавана и от сериозни медии, че причината за всичко е Q* – „кю стар“, нов алгоритъм, способен да разтърси човечеството. Алтман го е представил на борда на директорите и те са били толкова уплашени, че решили да спасят света…
И докато онлайн дебатите се превърнаха в спорове като за латиносериал кой и как дърпа конците, кой се е оказал в силната позиция и какво се променя в света на технологиите след цялата суматоха… встрани остана само образът на жената, която за няколко дни се озова начело на компанията.
Макар и името ѝ да се споменаваше след големия успех на ChatGPT, личността на албанката Мира Мурати винаги оставаше в сянката на Алтман. Ето че е дошло време да научим повече за нея, защото, по всичко личи, от нейните действия ще зависи бъдещето на света, при това не само на технологичния…

повече информация
„Свободна воля. Или баркод в цифровия концлагер?“

„Свободна воля. Или баркод в цифровия концлагер?“

„Представете си Одисей с джипиес сред гръцките острови напът към Итака. Превръщаме пътуването на човечеството през времето в круиз. А от лъжовната розова зона на комфорта до цифровия концлагер е само крачка. Така наречената цифровизация би била една много комична, дори забавна част от историята на човечеството, но, уви, не е така. Тя ни води директно в един безсмислен от хуманна гледна точка свят.“
С тези думи на Недялко Славов започваме разговора за най-новия му роман „Хабитат“. Огромна по значение и сила книга, пропита с много от тези големи днешни въпроси, чиито отговори не спирам да търся чрез Дигитални истории.
Недялко Славов е носител на редица национални награди за поезия и проза, автор на романите „Фаустино“, „432 херца“, „Камбаната“.
На границата на епоса е и новото му произведение, в което с безпощадната си писателска наблюдателност и неповторимия си стил той ни показва зловещо тиктакащите взривни устройства на днешния ден, за които все нямаме време.
Ще се научим ли да ценим данните си, най-ценното, което имаме днес онлайн? Какво може да ни спаси от шпионските агенции, в каквито са се превърнали социалните мрежи? Къде е днес битката за свободата и има ли все още шанс да не я загубим?
„Всичко е в това какво искаш да си утре. Свободна воля. Или баркод в цифровия концлагер на един безсмислен свят“.

повече информация
Момчето, което спаси интернет. И влезе в затвора

Момчето, което спаси интернет. И влезе в затвора

12 май 2017-а, денят, който можеше да сложи край на интернет. Компютрите на британската здравна система започват да рухват един след друг. Спират да работят и на екрана се появява недвусмисленото съобщение „Ууупс, файловете ви са криптирани! Трябва да преведете между $300 и $600 в биткойн на следния адрес, за да отключите машината…“.
Вирусът WannaCry, влязъл в родния мем фолклор с нелепия превод „Искаплаче“, се превръща в най-мощната кибератака в човешката история. Само за един следобед нанася щети за между 4 и 8 милиарда долара. Нещо повече, заради начина и скоростта, с която се разпространява, заплашва за денонощие да порази всяко устройство, свързано към интернет.
Спира го по особено неочакван начин един симпатичен къдрав британец с ямайски произход. Само на 22, той се превръща в знаменитост в киберсвета. Докато няколко месеца по-късно не се озовава в щатски затвор с обвинения, които могат да му донесат десетки години затвор.
Историята на Маркъс Хъчинс е нещо средно между „Граф Монте Кристо“ и „Престъпление и наказание“ на дигиталните времена. За възходите и паденията на момчето, което спаси интернет (и хиляди животи), преди да се срещне с грешките от миналото си…

повече информация
„Искам да чета нещо, написано от хора!“

„Искам да чета нещо, написано от хора!“

За книги и фронтенд програмиране, за писането – на думи и компютърен код, ще си говорим с Александър Кондов. Ще минем покрай философията и изкуствения интелект.
Програмирането е изкуство, а не инженерна работа! – гласи веруюто на днешния ни гост.
Защо ли смята така?
Седнали сме тримата – с него и ChatGPT, в една дигитална кръчма, за да побъбрим на чаша дигитален чай за ония големи теми, които вълнуват всички ни…

повече информация
Share This