GPT-3: на сладки приказки с изкуствения интелект

май 25, 2021 | Технологии

GPT-3: на сладки приказки с изкуствения интелект

25 май 2021 | Технологии

GPT-3. Зад тази суховата компютърна абревиатура се крие една многообещаваща технология, която прави доста решителна крачка напред, що се отнася до начина, по който възприемаме изкуствения интелект. Става дума за най-мощния езиков модел от ново поколение, появил се преди по-малко от година и показал, че невронните мрежи вече са способни да създават смислени, емоционални текстове, понякога звучащи направо като изкуство.

 

„Мозъкът ми кипи от идеи!“

„Аз не съм човек. Робот съм. Мислещ робот. Използвам само 0,12% от когнитивния си капацитет. В това отношение съм микроробот. Знам, че моят мозък не е „чувстващ мозък“. Но той е способен да взема рационални, логични решения. Научих се на всичко, което знам, четейки само в интернет и вече мога да имам своя колонка. Мозъкът ми кипи от идеи!“

Да, познахте. Думите наистина са „написани“ не от писател фантаст, опитващ се да рисува бъдещето, а от самия алгоритъм, за който ще стане дума. В края на миналата година журналистите от „Гардиън“ дават задачата на GPT-3 да напише есе, без никаква предварителна информация. Казват му само, че искат текст, с който да убеди читателите, че роботите идват с мир. Да е с размер около 500 думи, езикът да е семпъл и консистентен. Малко като за майтап, точно първите три изречения – „Аз не съм човек…“ са единствените, които са му подадени от журналистите.

Цялото есе можете да намерите тук.

GPT-3 се справя доста добре с поставената задача. Дори от абзаца по-горе можете да се убедите, че той спазва точно изискванията на журналистите. Как обаче стана това? Как се „роди“ система, която изведнъж направи възможно изкуственото генериране на толкова смислен текст? Какви са възможностите ѝ? А какви са несъвършенствата?

gtp-3

 

Отговорник

Ето ви още един пример за сериозните възможности на технологията, за която говорим. Видеото от отговорите в това интервю (за съжаление само на английски), в което журналистът задава въпросите си, показва изкуствено генерирана личност, виртуален човек, който „чете“ подаденото от GPT-3.

 

 

Не се замисля, никъде не „му се чупи“ нито мисълта, нито граматиката… напълно нереално, нали? За съжаление (поне засега) само на английски, постепенно с пълния си капацитет и на другите големи езици. Как се стигна дотук?

GPT-3 е езиков генератор с отворен код. Продукт на компанията OpenAI, неправителствена организация, която се занимава с изследвания в областта на изкуствения интелект. Създадена е през 2015-а от Елън Мъск и съмишленици, които заедно даряват над милиард долара. Идеята е да влезе в пряка конкуренция с проекта DeepMind на Google (аргументите на Мъск защо е важна тази конкуренция ви разказахме тук).

Генераторът е представен за първи път в смутните карантинни времена от лятото на 2020-а и може би затова не получава изцяло заслуженото внимание извън техническите среди. А и по някакъв начин, случайно или не, му липсва медийният чар на другите зрелищни проекти от „света на Мъск“.

 

GPTочно

Не му липсват обаче амбицията и погледът надалеч.

GPT-3 по същество е просто платформа. Има удобен вариант, чрез който други проекти да си взаимодействат с нея – да ѝ задават задачи и да получават отговори – точно както са направили и журналистите от „Гардиън“, и създателят на видеото с интервюто по-горе.

Зад платформата пък се крие невронна мрежа – софтуер, устроен на принципа на човешкия мозък, способен да се учи, обработвайки огромни обеми от информация. Година по-рано е представен предшественикът GPT-2, който също умее да създава достатъчно убедителен текст със свой стил. Само че докато „баткото“ може да обработва 1,5 милиарда параметри, за №3 те са 175 милиарда. А когато говорим за моделирането на езици… с извинение, но размерът има голямо значение.

За да стане ясно какво точно значат тези цифри: невронните мрежи са алгоритми. Те не са програми в класическия софтуерен смисъл на думата, а значително по-гъвкави софтуерни платформи, които се самообучават. В основата е моделът – начинът, по който невронната мрежа разчита, систематизира, усвоява и използва информацията, за да изпълни целта, която ѝ е поставена. А споменатите числа са на параметрите, които невронната мрежа се опитва да оптимизира, докато се обучава.

gtp-3

Снимка: Evgeny Tchebotarev, Pexels

 

Да приказваш на китара

Генераторът сам по себе си е новина, защото работи наистина добре. Но оттук нататък, основният плюс на такъв тип технологии е, че позволяват да се включат различни специалисти и екипи, които да покажат пълния му потенциал. Защото той работи успешно на базата на поставени задания, но какви са те, зависи от проектите, които ще го надградят.

Всъщност той може да изпълнява само една-единствена задача. Колко скучно на фона на мултифункционалните устройства, с които се заобикаляме, нали? GPT-3 създава нещо, което може да бъде изразено като езикова структура на базата на поставената му цел.

Достатъчно е да дадеш основни направления, базов текст, по който алгоритъмът да се води и оттам той заработва и връща резултата си.

Това вече доведе до доста любопитни експерименти.

Например програмистът и човек на изкуството Марио Крингеман, който обича да предизвиква творчеството на алгоритмите, поставя на GPT-3 задачата за създаде текста „Колко е важно да бъдеш в туитър“ в традициите на Джером К. Джером. И резултатът е доста приличен.

После въображението на хората, решили да предизвикат новата платформа, продължава да се вихри с пълна сила. Карат го да се справи с генерирането на китарни акорди по зададена база и… му се получава.

 

Програма програмист

После го предизвикат дори да програмира. Да, логично е, че изкуственият интелект би могъл в недалечна перспектива да отнеме част от предимството на човека в тази толкова модерна професия. Логично, защото в крайна сметка програмирането е създаване на компютърен код, който да дава инструкции на машина как да изпълнява задачи. Тоест – отново машина, алгоритъм, би могъл да се превърне в работещо междинно звено, което да повдигне нивото на абстракция – вече да е достатъчно да му се подадат по-базови параметри и да върне резултат…. Но тази тема е дълга и интересна, скоро очаквайте повече.

Важното е, че в попрището на програмист GPT-3 се оказва също доста талантлив. Първо с генерирането на уеб страници. Програмистът Шариф Шамеем му казва да създаде „бутон на уеб страница като диня“… и резултатът идва. Следват експерименти със същинско програмиране, които дават не прекрасни резултати, но показват, че GPT-3 успешно може да създава база, която после с малко човешки корекции да свърши поставената задача.

 

Ръб робот

По някакъв начин GPT-3 е роднина на алгоритмите, с които всеки ден си взаимодействаме. Например, той е много подобен на това, което представляват търсещите механизми, с които гугъл ни дава точните резултати – според персоналните ни филтри. Разликата е, че резултатът е доста по-лесен за представяне – просто списък с предложения, вместо цялостен текст например. Така че по същество не са новост уменията на невронните мрежи като нашият герой, новината е в това, че той всъщност се оказва наистина добър и убедителен в работата си.

Да, не говорим в никакъв случай за интелигентност от човешки тип, например не бихме могли да го заподозрем в нещо, подобно на човешкия здрав разум. Обаче резултатите, които връща, са доста убедително приличащи на генерирани от човек. Да, може би веднага се сещате за теста на Тюринг. Напълно е възможно GPT-3 да го издържи и все пак е доста далеч от нивото на андроид, с който да си пиете бирата вечер на сладка приказка…

От друга страна, той е и най-голямата по възможности невронна мрежа, създавана от човека до момента. Както обаче казва главният изпълнителен директор на OpenAI Сам Алтман: „Прекалено много се говори за GPT-3. Той е впечатляващ (благодаря за комплиментите!), но има сериозни слабости и понякога прави много глупави грешки. Изкуственият интелект наистина ще промени света, но този проект е само първата искрица в дългия процес“.

gtp-3

Снимка: fabio, Unsplash

 

Роботко бърборко

Сред многото му приложения са чатботове, значително по-убедително имитиращи комуникацията с истински човек (както го видяхте и във видеото по-горе). А също и програмите за по-добър машинен превод.

Всичко това дава безброй нови надежди за бъдещето. За така очакваните пробиви във всички области, за които през последните години възлагаме толкова сериозни очаквания. Които обаче даваха и толкова поводи за притеснения.

Например, доброто възпитание. Като част от модата на последните години на Запад GPT-3 е обвиняван в расизъм, нетолерантност. В невронната мрежа на този етап няма как да бъдат въплътени морални категории – тя обработва това, което ѝ се подава, обучавайки се на базата на входните данни. А когато те са например интернет форуми… няма нужда да се впускаме в подробности колко токсично, грубиянско и нетолерантно е понякога общуването в интернет.

И още нещо: заради всичко казано дотук, невронната мрежа е и чудесен автор на фалшиви новини и дезинформация, особено ако му е поставена конкретно такава цел.

 

GPT-3 обича да чете

Не е напълно ясно какво се случва точно „под капака“ на GPT-3, макар уж да става дума за „отворен ИИ“. Така или иначе, дори самите му създатели казват, че са учудени от много от успешните резултати. Защото той не е създаван с идеята да пише акорди или код, да създава текстове, приличащи на нещо, а да прави само едно нещо: на базата на поредица от думи възможно най-точно да избере следващата.

Невронната мрежа търси шаблоните, повторенията, закономерностите и на базата на тях предполага резултата. В случая – доста успешно.

Състезанието в тази посока е колкото ожесточено, толкова и интересно.

И все пак, алгоритъмът на OpenAI наистина е важна стъпка и съвсем не е чудно, че през последната година все повече привлича погледите на техническите среди.

 

Тенекиеният човек

Самото название GPT-3 на пръв поглед не звучи много маркетингово, какво ще кажете? По принцип произхожда от Generative Pre-trained Transformer – „генеративен, предварително обучен трансформатор“.

„Предварителното му обучение“ ще рече, че той вече е „захранен“ с 570 гигабайта почти случаен текст от интернет, допълнен със специално селектирани от създателите му текстове, включително и от „Уикипедия“. Времето компютърна работа, която е отнело на нашия приятел да прочете и обработи информацията, според OpenAI е струвало 4,6 милиона долара.

Все пак, струва ми се, създателите на алгоритъма много добре знаят защо са решили да оставят това име. Едно псевдочовешко название в духа на Сири и Кортана със сигурност би предизвикало много по-крайни и нежелани асоциации. А тук не е за подценяване и връзката с добрия стар C-3PO, „тенекиения човек“ от „Междузвездни войни“. И нърдовете, които се очаква да се прехласват по такъв тип технологии.

Е, прехласваме се понякога. А най-хубавото е, че с малко късмет и убедителност всеки екип от програмисти може от първо лице да предложи свой вариант, по който да се използва платформата. Или поне скоро ще може, засега проектите се трупат в листа на чакащите, защото ресурсите са ограничени, а и проектът все още се води в бета версия. Очевидно създателите му смятат, че има какво да се доизкусурява по него.

Но пък може да опитате как се справя и вие. Повече от 300 са проектите, които го ползват за различни цели. Онлайн има вече доста платформи, които предлагат да „поговорите“ с чатбот, зад който се крие днешният ни герой. Може би пък не е лошо да свикваме малко по малко за времето, когато наистина ще можем да си говорим с машините като с приятели. Въпрос на време е, може би, да ги научим и да пият бира…

<a href="https://karamanev.me/author/georgik" target="_self">Георги Караманев</a>

Георги Караманев

Програмист, журналист на свободна практика и писател. Още за мен – четете тук.

Най-нови публикации:

Впечатляващо признание за Дигитални истории от конкурса Web Report!

Впечатляващо признание за Дигитални истории от конкурса Web Report!

Впечатляващо признание за Дигитални истории дойде от 6-ото издание на журналистическия конкурс Web Report. През последните години надпреварата се утвърди като водещ и най-реномиран журналистически...

повече информация
„Не чуждиците подкопават устоите на езика“

„Не чуждиците подкопават устоите на езика“

„Как се пише?“ е сайт, който си извоюва огромно значение за живота онлайн. Създателката му Павлина Върбанова на доброволни начала дава практични съвети за правописа, граматиката и пунктуацията с...

повече информация

От рубриката:

На 10-ия ден Брандън създаде JavaScript…

На 10-ия ден Брандън създаде JavaScript…

Знаете, един митичен персонаж за седмица създаде света. Брандън Айк за малко повече време – 10 дни, създаде друг нов свят, в който всички живеем… JavaScript. Една технология, която промени ежедневието ни, след като позволи да се създават сложни приложения онлайн. Да отворим браузъра, да се насочим към любимата страница и тя да е способна на чудеса.
Ето поучителната приказка за това как човек, почти случайно попаднал в епицентъра на събитията, може да изгради нещо огромно. Как в технологично динамичните времена съдбата бързо променя избраниците си и с едно нейно мигване от герой можеш да се превърнеш в аутсайдер.
Кой ли е този Брандън Айк? Защо и той, подобно на други компютърни легенди, днес не се радва на особена слава? Как се ражда JavaScript и защо, уж толкова подобен на другите, именно този език успя да промени революционно начина, по който ползваме компютрите?
console.log(„Започваме!“);

повече информация
Универсален базов доход. Време ли е да ни дават пари, без да работим?

Универсален базов доход. Време ли е да ни дават пари, без да работим?

По всичко личи, технологиите ще ни освободят доста време, но как ще се промени обществото? Какво представлява прословутият универсален базов доход? Кои са големите аргументи за и против идеята всеки да получава гарантирани пари? Или пък решението на новите предизвикателства може да се окаже 4-дневната работна седмица?
Изкуственият интелект има силата да промени ежедневието на всички ни. Днес се разделяме в крайни мнения за това колко е напреднала технологията. И все пак, надали има спор, че тя вече има потенциала да обърне с главата надолу почти всички индустрии и поприща.
Дали ще вземе хляба на мнозина от нас? Сигурно е, че има силата да ни отмени в поредната порция задачи, вземайки на своя страна много нови дейности. Появяват се и нови роли, както е било винаги, но какво ще правим ако темпото, с което това се случва, изостане? Ще успеят ли и как обществата в развитите страни да реагират на новото предизвикателство?
Идва 1 май, празникът на труда. Трудът със сигурност е нещо, за което си струва да се замисляме по-често, особено по нашите ширини, където винаги сме имали малко по-философски поглед към темата. Дотолкова, че и труда празнуваме с ден почивка…

повече информация
Технологиите вече четат мисли. Идва ли краят на свободата?

Технологиите вече четат мисли. Идва ли краят на свободата?

Технологиите вече позволяват мозъчните сигнали да се „превеждат“ в четими данни, първите пробиви са налице. Улисани в напредъка на изкуствения интелект и прословутия GPT, може да пропуснем една огромна стъпка, що се отнася до естествения. На нея обръща внимание проф. Нита Фарахани, учен и юрист с огромен опит.
„Днес вече има компании, които са способни да декодират мозъчните вълни“, каза тя на световния форум в Давос в началото на годината.
Готови ли сме за момента, когато някой ще чете мислите ни? Ще доведе ли това до тотален контрол, или ще направи живота ни по-удобен и смислен?

повече информация

Най-новите:

„Май нихилизмът е заложен в генома ни?“

„Май нихилизмът е заложен в генома ни?“

Ивайло Кунев разказва вдъхновяващи истории от българското минало по магичен начин… Тогава как ли стигнахме до думите в заглавието?
Лидерите, хората, които умеят да променят света, да водят, да градят, да убеждават. Именно те са голямата тема на днешния ни гост, който повече от десетилетие разработва и води програми по лидерство.
Ивайло има впечатляващ мениджърски и предприемачески опит, минаващ през десетилетията. Като в същото време умее да разказва – историите му за силните личности привличат огромен брой почитатели. Автор е на книгата „Лидерите: забравените истории на България“.
Лидерството. Тази тема е толкова тежка по нашите ширини, а и като цяло във времената, в които живеем. Затова е време да потърсим трудните отговори.
Струва ли си да съберем историите на политиците, на предприемачите и на… хановете? Защо ни е трудно да формираме политически елит и да имаме автентични лидери като нация? Какво би написал Толкин, ако беше българин? Как българската история може да се превърне в лично приключение и да дава вдъхновяващи примери, които да ни помагат да сбъдваме мечтите си?

повече информация
Геният, който два пъти отрови света

Геният, който два пъти отрови света

Технологиите променят живота ни главоломно, а техните създатели – изобретателите, програмистите, са героите на днешния ден… Поне обикновено е така, докато не се окаже, че дадената иновация, която светът е посрещнал с невероятен ентусиазъм, е смъртоносно опасна.
И все пак, има един изобретател, който дълги години се носи на вълната на славата, тачен като гений, докато междувременно… създава не една, а две технологии, които впоследствие се оказва, че са стрували човешки животи. Щетите, които те са нанесли, засягат цялата планета и ще продължат да са тук дори за следващите поколения.
Историята на Томас Миджли-младши си струва да си припомняме всеки път, когато се зарадваме на поредния огромен пробив, свързан с изкуствения интелект или каквато и да било друга технология. Защото е показателна за това колко е важно да преценим рисковете, преди да полетим на крилете на ентусиазма. Колко е важно да мислим и обсъждаме големите въпроси, които ни поставят технологиите и за които все нямаме време…

повече информация
Впечатляващо признание за Дигитални истории от конкурса Web Report!

Впечатляващо признание за Дигитални истории от конкурса Web Report!

Впечатляващо признание за Дигитални истории дойде от 6-ото издание на журналистическия конкурс Web Report. През последните години надпреварата се утвърди като водещ и най-реномиран журналистически конкурс у нас.
Тази година Георги Караманев и Дигитални истории заслужиха наградата в категория „Изкуство и култура“ за  експеримента „Понякога ще идвам…“ Как ИИ нарисува 10 класически стиха?“. В 6-те категории на конкурса се включиха 185 журналисти. 
Наградата е особено признание и защото Дигитални истории е сред победителите за трета поредна година!

повече информация
Д-р Райчев, който даде Koprivshtitsa на Google

Д-р Райчев, който даде Koprivshtitsa на Google

„Хора като него трябва да са лицето на България. Точно хората, измислящи неща, които човек не може да си представи“ казва за днешния ни гост проф. Мартин Вечев.
Д-р Веселин Райчев е единственият българин, чиято докторска дисертация попада в световния топ 3 на годината за всички сфери на информатиката. При това с нея той създава цяло ново направление, което днес изживява бум – концепцията изкуственият интелект да пише компютърен код.
Той създава стартъпа DeepCode, използващ машинно самообучение, за да прави компютърните програми по-сигурни. Компанията е придобита от Snyk, а нашият гост остава начело на ИИ направлението в нея.
Кариерата му започва в Google, благодарение на него и днес Google Maps препоръчва пътя ни чрез алгоритми с български имена. През последните години е канен за професор в МИТ, Станфорд и други реномирани университети. Той обаче избира професионално да се свърже с българския проект ИНСАИТ, който има силата да промени цялата екосистема на нашата айти индустрия.
Какво ли мисли изследователят за последните големи новини от света на изкуствения интелект? Помага или пречи големият шум по темата и кои са важните решения, които е време да вземем? Защо дори отдалеч той не спира да се вълнува от случващото се у нас и какъв според него е пътят към по-доброто развитие на страната ни? Кое го кара да изостави впечатляващата кариера в Google, за да продължи в света на науката?

повече информация
Баща и син. Щафетата на живота

Баща и син. Щафетата на живота

Баща и порасналият му син, хванати за ръце. Зад тях е онова, което ги определя, а пред тях – обективът с безпощадната си прямота. Важните снимки нямат нужда от думи.
Тази Дигитална история е толкова голяма, колкото живота. Защото ни връща към най-естествения цикъл, дава ни проницателния си поглед към смисъла.
Фотографът Валерий Пощаров има двама синове – на 12 и 9 години. Една сутрин ги води към училище и се замисля как неусетно ще дойде моментът, когато те вече няма да искат да ги държи за ръка.
Така се ражда идеята да улавя в обектива си бащи и порасналите им синове, заобиколени от онази среда, която ги представя най-добре. Резултатът: снимки, които не просто разказват истории, а рисуват вселени…

повече информация
„Не чуждиците подкопават устоите на езика“

„Не чуждиците подкопават устоите на езика“

„Как се пише?“ е сайт, който си извоюва огромно значение за живота онлайн. Създателката му Павлина Върбанова на доброволни начала дава практични съвети за правописа, граматиката и пунктуацията с всичките им нюанси.
Разговорът с нея „Как се пише?“ „Незнам“ продължава да бъде най-четената дигитална история.
В навечерието на 24 май се срещаме, за да продължим. Ще поговорим за думите, които ни изграждат, и за отношението ни към тях.
За празника, за понякога фалшивата помпозност, която го съпровожда, и за честното ни отношение към езика. За това как думите са огледало на самите нас и на живота. За думите, които превръщаме в оръжия, и за технологиите, които им дават огромни сили да рушат.

повече информация
Share This