Идва GPT-4, който обещава да промени всичко

сеп. 16, 2022 | Технологии

Идва GPT-4, който обещава да промени всичко

16 септември 2022 | Технологии

Надали има в света на прословутия изкуствен интелект алгоритъм, по-прочут от GPT-3. Тук можете да прочетете подробно как и защо решението на OpenAI се оказа сериозен пробив в редица области. Той се появи в края на 2020-а и малко по малко даде шанс да изследователи от различни посоки да използват възможностите му, за да покажат невиждани до момента пробиви. В създаването и редактирането на текстове, в превода, в генерирането на компютърен код, за свръхнапреднали чатботове и какво ли още не.

И ето че идва следващият състезател. Макар и забавил се спрямо първоначалните очаквания, GPT-4 се очаква да бъде представен съвсем скоро. Дали от него можем да получим дори много повече? С какво се различава от предшественика си? Кои са областите, в които очакваме да донесе нещо наистина различно?

 

GPT-4

Изображенията, които виждате, са създадени от „детето“ на GPT-3 – DALL·E. Под всяка от тях ще намерите описанието, зададено на алгоритъма. Тук имаме „маслено платно на Анри Матис на робот хуманоид, който играе шах“

 

G пи три

И така, става дума за модел от висшия пилотаж на изкуствения интелект – дълбоките невронни мрежи. Този тип алгоритми стават изключително добри тогава, когато имат достъп до масивни обеми от информация, на базата на които се учат да търсят и намират закономерностите. После изпълняват поставената задача – например да генерират свой текст по зададени параметри.

Съкращението идва от „генеративен предварително обучен трансформатор“, Generative Pretrained Transformer. Всяка от версиите всъщност не е един модел, а група от такива, които имат различно предназначение.

Когато става дума за някои от големите компании, те разчитат на свои алгоритми в това начинание. Големият плюс на OpenAI, както си личи и от името на начинанието, стартирано от Илон Мъск и съмишленици, е, че дава достъп на разнообразни проекти до претренирания модел, който се справя добре с широк кръг задачи. Оттук нататък е работа на отделните екипи да формулират заданието си и да го подготвят така, че да се възползват от уменията на алгоритъма.

Най-впечатляващи бяха успехите във всички области, свързани с текста. GPT-3 беше безспорен пробив, що се отнася до каквито и да било манипулации, свързани с думи. Разбира се, тези възможности бяха преди всичко свързани с английския език. Появиха се приложения, с които невероятно успешно се обработва текст – той бива редактиран, пренаписван в различни стилове и какво ли още не. Оказа се, че платформата работи невероятно добре и в други посоки – например генерирането на компютърен код или ноти. Всичко, което по някакъв начин може да бъде сведено до писмени знаци.

 

GPT-4

„Добър, приятелски настроен робот от Ренесанса“

 

G(PT)enius

А също и в наподобяването – например в провеждането на разговор.

Дали и следващият член на GPT семейството ще донесе подобен пробив, но в следващите области? Това е един от въпросите, които си задават специалистите в областта на изкуствения интелект. Както неотдавна каза футуроложката доц. Мариана Тодорова, от GPT-4 се очакват големи неща. Всички в тази област са наострили уши, докато, за съжаление, конкретните новини за уменията на бъдещия алгоритъм все още остават неясни.

Например, що се отнася до броя на параметрите, с които ще бъде обучен. Данните са ужасно противоречиви. В началото се говореше, че ще са десетки трилиони, после трилион… докато накрая се оказва, че е по-вероятно да става дума за дори по-малко входни данни, отколкото тези, с които беше обучен предшественикът му.

GPT-1 дойде през 2018-а, година по-късно пристигна и наследникът му, който беше обучен на 1,5 милиарда параметъра. Прословутият вариант 3 беше представен през 2020-а със своите 175 милиарда единици информация. Така четвъртата версия се бави от ритъма на пускане на останалите, а ето че учудва и по другия водещ показател…

 

GPT-4

„Два робота обсъждат бъдещето, реалистично изображение“

 

G си ти

В началото, покрай еуфорията, дошла с налагането на третата версия, се говореше, че последващата я ще бъде обучена със 100 трилиона параметъра и с това за първи път ще бъде достигнат броят на синапсите – връзките между невроните, които всеки от нас приютява в мозъка си. А ето, че крачката ще бъде по-скоро назад – към дори по-малко от 175-те милиарда.

По-скоро ще се разчита на по-развити алгоритми. И на по-внимателен подбор на това какво точно ще съдържат данните за самообучение.

Факт е, че закономерностите в тази посока до момента изглеждаха незаобиколими. Дълго време развитието на невронните мрежи се забавяше от невъзможността на компютрите да обработват данните в обемите, които са им нужни. После, някак естествено, хардуерът напредна и стана ред на софтуера да го настигне. Защото се оказа, че обемът има значение за това да подобрява резултатите само тогава, когато е смислено подаден. Когато невронните мрежи се учат не на базата на телефонния указател, а на повече и повече текстове, които обаче са смислено структурирани.

Новината, че GPT-3 ще бъде обучен на по-малко параметри дойде от думите на изпълнителния директор на OpenAI Сам Алтман, който, за съжаление, рядко дава интервюта по темата. Той каза още, че макар базата, с която бъдещият алгоритъм ще бъде „захранен“, да е по-скромна, той ще е значително по-сложен от своя предшественик. Обучението му ще изисква значително по-голяма изчислителна мощ, но той ще се справя с много повече поставени задачи.

 

GPT-4

„Много интелигентен и симпатичен андроид, който има чувства“

 

Размерът…

Така или иначе, GPT-3 и до момента, макар безспорно да е най-известният, далеч не е изкуственият интелект, който държи първенството по брой параметри, на които е обучен. Gopher например е „прочел“ 280, PaLM – 540 млрд.

Обучението е най-ключовата част от работата на дълбоките невронни мрежи. В началото те са просто поредици от алгоритми, които не са способни да решават задачи. Трябва да бъдат „захранени“ с максимално голям обем информация, на базата на който да свикнат да намират закономерностите, да търсят важните фактори, да дават повече тежест на тези части от мрежата, които се оказват по-показателни.

Дълго време изглеждаше, че взаимовръзката е пряка – колкото повече са данните, толкова по-прецизни са резултатите. Според много от учените обаче вече сме постигнали предела от това данните да има смисъл да растат като обем, докато е много по-важно как точно работят алгоритмите, каква е архитектурата на невронната мрежа.

 

GPT-4

„Маслена картина на Ван Гог на робот хуманоид, който пие бира“

 

G(PT) точка

Важно уточнение, което трябва да направим, е, че що се отнася до дълбоките невронни мрежи, уви, ние знаем твърде малко за конкретния начин, по който функционират. Те са затворена, черна кутия, поредица от слоеве алгоритми, за които знаем само входните и изходните данни. Можем да им влияем с различни допълнителни параметри, но като цяло как точно са били обучени от приемането на данните си остава енигма. Какво се случва „вътре“, кои параметри ги „вълнуват“, все още са важни и недостатъчно отговорени въпроси, за които се търсят нестандартни решения (като например „дълбокия сън“).

Някъде тук идва следващият голям въпрос: ако GPT-4 в крайна започне да дава точен отговор във все повече области, дали той няма да е и поредната стъпка към евентуалния бъдещ генерален изкуствен интелект? Или поне ще е нещото, което все повече го наподобява.

Още нещо любопитно, което вече се знае за GPT-4, е, че той отново ще бъде обучаван само с текст. През последните години станаха популярни начинанията, при които се търси мултимодалност – данните, които се подават, са не само текст, но и изображения, звуци, видео. Популярен и впечатляващ пример в тази посока е DALL·E – алгоритъмът, който създава изумителни изображения на базата на описание.

И въпреки това… DALL·E също се крепи на плещите на GPT-3, това е алгоритъмът, „изрисувал“ картините, които виждате. Защото се оказва, че невронната мрежа е способна на чудеса и когато е обучена допълнително. Да, ИИ художникът е обучен на базата на връзка между текст и изображение, но само като форма на надграждане над чисто текстовия алгоритъм. Той е своеобразен специфичен вариант на GPT-3, каквато е и платформата за генериране на компютърен код Codex.

Много специалисти очакваха, че и GPT екипът ще се насочи в тази посока. И все пак, за момента се оказва, че е по-ефективно да се получават успешни решения на широк кръг проблеми, като за основа се използва единствено текст. Което е странно, доколкото невронните мрежи би трябвало да наподобяват мозъците ни, които, разбира се, са „захранвани“ с много по-разнообразна информация. Очевидно идеята на OpenAI е да развият докрай възможностите на текстовите модели, преди да се пренасочат към още по-сложното мултимодално бъдеще.

 

GPT-4

„Умен и чувствителен робот андроид, създаден по време на Ренесанса“

 

В началото беше текстът

В тази посока е любопитно мнението на Иля Суцкевър, изследователят начело на учените в OpenAI. Още през 2020-а той прогнозира, че „до края на 2021-а езиковите модели ще започнат да разбират и визуалния свят. Сам по себе си текстът може да изразява огромен обем информация за заобикалящия ни свят, но не е завършен, защото също така ние живеем и във визуален свят“.

И след като няколко пъти става дума колко е важна точната информация, любопитно е да погледнем каква всъщност е тя. За GPT-4 все още можем само да предполагаме, но това е известно за неговия известен предшественик.

Над 90% от данните, с които той е захранен, са от англоезични източници, което обяснява и защо алгоритъмът е толкова добър конкретно на „родния“ си език. Целият обем данни е с размер 45 терабайта, можете да си представите колко много текст може да се побере вътре. Най-голяма част от тях – 410 милиарда единици са от колекцията Common Crawl, свободно достъпна база данни, която сканира и запазва информацията от целия интернет. Тоест, именно там попадат и най-разнообразните текстове. На тази база се падат и цели 60% от тежестта – това какво значение им отдава алгоритъмът. 22% идват от база, където се събират публикации в Reddit, събрали поне 3 положителни гласа.

GPT-3 е „чел“ от две бази данни общо 67 милиарда думи, събрани в различни книги, с общо „тегло“ 16%. Най-малко – 3 милиарда, са единиците, които са въведени от англоезичната Wikipedia, те все пак имат значително по-високо за пропорцията тегло от 3%.

Интересен повод да се замислим… ами ако създателите му бяха дали да „чете“ повече книги и по-малко случайни текстове?

 

GPT-4

„Много разумен и готин андроид, който се държи като човек“

 

Ти си GPT

Всичко това дава и още поводи за замисляне какво ни очаква с идването на 4-ата версия. Ако 4-ия GPT наистина е значително по-съвършен алгоритъм, той например би могъл да е способен изключително бързо да генерира неразличими от истината фалшиви видеа, по-известни като дийп фейк. Или пък текстове, масиви от информация, които няма да могат да бъдат различени от създадените от човека. Ако чатботовете все още могат лесно да бъдат хванати „в крачка“, дали сега няма да станат още по-убедителни?

Така идват и следващите важни въпроси, които постоянно гостуват на „Дигитални истории“. За бъдещето ни като хора, за технологиите, които могат и променят всичко, колкото и да сме скептични понякога. Интересното бъдеще отдавна е тук и става все по-интересно. А несъмнено част от голямата картина съвсем скоро ще бъде и GPT-4 – натоварен с огромни очаквания и надежди… и, разбира се, задължителната в тази тема щипка притеснение.

А кое трябва да бъде повече? Очаквайте следващата Дигитална история! С проф. Преслав Наков, един от световните специалисти в областта на ИИ и обработката на естествени езици, заедно ще вперим поглед в бъдещето!

 

Дигитални истории

Дигитални истории е и ще си остане изцяло некомерсиално начинание, на което посвещавам доста време и усилия. За създаването на сайта обаче са нужни определени разходи. Ако имате възможност и желание да подпомогнете сайта, вече можете да го направите. Разбира се, все така важна подкрепа си остава всяка добра дума, всяко споделяне на темите.

<a href="https://karamanev.me/author/georgik" target="_self">Георги Караманев</a>

Георги Караманев

Програмист, журналист и писател. Още за мен – тук.
Дигитални истории

Най-нови публикации:

„Днес можем да сме всичко, а избираме да сме еднакви“

„Днес можем да сме всичко, а избираме да сме еднакви“

Можете ли да различите 15 детски рисунки от 15 изображения, генерирани от изкуствен интелект? Предизвикателството за деца и родители на Дигитални истории за броени дни провокира над 2500 души да...

повече информация
Ювал Харари. Пророкът на новото време

Ювал Харари. Пророкът на новото време

Да разкажеш цялата история на човечеството в няколкостотин страници… звучи като невъзможна задача. После да разкажеш бъдещето. И накрая – да успееш да привлечеш вниманието към големите въпроси на...

повече информация
„Свободният човек не би смятал телефона си за нещо изключително“

„Свободният човек не би смятал телефона си за нещо изключително“

Днешният гост няма нужда от представяне, дори първото му име е достатъчно, за да привлече внимание. Китодар Тодоров е популярен артист, телевизионен водещ. Но също и герой от мемове, опитен геймър,...

повече информация

Още публикации по темата:

От рубриката:

Останете любопитни!

Останете любопитни!

Кой е родният град на Яворов? Свищов.
Изхалюцинирал го е изкуственият интелект, доста некадърно, ще предположите. Само че не беше той, казах го аз, участвайки в телевизионно предаване в праймтайма на най-старата българска телевизия. Бих предположил, че е по-вероятно да не позная собственото си име, а не родното място на един от хората, чиято история ме вълнува цял живот. Обаче го сбърках и скоро няма да ходя в Чирпан.
Знанието не е даденост. Любопитството не идва само, а иска усилие.
Има ли обаче смисъл да помним къде е роден Яворов във времената, когато можем да го проверим за части от секундата?
Щеше ли да пише различни стихове, ако беше от Свищов?
Ще знаят ли следващите поколения къде е роден, как е писал? От какво се е вълнувал, къде и как е срещнал любовта?
Ако решите, питайте ChatGPT. Или Конституционния съд.
А моят личен отговор гласи: днес е по-важно отвсякога да останем любопитни!

повече информация
Васил Анастасов. VR среща взаимоучителната метода

Васил Анастасов. VR среща взаимоучителната метода

Той е на 21, а вече е помогнал на повече от 200 деца да направят първите си стъпки в професионално поприще, което може да се превърне в успешна кариера.
Днес Васил Анастасов се е заел с още една кауза. С помощта на модерните технологии да направи българските музеи по-атрактивни, привлекателни за младите. В началото сам извървява пътя към магията не миналото, за да разбере смисъла и важността на експонатите, които иначе се крият зад неразбираеми витрини с неатрактивни табели.
Хайде, нека потърсим заедно съкровище! Да опитаме да намерим важните пътеки сред обраслата поляна. За това как да превърнем музеите в магнетични места за младите. Къде се крият любопитството и желанието да споделяш знание, да помагаш. За историите на фона на най-модерните технологии в разработването на компютърни игри и системи с добавена и виртуална реалност. Запретвайте ръкави, чака ни приключение!

повече информация
Как срещаме децата с технологиите? (резултати от анкетата)

Как срещаме децата с технологиите? (резултати от анкетата)

По колко часа на ден децата имат досег с екран? Трябва ли в училище да има телефони? Как изглежда технологичното бъдеще за днешните деца? Какво има смисъл да учат? С какво е различно днешното родителство?
Тези и още много важни въпроси отправих в началото на февруари към родителите и близките на деца до 11 години. Анкетата на Дигитални истории събра повече от 350 мнения. Изводите са показателни, замислящи. Посланията, събрани там, си струва да бъдат четени и обсъждани.
Благодаря от сърце на всеки, който я попълни, на всеки, който помогна повече хора да се включат! Ето какви се оказаха резултатите.

повече информация

Най-новите:

Питър Тийл. Консервативният визионер

Питър Тийл. Консервативният визионер

Facebook, SpaceX, Airbnb, LinkedIn, PayPal, Ethereum. Революцията на OpenAI и ChatGPT, възходът на Доналд Тръмп и вездесъщия му (доскорошен) съюзник Илон Мъск.
Наистина ли има една личност, която събира всички тези явления? Нещо повече – не е преувеличено да се каже, че ако не беше днешният ни герой, надали някое от тях щеше да се претвори в реалност…
Питър Тийл си е спечелил името на пророк, на гуру. На големия визионер на технологичните времена. Докато в същото време има толкова противоречиви възгледи, които някак си остават встрани от големия медиен шум. Но това е типично за родения в Германия предприемач. Някои го приемат за сивия кардинал на Силициевата долина, други – за мъдрец, който може да покаже на всеки пътя към големия успех в технологичната епоха.
Мултимилиардер, той казва, че конкуренцията е измамно благо, а монополите са решението на бъдещето. Създава мащабна програма, за да помага на хора, избрали да изоставят образованието си, за да създадат собствен бизнес, което пък проправя пътя на следващото поколение технологични лидери.
Всичко това и още много е г-н Тийл. Време е да застане под светлината на прожекторите, защото със сигурност е един от хората, които вече са променили живота на всеки от нас. Нещо повече – от него се очаква да зависи все повече в турболентните технологични времена, в които живеем.

повече информация
„Днес можем да сме всичко, а избираме да сме еднакви“

„Днес можем да сме всичко, а избираме да сме еднакви“

Защо е толкова важно да разберем умеем ли да различаваме детските рисунки от генерирани изображения? Как изглежда бъдещето на творчеството, на изкуството, на човека във времената, когато алгоритмите се оказват неразличими и дори по-добри автори от нас самите? На какво има смисъл да учим децата днес?
Можете ли да различите 15 детски рисунки от 15 изображения, генерирани от изкуствен интелект? Предизвикателството за деца и родители на Дигитални истории за броени дни провокира над 2500 души да проверят интуицията си! Резултатите от теста се очертават изключително интересни, ще поговорим за тях след края му – на 1 юли.
Експериментът е създаден заедно с днешната ни гостенка – Елица Станева-Бритън. Психолог, журналист, преподавател, в момента тя работи по докторската си дисертация в БАН, а темата е творчеството в ерата на изкуствения интелект. Дойде време да поговорим по всяка от тези теми.

повече информация
Какъв ще станеш, когато пораснеш?

Какъв ще станеш, когато пораснеш?

Какви искат да бъдат, когато пораснат, днешните хлапета? Навръх техния празник, време е за резултатите от една любопитна анкета.
Поредицата на Дигитални истории за срещата на децата с технологиите събра важни гледни точки по много теми. От 350 души, включили се в анкетата на сайта, 289 избраха да отговорят:
Какви искат да станат децата, когато пораснат?
„Инфлуенсър“ или „лекар“ – кой според вас ще се окаже най-срещаният отговор?
Как се променят мечтите на хлапетата?
Какво говори това за нас, възрастните, за технологиите, за духа на времето?

повече информация
Тест: Кой го нарисува – дете или ИИ?

Тест: Кой го нарисува – дете или ИИ?

Време е за неочакван, но важен тест. За експеримент, който поставя важни въпроси за бъдещето на творчеството, на човешкото, на образованието.
Предизвикайте себе си и своята интуиция! 15 картини, нарисувани от деца между 3 и 10 г., и 15 – генерирани от изкуствения интелект. Ако успеете да ги различите, очакват ви награди!
Отговорите се събират до 1 юли, анкетата не би ви отнела повече от 10 минути. За всяко от 30-те изображения е достатъчно да предположите дали е нарисувано от дете, или генерирано от ИИ, а също и да оцените техниката и въображението, вложени в първите 10. Можете да отговорите и само на част от въпросите. Анкетата е отворена и за деца!

повече информация
Ювал Харари. Пророкът на новото време

Ювал Харари. Пророкът на новото време

Ювал Ноа Харари. Често ще чуете името на историка и футуролог в разговорите за бъдещето. През последните години той се утвърди като световният мислител, който не само успява задълбочено и компетентно да разплита нишките, от които е съшита историята на човечеството, но и поставя големите въпроси на утрешния ден.
Но как един професор по история се превърна в любим автор на хора като Бил Гейтс и Барак Обама, Марк Зукърбърг и Бил Клинтън, докато в същото време е популярен, превеждан, четен и обсъждан? Как успява да стигне с дългите си тестове до съзнанието на хората във времената, когато концентрацията и задълбоченият поглед се превърнаха в екзотични умения?
Шарен образ, отвъд стереотипите. Любима мишена на всеки, който иска да блесне. Веган и защитник на животните, със съпруга му са начело на фондация, която цели да провокира обществения дебат по важни теми. Израелецът е едновременно широко признат учен и авторитет. Най-важното според мен – ценен и силен глас, който ни предупреждава за непосредствените опасности пред нас като вид. Ето какво си струва да знаем за него и впечатляващите му прозрения.

повече информация
„Свободният човек не би смятал телефона си за нещо изключително“

„Свободният човек не би смятал телефона си за нещо изключително“

Днешният гост няма нужда от представяне, дори първото му име е достатъчно, за да привлече внимание.
Китодар Тодоров е популярен артист, телевизионен водещ. Но също и герой от мемове, опитен геймър, който кани гости, за да играят онлайн, докато си говорят за живота…
Дали ще се получи забавен разговор? Или по-скоро ще ни даде поводи да се замислим…? За днешното ни място в света на технологиите, за компютърните игри като начин на живот. За трудния баланс и големите въпроси.
А как ли се раждат мемовете с Китодар, които забавляват всички ни и стават толкова популярни онлайн?
„Цялата ни съвременна цивилизация е построена на някакви машинки, от които сме зависими, и това е много тъпо. Един истински свободен човек не би трябвало да смята телефона за нещо изключително важно, нито компютъра. Това го губим с времето, защото усещането е, че ни дават всичко. Че технологиите ни дават свобода, а не е така. Напротив, те ни създават повече зависимости.“
Очаква ни неочакван разговор!

повече информация
Share This