Алгоритмите, които ни вкараха в „балона“

дек. 10, 2021 | Технологии

Алгоритмите, които ни вкараха в „балона“

10 декември 2021 | Технологии

Искам вечерта да гледам филм, обаче да не е тъп като последния. Търся препоръки. Някога щях да се ровя и ровя из интернет, сега няма нужда, изкуственият интелект се грижи за мен.

Алгоритмите за препоръчване на съдържание са сред по-старите и най-успешните представители на машинното самообучение. Днес да се говори за тях не е чак толкова на мода поради две основни причини. Вече могат да работят много добре и второ – никак не са удобна тема за тези, които ги използват най-активно.

Защо ли? Точно те са в основата на един от големите проблеми на днешното време: балона на филтрите. Бързаме, имаме време да четем само препоръчана информация, заобикаляме се с удобни гледни точни, нямаме сили за нюансите, така скоро се разделяме на ваксъри и антиваксъри…

…ама нали в началото ставаше дума за филми, това не е ли нещо безобидно? Точно така. Алгоритмите не са виновни за това как ние ги използваме. А историята на тези, които търсят как да предложат най-доброто съдържание, е интересна за всеки, който се интересува от технологиите и бъдещето, което те ни подготвят.

 

Нетфликс

 

ИИ, препоръчай ми филм!

Преди десетилетие особено нашумяла беше наградата на „Нетфликс“. Гигантът беше обещал милион долара на учените, които предлагат най-доброто решение в областта на алгоритмите за препоръчване на съдържание.

Последното връчване на приза през 2010-а беше отменено, от „Нетфликс“ се отказаха да организират повече надпреварата. Защото явно вече бяха станали достатъчно добри в това направление…

Дали системите за препоръчване са нещо добро или лошо, никак не е правилният въпрос. Винаги сме търсили препоръки от приятелите си за следващите книги, филми, плочи, на които да се насладим. Със сигурност е доста добър подход да се посъветваме с хора, които имат сходен вкус с нашия. Очевидно това например, че е един филм е станал много популярен, не е достатъчна гаранция, че ще ни хареса. Много по-добра идея е да сравним вкусовете си с наши приятели, които вече са го гледали.

Днес обаче нямаме време и за това. А и защо трябва да се случва по този начин, след като имаме на своя страна усъвършенстваните алгоритми за машинно самообучение? Те много добре умеят да съпоставят данните и да намират шаблоните, сходствата. В огромната база данни да открият хората със сходни с нашите вкусове, да систематизират информацията и на базата на това да ни дадат конкретна препоръка, която има много сериозен шанс да се окаже успешна.

И така, как работят системите за препоръчване, които днес са се доказали като най-добри?

 

Разделяй и уцелвай

Какво е машинното самообучение? Начин да създаваме „изкуствен интелект“, който помага в безброй много области (и може би един ден дори ще ни управлява). Както всички останали научни дисциплини, ако подходим без предубеждения, може да си го представим и като нещо по-просто. Компютърът получава огромна база от информация. После специалистите по машинно самообучение имат грижата да му предложат най-точните алгоритми, за да се опита да намери закономерностите в нея. Безброй са различните решения, някои са по-прости и могат да бъдат обяснени в няколко реда, други са почти невъзможни за популярно представяне.

Инженерите разделят данните, които подават, на такива за същинското обучение и за тестване на успеваемостта. После оставят програмата сама да опитва да налучква променливите параметри за съответния алгоритъм с основните данни и ги съпоставят с тестовите данни, отделени за тази цел.

В този момент прилагат различни нови методи, които да покажат колко добре се е справил със задачата си основният. Ако оценката му е достатъчно висока, са сигурни, че са си свършили работата. И могат да го пуснат на свобода…

 

Препоръчващи алгоритми

Снимка: mohamed Hassan, Pixabay

 

Четящи мозъци

Както стана дума, алгоритмите за препоръчване са едни от най-старите първопроходци в машинното самообучение, днес ги познаваме доста добре.

Основните подходи в това направление са два, наричат се „колаборативно филтриране“ и „филтриране, базирано на съдържанието“. В по-модерните решения се прилагат различни комбинации от тях така, че да се използват силните страни на двата подхода.

Колаборация, или сътрудничество, ще рече, че хората работят заедно, за да постигнат даден резултат. Това стои в основата и на колаборативното филтриране. Същият принцип, който споменахме и продължаваме да използваме и днес. А на езика на продажбите: „Хората, които купиха…, купиха и…“. Целта на алгоритъма в този случай е да обработи данните така, че максимално да потърси общите черти в избора на различните потребители, така че да изведе тенденциите.

Е, едно време всички харесваха „Титаник“, как тогава да се справим в океана от решения?

 

Колаборативно филтриране

Схема на колаборативно филтриране, направена от Google Developers

 

БезприСтрасти

Като цяло подходът е следният. Алгоритъмът за колаборативно филтриране групира хората, които са давали максимално близки рейтинги, както потребителя, на когото ще препоръчваме. После данните се използват, за да се изчисли колко е вероятно хората със сходен вкус да харесат и друг продукт от същата група. Измежду потребителите, харесали любимите ви филми, да намерим средните показатели за филмите и да видим за кои от тях са най-високи. Именно тях ще препоръчаме. Като, разбира се, опитаме да игнорираме например филмите, които имат твърде малко оценки, потребителите, които дават твърде разнопосочни числа. Или, т.нар. „пристрастие“, което в света на технологиите наричат с английския термин “bias”.

От другата страна идва филтрирането, базирано на съдържание. Идеята не е много различна, просто перспективата се обръща наобратно. Алгоритмите се базират на другите единици, които в случая са филмите, а не зрителите им. Сравняват се оценките на потребителите за всяка двойка филми и на базата на това се извежда предположение какъв би бил рейтингът на този потребител, който още не е гледал втория филм.

Както стана дума, „Нетфликс“ определено е пионер и доказан фактор в тази област, ето защо ще разгледаме по-подробно техния подход. Както твърдят от компанията, 80% от гледанията на техни филми са в резултат на персонализираните предложения. Представете си само! Едва 1 от 5 от филма е гледан, защото посетителят го е отворил сам, всички останали са били предложени като следващи най-добри решения.

 

Филтриране, базирано на съдържание

Схема на филтриране, базирано на съдържание, направена от Google Developers

 

Колаборационисти

„Нетфликс“ базират системата си повече върху подхода с колаборативното филтриране. Очевидно това се оказа печелившото решение след състезанието, за което ви споменах. А историята на наградата е повече от интересна. Малцина знаят, но „Нетфликс“ стартират бизнеса си в края на 90-те, разпространявайки филми на базата на абонамент, като доставят избраните заглавия на дивидита в домовете на зрителите.

През 2000 г. те представят за първи път напредничавата си система за препоръчване, а 6 години по-късно създават наградата, за която стана дума. Обещават да дадат 1 милион долара на всеки, който успее да създаде система с по-добри показатели. Има, разбира се и конкретна оценка, 1 милион не се дават току-тъй. Избран е един от най-често използваните критерии – този за оценка на средната квадратична грешка (RMSE). Алгоритъмът на „Нетфликс“ постига изключително високата стойност от 0,9525, а призът е обещан на всеки, който я надмине с поне 10%.

За щастие, наградата не си остава за тези, които са я обявили („за щастие“, защото те и без това си имат доста пари). През 2007 г. тя е спечелена с кандидатура, която ползва комбинация от два по-сложни алгоритми – матрична факторизация (SVD) и ограничени машини на Боцман (RBM). Успехът в този случай е вече 0,88, което изпълнява изискванията!

 

По първа програма

През 2009 г. наградата отново е спечелена, с нова комбинация от алгоритми. „Нетфликс“ чинно си изплащат отново обещаната сума, но този път решават да не използват предложените решения в своята практика. Преценяват, че за много малко по-добри резултати трябва да отделят прекалено сериозни разходи. Системата им и без това е доказано, че работи изключително добре, стигайки до споменатите 80% на препоръчаното съдържание.

Една от причините наградите след това да отпаднат е, че идва ерата на „стриймването“. Компанията спира да продава просто филми, а се превръща в абонаментна платформа, стигайки през 2021-а до над 190 милиона абонати!

Просто в този момент вече не им е чак такъв приоритет да препоръчват добре, защото следващата им продажба не е на нов филм, а на абонамент.

 

Препоръчващи алгоритми

Снимка: Gerd Altmann, Pixabay

 

Става за четене

Така системите за препоръчване продължават нататък, за да стигнем днес до времената на прословутия балон на филтрите. Със сигурност и днес именно споменатите алгоритми са в основата на персонализираното съдържание и препоръките, които получаваме от социалните мрежи и търсачките. Просто вече не се говори чак толкова за тези решения, защото те не са само повод за гордост.

Разбира се, всичко изброено дотук, са само основите идеи. Алгоритмите за препоръчване, с които работят „Фейсбук“ и „Гугъл“, са изключително комплексни и многопластови и, разбира се, за тях се знае малко. Освен това, последните разкрития, направени от бивш високопоставен служител на първата социална мрежа, ясно показват защо за компанията никак не е изгодно да показва системите си.

Що се отнася до „Гугъл“ и рекламите, които ви показва, има една малка подробност. На базата на ежедневните ви интеракции в мрежата, търсачката определя основни показатели за вас. Ще се учудите (или пък не) колко са точни те, ако надникнете тук. Даже можете да ги ограничите, поне така твърдят.

Така или иначе, в по-сложните задачи, като например лицевото разпознаване, машинния превод, автономните автомобили, днес се прилагат следващото поколение технологии. Те са висшият пилотаж в тази област и универсалното решение, на което се крепят най-големите очаквания за технологичното бъдеще – невронните мрежи.

Именно дълбоките невронни мрежи днес стоят в основата на препоръчващите системи на големите състезатели. При тях не се използват просто един или два конкретни алгоритъма, които обработват данните, а многобройни нива, способни да търсят още и още фини тенденции в данните. Благодарение на невронните мрежи компютрите дори могат да… сънуват! Но това е дълга и интересна тема, която скоро ще обсъдим по-подробно.

 

Препоръчващи алгоритми

Снимка: Gerd Altmann, Pixabay

 

Алгоритми на крак

Тук ще намерите файлово хранилище (малко странно, така е на български „репозитори“) с елементарен модел за създаването на алгоритъм за препоръчване на базата на официалната база данни, използвана за наградите на „Нетфликс“. Приложени са принципите на колаборативното филтриране.

И така, вече знаем малко повече за интелигентните системи, които ни подбират предпочитания – за новини, филми или книги. А това да знаем как работят, със сигурност е полезно и за да имаме предвид и негативните страни от тях. Алгоритмите не са добри или лоши. От нас зависи до каква степен ще им позволим с помощта на препоръчването да ни изпратят в „балона“. Те вече ни познават доста добре. Затова е добре и ние да ги опознаем…

Дигитални истории

Дигитални истории е и ще си остане изцяло некомерсиално начинание, на което посвещавам доста време и усилия. За създаването на сайта обаче са нужни определени разходи. Ако имате възможност и желание да подпомогнете сайта, вече можете да го направите. Разбира се, все така важна подкрепа си остава всяка добра дума, всяко споделяне на темите.

<a href="https://karamanev.me/author/georgik" target="_self">Георги Караманев</a>

Георги Караманев

Програмист, журналист и писател. Още за мен – тук. .
Дигитални истории

Най-нови публикации:

„Забравихме, че бебето знае как да се роди“

„Забравихме, че бебето знае как да се роди“

Как технологиите промениха бременността и раждането? С какво облекчиха и как – парадоксално, в други посоки създадоха проблеми за начина, по който идваме на бял свят? Жени Маркова се свърза с мен...

повече информация
Как срещаме децата с технологиите? (резултати от анкетата)

Как срещаме децата с технологиите? (резултати от анкетата)

По колко часа на ден децата имат досег с екран? Трябва ли в училище да има телефони? Как изглежда технологичното бъдеще за днешните деца? Какво има смисъл да учат? С какво е различно днешното...

повече информация
„Страх от технологии = изоставане на нацията“

„Страх от технологии = изоставане на нацията“

Толкова е пъстър пътят на днешната ни гостенка! 11 години се занимава с журналистика. После се насочва към туризма, за да стане… управител на хотел на Марианските острови в Тихия океан. Докато...

повече информация
Колко е IQ-то на ChatGPT?

Колко е IQ-то на ChatGPT?

Какви ли не хобита имат хората – някои колекционират марки, други – евро, трети дори имат търпението да гледат български футбол. Е, аз освен че имам навика да проверявам нищожните си познания в...

повече информация
„Пожертвахме две поколения, защото не знаехме как работят технологиите“

„Пожертвахме две поколения, защото не знаехме как работят технологиите“

„Ние, възрастните, пожертвахме две поколения, защото създадохме нещо, което не знаехме какво е и как работи. Тези деца са жертва на нашата некомпетентност. Вече никой не може да каже, че не знаем до...

повече информация

Още публикации по темата:

От рубриката:

Как срещаме децата с технологиите? (резултати от анкетата)

Как срещаме децата с технологиите? (резултати от анкетата)

По колко часа на ден децата имат досег с екран? Трябва ли в училище да има телефони? Как изглежда технологичното бъдеще за днешните деца? Какво има смисъл да учат? С какво е различно днешното родителство?
Тези и още много важни въпроси отправих в началото на февруари към родителите и близките на деца до 11 години. Анкетата на Дигитални истории събра повече от 350 мнения. Изводите са показателни, замислящи. Посланията, събрани там, си струва да бъдат четени и обсъждани.
Благодаря от сърце на всеки, който я попълни, на всеки, който помогна повече хора да се включат! Ето какви се оказаха резултатите.

повече информация
Таралежите се раждат без ИИ

Таралежите се раждат без ИИ

В какъв свят ще живеят днешните деца?
Какво има смисъл да учат днес и кое би било загуба на време, усилия и пари?
Кога и как да ги срещнем с технологиите така, че да им помогнем да се опознаят, без някой да пострада?
А кога да ги „запознаем“ с изкуствения интелект?
Ще потърся отговорите на тези и други важни въпроси, свързани с децата и технологиите. Започва дълга поредица от детски Дигитални истории.
Ето защо според мен е жизненоважно да навлезем по-дълбоко в тези огромни теми:

повече информация
Как срещаме децата с технологиите? (Анкета)

Как срещаме децата с технологиите? (Анкета)

В какъв свят ще живеят децата ни? А как да ги срещнем с технологиите по най-добрия начин?
Имам две хлапета и този сайт го има, защото тези въпроси не ми дават мира. Докато има още толкова важни въпроси, на които е време да намерим отговор.
Нека ги обсъдим, а после да потърсим отговорите. Нека заедно нарисуваме картината на днешното дигитално родителство и погледа му към бъдещето.
Анкетата е насочена към родителите на деца от 0 до 11 години (а и към баби, дядовци, хора, които имат отношение към децата). Темите на тийнейжърите също са изключително важни, и за тях ще дойде моментът.
Анкетата е анонимна, можете да отговорите на въпросите, които си изберете. Можете да се включите и в жребий за награди – подбрани книги и фланелки с логото на Дигитални истории. Отговорите се събират до 28 февруари, а в началото на март очаквайте резултатите.
С тази анкета започва поредицата от важни Дигитални истории за децата и технологиите. Ще поговорим за майчинството и бащинството днес, за промените в образованието, за професиите на бъдещето. Поканил съм забележителни гости, от които всеки родител (включително и аз) има много какво да научи.
Благодаря от сърце за всяко попълване, за всяко споделяне!

повече информация

Най-новите:

„Забравихме, че бебето знае как да се роди“

„Забравихме, че бебето знае как да се роди“

Как технологиите промениха бременността и раждането? С какво облекчиха и как – парадоксално, в други посоки създадоха проблеми за начина, по който идваме на бял свят?
Евгения Маркова се свърза с мен заради поредицата „Дигитални деца“ с предложението да поговорим за този аспект от връзката на технологиите с родителството. Тя живее в Германия и макар че дълги години е работила в сферата на маркетинга и разработката на софтуер, днес основното ѝ занимание е на дула. Особено популярно на запад, това е попрището на жени, които не са медицински специалисти, но помагат с информация, съвети, практическа и емоционална подкрепа на бъдещите майки.
Кога предоверяването на технологиите може да се превърне в проблем при бременността и раждането? Защо си струва в някои посоки да се върнем към традициите и повече да слушаме тялото си, а не само медицинските показатели или чужди съвети? Време е за един важен разговор, който според мен би могъл да даде много полезни идеи за хората, които тепърва се готвят да станат родители.

повече информация
Как срещаме децата с технологиите? (резултати от анкетата)

Как срещаме децата с технологиите? (резултати от анкетата)

По колко часа на ден децата имат досег с екран? Трябва ли в училище да има телефони? Как изглежда технологичното бъдеще за днешните деца? Какво има смисъл да учат? С какво е различно днешното родителство?
Тези и още много важни въпроси отправих в началото на февруари към родителите и близките на деца до 11 години. Анкетата на Дигитални истории събра повече от 350 мнения. Изводите са показателни, замислящи. Посланията, събрани там, си струва да бъдат четени и обсъждани.
Благодаря от сърце на всеки, който я попълни, на всеки, който помогна повече хора да се включат! Ето какви се оказаха резултатите.

повече информация
„Страх от технологии = изоставане на нацията“

„Страх от технологии = изоставане на нацията“

Елица Стоилова казва, че дигиталната грамотност би трябвало да се превърне в национална цел, ако искаме да вървим напред. „Липсата ѝ води до страх от технологиите = консерватизъм в тяхното въвеждане и използване = изоставане на нацията ни в множество посоки. Какво е бъдещето на неграмотните народи?“, написа ми тя.
Толкова е пъстър пътят на днешната ни гостенка! 11 години се занимава с журналистика. После се насочва към туризма, за да стане… управител на хотел на Марианските острови в Тихия океан. Докато накрая акостира в ИТ света. Разбира, че голяма част от задачите в туризма успешно могат да се изпълняват от алгоритми, тъй като са повторяеми. Така създава чатбот платформата UMNI, много преди друг един чатбот да привлече погледите на света към това колко е напреднал изкуственият интелект.
Но как така… тя е толкова оптимистично настроена за пътя напред? Гостенката ни смята, че ако правилно изиграем картите си, ИИ ни води към едно прекрасно бъдеще. От какво зависи дали ще изиграем картите си както трябва? И защо понякога си струва дори да изоставиш едно от най-райските кътчета на планетата, преследвайки мечтите? Търсим важни и неочаквани отговори в следващите редове.

повече информация
Колко е IQ-то на ChatGPT?

Колко е IQ-то на ChatGPT?

Какъв е коефициентът на интелигентност на напредналия изкуствения интелект?
Достига ли, надминава ли средните 100 точки на днешното човечество? И защо това е важно?
Хайде да научим заедно!

повече информация
„Последният печели“. ChatGPT отвръща на удара!

„Последният печели“. ChatGPT отвръща на удара!

Из въздуха витае интелигентност, в залата са малко над 100 души, повечето от тях са сред най-интелигентните в нашата страна. Не е предположение, мога да го докажа. Те са сред победителите в „Последният печели“ – телевизионното състезание, което през последните години припомня защо знанието е важно за всички ни, дори като вид, във времената на напредналия изкуствен интелект.
С моите съмишленици в залата имаме важна задача. Да се изправим заедно срещу ИИ в едно състезание, което може да ни каже и покаже много.
Ще победи ли с днешните си невероятни умения изкуственият интелект едни от най-знаещите представители на естествения? Време е да проверим. И да научим нещо ново…
ChatGPT срещу някои от най-интелигентните българи в състезание по познание. Кой ще победи? Изгубихме ли окончателно и тази битка срещу машините? Ръкавицата е хвърлена!

повече информация
„Пожертвахме две поколения, защото не знаехме как работят технологиите“

„Пожертвахме две поколения, защото не знаехме как работят технологиите“

„Ние, възрастните, пожертвахме две поколения, защото създадохме нещо, което не знаехме какво е и как работи. Тези деца са жертва на нашата некомпетентност. Вече никой не може да каже, че не знаем до какво води прекомерната употреба на дигитални устройства за развитието на емоционално-интелектуалния апарат на децата.“
Но какви точно са тези щети и защо са толкова важни? Как прекомерното излагане на технологии променя необратимо децата? И какво да правим, след като го знаем?
Слави Стоев е психолог, води обучения за лидерство и мениджърски умения, водещ е на подкаста „Естествен ѝнтелект“. В същото време е и баща, и автор на детски книжки, посветени на ранното развитие и емоционалната интелигентност.
Точният гост, с когото да потърсим има ли среден път в отношението на родителите към технологиите и как можем да го намерим. Ще поговорим за базовите умения, които днес не успяваме да развием, и упадъка, към който се е насочила цивилизацията ни. Ако бързо не вземем целенасочени мерки, свързани именно с пресечната точка между технологиите и децата.

повече информация
Share This