Як різні країни розвивають національний штучний інтелект для ефективнішої роботи уряду. України в цьому списку немає

Одним із підвидів штучного інтелекту є великі мовні моделі (Large Language Models, LLM), відомі передусім завдяки ChatGPT. У їх розробку активно інвестують держави та приватні компанії. Ці моделі аналізують текст і створюють власний контент, який користувач отримує у відповідь на свій запит.

Наша мета — показати, що багато країн активно рухається вперед, запроваджуючи інструменти на основі штучного інтелекту (ШІ). На жаль, Україна до звіту не потрапила, бо особливого прогресу в створенні національних мовних моделей не досягла.

Як створюють мовні моделі

Побудова мовних моделей — складний процес. LLM навчають на величезній кількості даних із книжок, статей, сайтів тощо. Розмір цих даних часто сягає терабайтів (тисяча гігабайтів) і петабайтів (мільйон гігабайтів). Їх попередньо збирають та обробляють. І чим більше цих даних, чим вони різноманітніші, тим краще працюватиме мовна модель.

Роботу невеликих LLM можуть забезпечувати локальні графічні процесори. Але для створення масштабних моделей користуються суперкомп’ютерами або хмарними сервісами (Google Cloud, AWS, Azure). Це дороге обладнання, яке споживає багато електроенергії. Тому розробка LLM потребує значних бюджетів, особливо коли на тренування моделі йдуть місяці.

Навчанням LLM займаються кваліфіковані команди. Інженери збирають і обробляють дані, створюють архітектуру моделі, а розробники пишуть код. До роботи залучають експертів з університетів і вузькоспеціалізованих фахівців. Це потрібно для того, щоб мовна модель відповідала вимогам індустрії, під яку її створюють.

Під час розробки LLM користуються токенізаторами. Вони розбивають текст на малі частини — токени. Це слова, частини слів і навіть окремі символи. Текст у вигляді токенів стає зрозумілим для мовної моделі.

Розробникові важливо мати хороший токенізатор, який допомагає LLM робити менше обчислень. Адже від цього залежить вартість роботи мовної моделі.

Багато розробників мовних моделей має обмежені ресурси. Щоб здешевити процес створення LLM, вони користуються методами адаптації (fine-tuning), що ґрунтуються на наявних мовних моделях із відкритим доступом (open-source).

Приклад розробки мовної моделі

Розглянемо, як розробляють мовні моделі на прикладі японської Fugaku-LLM. Цей проєкт орієнтований на дослідників, комерцію та поліпшення генерації японського тексту.

Модель навчали на суперкомп’ютері RIKEN Fugaku — одній із найпотужніших систем у світі. Під час тренування цієї LLM задіяли 13 824 комп’ютерних вузли (компоненти, які виконують масштабні обчислення) із загальної кількості 158 976.

Навчальні дані включали близько 380 млрд токенiв, із них 60% японською мовою. Цю модель зробили універсальною для виконання різних завдань. Зокрема, навчили генерувати природні діалоги з користувачем.

Fugaku-LLM — спільний проєкт багатьох організацій. Центральну роль у її розробці відіграв Токiйський технологiчний iнститут, який створив архітектуру нейронної мережі й інтегрував цю модель у середовище суперкомп’ютера Fugaku. Університет Тохоку, своєю чергою, збирав високоякісні масиви даних. Світовий технологічний лідер Fujitsu Limited оптимізував навчальні процеси Fugaku-LLM. А команда науково-дослідної установи RIKEN працювала над стратегіями, які зменшили витрати на зв’язок між вузлами суперкомп’ютера. Свій внесок у створення цієї мовної моделі також зробили Нагойський університет, технологічна компанія CyberAgent Inc. і розробник штучного інтелекту Kotoba Technologies Inc.

Хоча деталі фінансування проєкту Fugaku-LLM не розголошують, його учасники витратили значні власні ресурси, а також залучили державну підтримку. Цей приклад показує, наскільки складним може бути процес створення однієї LLM.

Де застосовують LLM?

ШІ на базі мовних моделей застосовують в освіті, урядуванні, комерції, обороні та інших державних сферах. Нині у світі реалізують чимало ініціатив, які варто розвивати в Україні.

Освіта

Штучний інтелект дедалі частіше інтегрують в освіту, щоб покращити навчання. Наприклад, у Болгарії застосовують мовну модель BgGPT, яка зменшує навантаження на вчителів, допомагаючи учням виконувати завдання і відповідаючи на їхні запитання замість викладачів.

Ефективність BgGPT оцінили в грудні 2024 року під час шкільних іспитів у Болгарії. Тоді ця модель показала кращі результати, ніж такі популярні LLM, як ChatGPT вiд OpenAI та LLama вiд Meta.

У Сінгапурі застосовують систему зворотного зв’язку Codaveri для навчання програмуванню. Ця LLM замість того, щоб виконувати завдання за студентів, дає підказки, які спонукають їх самостійно шукати правильну відповідь.

Ще один приклад вдалого застосування ШІ в освіті — мовна модель Meltemi, яку розробили в Греції. Вона спілкується з учнями, створює для них вправи, виконує завдання, пояснює незрозумілі терміни і спрощує тексти з підручників.

Електронне урядування

Албанія — один із європейських лідерів у впровадженні LLM в урядування. У 2024 році країна розробила систему Virtual Assistant 2.0, яка автоматизує доступ до державних послуг. Штучний інтелект тут розвивають у сфері публічних закупівель. Зокрема, для боротьби з корупцією. Уряд Албанії планує створити ще одну мовну модель для перекладу юридичних документів, що має форсувати її вступ до Євросоюзу.

У Нідерландах щороку до парламенту надходить бiльш нiж 3000 запитань від людей. Щоб відповісти на них, раніше залучали тисячі працівників. Тепер цю роботу виконує віртуальний асистент Codi. Він збирає дані з документів та попередніх запитань і формулює на їх основі відповіді.

У Пiвнiчнiй Македонії також розробили цифрового асистента, подібного до нідерландської LLM. Модель ADA відповідає громадянам на поширені запитання щодо наявних програм допомоги від уряду.

Старіння населення

Щоб вирішити проблему зменшення кількості робочої сили, у Швеції розвивають мовну модель GPT-SW3. Через старіння населення в цій країні потерпають ті частини державного сектору, де потрібно обробляти великі обсяги тексту. Модель GPT-SW3 робить це замість людей.

Фермерство і сільське господарство

У Нігерії компанія Crop2Cash створила мовну модель у вигляді голосового чатбота FarmAdvise. Він працює як безплатна гаряча лінія, на яку можуть дзвонити фермери, і консультує щодо того, як вирощувати ті чи інші культури, як успішно розвивати господарство тощо. FarmAdvise дуже корисний для Нігерії, оскільки багато людей тут не має стабiльного доступу до iнтернету.

Медицина

Мовну модель GPT-SW3 використовують також у шведській медицині. У лікарнях створюють за її допомогою медичні записи, кодують облікові журнали, витягують дані з неструктурованих текстів. Цю LLM навчили також прогнозувати несприятливі результати лікування пацієнтів.

Кенійська мовна модель UlizaLlama дає поради щодо лікування людям, які не мають прямого доступу до медицини. Чатбот працює по всій Африці й розуміє місцеві мови на просунутому рівні. Це вигідно вирізняє UlizaLlama на тлі популярних LLM.

Захист особистих даних

Німецький стартап Aleph Alpha у 2024 році запустив власний безпековий проєкт PhariaAI. Він дає змогу бізнесу та публічним установам інтегрувати LLM у свої процеси. Одна з переваг інтеграції цієї моделі — посилений захист від витоку особистих даних людей.

Оборона

Вiйськово-повiтрянi сили США (USAF) користуються мовними моделями під час військових навчань. Штучний інтелект підсумовує їх результати, що допомагає краще готуватися до операцій та швидко ухвалювати рішення на полі бою.

Американську модель Defence LLAMA навчили відповідати на запитання, пов’язані з обороною. Її тренували на великому масиві даних включно з воєнною доктриною і міжнародним гуманітарним правом. Defence LLAM надає відповіді у стилі Офісу директора національної розвідки США. А користуються нею люди, які працюють на американський уряд.

У Китаї створили ChatBIT — модель, подібну до американської Defence LLAMA. ChatBIT вміє збирати розвіддані з відкритих джерел (OSINT) і розуміє культурний контекст висловлювань у китайській мові, що спрощує комунікацію між військовими.

Як iнтеграцiя ШI в бiзнес вплине на економіку?

У 2023 році консалтингова фірма McKinsey & Company дослідила економічний вплив інтеграції в бізнес генеративного ШІ (штучний інтелект, який створює унікальний контент: тексти, зображення, аудіо тощо).

Результати дослідження засвідчили, що така інтеграція може додавати до світової економіки еквівалент від 2,6 трлн до 4,4 трлн доларів щороку. Орієнтовно 75% надходжень можна отримати, якщо інтегрувати генеративний ШІ у сфери обслуговування, продажу і маркетингу, а також у розробку програмного забезпечення та науково-дослідну роботу.

McKinsey & Company прогнозує, що залучення генеративного ШІ в бізнес підвищуватиме продуктивність праці на 0,1–0,6% щороку. Це вивільнить час працівників на іншу корисну діяльність. Але водночас змусить їх опановувати нові для себе навички, а іноді навіть змінювати професію. І це один із ризиків інтеграції ШІ в бізнес.

Згідно з результатами дослідження консалтингової агенції Strand Partners інтеграція ШІ в європейські бізнеси забезпечить економіці ЄС 600 млрд євро прибутку до 2030 року. Однак для цього потрібно створити відповідне середовище для інновацій, змусити працівників опанувати цифрові навички і відкрити для бізнесу доступ до новітніх технологій.

Компанiя Access Partnership на замовлення Google провела власне дослідження для Азійсько-Тихоокеанського регіону. Воно засвідчило, що місцеві бізнеси можуть забезпечити економіці 3 трлн доларів прибутку, якщо інтегрують у свою структуру рішення на основі ШІ.

За оцінками, лідером цього регіону стане Сінгапур, який отримає 147,6 млрд доларів прибутку від бізнесів до 2030 року. Було проведено опитування, і 78% сiнгапурцiв відповіли, що хочуть дізнатися більше про ШІ. А 94% працiвникiв очiкують, що користуватимуться генеративним штучним інтелектом на роботі в наступні п’ять років.

Світові інвестиції в розробку LLM

Євросоюз iнвестує щороку 1 млрд євро в проєкти з розвитку ШІ. З цього бюджету 50 млн доларів виділяють на проєкти, пов’язані з LLM. Підприємство EuroHPC працює над створенням семи суперкомп’ютерів для тренування мовних моделей. На це виділяють приблизно 1,5 млрд євро.

Євросоюз iнвестує щороку 1 млрд євро в проєкти з розвитку ШІ

Шведська агенція інновацій Vinnova з 2020 по 2024 рiк вклала в розробку ШІ 135 млн євро. Частину цих грошей (585,838 тис. доларів) витратили на тренування мовної моделі GPT-SW3. До 2028 року уряд Швецiї планує збільшити iнвестицiї в ШІ до 350 млн євро для створення більш конкурентних продуктів.

У Нідерландах на дослідження та інновації у сфері штучного інтелекту щороку виділяють до 45 млн євро. Міністерство освіти додатково інвестує 18 млн євро в розробку суперкомп’ютера. А Мiнiстерство економiки видiляє 13,5 млн євро на розвиток GPT-NL — LLM для нідерландської мови, що розроблена відповідно до національних цінностей і стандартів.

Ізраїль у 2021–2024 роках вклав у розвиток ШІ 140 млн доларів. А ще побудував суперкомп’ютер Israel-1, який навчає великі мовні моделі. Витрати на його створення оцінюють у кількасот мільйонів доларів. Також Ізраїль інвестує 1,8 млн доларів у NLP (машинну обробку мов), що має поліпшити технології обробки івриту й арабської мови.

Уряд Бразилії планує вкласти 18 млн доларів у створення суперкомп’ютера Santos Dumont, що має увійти до п’ятірки найкращих у світі. За його допомогою досліджуватимуть можливості ШІ й розроблять національну бразильську мовну модель.

Як бачимо, вже є десятки прикладів залученості країн у розробку мовних моделей. Серед цих ініціатив для України може бути особливо цікава інтеграція ШІ в захист даних, національну безпеку та оборону, що актуально в умовах війни. І це потенційно можливо завдяки програмам країн ЄС, із якими асоційована наша держава.

ШІ дослідження мовні моделі прогрес технології уряд штучний інтелект інновації