ШІ без кальки та дезінформації про Україну — запускаємо перший національний рейтинг нейромереж

Отримували від штучного інтелекту відповіді з перекрученими відмінками чи фейками про Україну? Раніше розробники інтегрували ШІ наосліп, а українську мову перевіряли через машинний переклад із помилками. Змінюємо це й запускаємо Ukrainian LLM Leaderboard — рейтинг, який об’єктивно вимірює, наскільки якісно нейромережі працюють та розуміють українську мову.

Як тестують ШІ? Моделі перевіряють на завданнях, які максимально наближені до реальних:

перекладати, переказувати та стисло викладати великі тексти;

шукати відповіді в документах та розв’язувати логічні задачі;

складати тести зі шкільної програми на рівні ЗНО;

виконувати математичні обчислення та складні інструкції.

Методологію рейтингу сформували фахівці УКУ та спільноти lang-uk. Детальніше про Leaderboard читайте за посиланням — https://curly.click/r/b816

Міністерство цифрової трансформації України