Ютубер sammyuri построил в Minecraft большую языковую модель CarftGPT с 5 млн параметров. В конструкции используется более 438 млн блоков. Проект автор реализовал без модов и дата-паков. В основе только схемы из красного камня.
Языковая модель получилась довольно скромной, если сравнивать с флагманскими решениями и даже нейросетями с открытым кодом. У модели всего 5 млн параметров, контекстное окно на 64 токена и словарь на 1920 слов. Нейросеть обучили на датасете TinyChat, который состоит из основных разговорных фраз на английском языке.
Модель работает очень медленно. В среднем на генерацию ответа уходит около двух часов. Это результат с увеличенным в 40 тыс. раз тиком сервера. Ускоряли с помощью Minecraft High Performance Redstone (MCHPR). Если запускать в «ванильной» версии Minecraft, то генерация ответа может занять более 10 лет.
Кроме того, автор проекта отмечает, что модель часто генерирует низкокачественные ответы. Например, пишет слова с грамматическими ошибками, теряет тему диалога или просто выводит в чат мусор.
Для запуска игрового мира нужна машина с 32 ГБ оперативной памяти. Этого хватит только для загрузки сервера. Для нормальной работы автор проекта рекомендует использовать не менее 64 ГБ ОЗУ. Инструкция по запуску, веса и код можно найти в GitHub-репозитории.
Источник: habr.com