Маленькие языковые модели — Open source, локальный ИИ, SLM

Что делать, чтобы рынок ИИ не захватили монополисты, и мы все не стали радикально зависимы от OpenAI, Anthropic и других корпораций? Научиться работать с локальным ИИ! Чтобы разобраться в теме мы позвали Ивана Ямщикова из Pleias, и поговорили про то, как устроены маленькие языковые модели.

Занятный факт: пока мы писали выпуск, вышла новость о том, что Nvidia в партнерстве с Pleias выпустила открытый датасет в рамках проекта Nvidia Nemotron. Почему открытые датасеты важны для маленьких моделей – тоже обсудили в выпуске!

Содержание:

• 00:00 О чём выпуск?
• 07:03 Преимущества маленьких моделей
• 11:21 Классификация моделей
• 19:21 Мотивация использования маленьких моделей
• 27:49 Минусы независимых моделей ИИ
• 55:46 Как создаются маленькие модели?
• 01:06:15 Дистиляция знаний
• 01:14:19 Прунинг в нейронных сетях
• 01:19:22 Common Corpus
• 01:26:26 Выбор между дистиляцией и обучением с нуля
• 01:35:02 С чего начать работу с языковыми моделями?
• 01:39:14 Заключение