Что делать, чтобы рынок ИИ не захватили монополисты, и мы все не стали радикально зависимы от OpenAI, Anthropic и других корпораций? Научиться работать с локальным ИИ! Чтобы разобраться в теме мы позвали Ивана Ямщикова из Pleias, и поговорили про то, как устроены маленькие языковые модели.
Занятный факт: пока мы писали выпуск, вышла новость о том, что Nvidia в партнерстве с Pleias выпустила открытый датасет в рамках проекта Nvidia Nemotron. Почему открытые датасеты важны для маленьких моделей – тоже обсудили в выпуске!
Содержание:
- 00:00 О чём выпуск?
- 07:03 Преимущества маленьких моделей
- 11:21 Классификация моделей
- 19:21 Мотивация использования маленьких моделей
- 27:49 Минусы независимых моделей ИИ
- 55:46 Как создаются маленькие модели?
- 01:06:15 Дистиляция знаний
- 01:14:19 Прунинг в нейронных сетях
- 01:19:22 Common Corpus
- 01:26:26 Выбор между дистиляцией и обучением с нуля
- 01:35:02 С чего начать работу с языковыми моделями?
- 01:39:14 Заключение
