Берты, трансформеры, эмбеддинги, аттеншены, энкодеры с декодерами и другие страшные слова – все это разберем в выпуске с Владиславом Танковым, директором по AI в JetBrains, попутно разложив большие языковые модели на составные части.
Содержание:
- 00:00 О чем выпуск
- 09:45 Принципы работы машинное обучение
- 30:22 Декодерные модели и их применение
- 38:57 Физический смысл эмбедингов
- 42:00 Выбор размерности
- 47:29 Трансформеры
- 01:02:27 Токенизация и её влияние
- 01:12:22 Большие языковые модели
- 01:24:26 Сравнение моделей
- 01:27:13 Качество данных и масштабирование моделей
- 01:30:55 Заключение
