Архитектура LLM — BERT, трансформеры, attentions

Берты, трансформеры, эмбеддинги, аттеншены, энкодеры с декодерами и другие страшные слова – все это разберем в выпуске с Владиславом Танковым, директором по AI в JetBrains, попутно разложив большие языковые модели на составные части.

Содержание:

• 00:00 О чем выпуск
• 09:45 Принципы работы машинное обучение
• 30:22 Декодерные модели и их применение
• 38:57 Физический смысл эмбедингов
• 42:00 Выбор размерности
• 47:29 Трансформеры
• 01:02:27 Токенизация и её влияние
• 01:12:22 Большие языковые модели
• 01:24:26 Сравнение моделей
• 01:27:13 Качество данных и масштабирование моделей
• 01:30:55 Заключение