Как «думают» LLM: внутренняя механика языковых моделей

Большие языковые модели часто воспринимаются как чёрный ящик с магическими способностями, но на самом деле их поведение можно объяснить с точки зрения науки о данных, архитектур моделей, методов обучения и математики.

В своём докладе автор рассказывает, как работают языковые модели, опираясь на механику их функционирования и актуальные исследования. Например, обсудим, чем полезны метод Chain-Of-Thought и архитектура Mixture of Experts (MoE), а также почему для языковой модели так сложно посчитать количество букв в слове. В общем, погрузимся в «секреты волшебства» LLM.