Новый навык в ИИ — не промпты, а контекст инжиниринг

Контекстная инженерия (контекст инжиниринг, Context Engineering) — это новый термин, набирающий популярность в мире ИИ. Разговор переходит от «промпт инжиниринга» к более широкой и мощной концепции — «контекст инжинирингу». Тоби Лютке описывает его как «искусство предоставления всего контекста для задачи, которая может быть правдоподобно решена LLM», и он прав.

С появлением агентов становится все более важным, какую информацию мы загружаем в «ограниченную рабочую память». Мы видим, что главное, что определяет, преуспеет ли агент или нет, — это качество контекста, который вы ему даете. Большинство сбоев агентов больше не являются сбоями модели, это сбои контекста.

Что такое контекст?

Чтобы понять контекстную инженерию, мы должны сначала расширить наше определение «контекста». Это не просто одиночный запрос, который вы отправляете LLM. Думайте об этом как обо всем, что видит модель, прежде чем сгенерирует ответ.

• Инструкции/Системный промпт: начальный набор инструкций, определяющих поведение модели во время разговора, может/должен включать примеры, правила…
• Пользовательский промпт: немедленная задача или вопрос от пользователя.
• Состояние/История (кратковременная память): текущий разговор, включая ответы пользователя и модели, которые привели к этому моменту.
• Долговременная память: постоянная база знаний, собранная из многих предыдущих разговоров, содержащая изученные предпочтения пользователя, резюме прошлых проектов или факты, которые было сказано запомнить для будущего использования.
• Извлеченная информация (RAG): внешние, актуальные знания, соответствующая информация из документов, баз данных или API для ответа на конкретные вопросы.
• Доступные инструменты: определения всех функций или встроенных инструментов, которые она может вызвать (например, check_inventory, send_email).
• Структурированный вывод: определения формата ответа модели, например, объект JSON.

Почему это важно: от дешевой демонстрации к волшебному продукту

Секрет создания по-настоящему эффективных ИИ-агентов не столько связан со сложностью кода, который вы пишете, сколько с качеством контекста, который вы предоставляете.

Создание агентов не столько связано с кодом, который вы пишете, или фреймворком, который вы используете. Разница между дешевой демонстрацией и «волшебным» агентом заключается в качестве контекста, который вы предоставляете. Представьте себе, что ИИ-помощника просят запланировать встречу на основе простого электронного письма:

Привет, просто проверяю, будете ли вы рядом, чтобы встретиться завтра.

«Дешевый» агент имеет плохой контекст. Он видит только запрос пользователя и ничего больше. Его код может быть совершенно функциональным — он вызывает LLM и получает ответ, — но вывод бесполезен и роботообразен:

Спасибо за ваше сообщение. Меня устроит завтра. Могу я спросить, какое время вы имели в виду?

«Волшебный» агент работает на основе богатого контекста. Основная задача кода — не выяснить, как ответить, а собрать информацию, необходимую LLM для полного выполнения своей цели. Перед вызовом LLM вы расширите контекст, включив:

• Информацию о вашем календаре (которая показывает, что вы полностью заняты)
• Ваши прошлые электронные письма с этим человеком (чтобы определить подходящий неформальный тон)
• Ваш список контактов (чтобы идентифицировать его как ключевого партнера)
• Инструменты для send_invite или send_email

Затем вы можете сгенерировать ответ.

Привет, Джим! Завтра у меня все занято, и так весь день. Четверг утром свободен, вам это подходит? Отправил приглашение, ставьте лайк, если это подходит.

Волшебство не в более умной модели или более умном алгоритме. Оно в предоставлении правильного контекста для правильной задачи. Вот почему важна разработка контекста. Сбои агента — это не только сбои модели. Это сбои контекста.

От промптов к контекстной инженерии

Что такое контекст инжиниринг? В то время как «подсказка» фокусируется на создании идеального набора инструкций в одной текстовой строке, контекстная инженерия — это гораздо более широкое понятие. Давайте скажем проще:

Контекст инжиниринг — это дисциплина проектирования и создания динамических систем, которые предоставляют правильную информацию и инструменты в правильном формате в правильное время, чтобы дать LLM все необходимое для выполнения задачи.

Контекстная инженерия — это

• Система, а не строка: контекст — это не просто статический шаблон подсказки. Это выходные данные системы, которая запускается перед основным вызовом LLM.
• Динамичность: создается на лету, подстраивается под ближайшую задачу. Для одного запроса это могут быть данные календаря, для другого — электронные письма или поиск в Интернете.
• О правильной информации, инструментах в правильное время: основная задача — гарантировать, что модель не упускает важные детали («мусор на входе, мусор на выходе»). Это означает предоставление как знаний (информации), так и возможностей (инструментов) только тогда, когда это необходимо и полезно.
• Где формат имеет значение: то, как вы представляете информацию, имеет значение. Краткое резюме лучше, чем свалка необработанных данных. Четкая схема инструмента лучше, чем расплывчатая инструкция.

Заключение

В создании мощных и надежных ИИ-агентов становится все меньше и меньше  места для поиска волшебного промпта или обновлений модели. Речь идет о проектировании контекста и предоставлении правильной информации и инструментов в правильном формате в правильное время. Это кросс-функциональная задача, которая включает в себя понимание вашего бизнес-варианта использования, определение ваших выходных данных и структурирование всей необходимой информации, чтобы LLM мог «выполнить задачу».

Источник