«LangChain: чат с вашими данными» — это новый бесплатный краткий курс Харрисона Чейза, генерального директора LangChain, в котором он рассказывает о том, как использовать LLM для общения с вашими собственными данными. Курс, рассчитанный примерно на час, размещен на платформе Deeplearning AI Эндрю Нг.
Каков следующий логический шаг после игры с ChatGPT или любой другой LLM (Large Language Model)? Настроить ее на использование собственных данных. LLM-модели предварительно обучаются на огромных объемах текстов, доступных в Интернете, поэтому если вы захотите заставить ее отвечать на вопросы, например, исходя из ваших документов или электронных писем, то это максимально увеличит ее потенциал.
Заметим, что это не то же самое, что изначально настраивать LLM на собственных данных, специфичных для конкретной области, таких как медицинская диагностика или финансовые данные. В этом случае исходная модель опирается на свой предварительно натренированный опыт и поэтому может не дать наилучших ответов на ваши вопросы, которые сильно отличаются от того, что ей уже известно.
Однако для повседневного использования дополнение вполне подходит и может с большим процентом успеха работать с вашими личными данными, документами, являющимися собственностью вашей компании, а также с данными или статьями, которые были написаны после обучения LLM.
Собственно говоря, для таких специализированных случаев на этой же платформе недавно был выпущен специальный курс по тонкой настройке LLM.
LangChain — это библиотека, абстрагирующая детали конкретных LLM-провайдеров, так что с помощью одной библиотеки мы можем общаться с различными LLM, такими как, например, OpeanAI или Hugginface.
На протяжении всего курса видеоуроки сопровождаются Jupyter-блокнотом, содержащим соответствующий Python-код, с которым можно работать в реальном времени.
Из курса вы узнаете о:
- Загрузке документов: Изучите основы загрузки данных и узнайте о более чем 80 уникальных загрузчиках, которые предоставляет LangChain для доступа к различным источникам данных, включая аудио и видео.
- Разделении документов: Откройте для себя лучшие практики и соображения по разделению данных.
- Векторных хранилищах и вкрапления: Погрузитесь в концепцию вкраплений и изучите интеграцию векторных хранилищ в LangChain.
- Извлечении данных: Ознакомьтесь с передовыми методами доступа и индексирования данных в векторном хранилище, что позволит вам извлекать наиболее релевантную информацию из семантических запросов.
- Ответах на вопросы: Построение однопроходного решения для ответа на вопросы.
- Чатах: Узнайте, как отслеживать и выбирать необходимую информацию из разговоров и источников данных, и создайте свой собственный чат-бот с использованием LangChain.
Всего курс займет примерно 1 час. Быстро, в точку и охватывает очень полезный случай использования LLM.