HUGS упрощают развертывание открытых ИИ-моделей

Компания Hugging Face совместно с Amazon, Google и другими компаниями запускает новое программное обеспечение с открытым исходным кодом, призванное снизить затраты на создание чат-ботов и других систем искусственного интеллекта.

Hugging Face Generative AI Services (HUGS) — это оптимизированные микросервисы, не требующие конфигурации и предназначенные для упрощения и ускорения разработки ИИ-приложений на основе открытых моделей. Построенные на основе технологий Hugging Face с открытым исходным кодом, таких как Text Generation Inference или Transformers, HUGS представляют собой лучшее решение для эффективного создания генеративных ИИ-приложений и оптимизированы для различных аппаратных ускорителей, включая NVIDIA GPU, AMD GPU, AWS Inferentia (скоро) и Google TPU (скоро).

Основные возможности HUGS:

• Автоматическая настройка без вмешательства пользователя, подстраивающаяся под оборудование.
• Оптимизация для различных ускорителей.
• Совместимость с популярными открытыми моделями, такими как LLM (большие языковые модели), мультимодальные модели и модели для создания эмбеддингов — Llama, Gemma, Mistral, Mixtral, Qwen.
• Легкая интеграция через стандартизированные API, совместимые с OpenAI API.
• Возможность размещения на собственных серверах для повышения безопасности и контроля над данными.
• Соответствие требованиям корпоративного уровня для снижения рисков.

Зачем нужны HUGS? Многие компании испытывают сложности с инфраструктурой для работы с открытыми моделями, в том числе по части производительности и соблюдения правил безопасности. HUGS решает эти проблемы, упрощая переход с закрытых моделей к открытым, что делает процесс разработки более гибким и управляемым.

С помощью HUGS можно легко развернуть свои ИИ-приложения с открытыми моделями, без необходимости вносить изменения в код.

Чтобы начать пользоваться HUGS, у вас есть несколько вариантов. Вы можете получить доступ к HUGS в рамках подписки Hugging Face Enterprise через маркетплейсы поставщиков облачных услуг. В настоящее время вы можете найти HUGS на Amazon Web Services (AWS) и Google Cloud Platform (GCP), а вскоре и на Microsoft Azure. HUGS также доступен внутри DigitalOcean GPU Droplet.