Новости
HUGS упрощают развертывание открытых ИИ-моделей
Hugging Face Generative AI Services (HUGS) — это оптимизированные микросервисы, не требующие конфигурации и предназначенные для упрощения и ускорения разработки ИИ-приложений на основе открытых моделей.
Компания Hugging Face совместно с Amazon, Google и другими компаниями запускает новое программное обеспечение с открытым исходным кодом, призванное снизить затраты на создание чат-ботов и других систем искусственного интеллекта.
Hugging Face Generative AI Services (HUGS) — это оптимизированные микросервисы, не требующие конфигурации и предназначенные для упрощения и ускорения разработки ИИ-приложений на основе открытых моделей. Построенные на основе технологий Hugging Face с открытым исходным кодом, таких как Text Generation Inference или Transformers, HUGS представляют собой лучшее решение для эффективного создания генеративных ИИ-приложений и оптимизированы для различных аппаратных ускорителей, включая NVIDIA GPU, AMD GPU, AWS Inferentia (скоро) и Google TPU (скоро).
Основные возможности HUGS:
- Автоматическая настройка без вмешательства пользователя, подстраивающаяся под оборудование.
- Оптимизация для различных ускорителей.
- Совместимость с популярными открытыми моделями, такими как LLM (большие языковые модели), мультимодальные модели и модели для создания эмбеддингов — Llama, Gemma, Mistral, Mixtral, Qwen.
- Легкая интеграция через стандартизированные API, совместимые с OpenAI API.
- Возможность размещения на собственных серверах для повышения безопасности и контроля над данными.
- Соответствие требованиям корпоративного уровня для снижения рисков.
Зачем нужны HUGS? Многие компании испытывают сложности с инфраструктурой для работы с открытыми моделями, в том числе по части производительности и соблюдения правил безопасности. HUGS решает эти проблемы, упрощая переход с закрытых моделей к открытым, что делает процесс разработки более гибким и управляемым.
С помощью HUGS можно легко развернуть свои ИИ-приложения с открытыми моделями, без необходимости вносить изменения в код.
Чтобы начать пользоваться HUGS, у вас есть несколько вариантов. Вы можете получить доступ к HUGS в рамках подписки Hugging Face Enterprise через маркетплейсы поставщиков облачных услуг. В настоящее время вы можете найти HUGS на Amazon Web Services (AWS) и Google Cloud Platform (GCP), а вскоре и на Microsoft Azure. HUGS также доступен внутри DigitalOcean GPU Droplet.
