API
Mistral запустил новый API для модерации контента
Он работает на основе дотюненой модели (Ministral 8B), обученной классифицировать текст на разных языках, включая английский, французский и немецкий, по одной из девяти категорий.
ИИ-стартап Mistral запустил новый API для модерации контента.
По словам представителей Mistral, API — это тот же самый API, который обеспечивает модерацию в платформе чатботов Le Chat компании Mistral — может быть адаптирован к конкретным приложениям и стандартам безопасности. Он работает на основе дотюненой модели (Ministral 8B), обученной классифицировать текст на разных языках, включая английский, французский и немецкий, по одной из девяти категорий: сексуальная тематика, ненависть и дискриминация, насилие и угрозы, опасный и криминальный контент, самоповреждение, здоровье, финансы, закон и личная информация.
По словам Mistral, API для модерации может применяться как к необработанному, так и к разговорному тексту.
«В последние несколько месяцев мы наблюдаем растущий энтузиазм в индустрии и исследовательском сообществе в отношении новых систем модерации на основе искусственного интеллекта, которые могут помочь сделать модерацию более масштабируемой и надежной в различных приложениях», — пишет Mistral в своем блоге. «Наш классификатор модерации контента использует наиболее значимые категории политик для создания эффективных ограждений и внедряет прагматичный подход к безопасности модели путем устранения вреда, наносимого моделью».
Системы модерации на основе искусственного интеллекта полезны в теории. Но они также подвержены тем же предубеждениям и техническим недостаткам, что и другие ИИ-системы.
Например, некоторые модели, обученные определять токсичность, считают непропорционально «токсичными» фразы на афроамериканском разговорном английском (AAVE) — неформальной грамматике, используемой некоторыми чернокожими американцами. Исследования показали, что сообщения в социальных сетях о людях с ограниченными возможностями также часто отмечаются как более негативные или токсичные общепринятыми моделями определения настроений в обществе и токсичности.
Mistral утверждает, что ее модель модерации очень точна, но при этом признает, что она находится в процессе разработки. Примечательно, что компания не стала сравнивать производительность своего API с другими популярными API для модерации, такими как Perspective API от Jigsaw и API для модерации от OpenAI.
«Мы работаем с нашими клиентами над созданием и распространением масштабируемого, легкого и настраиваемого инструментария для модерации», — заявили в компании, — „и будем продолжать взаимодействовать с исследовательским сообществом, чтобы внести свой вклад в развитие безопасности в более широкой области“.
Сегодня Mistral также анонсировала пакетный API. По словам компании, она может снизить стоимость моделей, обслуживаемых через ее API, на 25 % за счет асинхронной обработки большого количества запросов.
-
Интегрированные среды разработки2 недели назад
Лучшая работа с Android Studio: 5 советов
-
Новости4 недели назад
Видео и подкасты о мобильной разработке 2024.43
-
Новости3 недели назад
Видео и подкасты о мобильной разработке 2024.44
-
Исследования2 недели назад
Поможет ли новая архитектура React Native отобрать лидерство у Flutter в кроссплатформенной разработке?