Mistral запустил новый API для модерации контента

ИИ-стартап Mistral запустил новый API для модерации контента.

По словам представителей Mistral, API — это тот же самый API, который обеспечивает модерацию в платформе чатботов Le Chat компании Mistral — может быть адаптирован к конкретным приложениям и стандартам безопасности. Он работает на основе дотюненой модели (Ministral 8B), обученной классифицировать текст на разных языках, включая английский, французский и немецкий, по одной из девяти категорий: сексуальная тематика, ненависть и дискриминация, насилие и угрозы, опасный и криминальный контент, самоповреждение, здоровье, финансы, закон и личная информация.

По словам Mistral, API для модерации может применяться как к необработанному, так и к разговорному тексту.

«В последние несколько месяцев мы наблюдаем растущий энтузиазм в индустрии и исследовательском сообществе в отношении новых систем модерации на основе искусственного интеллекта, которые могут помочь сделать модерацию более масштабируемой и надежной в различных приложениях», — пишет Mistral в своем блоге. «Наш классификатор модерации контента использует наиболее значимые категории политик для создания эффективных ограждений и внедряет прагматичный подход к безопасности модели путем устранения вреда, наносимого моделью».

Системы модерации на основе искусственного интеллекта полезны в теории. Но они также подвержены тем же предубеждениям и техническим недостаткам, что и другие ИИ-системы.

Например, некоторые модели, обученные определять токсичность, считают непропорционально «токсичными» фразы на афроамериканском разговорном английском (AAVE) — неформальной грамматике, используемой некоторыми чернокожими американцами. Исследования показали, что сообщения в социальных сетях о людях с ограниченными возможностями также часто отмечаются как более негативные или токсичные общепринятыми моделями определения настроений в обществе и токсичности.

Mistral утверждает, что ее модель модерации очень точна, но при этом признает, что она находится в процессе разработки. Примечательно, что компания не стала сравнивать производительность своего API с другими популярными API для модерации, такими как Perspective API от Jigsaw и API для модерации от OpenAI.

«Мы работаем с нашими клиентами над созданием и распространением масштабируемого, легкого и настраиваемого инструментария для модерации», — заявили в компании, — „и будем продолжать взаимодействовать с исследовательским сообществом, чтобы внести свой вклад в развитие безопасности в более широкой области“.

Сегодня Mistral также анонсировала пакетный API. По словам компании, она может снизить стоимость моделей, обслуживаемых через ее API, на 25 % за счет асинхронной обработки большого количества запросов.