Apple опубликовала FastVLM — визуальный энкодер, которая позволяет улучшить работу с большими мультимодальными языковыми моделями.
Visual Language Model (VLM) — это модель искусственного интеллекта, которая сочетает в себе обработку изображений (визуальных данных) и текста (языковых данных). Такие модели умеют одновременно анализировать и понимать как картинки, так и текст, что позволяет им выполнять мультиформатные задачи.
VLM использует два типа нейросетей:
- Визуальный энкодер — преобразует изображение в векторное представление.
- Языковая модель — обрабатывает текст и встраивает его в общий векторный контекст вместе с визуальными данными.
FastVLM как раз является новым визуальным энкодером, разработанным для вывода меньшего количества токенов и значительного сокращения времени энкодинга изображений высокого разрешения.
Модель доступна в конфигурациях с параметрами 0,5B, 1,5B и 3B.
Apple также предоставила демонстрационное приложение для запуска модели на устройствах Apple и распознавания изображения.
FastVLM на GitHub: https://github.com/apple/ml-fastvlm Платформа: iOS ⭐️: 1.9K