Apple запустила несколько новых специальных возможностей для iPhone, Apple Watch и Mac, в том числе универсальный инструмент для живых субтитров, улучшенные режимы визуального и слухового обнаружения и доступ iOS к приложениям WatchOS. Новые возможности появятся «позже в этом году» по мере выпуска обновлений для различных платформ.
Наиболее широко используемым инструментом, вероятно, являются живые субтитры (live captioning), которые уже популяризированы такими инструментами, как Ava, которая на днях привлекла 10 миллионов долларов для расширения своего репертуара.
Инструмент Apple будет выполнять ту же функцию, что и Ava, по сути позволяя сопровождать любой разговорный контент, с которым сталкивается пользователь, текстовыми расшифровками в реальном времени, от видео и подкастов до FaceTime и других вызовов. В частности, FaceTime получит специальный интерфейс с прокручиваемой расшифровкой стенограммы для конкретного говорящего над окнами видео.
Субтитры можно будет активировать с помощью обычных настроек специальных возможностей, а также быстро включать и выключать или расширять или сжимать панель, на которой они отображаются. И все это происходит с использованием встроенного в устройство аппаратного ускорения машинного обучения, поэтому оно работает даже тогда, когда у пользователя нестабильная связь или вообще ее нет, а также не возникает вопросов о конфиденциальности.
Приложения Apple Watch получат улучшенную доступность по двум направлениям. Во-первых, добавлены некоторые новые жесты для людей, например, с ампутированными конечностями, у которых есть проблемы с тонким взаимодействием с крошечным экраном. Куча новых действий доступна с помощью жестов, таких как «двойное сжатие», позволяющих приостановить тренировку, сделать снимок, ответить на телефонный звонок и так далее.
Во-вторых, приложения WatchOS теперь можно отображать на экранах iPhone, где можно использовать другие инструменты доступности. Это также будет полезно для всех, кому нравятся конкретные варианты использования Apple Watch, но им трудно взаимодействовать с устройством.
Существующие вспомогательные инструменты «Лупа» и «Распознавание звука» также получили некоторые новые функции. Позже в этом году у лупы появится «режим обнаружения», который объединяет несколько инструментов описания в одном месте. Обнаружение людей в лупе уже позволяет пользователю узнать, находится ли прямо перед ним человек или что-то читаемое или поддающееся описанию: «человек, 5 футов впереди». Теперь также будет специальный режим «обнаружения дверей», который предоставляет подробную информацию об этих элементах зданий.
Режим двери, который, как и другие, может включаться автоматически или деактивироваться по желанию, позволяет пользователю узнать, видит ли камера телефона впереди дверь, как далеко она находится, открыта она или закрыта, а также любую соответствующую информацию, размещенную на ней. например, номер комнаты или адрес, закрыт ли магазин или открыт. Эти два режима обнаружения и описания изображений перейдут в новый унифицированный режим обнаружения, который появится в лупе позже.
Распознавание звука — полезная опция для людей с нарушениями слуха, которые хотят получать оповещения, когда, скажем, звонит дверной звонок или пищит духовка. Хотя ранее у этой функции была библиотека типов звуков, с которыми она работала, теперь пользователи могут обучать модель локально, чтобы улавливать шумы, характерные для их дома. Учитывая разнообразие будильников, пищалок и других звуков, с которыми мы все регулярно сталкиваемся, это должно быть весьма полезным.
И, наконец, продуманная функция для игр под названием Buddy Controller. Это позволяет двум контроллерам действовать как один, так что один человек может играть в игру с помощью второго, если ему будет сложно делать все самому. Учитывая сложность некоторых игр даже на мобильных устройствах, это может быть весьма полезно.
Есть ряд и других, более мелких обновлений, таких как настройка времени ожидания Siri перед ответом на вопрос (отлично подходит для людей, которые говорят медленно) и дополнительные параметры настройки текста в Apple Books. Вскоре VoiceOver появится на 20 новых языках и в разных странах. Точные сроки и доступности новых функций Apple объявит в будущем.