Как мы делали новую iOS-камеру ВКонтакте и VK Клипов

Никита опишет камеру ВКонтакте с продуктовой точки зрения до прихода команды VK Клипов. Он расскажет, какой API предоставляет Apple для взаимодействия с системной камерой (фреймворк AVFoundation) и какая обертка была написана поверх этого API. Затем он опишет то, чего не хватало клипам — умения распознавать на кадрах жесты и лица и сегментировать людей и небо. Он объяснит построение флоу фильтров для кадров с камеры и поделится техниками использования моделей CoreML для распознавания.

Вы услышите про способы решения проблем с перфомансом, про то, как менять fps для камеры, и про кастомные форматы. В докладе также описывается польза EXIF-формата и устройство Camera FOV.

Спикер расскажет про замеры работы ML-моделей и Apple ARKit-распознавания и объяснит, зачем имплементировать AR Session. Он покажет их решение проблемы совместной работы AR и AV-сессий и их архитектурную реализацию новой камеры.

Доклад будет полезен всем, кто хочет реализовать более умную камеру, чем классическая (на старт/стоп съемки), а также тем, кто ни разу не собирал свою камеру в iOS.

Технологии: AVFoundation, ARKit, CoreML, Swift.