RealityKit Object Capture — это функция, представленная в Xcode 13, которая позволяет создавать 3D-объекты из фотографий с помощью процесса, называемого фотограмметрией. Хотя RealityKit в основном предназначен для розничных продавцов, он невероятно прост в использовании для всего, что вам может понадобиться, например, для получения 3D-моделей случайных вещей из вашего дома.
Чтобы использовать Object Capture, вы нужно:
- Использовать macOS 12 (эта функция недоступна в iOS)
- Предоставить фотографии объекта, который хотите запечатлеть
Сфотографировать объект несложно, хотя вам, возможно, придется настроить окружающую среду, чтобы получить лучшие результаты. Идея состоит в том, чтобы поместить ваш объект в хорошо освещенное место и постоянно делать снимки, когда вы обходите вокргу него. Вы также можете сфотографировать нижнюю часть объекта, если хотите, чтобы она появилась в модели. Вы можете сделать это, сфотографировав перевернутый объект в той же среде.
Для работы функции захвата объектов не нужно указывать какой-либо конкретный порядок или имя для ваших снимков, и нет минимального количества снимков, которые вам нужно сделать, хотя чем больше вы сделаете, тем лучше будут результаты. Я обнаружил, что примерно 30 изображений уже дают хороший результат. Довольно легко!
Создание CLI-приложения для фотограмметрии с RealityKit Object Capture
Чтобы использовать Object Capture, начните с создания нового приложения командной строки в Xcode и добавьте новый класс с именем Session:
Object Capture работает через создание объекта PhotogrammetrySession, конфигурируя его, передавая папку, содержащую наши изображения, и ожидая результата. Результат поступает асинхронно через Combine, поэтому обязательно создайте объект подписчика, как в сниппете.
В методе run() создайте PhotogrammetrySession с конфигурацией по умолчанию:
let configuration = PhotogrammetrySession.Configuration() let session = try PhotogrammetrySession( input: inputFolder, configuration: configuration )
Можно доработать сессию под полученную модель, как я покажу позже. А пока воспользуемся настройками по умолчанию.
Теперь в сеансе мы должны создать запустить изготовление модели по нашим фотографиям:
let request = PhotogrammetrySession.Request.modelFile(url: outputFile)
Чтобы получить его результаты, мы должны наблюдать за ходом выполнения запроса и дождаться завершения. Как упоминалось ранее, этот процесс выполняется асинхронно с Combine, поэтому мы должны прикрепить подписчика к свойству output сессии.
Кроме того, поскольку это приложение CLI, нам нужно убедиться, что приложение остается активным, пока модель создается. Для простоты я решил присоединить к операции семафор:
Как видите, можно наблюдать за многими аспектами процесса. В данном случае меня интересует только реальный прогресс.
Перед запуском приложения отредактируйте файл main.swift, чтобы вызвать метод run():
try! Session().run()
Процесс начинается через некоторое время и может занять несколько минут, поэтому не беспокойтесь, если вы получите несколько сообщений от print, но прогресса не будет. Подождите немного и все получится!
Настройка PhotogrammetrySessions
Для точной настройки результатов можно настроить два аспекта захвата объектов. Первый — это качество вывода, которым вы можете управлять, чтобы определить количество полигонов в окончательной модели:
let request = PhotogrammetrySession.Request.modelFile( url: outputFile, detail: .preview )
Этот параметр варьируется от более низкого качества preview до высокого качества full. Попробуйте поиграть с настройками более низкого качества, прежде чем пытаться создать более качественную модель.
Второй аспект, который можно настроить — это входные данные:
var configuration = PhotogrammetrySession.Configuration() configuration.sampleOverlap = .low configuration.sampleOrdering = .unordered configuration.featureSensitivity = .high
Структура позволяет вам предоставить больше информации о ваших фотографиях, что может привести к созданию лучшей модели.
- sampleOverlap позволяет описать степень перекрытия между каждой фотографией
- sampleOrdering позволяет указать, упорядочены ли ваши фотографии (что ускорит процесс)
- featureSensitivity указывает, насколько сильно RealityKit должен обрабатывать особенности вашего объекта (используйте в тех случаях, когда объект не имеет много различимых структур, краев или текстур).