Connect with us

Разработка

SketchAR: новая эра рисования – история запуска на iOS

Решать то, что никем не решалось, сложно, но интересно. Главное, что мы четко знаем, как это применить в обычной жизни, где технологии развивают личность. Тем более, если речь идет о вечной и интересной теме — искусстве.

AppTractor

Опубликовано

/

     
     

Андрей Дробитько, основатель и CEO SketchAR поделился с нами историей разработки приложения и теми трудностями, которые пришлось преодолеть для того, чтобы сделать нас художниками.

Рады сообщить – SketchAR теперь доступен в AppStore. Это начало новой эры и вот почему…

SketchAR: начни рисовать с AR
SketchAR: начни рисовать с AR
Разработчик: От SketchAR
Цена: Бесплатно

SketchAR — это приложение, с помощью которого пользователь видит виртуальный рисунок на поверхности. В одной руке пользователь держит телефон и видит на экране виртуальный рисунок, а другой рукой обводит виртуальные линии эскиза уже на бумаге.

Полгода назад я рассказывал о том, как было придумано приложение, и какую волну публикаций подняла новость о выходе подобного продукта. “Game changer app”- так отзывались мировые СМИ и обычные пользователи в социальных сетях. “Правила игры” действительно меняются. Отныне, навык рисования становится доступен всем обладателям смартфонов.

Эти три месяца после вдохновляющей волны публикаций в десятках стран мы активно дорабатывали ядро технологии, чтобы виртуальный рисунок удерживался на поверхности и можно было  обрисовать его без помех.

Ниже описаны ряд проблем, с которыми столкнулись:

Метки

После первоначального исследования стало очевидно, что на рынке нет решений для корректного обнаружения рукописных меток. Доступные на рынке технологии “заточены” под заранее предустановленные метки. Массовый пользователь не будет ничего печатать, ему надо “здесь и сейчас”.

Также, проблема усугублялась тем, чтобы предусмотреть частичное и полное перекрытие меток рукой в процессе рисования.

Тесты выявили простой для воспроизведения и эффективный для детектирования вид меток…

Оптимальной меткой оказался Круг.

Выяснилось, что в понимании компьютерного зрения, квадрат — это круг, где углы сглаживаются и слабо влияют на качество обнаружения.

В первой версии SketchAR в качестве меток необходимо нарисовать карандашом пять кружков

Мы понимаем, что лучшая метка — это её отсутствие, но сегодня смартфоны слабо ориентируются в пространстве на относительно небольших расстояниях и камера должна ориентироваться по меткам, чтобы четко позиционировать и удерживать виртуальный объект на реальной плоскости. Существующие решения успешно расставляют мебель в комнате, но в формате стола и белого листа перед камерой эти алгоритмы не работают.

[highlight]Исключение – Lenovo Phab 2 Pro с Project Tango, который вышел в ноябре 2016-го года. Кратко скажу, что благодаря Project Tango смартфон научился сканировать пространство и сохранять в памяти 3D модель этого пространства. Нам это казалось подходящим решением, НО — это только один тип смартфонов. Не сомневаемся, что эта технология станет массовой. Вопрос времени…[/highlight]

Контуры

Итак, количество и вид меток найдены, далее мы выяснили какие метки могут перекрываться рукой или карандашом в процессе рисования. Критичными для удержания оказались нижняя и боковые метки. Одна из верхних меток может перекрываться в процессе без ущерба для качества удержания. По ряду причин совсем отказаться от одной из верхних меток мы тоже пока не можем.

Важной частью является инструмент, преобразовывающий пользовательских фото в контурные изображения, которые и будут обводить будущие Пикассо.

Честно говоря, на этот этап мы закладывали не больше недели. Оказалось, что тысячи приложений, превращающих фото в контурные “типа эскизы”, используют крайне слабый общедоступный алгоритм, качество которого совсем печальное. Наша задача стояла в том, чтобы превращать в качественные контуры самые невнятные фотографии. В итоге ушло около 3-х недель, чтобы доработать и настроить необходимый результат.

Правильные примеры

Набросок, выполненный по фото с помощью SketchAR

Первая Библиотека примеров состояла из крутых эскизов. При тестировании выяснилось, что разница между оригиналом и тем, что рисовал пользователь, получалась огромная. Это демотивировало и дальнейшее желание развиваться пропадало. Позже сформировали библиотеку из нейтральных эскизов, которые несложно воспроизвести. Даже если у пользователя получится обвести их получится криво, то работа не выглядит хуже, а просто смотрится “по-другому”.

Публикация в AppStore

Мы не новички, ведь за плечами 5 лет разработок технологии для издателей и “Приложение Года 2015” в App Store. Но никогда нельзя быть уверенным в том, что публикация пройдет гладко. Разработчики знают какой это стресс и боль – отправлять очередную сборку в App Store.

На этот раз оказалось еще хуже, чем раньше. Приложение завернули с формулировкой: “На видео-превью изображены iPhone и человек”, а это по правилам Apple не разрешается. Устройство из кадра убрали, хотя подразумевается, что пользователь держит телефон и смотрит в него, чтобы обрисовывать рисунок. Но запрет на показ человека завел эту ситуацию в абсурдно-маразматичный тупик.

Первая версия видео о SketchAR для App Store

Первый вопрос, который всплыл в головах: “Как показать процесс без рук?”. Ребята из Apple видимо не разобрались в принципе работы приложения и  подогнали требования под стандартные правила.

Вторая версия видео (скринкаста с телефона) для App Store о работе SketchAR

После второй попытки отказали по той же причине.

Конечно бывает, что роботы рисуют картины, но наше приложение для людей.

[highlight]Задача: как показать видео про приложение c дополненной реальностью, где создается рисунок с помощью рук, но руки показывать нельзя, а видео-скринкаст записать можно только с телефона? Правильные ответы присылайте на impossible@apple.com.[/highlight]

 

Пришлось подать апелляцию и описывать принцип взаимодействия человека с окружающей средой с помощью телефона.

Одобрили!

Сверху скрины SketchAR. Снизу примеры приложений с главной App Store, которые мы привели в апелляции как показатель их предвзятости.

SketchAR and Project Tango

Проект Tango от Google казался подходящим решением. Быстро заказали пару смартфонов Lenovo Phab 2 Pro в момент анонса продаж в США и провели первые тесты. Результаты оказались хорошие, но дальше начались проблемы.

Тест привязки виртуального рисунка на стену с помощью приложения SketchAR

SDK Tango Project оказался простым, но в формате нашего приложения применим не полностью.

Ряд противоречий, которые пришлось решить:

  • Рука в кадре сбивала датчики и рисунок просто уезжал из кадра. Необходимо было отдельно адаптировать алгоритм для определения рук и не учитывать их при удержании виртуального рисунка.
  • Tango программно запрещает использовать главную камеру и блокирует её во время работы. Мы обошли ограничение переменно включая датчики Танго и основную камеру. Сделали это из-за того, что Танго плохо отрабатывает и удерживает виртуальный объекты на близких расстояниях.
  • Горизонтальное положение смартфона-обязательное условие в Tango. И тут насильно обошли и заставили стандартные SDK Tango работать в вертикальном положении смартфона, необходимом для нас.

Но вместе с противоречиями и проблемами открылись возможности применить SketchAR на больших поверхностях, к примеру, для рисования на стене.

Решать то, что никем не решалось, сложно, но интересно. Главное, что мы четко знаем, как это применить в обычной жизни, где технологии развивают личность. Тем более, если речь идет о вечной и интересной теме — искусстве.

Всем конфет!

AppTractor
Комментарии Facebook
Продолжить чтение
Click to comment

You must be logged in to post a comment Login

Leave a Reply

Обучение

Разработка iOS 11 приложений на Swift

Стэнфордский университет опубликовал новую версию курса по Swift в iTunes U.

Леонид Боголюбов

Опубликовано

/

В новом курсе учтены все изменения, сделанные в iOS 11 и новой версии Swift.

Темы:

  • Инструменты и API, которые понадобятся для разработки приложений для iPhone и iPad/
  • Пользовательский интерфейс.
  • MVC-парадигма.
  • Анимации.
  • Многопоточность.
  • Работа с сетью.

Курс бесплатен и доступен для прохождения на iPhone и iPad. Язык – английский.

 

Леонид Боголюбов
Комментарии Facebook
Продолжить чтение

Новости

Интересные материалы: 16.11

Лучшие материалы о разработке и маркетинге технологических продуктов.

Леонид Боголюбов

Опубликовано

/

Весь день мы собираем лучшие материалы о разработке и маркетинге технологий, стартапов, мобильных приложений и игр для iOS и Android из самых разных источников:

Леонид Боголюбов
Комментарии Facebook
Продолжить чтение

Разработка

Почему не надо патентовать идею мобильного приложения

Студия AppCraft рассказала нам, стоит ли патентовать идею мобильного приложения, а если нет, то как лучше подойти к развитию своего продукта.

AppCraft

Опубликовано

/

Автор:

Многие начинающие предприниматели, придумавшие бизнес идею в области мобильных приложений, первым делом ищут возможности получить патент на изобретение. Замысел понятен – сразу после старта любой желающим может обойти на повороте, воспользовавшись новым видением и потенциалом.

В этой статье мы тезисно перечислим причины этого не делать.

Что такое патент

Патент – это охранный документ, удостоверяющий исключительное право, авторство и приоритет изобретения, полезной модели либо промышленного образца. В случае с разработкой мобильного приложения, являющегося программным обеспечением, получить патент в России и Европе на алгоритмическую часть (непосредственно программу) не удастся: статья 52 европейской патентной конвенции прямо запрещает патентование программ для ЭВМ.

Поэтому в случае с мобильными приложениями, как правило, защищается не сам продукт, а общая идея функционирования сервиса, отражающая некоторую новизну подхода к решению той или иной задачи. Запатентовать код тоже можно, но только в некоторых юрисдикциях, например, в США или Южной Корее.

Это долго и дорого

Получение патента на мобильное приложение отнимает драгоценное время, которое на старте продукта лучше потратить на проверку гипотезы о работающей бизнес модели.

Вам не только нужно найти патентного поверенного, который может взяться за работу по описанию и оформлению вашей идеи, но и заплатить за его услуги, оплатить патентные взносы, переводчика и так далее.

Вы потратите минимум 50–100 тысяч рублей (если часть работы будете делать самостоятельно) и не меньше 3–4 месяцев, если делать все очень быстро.

После этого вы можете получить отказ на регистрацию от патентного бюро, потому что описание недостаточно детальное, не содержит инновационности, дублирует уже существующие патенты и т.д. Только 56% патентов регистрируется, соответственно, 44% – отклоняется.

При этом, по статистике, 97% (!) патентов генерируют прибыли меньше, чем стоимость их оформления.

Вы патентуете не то, что нужно

Практически всегда желание защитить бизнес возникает на стадии первой идеи. Как только прошло достаточно времени на обдумывание плана, сразу возникает мысль о защите еще будущего предприятия. Желание понятно, однако идея и ее реализация – всегда разные вещи.

Пол Грэм, один из известнейших предпринимателей в IT и основатель Y Combinator, говорит, что по его опыту от 70 до 100% проектов имеют разные ключевые идеи на старте и через 3 месяца операционной работы.

Так происходит из-за того, что бизнес – это решение реальных проблем. Он развивается и растет в синергии с потребностями людей, которые:

  1. вам досконально неизвестны на стадии идеи;
  2. меняются со временем;
  3. решаются так, как хочется им, а не вам.

Как только вы начнете запускать идею, с вероятностью близкой к 100% вам придется если не полностью изменить вашу задумку, то значительно ее переработать. Зачем в этом случае патентовать в самом начале то, от чего в последствие вы сами откажетесь?

Забывается главное

А главное – это скорость проверки гипотез о работающих моделях, сбор фидбека с потенциальных клиентов и реализация MVP. Любой, кто работает на этом же рынке и справляется с этим лучше, опередит вас, несмотря на наличие патента. Потому что, во-первых, он понимает рынок лучше, а во-вторых, открытая им более эффективная модель наверняка не будет совпадать с вашим патентом.

Фокусируясь на защите идеи, вы сразу же отстаете в скорости ее развития и реализации.

Патент – не единственный способ защититься

Если патент – неэффективный способ защиты бизнеса в самом его начале, то это вовсе не означает, что не нужно принимать вообще никаких оборонительных мер. В силу простоты и дешевизны можно использовать такие способы:

  • Купите домен с именем продукта. Хорошее имя дает сильный эффект, а при решении любых споров покупка вашего домена в более ранний срок, чем оформление торговой марки конкурента, решает многие вопросы.
  • Создайте группы в социальных сетях с названием проекта. Как и в случае с доменом, хорошие названия имеют и хорошие поисковые позиции, и неплохо запоминаются, и становятся недоступны конкурентам.
  • Зарегистрируйте торговую марку. Это не быстро в некоторых юрисдикциях (например, в России), но во многих странах осуществляется в течение нескольких дней и с минимальными затратами.

Итого

Патентовать изобретения важно и нужно, но это совершенно не то, что стоит делать первым делом, когда вы занимаетесь стартапом. Многие компании стали заниматься защитой интеллектуальной собственности только после того, как начали генерировать прибыль.

В самом начале стоит полностью сфокусироваться на самой идее продукта, ее проверке, продумывании виральности и создании MVP, находясь при этом на постоянной, максимально близкой связи с вашими будущими клиентами.

AppCraft
Комментарии Facebook
Продолжить чтение

Календарь

ноябрь

16ноя - 18Весь деньVIII Всероссийский форум молодых лидеров YouLead

17ноя - 19Весь деньТИЛТЕХ МЕДХАК

18нояВесь деньDevFest Gorky 2017

24ноя - 26Весь деньWhat the hack?!

25нояВесь деньLadies Code: время технологий

25нояВесь деньSmart Taler 2017

30нояВесь деньSmart Cars & Roads 2017

декабрь

5дек18:30- 22:00Яндекс изнутри: глазами iOS-разработчика

8дек - 9Весь деньКубок СTF России

9дек - 10Весь деньGames Gathering 2017

9декВесь деньЛекционный день по игровой индустрии

Наша рассылка

Каждому подписавшемуся - "1 час на UI аудит": бесплатный ускоренный курс для разработчиков веб и мобильных приложений!

Нажимая на кнопку "Подписаться" вы даете согласие на обработку персональных данных.

Наш Facebook

Популярное

X

Спасибо!

Теперь редакторы в курсе.