Alif & Sofia от Live Animations — AR для детской книги, которая учит правильно молиться

Всем привет! 

Я Андрей Тимошенко, создатель и владелец компании Live Animations. Мы создаем контент и маркетинговые решения используя технологию дополненной реальности. Я хочу рассказать как наша команда создавала один из самых необычных проектов за наши 5 лет на этом рынке — Alif and Sofia. Мы создали AR-контент для детских книг, которые рассказывают мусульманским детям как правильно совершать обряд молитвы. Ниже вы узнаете о том, как нам вообще пришло на ум создать нечто столь неформатное и что делает этот проект особенным для нашей IT студии.

Идея

Сама идея книг с дополненной реальностью, конечно же, не нова. Этот подход стал популярным еще со времен когда AR только входило в нашу жизнь и с тех пор вполне успешно используется с пользой для целевой аудитории, которая преимущественно состоит из детей. Ведь AR контент — это именно то, что может превратить чтение в интерактивное приключение, что положительно влияет и на увлеченность читателей и на восприятие контента. Другое дело, что столь традиционные темы, как религия всегда очень неохотно переходят на новые способы подачи информации. Ислам особенно, как одна из самых консервативных религий, аккуратно относится к инновациям и технологиям в детском культурном образовании.

Тем неожиданнее для нас было осенью 2018 года получить новость от нашего офиса в Ньо Йорке, что пришел заказ от малазийской компании Big Bad Wolf на создание AR контента и мобильного приложения для детских книг про мальчика Алифа и девочку Софию, которые учат детей как правильно совершать исламский обряд молитвы. Хотя мы и создали уже на то время AR контент для более чем 15 книг, такая тематика была для нас совершенно новой и мы с удовольствием начали открывать неизведанное. Эти персонажи очень популярны среди детей в исламском мире, с ними уже были  иллюстрации, мультики, книги, но еще никогда они не “оживали” в AR. C одной стороны, это существенно облегчило работу нашим дизайнерам, ведь персонажи уже были готовы, не нужно было ничего придумывать. Но с другой стороны, наши AR персонажи должны были быть точь-в-точь как и предписано заказчиком, не отклоняясь от уже узнаваемого стиля ни на йоту. Поэтому, забегая наперед, скажу, что правок во внешний вид и анимации Алифа и Софии мы вносили огромное количество.

Учитывая тематику проекта, его главной целью было сделать обучение детей, которые живут в странах юго-восточной Азии традициям и обрядам Ислама, интереснее и более вовлекающим с помощью технлогии AR. Традиционные книги, даже если в них есть красочные картинки, уже не всегда могут захватить внимание детей, особенно когда речь идет о столь “приевшейся” и традиционной теме, как культурные традиции, которые в Исламе не меняются уже не одну тысячу лет. Наш заказчик хотел, добавив в книги AR, сделать их не просто очередными детскими книгами про обычаи Ислама, а интерактивной медиа историей с музыкой, песнями, и танцами. Между прочим, до начала работы над этим проектом, мы не знали, что в Индонезии живет больше всего мусульман, в сравнении с другими странам. Интересно и то, что это был первый проект подобного рода в мусульманском мире, а поэтому начинать работу было вдвое интереснее: мы хотели посмотреть как AR ляжет на столь консервативную тематику и результат превзошел все наши ожидания, как с точки зрения соответствия контента, так и с точки зрения популярности у целевой аудитории.

Как работает проект

Всего проект включает в себя набор AR анимаций (по 12 для каждой книги) и мобильное приложение для iOS и Android для воспроизведения этих анимаций. Уже имея успешный опыт создания мобильных приложений для детских книг, мы создали создали приложение по уже отработанному шаблону, добавив только уникальный дизайн в стилистике этих книг. Набор функций приложения при этом дает пользователю возможность использовать AR контент на максимум:

  • приложение может распознавать маркеры в виде рисунков на страницах для запуска соответствующих AR анимаций;
  • воспроизводить AR контент в 3D с привязкой к книжным страницам (или просто закрепив сцену на экране телефона); 
  • может делать снимки и запись экрана чтобы делиться ими в соцсетях

Помимо этого, приложение дает возможность взаимодействовать с AR контентом. 

Например, в AR анимации на последней странице, после того, как дети успешно пройдут все этапы обучения, их ждет интерактивная раскраска: нужно сначала раскрасить то, что они видят на экране, а потом вся сцена оживает именно в тех цветах, которые выбрал маленький читатель. Весь AR контент хранится на сервере и предоставляется по запросу приложения, поэтому пользователю не нужно загружать объемное приложение с маркетплейса. Мы также максимально упростили интерфейс мобильного приложения и сделали его максимально доступным для целевой аудитории. Приложение открывает камеру по нажатию одной кнопки на главном экране и сразу готово к распознаванию страниц и воспроизведению AR контента.

Установив и запустив приложение, пользователю лишь нужно запустить камеру, открыть книгу и навести на страничный разворот, чтобы увидеть AR контент — все максимально просто и понятно.

Анимации можно смотреть прямо на книжных страницах, разглядывая их со всех сторон или можно прикрепить AR сцену к центру экрана смартфона для удобства.

Посмотрев все 12 анимаций, которые проводят ребенка step by step через процесс совершения молитвы, на последней странице мы придумали такое себе интерактивное AR вознаграждение для них: раскраску где дети сами выбирают цвета для сцены, после чего Алиф и София исполняют популярную детскую песенку.

Реализация

Создать 12 AR анимаций для каждой из двух книг (пусть некоторые из анимаций были одинаковые для всех персонажей) и собрать это все в приложение — это задача, которая требует значительных ресурсов и большой команды. По сути, моделлинговая и аниматорская работа шла не над 2 персонажами (мальчик Алиф и девочка София), а над четырьмя: модель Софии есть как в обычной одежде девочки, так и в традиционной парандже; ну а Алиф есть, то в шапочке и босиком, то без шапочки и в кроссовках.

Всего в проекте было задействована команда из одного текстурщика, пяти моделлеров, семи аниматоров и пяти девелоперов. Надо сказать, что наши моделлеры вообще специалисты довольно универсальные — они часто помогали текстурировать персонажей и объекты. Я считаю, что в хорошей команде всегда должны быть такие универсальные солдаты.

Что до девелоперов, один из них занимался редизайном и адаптацией приложения конкретно под этот проект и сборкой UX/UI, один был ответственный за публикацию в сторах, двое работали на спецэффектами и один работал над компасом в приложении. Компас, кстати, это вообще уникальная штука, над которой мы сильно попотели. Известно, что все мусульмане во время молитвы должны смотреть в сторону Каабы расположенной в Мекке. Изначально мы хотели внедрить компас в трехмерное пространство, прямо в AR контент, который воспроизводится при наведении на иллюстрацию. 

Такая идея как AR компас была совершенно новой для девелоперов и чтобы реализовать ее, отдельный человек отвечал за сложные вычисления сферических координат, широты, долготы, и просчитывал различные сценарии геолокаций (даже виртуально переносился в Японию!). Несмотря на все усилия, после нескольких тестов мы все равно не смогли сделать так, чтобы все девайсы показывали строго в одном направлении которые находясь рядом друг с другом показывали стрелки этого компаса смотрящими в разных направлениях. Смирившись с этим, мы честно признались заказчику, что лучше всего будет просто внедрить компас в UI приложения, для наиболее точных показаний. Теперь, после заглавной AR анимации, появляется компас, которому можно верить и смело начинать молитву.

Работа над проектом началась в ноябре 2018 года и, так как все специалисты, которые работали над проектом находятся у нас в штате, за время работы над проектом состав команды не менялся. Единственным, что мы дали на аутсорс была озвучка персонажей. Так как мы уже давно набили руку в проектах с AR для книг, проект прошел через привычные нам стадии:

Техническая реализация

С технической точки зрения, мы используем движок Unity, с которым работаем уже довольно давно. Из-за того, что наш AR контент должен воспроизводиться без проблем на множестве девайсов всех ценовых категорий, Unity позволяет максимально оптимизировать контент, который наши аниматоры и моделлеры создают с помощью Maya и Maya3D. А для того, чтобы вывести весь этот контент мы используем Vuforia в качестве надстройки. Мы уже давно специализируемся на разработке AR с помощью этих инструментов: с 2014 года мы создали уже 25 проектов используя эти инструменты.

Конечно же, помимо разработки и оптимизации контента, необходимо создать работающее мобильное приложение, которое будет всю эту красоту воспроизводить создавая привлекательный user experience. Над последним мы, кстати, заморачиваемся особенно сильно, ведь без него не получить высокий рейтинг на сторах, а это очень важный показатель качества для нас. Именно поэтому приложение Alif and Sofia было написано нашими программистами с нуля на C#+Mono, используя почти 500 оригинальных скриптов. В итоге, программисты потратили больше трех недель на то, чтобы создать стилизованное приложение и еще неделю, чтобы разместить все анимации, спецэффекты и так далее.

Как и в любом нашем проекте, качество здесь являлось топ-приоритетом. Технология создания окружения для персонажей была полностью ручной. Используя только цвет и карту высот, все текстуры были созданы вручную. В то время, когда автоматизированные процессы для отрисовки бликов и других эффектов так популярны, наши специалисты рисовали все сами, прямо в текстурах. По словам команды, которая работала над созданием контента, такой индивидуальный подход к проекту был во многом вызван тем, насколько приятно было делать этот проект из-за симпатичных персонажей (особенно Алифа, который влюбил в себя всю команду) и необычности культурной составляющей.

Без сложностей, конечно же, не обошлось. Вдобавок к истории про компас, добавились сложности в работе с анимациями и огромное количество правок от заказчика, связанное с культурными нюансами проекта. Сначала расскажу про сложности анимирования. Внешний вид персонажей полностью подвязан под традиции ислама и если мальчик Алиф носит одну и ту же одежду во всех сценах меняя только головные уборы и обувь, то девочка София буквально проходит через метаморфозу: из современной девочки она превращается в девочку полностью закутанную в специальную паранджу. За такой наряд наши ребята прозвали ее “гусеничкой” и одного взгляда на ее модель в парандже достаточно чтобы понять почему.

С точки зрения 3D моделинга, полная паранджа является очень сложным техническим элементом, когда персонаж не просто стоит, а постоянно меняет позы: все изгибы и складки, то как они ложатся на тело, должны быть продуманы до мелочей чтобы избежать неестественной финальной картинки. Не удивительно, что на создание Софии команда 3D моделлеров проекта потратила в два раза больше времени, чем на создание Алифа. И хотя 3D модели обоих персонажей были предоставлены заказчиком, для того чтобы избежать компромиссов в качестве, пришлось заново создавать модели специально под этого проект.

Правки, которые приходили от заказчика были связаны не с плохим качеством работы, а с культурными деталями: правки по анимациям, по тому как должны двигаться и какие действия совершать персонажи. Столкнувшись с новой для них культурой, наши ребята не всегда могли с точностью воспроизвести все характерные движения требуемые исламскими обрядами. Например, при трехразовом омовении водой необходимо было сделать так, чтобы Алиф каждый раз набирал новую воду в ладошки, а не использовал ту, что осталась у него в ладошках. Этого мы не знали и поэтому пришлось переделать. Отполированный, со всеми правками, проект Alif and Sofia был передан заказчику в Апреле 2019, после пяти месяцев в работе.

Результаты и планы

Alif and Sofia стал одним из наших самых успешных проектов. В день презентации книжек на самой большой книжной выставке Азии Big Bad Wolf количество запросов на наши сервера (а AR контент хранится именно там) превысило 150 тысяч в час, в то время как сервера были рассчитаны на 300 тысяч запросов в день — сервера не выдержали и легли, но мы быстро уладили эту неполадку. Такой интерес убедил нас еще больше, что технологии могут заработать даже в такой консервативной сфере, как мусульманская культура.

Сейчас мы работаем над расширением проекта: книги перевыпускаются на малайском языке и мы добавляем малайский язык в приложение к уже существующему индонезийскому. Таким образом, мы готовим проект к выходу на новые рынки, адаптациям для других исламских стран и общему расширению аудитории. Также в планах добавление функционала ARKit и ARcore для распознавания поверхностей и воспроизведения AR контента на них.

Я думаю, что секрет популярности Alif and Sofia в том, что конечные пользователи получают качественный AR контент и приложение в дополнение к книге, таким образом улучшая свой опыт с книгой и добавляя фан к такой казалось бы стандартизированной вещи, как обряд молитвы. А для нашей команды это был отличный опыт не только по созданию крутого AR контента, но и по знакомству с новой культурой. 

Религия + дополненная реальность? Почему бы и нет!

Алиф и София — это популярные в исламском мире детские персонажи. Этой парочке посвящена не одна книга и не один мультсериал. Однако, зная нарочитую исламскую традиционность и недоверие ко всему новому, удивительно то, как инновационная технология дополненной реальности смогла органично вписаться в книгу об этих персонажах. Более того, не просто об этих персонажах, а о том, как они учат детей правильно соблюдать традиционные исламские обряды оживая прямо перед глазами с помощью дополненной реальности. Всего было создано 11 красочных анимаций в двух книгах: одной для мальчиком с главным героем Алифом и одной для девочек с главной героиней Софией.

В технологическом плане, такой специфический проект требует не только выдумки и креативности от команды разработчиков, но еще и умения работать с культурными особенностями. Внешний вид персонажей, например, полностью подвязан под традиции ислама и если мальчик Алиф носит одну и ту же одежду во всех сценах меняя только головные уборы и обувь, то девочка София буквально проходит через метаморфозу: из современной девочки она превращается в девочку полностью закутанную в специальную паранджу. За такой наряд создатели проекта прозвали Софию “гусеничкой” и одного взгляда на ее модель в парандже достаточно чтобы понять почему.

С точки зрения 3D моделинга, полная паранджа является очень сложным техническим элементом, когда персонаж не просто стоит, а постоянно меняет позы: все изгибы и складки, то как они ложатся на тело, должны быть продуманы до мелочей чтобы избежать неестественной финальной картинки. Не удивительно, что на создание Софии команда 3D моделлеров проекта потратила в два раза больше времени, чем на создание Алифа. И хотя 3D модели обоих персонажей были предоставлены заказчиком, для того чтобы избежать компромиссов в качестве, пришлось заново создавать модели специально под этого проект.

Конечно, в таком специфическом проекте не обошлось и без сложностей. Во-первых, это многочисленные правки по анимациям, по тому как должны двигаться и какие действия совершать персонажи. Столкнувшись с новой для них культурой, команда разработчиков не всегда могла с точностью воспроизвести все характерные движения требуемые исламскими обрядами. Например, при трехразовом омовении водой необходимо было сделать так, чтобы Алиф каждый раз набирал новую воду в ладошки, а не использовал ту, что осталась у него в ладошках.

А одним из самых интересных и сложных аспектов работы для девелоперов стала разработка и интеграция компаса, который указывает направление для молитвы. Известно, что все мусульмане во время молитвы должны смотреть в сторону Каабы расположенной в Мекке. Такая идея как компас в приложении была совершенно новой для девелоперов и чтобы реализовать функционал компаса, команда проделывала сложные вычисления сферических координат, широты, долготы, и просчитывала различные сценарии геолокаций (даже виртуально переносилась в Японию!). Разработчикам пришлось бороться с техническими особенностями современных смартфонов, которые находясь рядом друг с другом показывали стрелки этого компаса смотрящими в разных направлениях. В результате, команда отказалась от просчета компаса в трехмерном пространстве чтобы минимизировать возможные погрешности.

В итоге, получился удивительный проект на стыке традиций и инноваций, которому нет аналогов в мире. Именно пересечение инновационных технологий и богатых традиций выделяет Алифу и Софию среди подобных книг которые “оживают” в дополненной реальности. Команда, которая создала Алиф и София смогла объединить необъединимое и выдать результат через эксперименты и применение инноваций там, где их ожидаешь меньше всего.

И так во всем — качество здесь является топ-приоритетом. Технология создания окружения для персонажей была полностью ручной. Используя только цвет и карту высот, все текстуры были созданы вручную. Когда автоматизированные процессы для отрисовки бликов и других эффектов так популярны, создатели Алифа и Софии в дополненной реальности рисовали все сами, прямо в текстурах. Как отзывались сами создатели, такой индивидуальный подход к проекту был во многом вызван тем, насколько приятно было делать этот проект из-за симпатичных персонажей (особенно Алифа, который влюбил в себя всю команду) и необычности культурной составляющей. 

Комментарии

You must log in to post a comment