Что такое ARKit? Дополненная реальность для каждого в iOS 11
Что такое ArKit? Недавно компания Apple объявила о создании AR-платформы в iOS 11. Для разработчиков уже доступен специальный набор инструментов для создания приложений с дополненной реальностью.
Apple уверена, что за дополненной реальностью будущее, и работа в этом направлении уже приносит первые плоды.
ArKit является собственной разработкой Apple и даст разработчикам специальный набор инструментов для создания приложений с дополненной реальностью.
Чтобы дополненная реальность работа, Apple использует процессор (в новых A11 Bionic под это выделена отдельная подсистема), встроенную камеру устройства и набор датчиков для анализа окружающего пространства.
ARKit будет работать на следующих устройствах (тех же самых, что поддерживают iOS 11):
- iPhone SE
- iPhone 6s
- iPhone 6s Plus
- iPhone 7
- iPhone 7 Plus
- iPhone 8
- iPhone 8 Plus
- iPhone X
- iPad Pro 9.7
- iPad Pro 10.5
- iPad Pro 12.7
Что может ARKit?
Декорирование пространства
Благодаря этому можно будет посмотреть на то, как будет выглядеть та или иная мебель в квартире, не обязательно ехать в IKEA.
Автомобили
Благодаря ARKit можно посмотреть, как будет выглядеть автомобиль в вашем дворе и даже выбрать ему цвет.
Меню в кафе/ресторанах с дополненной реальностью
Когда читаешь описание блюда в каком-нибудь кафе или ресторане, то не всегда получается визуализировать и понять как будет выглядеть блюдо. А тут достаешь смартфон и смотришь уже на готовое блюдо.
Навигация по супермаркету
Это просто идеально! Например, таким образом не заблудишься в большом супермаркете в поисках зубной щетки.
Линейка
В жизни бывают разные ситуации. Вот, например, нужно срочно надо что-то измерить с помощью линейки, а ее под рукой нет. ARKit может выручить в данной ситуации.
Игры
Само собой игры, куда без них. Это могут быть простые вещи вроде Pac-Man на кофейном столике или что-то более серьезное вроде мультиплеерных тактических сражений. Кроме того, ARKit позволит улучшить работу уже существующих AR-игр вроде Pokemon Go — покемоны будут не просто парить в воздухе на воне изображения с камеры, а адекватно перемещаться по поверхностям в поле зрения.
Вариантов развития дополненной реальность огромное количество, каждый может найти что-нибудь для себя. В последствии дополненная реальность может стать неотъемлемой частью нашей жизни.
Как работает инструмент Apple ARKit, дополненная реальность в айфоне или айпаде
Своё название инструмент Apple ARKit получил в соответствии с главной функцией — предоставить набор инструментов (Kit) разработчикам приложений, чтобы те могли задействовать дополненную реальность (AR). Технология Apple ARKit включена в iOS 11 — версию операционной системы для айфонов и айпадов, которая увидела свет в 2017 году.
Что такое ARKit? Главный успех
В отличие от прежних версий операционной системы, дополненная реальность в iOS 11 стала полноценным инструментом, доступным каждому разработчику. Так же как в 2008 году App Store унифицировал использование сенсорного дисплея, ARKit в 2017 году вывел на единый уровень возможности, связанные с дополненной реальностью.
Теперь разработчикам не нужно тратить уйму времени и сил, чтобы самостоятельно «учить» устройство на iOS анализировать окружающий мир и создавать AR в оперативной памяти.
Как создаётся дополненная реальность в iPhone и iPad
Вне зависимости от того планируется использовать созданное приложение для развлечения или для практических задач, инструментальные средства используются одни и те же:
- камеры устройства получают визуальное изображение;
- микрофон и некоторые другие датчики получают звук, считывают сведения о вибрациях и о других изменениях;
- процессор обрабатывает поступающую информацию и согласовывает её с командами, которые подаются из самого приложения.
Оснащённые набором инструментов AR iPhone и iPad теперь «умеют» самостоятельно обнаруживать горизонтальные и вертикальные поверхности, определять источники света и тени, различать голоса и лица и многое другое. Процессоры семейства A9 и более поздние модели в полной мере справятся с тем, чтобы задействовать поступающую информацию и создавать дополненную реальность.
Потенциал применения ARKit в приложениях и играх
Уже в 2017 году было создано несколько всевозможных демонстрационных программ, призванных раскрыть возможности нового инструментария. На сегодняшний день только основные примеры приложений включают в себя:
- свободную навигацию по картам и получение информации о мире;
- измерение расстояний и других показателей;
- трёхмерное рисование и моделирование;
- симуляторы езды, полёта, других процессов;
- развлекательные и игровые приложения, так или иначе основанные на взаимодействии с реальным миром.
Чем дальше, тем больше становится коммерческих, обучающих и игровых программ. Инструменты, созданные командой Apple, применяются разработчиками по всему миру.
возможности и примеры / Habr
Многие люди верят, что за дополненной реальностью — будущее. Если виртуальная реальность погружает вас в цифровой мир, то дополненная «вливается» в реальный мир, делает обыденность интереснее, что позволит в будущем крутить показывать вам рекламные баннеры на домах, на транспорте и других людях, так что вы вообще не сможете отличить настоящий рекламный щит от иллюзорного.Хирурги тренируют навыки с помощью операций на тренажёрах, чтобы не отправлять в расход пациентов. В нью-йоркском медколледже Weill Cornell есть специальная комната, оборудованная системой виртуальной реальности. В тех же целях может использоваться дополненная реальность: студенты смогут стоять у бюста и рассматривать, что находится внутри его черепа, как в видео с джунглями в гараже. Учитывая, что для неё не нужно специальное оборудование, часть студентов сможет тренироваться очень часто.
Пока подобных тренажёров среди разработанных примеров нет. Зато есть образцы, позволяющие показать Солнечную систему. Мне не хватало этого приложения, когда я дочери объяснял, почему день сменяется ночью, с помощью прижатого к источнику света жёлтого шара и маленького шарика.
Дополненная реальность позволяет разместить любые шедевры в любом месте. Мы, конечно, и там умеем пользоваться поисковиками, и увидеть плоские изображения для нас не проблема. Скульптуры были бы интереснее, так как дополненная реальность поможет разглядеть их со всех сторон. Игровая форма этого действия позволит просвещать как можно больше людей. Технологии ведь созданы, чтобы мы становились лучше?
Если вернуться к упоминанию медицины, то ещё в 2014 году Google Glass начали использовать для помощи людям с болезнью Паркинсона. Очки дополненной реальности напоминают о приёме лекарств, при необходимости «будят» пациента, отображают визуальные подсказки. Робот на экране мог бы стать подобным виртуальным помощником для детей или для взрослых.
На стыке развлечений и образования находятся работы Томаса Гарсии. Первым он представил проект по посадке лунного модуля на Луну. Позже он на заднем дворе своего дома посадил ступень Falcon 9 на морскую платформу в бассейне.
Смотрите видео со звуком.
«Страдаешь от одиночества? Устал работать самостоятельно? Ненавидишь принимать решения?
Собери совещание!» — народная мудрость. Коллегам теперь можно показать объёмные диаграммы, висящие прямо в воздухе в переговорной, превратив скучную встречу в высокотехнологичное совещание из будущего.
Помните, как лет 10-12 назад можно было убивать комаров в дополненной реальности на экране Nokia 3650? Теперь у нас есть то же самое, но на iPhone, и с 8-битными инопланетянами в стиле Space Invaders из далёких 1970-х.
А как насчёт поиграть в Dead House в собственной квартире — разве не чудесная идея?
Танки или крейсеры на полу квартиры будут смотреться крайне интересно.
После просмотра следующего видео на ум пришла идея спецпроекта для какой-нибудь марки автомобиля, машинного масла или шин: гонка на ближайшей дороге, где от пользователя требуется показать максимальное мастерство в дополненной реальности и загрузить видео.
В дополненной реальности порно тоже будет. И продажи подушек для обнимания ещё испытают потрясения, если всё сложится правильно.
Виртуальную реальность в порно уже используют, и в дополненной реальности оно будет. Производителям такого контента откроются огромные возможности, учитывая реалистичность. Рынок подушек для обнимания испытает потрясение, если всё сложится правильно. Или нет — политика Apple на тему эротического контента довольно строга.
Далее на видео — два человека, играющие в баскетбол: я раза три пересмотрел, пока понял, что их обоих нет в реальности. Затем — героиня Overwatch.
Google работает с дополненной реальностью долгие годы. У нас были очки Google Glass, которые до сих пор используют для исследовательских целей, и есть Project Tango, который поддерживает лишь несколько устройств. Для Tango нужны дополнительные датчики и совместимые процессоры, что на рынке Android, богатом на производителей, обеспечить сложно. С другой стороны, технология от Apple будет работать со всеми устройствами на iOS 11 и процессорами A9 и A10, то есть с iPhone 6S и выше и iPad 7-го поколения.
Количество устройств по сравнению с Tango получается огромным: по итогам 2016 года 34% всех активированных в США телефонов были сделаны Apple.
ARKit: обновление iOS дополнит нашу реальность
ARKit становится основным инструментом для создания приложений дополненной реальности (augmented reality — AR). Использование готового фреймворка облегчит труд разработчиков программ. Пока ARKit ещё находится на стадии разработки, но уже можно увидеть некоторые примеры использования.
Новые миры
Многие воспринимают AR как портал в другие миры. И разработчики уже демонстрируют примеры таких путешествий. Если ещё не видели, посмотрите, как выглядит «окно» в клип на хит Take On Me группы A-ha.
Или «портал» в Древний Египет:
Виртуальные питомцы
Вы сможете «отсканировать» своё домашнее животное и поместить его в дополненную реальность, чтобы не скучать в разлуке или создать нового виртуального друга.
Dogs aren’t allowed in the building, so I scanned Aeon and added her to the ARKit demo instead. pic.twitter.com/TVy7mVsIHJ
— Sam Williams (@stimply) 26 июля 2017 г.
My #wwdc lab was quiet, so I modified the ARKit sample code to place dogs randomly throughout the building pic.twitter.com/2arBY4F1Vj
— Nick Shearer (@nickjshearer) 8 июня 2017 г.
Карты
Вместо того чтобы вертеть телефон с открытой картой, пытаясь сориентироваться в пространстве, вы сможете видеть всю необходимую информацию прямо перед собой.
Изменение реальности
Практически магия: в дополненной реальности можно заставлять предметы исчезать, копировать их, перемещать. Или просто взять и закрасить всё, что вам не нравится.
Doodling with the new #ARKit @Apple @madewithunity #madewithunity #ar #socool
##iOS11 smashes it out of the park! pic.twitter.com/4K0N2wch5q— Brandon Sidebottom (@Brannydonowt) 8 июня 2017 г.
Игры
Дополненная реальность становится местом для всевозможных игр.
The Machines running on #ARKit powered by #UE4! https://t.co/xC4hum7dhk @EpicGames @UnrealEngine #ar #AugmentedReality @Apple pic.twitter.com/5rOpUIlDuA
— Directive Games (@DirectiveGames) 21 июля 2017 г.
Ремонт
Используйте AR для того, чтобы узнать физические характеристики объектов реального мира.
Или чтобы примерить расстановку новой мебели.
Been playing around with #ARKit lately and I’m really impressed with it! I built a little tool for laying out rooms 🛋 pic.twitter.com/oughpP2Oxk
— Asher Vollmer (@AsherVo) 21 июля 2017 г.
Работа
Деловые мероприятия станут намного интереснее. Показывайте в дополненной реальности макеты, графики и презентации.
Bar charts are so boring!!! #ARKit @thevrara #ios #iosdev #wwdc pic.twitter.com/jpG4VLGZ8n
— azamsharp (@azamsharp) 8 июня 2017 г.
Пока эти AR-приложения недоступны для массовой загрузки. Но некоторые примеры использования дополненной реальности уже можно попробовать.
Apple представили ARKit: программный пакет для создания приложений дополненной реальности
Говоря по-простому, AR (augmented reality, она же «дополненная реальность») – это когда на экране вашего смартфона или планшета в картинке с камеры в реальном времени добавляются виртуальные объекты или персонажи. Эта технология применяется в навигации, играх, научных исследованиях, дизайне и много еще где. Помните Pokemon Go? Это и есть одна из самых широко известных реализаций технологии AR.
Не путайте AR с VR (virtual reality – «виртуальной реальностью»). В VR вы оказываетесь полностью в виртуальном мире, и для этого вам требуется целый набор устройств – как минимум камеры, способные создавать 360-градусные панорамы, и шлемы вроде Samsung Gear VR или HTC Vive. В то же время для AR будет достаточно смартфона или планшета со встроенной камерой.
В чем заключается революция Apple?
Компания сделала самое сложное – создала платформу, которая даст колоссальный толчок разработчикам AR-приложений для App Store. ARKit станет частью платформы Apple Developer, с помощью которой создается абсолютное большинство приложений для iOS. Так же пару лет назад HealthKit (объединивший приложения для здоровья и медицины) и HomeKit (приложения «умного» дома) помогли разработчикам соответствующего софта. Обычный пользователь у себя в смартфоне ARKit не увидит, а вот AR-приложений из App Store у него наверняка появится гораздо больше.
Почему это важно?
Потому что число AR-приложений увеличится и ситуаций, когда AR-программа на нашем смартфоне или планшете окажется не игрушкой, а реальным помощником в делах, станет куда больше. Это вам не покемонов ловить.
Какие AR-приложения на базе ARKit будут доступны в ближайшее время
IKEA
Расставьте мебель по комнате еще до покупки
AR-приложение IKEA позволит экспериментировать с предметами из каталога и смотреть, как они впишутся в ваш интерьер: вы сможете помещать диваны, лампы, ковры и столы в вашу комнату, подносить смартфон ближе к обивке виртуального дивана, чтобы разглядеть ее в деталях, заглядывать под кровать, чтобы понять, достаточно ли там места для пары коробок.
The Very Hungry Caterpillar AR
Герои детских книжек в реальном мире
Современные родители знают, что с планшетом в руках ребенок спокоен и занят. Но вместе с тем он совсем не двигается и постепенно забывает, как выглядят привычные игрушки. «Очень голодная гусеница», придуманная американским писателем Эриком Карлом, в приложении The Very Hungry Caterpillar AR выходит за пределы книжных страниц в пространство вокруг маленького пользователя, и он может кормить гусеницу, укладывать ее спать, ожидая, пока та превратится в бабочку.
The Walking Dead: Our World
Стрелялки почти по-настоящему
Если из всех сериалов «Ходячие мертвецы» – ваш самый любимый, будьте готовы носиться по дому, паркам и улицам, убивая зомби из айфона. В The Walking Dead: Our World компании Next Games и AMC реалистично переносят зомби-апокалипсис в мир вокруг вас. И это, полагаем, лишь первый пример будущей адаптации популярных компьютерных игр для AR и VR.
Giphy World
Новый уровень коммуникации
Остроумными надписями, внедренными в фото, уже никого не удивишь – рисуйте поверх видео: создайте AR-слой в ваших видеороликах с помощью Giphy World, добавьте в него GIF-героев и отправьте результат по iMessage или опубликуйте ролик в Instagram.
Arise
Головоломки сложнее, чем раньше
Arise – это совершенно новый вид головоломок для iPhone и iPad в формате дополненной реальности. Угол обзора и ракурс – единственное, что вы можете контролировать, чтобы помочь вашему герою забраться на вершину острова и собрать артефакты. Куда интереснее, чем жать пальцем по сенсорному экрану.
Что дальше?
Все эти возможности будут реализованы в первую очередь на iOS, то есть на iPhone и iPad, ведь под них разработчикам будет проще создавать контент – в этом и есть главная идея Apple в плане отдачи от колоссальных вложений в ARKit. Ответный шаг со стороны Google уже последовал, хотя и двумя месяцами позже, – их платформа ARCore была представлена 29 августа и, возможно, станет широко доступна в конце 2017 – начале 2018 года. Пока же ARCore работает лишь на двух моделях Android-смартфонов.
Фото: архив пресс-службы
Часто проверяете почту? Пусть там будет что-то интересное от нас.
Наглядные примеры использования платформы дополненной реальности Apple ARKit
В июне Apple предоставила доступ к платформе ARKit, и уже начали появляться первые проекты, в которых на iPhone и iPad используется дополненная реальность.
Компания Laan Labs разрабаотала приложение AR Tape Measure, которое может использоваться в качестве виртуальной линейки. В отличие от более ранних аналогов, оно измеряет длину с небольшой погрешностью.
Разработчик Томас Гарсиа опубликовал видео, демонстрирующее эксперимент, которым воссоздал посадку второй ступени ракеты Falcon 9 на плавучую баржу в бассейне.
Разработчик Мэттью Холлберг Minecraft создал с помощью ARKit и движка Unity порт Minecraft. Игра позволяет игроку взаимодействовать с окружающим миром, передвигать объекты и конструировать различные объекты.
Виртуальная версия робота BB-8 из фильма «Звёздные войны: Пробуждение силы». Робот передвигается по комнате, отбрасывая тень на пол и стены.
Сгенерированный компьютером трёхмерный предмет остаётся на месте, несмотря на передвижения пользователя.
Марк Доуснон создал приложение, позволяющее создавать трёхмерные рисунки в пространстве.
Он же воссоздал виртуальную комнату Винсента Ван Гога.
Компания Econsor Mobile показала, как с помощью ARKit можно воссоздать виртуальный дом и предметы интерьера.
Уменьшенная копия Луны на кухне.
Самолёт, припаркованный во дворе дома.
Морской бой с уменьшенными виртуальными копиями кораблей.
Парковка нарисованного автомобиля среди настоящих.
Миниатюрный космический корабль в квартире.
Жилище превращается в место действия игры Overwatch.
Смартфоном можно разрезать дверь и посмотреть, что находится за ней:
Множество виртуальных объектов в комнате.
Трёхмерная модель существа, которую можно осмотреть со всех сторон.
Танцующий в такn музыке персонаж.
Добавление детализированных 3D-объектов к предметам реального мира и взаимодействие с ними.
Виртуальные модели подстраиваются под падающий на них свет.
ARKit поддерживается устройствами Apple с процессорами A9 и A10 (смартфоны, которые вышли после iPhone SE и новые модели планшетов iPad). Для использования этой технологии требуется iOS 11. С помощью ARKit камера устройства распознаёт окружающие пользователя предметы и позволяет взаимодействовать с ними.
Apple представляет новые передовые технологии для разработки приложений
Xcode 11 помогает воплощать SwiftUI в жизнь
Новый инструмент дизайна интерфейсов, встроенный в Xcode 11, помогает разработчикам быстро собирать воедино интерфейсы, созданные в SwiftUI: для этого даже не нужно писать никаких программ. Код Swift генерируется автоматически, а при его правке изменения интерфейса мгновенно отображаются в инструменте визуального проектирования. Теперь на всех этапах сборки, тестирования и отладки кода разработчики могут в режиме реального времени отслеживать, как будет выглядеть и вести себя их интерфейс. Возможность легко перемещаться между написанием кода и графическим дизайном повышает эффективность и увлекательность разработки интерфейсов, а также помогает разработчикам ПО и дизайнерам интерфейсов работать в тесном сотрудничестве. Симуляции можно запускать прямо на подключённых устройствах Apple, в том числе iPhone, iPad, iPod touch, Apple Watch и Apple TV: теперь прямо в процессе создания интерфейса разработчики могут проверять, как приложение реагирует на жесты Multi-Touch, работает с камерами и сенсорами.
Дополненная реальность
ARKit 3 помогает погружать пользователей в дополненную реальность. С технологией Motion Capture разработчики могут встраивать движения людей в свои приложения, а технология People Occlusion реалистично отображает контент дополненной реальности перед пользователями или за их спиной, помогая создавать увлекательные приложения по принципу «зелёного экрана». Кроме того, ARKit 3 поддерживает отслеживание до трёх различных лиц фронтальной камерой и одновременную работу с фронтальной и задней камерами. А благодаря поддержке совместных сеансов несколько пользователей могут одновременно взаимодействовать с одной и той же дополненной реальностью.