Как работает инструмент Apple ARKit, дополненная реальность в айфоне или айпаде
Как работает инструмент Apple ARKit, дополненная реальность в айфоне или айпаде8 (8342) 54-62-22
Своё название инструмент Apple ARKit получил в соответствии с главной функцией — предоставить набор инструментов (Kit) разработчикам приложений, чтобы те могли задействовать дополненную реальность (AR). Технология Apple ARKit включена в iOS 11 — версию операционной системы для айфонов и айпадов, которая увидела свет в 2017 году.
Что такое ARKit? Главный успех
Фактически, это готовая, унифицированная платформа для создания приложений с использованием
дополненной реальности. По этой причине многие обозревали сравнили запуск ARKit с созданием
каталога App Store.
По масштабности эти два события действительно сопоставимы, и вот почему.
В отличие от прежних версий операционной системы, дополненная реальность в iOS 11 стала полноценным инструментом, доступным каждому разработчику. Так же как в 2008 году App Store унифицировал использование сенсорного дисплея, ARKit в 2017 году вывел на единый уровень возможности, связанные с дополненной реальностью.
Теперь разработчикам не нужно тратить уйму времени и сил, чтобы самостоятельно «учить» устройство на iOS анализировать окружающий мир и создавать AR в оперативной памяти.
Как создаётся дополненная реальность в iPhone и iPad
Вне зависимости от того планируется использовать созданное приложение для развлечения или для практических задач, инструментальные средства используются одни и те же:
- камеры устройства получают визуальное изображение;
- микрофон и некоторые другие датчики получают звук, считывают сведения о вибрациях и о других изменениях;
- процессор обрабатывает поступающую информацию и согласовывает её с командами, которые
подаются из самого приложения.
Оснащённые набором инструментов AR iPhone и iPad теперь «умеют» самостоятельно обнаруживать горизонтальные и вертикальные поверхности, определять источники света и тени, различать голоса и лица и многое другое. Процессоры семейства A9 и более поздние модели в полной мере справятся с тем, чтобы задействовать поступающую информацию и создавать дополненную реальность.
Чем дальше, тем больше становится коммерческих, обучающих и игровых программ. Инструменты, созданные командой Apple, применяются разработчиками по всему миру.
Apple впервые рассказывает о комплекте ARKit 2
НОВОСТЬ 4 июн 2018
Теперь разработчики смогут создавать самые передовые AR-приложения для крупнейшей в мире платформы дополненной реальности.
Приложение LEGO AR City оживляет объекты и персонажей LEGO, задействуя функции ARKit 2, в том числе единое пространство дополненной реальности, постоянные объекты и распознавание 3D-моделей.
Сегодня компания Apple представила ARKit 2 — платформу, на которой разработчики смогут создавать единые пространства дополненной реальности и постоянные объекты с привязкой к конкретным местам, а также задействовать распознавание объектов и отслеживание изображений. Теперь приложения дополненной реальности станут ещё более динамичными. Компания Apple также впервые представила приложение Measure для iOS, которое будет задействовать дополненную реальность для быстрой оценки размеров реальных объектов, и новый открытый формат файлов .usdz для iOS 12, созданный для ещё более тесной интеграции дополненной реальности в iOS и доступа к AR-объектам из любых приложений Apple.
С момента выпуска комплекта ARKit прошлой осенью компания Apple активно расширяла возможности дополненной реальности, доступные разработчикам.
Новый комплект стал уже третьим выпуском ARKit. Он даёт разработчикам инструменты для создания приложений, помогающих пользователям iOS по-новому взглянуть на мир, работать эффективнее и увлекательнее.
ARKit 2
Теперь разработчики смогут встраивать функции для многопользовательских игр.
Единые пространства дополненной реальности в ARKit 2 делают дополненную реальность на iPhone и iPad ещё более увлекательной. Пользователи теперь смогут совместно играть или работать над проектами, например планировать ремонт в квартире. Разработчики смогут также добавлять режим зрителя: друзья и близкие смогут наблюдать за игрой в дополненной реальности с другого устройства iOS.
Постоянные объекты изменят принципы взаимодействия с AR-приложениями: пользователи смогут оставлять виртуальные объекты в реальном мире, а затем возвращаться к ним.
Единые пространства дополненной реальности дают возможность смотреть происходящее в качестве зрителя: видеть то, что видят игроки, и даже немного больше.
В ARKit 2 также расширена поддержка распознавания и отслеживания изображений. Это позволяет распознавать 3D-объекты, например игрушки и скульптуры, а также автоматически накладывать тени и блики от реальных объектов на объекты дополненной реальности. AR-пространство становится ещё более реалистичным смешением виртуального и реального миров.
Measure
Measure — это новое приложение в iOS 12, которое задействует дополненную реальность для быстрого измерения реальных объектов, заменяя собой обычную рулетку.
Это приложение автоматически определяет размеры таких предметов, как фоторамки, плакаты и таблички. Оно может показывать длину диагонали, вычислять площадь, делать фотоснимки и отправлять полученные измерения другим пользователям прямо с iPhone или iPad.
Quick Look for AR и формат .usdz
Формат .usdz, созданный на основе универсальных описаний сцен Pixar, даёт возможность задействовать дополненную реальность во всей системе iOS.
В iOS 12 можно будет легко задействовать дополненную реальность во всей системе iOS. Совместно с Pixar компания Apple разработала новый формат файлов .usdz, оптимизированный для таких приложений, как Сообщения, Safari, Почта, Файлы и News, без ущерба для графики и анимации. Используя формат .usdz и приложение Quick Look for AR, пользователи смогут размещать 3D-объекты в реальном пространстве и проверять, как они будут смотреться в помещении.
ARKit 2 и формат .usdz входят в состав предварительной версии iOS 12 для разработчиков, которая уже сегодня доступна участникам программы Apple Developer Program. Поддержка ARKit 2 и .usdz появится этой осенью в составе бесплатного обновления ПО для iPhone 6s и новее, всех моделей iPad Pro, iPad 5-го поколения и iPad 6-го поколения.
Скриншоты ARKit 2
Скачать все изображения
ARKit 6 — Дополненная реальность
Смотрите «Откройте для себя ARKit 6» с WWDC22
ARKit 6 представляет видео 4K, так что вы можете снимать потрясающие видеоролики с высоким разрешением в AR — идеально подходит для профессионального редактирования видео, производства фильмов, приложений для социальных сетей и многого другого. Возможности видео и захвата расширены за счет поддержки HDR-видео и захвата фонового изображения высокого разрешения.
ARKit 6 также добавляет привязки к местоположению в новые города, такие как Монреаль, Сидней, Сингапур и Токио, и содержит улучшения для захвата движения.
Видео 4K
ARKit 6 представляет возможность захвата видеопотока 4K с помощью задней камеры во время сеанса ARKit. Видео 4K идеально подходит для приложений, которые объединяют виртуальный и реальный контент для создания видео, таких как социальные сети, профессиональное видеоредактирование и приложения для производства фильмов.
Требуется iPhone 11 или новее или iPad Pro (5-го поколения).
API глубины
Расширенные возможности понимания сцены, встроенные в сканер LiDAR, позволяют этому API использовать попиксельную информацию о глубине окружающей среды. В сочетании с данными 3D-сетки, созданными геометрией сцены, эта информация о глубине делает окклюзию виртуального объекта еще более реалистичной, позволяя мгновенно размещать виртуальные объекты и плавно смешивать их с физическим окружением.
Это может открыть новые возможности в ваших приложениях, такие как более точные измерения и применение эффектов к пользовательской среде.
Instant AR
Сканер LiDAR обеспечивает невероятно быстрое обнаружение плоскости, что позволяет мгновенно размещать объекты AR в реальном мире без сканирования. Мгновенное размещение AR автоматически включается на iPhone 12 Pro, iPhone 12 Pro Max и iPad Pro для всех приложений, созданных с помощью ARKit, без каких-либо изменений кода.
Depth API и Instant AR предназначены только для устройств, оснащенных сканером LiDAR: iPad Pro 11 дюймов (2-го поколения), iPad Pro 12,9 дюйма (4-го поколения), iPhone 12 Pro, iPhone 12 Pro Max.
Захват движения
Захват движения человека в режиме реального времени с помощью одной камеры. Понимая положение тела и движение как последовательность суставов и костей, вы можете использовать движение и позы в качестве входных данных для опыта дополненной реальности, помещая людей в центр дополненной реальности.
Оценка роста улучшается на iPhone 12, iPhone 12 Pro и iPad Pro во всех приложениях, созданных с помощью ARKit, без каких-либо изменений кода.
Одновременная передняя и задняя камера
Одновременно используйте отслеживание лица и мира на передней и задней камерах, открывая новые возможности. Например, пользователи могут взаимодействовать с содержимым дополненной реальности с помощью задней камеры, используя только свое лицо.
Улучшения захвата изображений и видео
С помощью ARKit 6 вы можете захватывать фоновое изображение с высоким разрешением во время сеанса ARKit, что отлично подходит для обеспечения более качественной реконструкции виртуальных объектов и для приложений фотографии, которые хотят направлять пользователей к идеальному снято с максимальным качеством конечного изображения. В ARKit 6 также представлена поддержка HDR-видео и добавлены теги EXIF, такие как экспозиция и баланс белого, к каждому кадру ARKit. И теперь вы можете напрямую управлять настройкой экспозиции, баланса белого и фокусировки камеры во время сеанса ARKit.
Геометрия сцены
Создайте топологическую карту вашего пространства с метками, обозначающими полы, стены, потолки, окна, двери и сиденья. Это глубокое понимание реального мира раскрывает окклюзию объектов и физику реального мира для виртуальных объектов, а также дает вам больше информации для улучшения ваших рабочих процессов AR.
Перекрытие людей
AR-контент реалистично проходит позади и впереди людей в реальном мире, делая опыт AR более захватывающим, а также обеспечивая эффекты в стиле зеленого экрана практически в любой среде. Оценка глубины улучшается на iPhone 12, iPhone 12 Pro и iPad Pro во всех приложениях, созданных с помощью ARKit, без каких-либо изменений кода.
Дополнительные улучшения
Захват движения теперь включает отслеживание левого и правого уха с улучшенным определением положения тела в целом. Обнаруживайте до 100 изображений одновременно и автоматически оценивайте физический размер объекта на изображении. Обнаружение 3D-объектов более надежно, поскольку объекты лучше распознаются в сложных средах.
Все, что вам нужно знать
Почему вы можете доверять Pocket-lint
(Pocket-lint) — ARKit — это платформа дополненной реальности (AR) от Apple для устройств iOS. Это позволяет разработчикам создавать приложения, которые взаимодействуют с окружающим миром с помощью камер и датчиков устройства.
Apple уже много лет очень заинтересована в потенциале AR и представила ARKit в 2017 году как часть iOS 11. Впоследствии она объявила о второй версии iOS 12 и, по сути, выпускает новую версию каждый раз, когда обновляет iOS. Существует аналог Google для телефонов Android, который называется ARCore.
Вот все, что вам нужно знать об ARKit, включая его возможности и примеры его возможностей в действии.
Apple
Что такое дополненная реальность?
Дополненная реальность — не новая технология, но относительно новая для персональных устройств. В то время как виртуальная реальность погружает вас в пространство, по сути заменяя все, что вы видите в физическом мире, AR берет мир вокруг вас и добавляет к нему виртуальные объекты.
Что такое Apple ARKit?
Это платформа для разработки, которая позволяет разработчикам приложений быстро и легко встраивать возможности дополненной реальности в свои приложения и игры. Он использует камеру, процессоры и датчики движения вашего устройства iOS для создания иммерсивных взаимодействий.
Как пользователь, вы на самом деле не видите, является приложение с поддержкой ARKit или нет — вы просто видите отличное, веселое или полезное приложение.
- Особенности Apple iPadOS, новости и дата выпуска
ARKit использует технологию визуальной инерциальной одометрии для отслеживания мира вокруг вашего iPad или iPhone. Это позволяет вашему устройству iOS определять, как оно перемещается в комнате.
ARKit использует эти данные не только для анализа планировки комнаты, но и для обнаружения горизонтальных плоскостей, таких как столы и полы. Затем технология может обслуживать виртуальные объекты для размещения на этих поверхностях в вашей физической комнате.
В чем смысл ARKit?
Разработчики могут свободно создавать любые приложения с помощью ARKit, и теперь доступны различные приложения.
Одним из лучших примеров является Ikea, где вы можете просмотреть продукты Ikea у себя дома, прежде чем совершить покупку. Если бы только это действительно делало вещи также.
Ikea
Для Apple ARKit открывает совершенно новую категорию приложений, которые будут работать на всех iPhone и iPad.
К тому же, это открывает так много долгосрочных возможностей. Ходят слухи, что компания, например, работает над гарнитурой дополненной реальности. Представьте, что вы носите очки Apple AR, способные каждый день дополнять ваш мир.
В рамках iOS 12 Apple представила версию ARKit второго поколения, которую она запустила вместе с концепцией Lego с виртуальными деталями и минифигурками Lego.
Это должно было продемонстрировать ключевую особенность ARKit 2 — мультиплеер. Разные устройства могут видеть одну и ту же сцену AR.
Они также могут приостанавливаться и возобновляться по желанию, создавая более полезные впечатления, когда люди могут вернуться к виртуальному сценарию — Apple привела пример проекта внутренней отделки, к которому вы можете возвращаться несколько раз в течение нескольких дней.
Apple
Что есть в ARKit 3?
ARKit 3 2019 года включал функцию захвата движения, чтобы разработчики могли интегрировать движение людей в свое приложение и окклюзию людей. Обе эти технологии означают, что AR-контент будет естественным образом отображаться перед людьми или позади них, чтобы сделать приложения более иммерсивными.
Поддерживается как передняя, так и задняя камера, а передняя камера также может отслеживать до трех лиц.
Однако для всех этих функций требуются новейшие устройства Apple. «Закрытие людей и использование захвата движения, одновременная работа передней и задней камеры и отслеживание нескольких лиц поддерживаются на устройствах с чипами A12/A12X Bionic, Apple Neural Engine и камерой TrueDepth».
Apple также анонсировала новое приложение для разработчиков — Reality Composer, которое позволяет разработчикам создавать прототипы и создавать приложения дополненной реальности, не имея опыта работы с 3D. Есть интерфейс перетаскивания и библиотека уже существующих 3D-объектов и анимаций.
Что есть в ARKit 5?
Последняя версия ARKit — это пятая итерация, которая вышла в 2021 году и позволяет разработчикам создавать приложения дополненной реальности, привязанные к определенным местам, в интересах образования и культуры.
Отслеживание лиц получило расширенную поддержку, в то время как система теперь лучше игнорирует людей, когда они входят и выходят из своих сцен — например, если вы используете приложение AR на тротуаре.
Какие устройства iOS могут работать с приложениями ARKit?
Любой iPhone или iPad, поддерживающий iOS 11 или более позднюю версию, может устанавливать приложения ARKit.
Новые устройства лучше справляются с приложениями.