Камера truedepth что это
TrueDepth в iPhone X — что это, принцип работы
Что такое TrueDepth в iPhone X?
Система камер TrueDepth — одна из ключевых особенностей флагмана Apple iPhone X. Что включает в себя TrueDepth и каким образом эта уникальная система работает? Рассказали подробнее о TrueDepth в iPhone X.
Что такое TrueDepth
TrueDepth — это инновационная система камер iPhone X, включающая в себя 7-мегапиксельную фронтальную камеру, инфракрасную камеру, проектор точек и инфракрасный излучатель. Что делает каждый из компонентов TrueDepth?
Проектор точек проецирует на лицо пользователя более 30 000 невидимых точек для создания его карты. В дальнейшем эта сверхточная карта используется для аутентификации владельца iPhone X.
Инфракрасная камера выполняет считывание точечной структуры лица пользователя и создает на основе полученных данных изображение в инфракрасном спектре, которое отправляется в специальный модуль Secure Enclave, встроенный в процессор A11 Bionic. В модуле Secure Enclave происходит сравнение лица пользователя с ранее сохраненной картой.
Важно отметить, что сравнение выполняется особенным образом. Фрагмент нейронного ядра микропроцессора A11 Bionic преобразует инфракрасное изображение и карту глубины в математическое представление, которое сравнивается с зарегистрированными данными лица.
Инфракрасный излучатель отвечает за возможность распознавания лица владельца iPhone X в любых условиях, даже в темноте. Излучатель направляет на лицо пользователя пучок инфракрасного света, так же невидимого.
Система камер TrueDepth и передовые технологии Apple легли в основу сканера лиц Face ID. Благодаря Face ID владельцы iPhone X могут снимать блокировку со смартфона, а также оплачивать покупки в цифровых магазинах и через Apple Pay одним лишь взглядом.
TrueDepth-камере в iPhone и iPad придумали необычное применение
Начиная с iPhone X компания Apple оснащает свои смартфоны и некоторые планшеты системой камер TrueDepth. Эта продвинутая технология используется для безопасной разблокировки устройств, но, как выяснилось, ей можно найти и другое полезное применение.
На выставке CES компания Eyeware представила мобильное приложение Beam, способное в полной мере реализовать возможности камеры TrueDepth. Она позволяет отслеживать движения глаз и головы пользователя, чтобы активно применять эту информацию в играх и других программах. Достаточно просто расположить смартфон возле ноутбука или монитора.
Eyeware предлагает несколько способов применения камеры TrueDepth. Например, геймеры таким образом могут показать, на чём именно они сосредоточены во время игры. Кроме того, в разных симуляторах можно управлять камерой поворотом головы или даже просто взглядом. Приложение также позволяет использовать iPhone или iPad для видеосвязи, обеспечивая куда лучшее качество по сравнению с обычными веб-камерами.
Пока Beam находится в стадии закрытого бета-тестирования. Заявлена поддержка следующих гаджетов: iPhone XS, iPhone XR, iPhone 11, iPhone 11 Pro и iPad Pro и iPhone 12. Однако теоретически технология поддерживает любые устройства, оснащённые камерой TrueDepth.
Отметим, что ранее необычное применение нашли и сенсору LiDAR в новых iPhone 12-й серии.
TrueDepth в iPhone X: что это и как работает?
В прошлом месяце Apple представила долгожданные iPhone нового поколения. Помимо iPhone 8 и iPhone 8 Plus, купертиновцы явили миру юбилейный смартфон класса «люкс» iPhone X, ставший настоящей сенсацией.
Устройство получило ряд инновационных функций, в том числе систему камер TrueDepth. Именно благодаря ей стала возможной аутентификация пользователя не по отпечатку пальца, а по лицу. Что такое TrueDepth, и с чем ее едят, мы расскажем ниже.
Что такое TrueDepth
TrueDepth представляет собой особую высокотехнологичную систему камер и датчиков в новом iPhone X. Она лежит в основе работы сканера лица Face ID, пришедшего на смену привычному датчику отпечатков пальцев Touch ID. Система состоит из 7-мегапиксельной фронтальной камеры, инфракрасной камеры, ИК-излучателя и точечного проектора. С их помощью iPhone X способен в буквальном смысле слова узнавать своего хозяина в лицо.
Как работает система камер TrueDepth в iPhone X
Когда вы смотрите непосредственно на экран смартфона, чтобы его разблокировать, точечный проектор направляет на ваше лицо более 30 тыс. точек и на основании их расположения создает точную карту лица.
Далее точечная структура считывается инфракрасной камерой, которая на ее базе создает ИК-изображение лица. Это изображение затем сохраняется в Secure Enclave, встроенном в чип A11 Bionic. Здесь же происходит сопоставление полученной картинки с установленной заранее фотографией владельца iPhone X.
Сравнение изображений осуществляется с помощью нейронных сетей. Определенная часть нейронного ядра A11 Bionic превращает ИК-изображение и полученную карту лица в математический алгоритм, сравниваемый с установленными заранее данными лица.
Благодаря ИК-излучателю iPhone X может узнать своего владельца даже в темноте. Для этого на лицо направляется пучок инфракрасных лучей, невидимых невооруженным взглядом.
Безопасна ли технология Apple Face ID?
Как устроено распознавание лиц в новом Apple iPhone X и стоит ли им пользоваться?
Эта неделя изменила iPhone практически до неузнаваемости. Самое очевидное новшество – это отсутствие кнопки Home. Раз ее нет, значит, в новом флагманском смартфоне Apple нет и сканера отпечатков пальцев Touch ID. Его заменит новая система под названием Face ID.
Если вы смотрели презентацию Apple, то уже примерно представляете себе, что такое Face ID. Но мы в любом случае сначала разберем, как она работает, а потом уже обсудим нашу любимую тему – безопасность.
Что такое Apple Face ID и камера True Depth
Если очень кратко, то Apple Face ID – это система, которая использует распознавание лиц для разблокировки смартфона и подтверждения платежей. Она сравнивает лицо пользователя с картинкой, хранящейся в памяти айфона. А делает эти картинки Phone X при помощи специальной камеры True Depth Camera.
В верхней части передней панели iPhone X есть маленький островок, не закрытый огромным дисплеем и под завязку набитый различной электроникой и датчиками. Помимо обычного набора (фронтальная камера, микрофон, динамик, датчики приближения и освещенности), здесь есть инфракрасная камера, система подсветки (flood illuminator) и проектор точек (dot projector).
По сути, из них-то и состоит True Depth Camera. Она создает 3D-снимок вашего лица, а при входе в систему сверяет лицо со снимком. Вот как это работает.
Система подсветки нужна, чтобы камера смогла сделать фото получше в условиях слабой освещенности. Проектор точек проецирует на ваше лицо 30 тысяч невидимых инфракрасных точек, а инфракрасная камера фотографирует вас вместе с этими точками.
Они нужны, чтобы выделить характерные черты вашего лица, и в совокупности они образуют своеобразную 3D-карту. При первоначальной настройке Face ID вас попросят слегка покрутить головой, чтобы iPhone X запомнил, как выглядит ваше лицо с разных ракурсов.
После этого каждый раз, когда вы пытаетесь использовать Face ID, True Depth-камера будет делать снимок. Если черты лица окажутся достаточно похожи на 3D-карту из памяти телефона, вы будете признаны легитимным пользователем, то есть вам будет позволено войти в систему или подтвердить платеж в Apple Pay. Если же уровень совпадения будет недостаточным, вам предложат повторить попытку. Последовательность и логика работы здесь точно такие же, как в случае сканера отпечатков пальцев, правда, с одним немаловажным отличием.
Apple встроила в смартфон специальный сопроцессор, оптимизированный для алгоритмов машинного обучения. С его помощью система со временем будет знакомиться с вами все лучше – то есть, во-первых, чем дальше, тем быстрее она будет вас узнавать, а во-вторых, изменения прически, выражения лица или аксессуаров ее не смутят. Apple утверждает, что система узнает вас, даже если вы наденете шарф или отрастите бороду.
Функции безопасности Face ID
С тем, как работает Face ID, разобрались. Чем же она отличается от стандартных технологий распознавания лиц, которые, как мы писали раньше, не имеют ничего общего с безопасностью? Apple внедрила несколько улучшений, благодаря которым Face ID должна стать более надежной и защищенной по сравнению с другими системами.
Во-первых, Face ID не обманешь обычной фотографией: инфракрасные точки спроецируются на плоскую картинку совсем по-другому. Это выгодно отличает Face ID, например, от технологии Samsung Face Unlock, используемой в последних телефонах корейской компании.
Во-вторых, Apple утверждает, что испытала Face ID даже на масках, которые, в сущности, представляли собой копии лиц, и система прошла испытания, сумев отличить маску от человека и не допустив лишних людей к приватной информации. Фил Шиллер (Phil Schiller) из Apple утверждает, что шанс разблокировать iPhone X, обойдя защиту Face ID, составляет один на миллион. По сравнению с шансом 1 на 50 000 для сканера отпечатков пальцев Touch ID это очень неплохо.
Представители Apple также сообщили, что смартфон не получится разблокировать с закрытыми глазами или не глядя в камеру: Face ID требует концентрации. Насколько нам известно, камера True Depth не оснащена сканером радужных оболочек, но наверняка так или иначе опирается на какие-то данные о глазах, например о направлении взгляда, – по скорее всего, именно это используется для того, чтобы камера отличала точные слепки лиц от собственно лиц.
В-третьих, никто не украдет снимок вашего лица. Изображение, снятое камерой Face ID, хранится в зашифрованной памяти специального сопроцессора Apple под названием Secure Enclave. Фотографии обрабатываются только на устройстве и не отправляются на серверы Apple или куда-то еще. Вся обработка проходит внутри Secure Enclave, так что приложения их тоже не получат.
Однако Secure Enclave уже засветился в новостях, когда специалисты по безопасности нашли в нем уязвимость. Ее, конечно, залатали, но совсем не факт, что на этом уязвимости закончились. Возможно, следующая дыра позволит злоумышленникам получить доступ к вашим данным.
Сам Шиллер отметил в своем выступлении, что абсолютно надежных систем не бывает. Если судить по дизайну Face ID, новая система распознавания лиц будет надежнее традиционных систем с простой двухмерной фронтальной камерой, и, возможно, безопаснее сканера отпечатков пальцев Touch ID. Однако в самом ближайшем будущем исследователи со всего света начнут пробовать эту систему на прочность. Тогда-то мы и узнаем, насколько она защищена. К счастью, старый добрый PIN-код из шести цифр никуда не делся. PIN-код, конечно, не самое безопасное, что есть на свете, – но по крайней мере из-за него ваши биометрические данные не окажутся в руках у хакеров.
Apple и ее будущее в мире мобильной фотографии. Часть вторая
В предыдущей статье мы пробежались по технологии глубинного сканирования сцены, портретным функциям модели iPhone 7 Plus, а также портретному освещению, присущему камере iPhone 8 Plus и грядущего iPhone X. В этой части мы бросим взгляд на более эксклюзивную технологию TrueDepth, которая будет реализована только в iPhone X, а также на другие особенности, в том числе технологию машинного обучения, которая будет применяться на всех устройствах, использующих операционную систему iOS 11.
TrueDepth выводит селфи на новый уровень
На проходившей этим летом WWDC’17 Apple представила новый пакет инструментов разработчика Depth API под iOS 11 для использования и обработки различных слоев данных изображения, полученного с помощью двойной камеры iPhone 7 Plus. Компания также намекнула на разработку альтернативной технологии, которая сможет еще более точно создавать глубинную карту изображений, по сравнению с тем, что предлагает двойная камера iPhone 7 Plus.
Анимодзи и TrueDepth
У Android просто нет возможностей быстро внедрить те функции, которые может внедрить и уже внедрила Apple. Слишком много особенностей как в аппаратной, так и программной среде и слишком много производителей, создающих эти особенности. Даже производящиеся по спецификации Google смартфоны Pixel отстают в этом плане от Apple на несколько порядков.
В том же последнем Pixel 2 постарались «скопировать» портретный режим, представленный Apple еще в прошлом году, и Live Photos, которым уже года два. Разумеется, ни о каком аналоге того же портретного освещения здесь речи не идет, не говоря уже об анимодзи или том же реальном просчете глубины сцены на изображении, которые необходимы для поддержки данных функций.
TrueDepth и Face ID
Благодаря TrueDepth Apple решила ввести новую функцию аутентификации Face ID, сделав ее альтернативой Touch ID. Что интересно, критики и скептики уже принялись жаловаться на «кривую» работу Face ID, еще, собственно, даже ее не опробовав. Однако правда такова, что новая система предлагает еще более надежный способ оценки биометрических данных пользователя, по сравнению с крошечным сенсором Touch ID.
Face ID не просто «использует ваше лицо для авторизации». Система гораздо сложнее, чем может показаться на первый взгляд. Вы по-прежнему можете использовать обычный пароль безопасности для входа в систему и изменять его при желании. Но злоумышленники вряд ли смогут раздобыть трехмерное изображение вашего лица для авторизации. На демонстрационном стенде iPhone X попытка разблокировать телефон даже зарегистрированным пользователем не удалась ввиду того, что в кадре, помимо прочего, находилось лицо стороннего человека.
«Здесь важен аспект дистанции. Разблокировать телефон, когда его держит кто-то еще, практически невозможно», — прокомментировал человек, демонстрирующий устройство и в ту же секунду без труда его разблокировавший на обычном расстоянии согнутой руки. А как отмечают журналисты западного AppleInsider, процесс разблокировки с помощью Face ID пришлось даже снимать в слоу-мо, так как система работает настолько быстро, что руках авторизованного пользователя она сработала фактически мгновенно.
Система биометрической идентификации может быть отключена во всей системе iOS. Но важно отметить, что, несмотря на изначальные возгласы аналитиков и экспертов о том, что введенная еще со времен iPhone 5s биометрическая система идентификации повысит уровень уязвимости личных данных пользователей, статистика показала скорее серьезный спад в кражах устройств, использующих такие системы, но в то же время повысила внимание и озабоченность правоохранительных служб, которым теперь получить доступ к личным данным интересующих их лиц стало гораздо сложнее из-за повышения эффективности защиты.
Несмотря на кажущуюся сложность системы, правильная ее реализация на iOS показала, что она действительно может быть эффективной. Чего не скажешь об Android, где главные лицензиаты в лице Samsung и HTC, первыми представившие подобные системы, первыми же с ними и облажались, а затем быстрым темпом перейдя на неудобную систему лицевого распознавания, опять просчитались, так как ее эффективность и надежность оказались под большим вопросом.
Используя уникальную, специально разработанную и оптимизированную технологию камеры TrueDepth на iPhone X, Apple получила более эффективный инструмент, снижающий риск ложных срабатываний и существенно снижающий возможность обхода системы при биометрической идентификации. Конечно же, стоимость подобной системы сенсоров, скорее всего, оградит большинство Android-производителей от ее использования. Совсем недавно, например, Google отметила, что, по ее ожиданиям, 1/3 от всех проданных Android-смартфонов будут представлять собой устройства ценой до 100 долларов.
Несмотря на серьезные различия в ценовом весе, Apple ожидает, что ее смартфон стоимостью от 1000 долларов и выше купят более трети ее будущих клиентов (а возможно, и половина). И есть целый ряд причин, по которым пользователи захотят приобрести такое устройство, но важнее всего, что все они получат доступ к технологии TrueDepth, а это значит, что у сторонних разработчиков развяжутся руки при виде всей этой огромной базы пользователей в несколько десятков миллионов потенциальных клиентов.
В дополнение к сложностям адаптации полноценно функционирующих аппаратных сенсорных 3D-средств в своих смартфонах, Android-лицензиаты столкнулись с еще одной проблемой, которую Apple, в свою очередь, уже давно решила, – отсутствием полноценной экосистемы и реально качественных средств для демонстрации.
Как сообщали недавние отчеты, китайские производители столкнулись со сложностью адаптации 3D-сенсоров, построенных компаниями Qualcomm/Himax. Также отмечалось, что «производителям смартфонов потребуется больше времени для создания нужной экосистемы в виде прошивки, программного обеспечения и приложений, необходимых для эффективной производительности сенсорных 3D-модулей, предназначенных для поддержки таких функций, как сканирование отпечатков пальцев или сенсорного управления», делая из этого вывод, что «такие трудности становятся основным барьером перед интеграцией 3D-сенсорных технологий в смартфоны».
Android и отсутствие глубины
Попытки сторонних производителей заполнить рынок сенсорами 3D-камер для мобильных устройств ничем массовым так и не обернулись. Google работала с технологиями компании PrimeSense в течение нескольких лет в рамках своего проекта Tango, но сама пока так и не смогла убедить чувствительных к ценообразованию Android-лицензиатов адаптировать необходимые для работы этой системы технологии.
Как только Apple продемонстрировала инструмент для разработки дополненной реальности (АR) ARKit, Google тут же переименовала часть платформы Tango в «ARCore», видимо, таким образом пытаясь вернуть интерес к своей технологии за счет шума вокруг конкурента. Но опять же отсутствие установленной базы Android-устройств с поддержкой функций дополненной реальности и еще меньший запас возможности работы с глубинным анализом данных, собираемых будь то двойной камерой или любым типом сенсора глубины, в итоге не позволили к прийти к чему-то конкретному.
Кроме того, децентрализованная природа самой системы Android не только приводит к таким проблемам, как фрагментация и отсутствие оптимизации, но также и задает курс на производство сверхдешевых устройств, а не производительного оборудования и специализированных камер, необходимых для обработки сложных AR-данных, собираемых на базе камер с технологией глубинного анализа сцены. А вместо того, чтобы начать производить действительно мощное железо, Google долгие годы продвигала идею, что Android, Chrome и Pixel – это продукты, которые могут занять нижний ценовой сегмент и демонстрировать свою эффективность за счет подключения к мощным облачным сервисам. Но это, в свою очередь, породило среди народа предположение, что единственное, что реально нужно компании, так это данные о ее пользователях, в то время как вопрос возможности предложить лучшие варианты реализации продвинутых технологий своим клиентам для нее второстепенен.
Производительность процессора Apple A11 Bionic на фоне процессоров конкурентов
Как отмечают аналитики, Apple продолжает наращивать свой отрыв в повышении мощности устройств, а это, в свою очередь, приводит к тому, что iOS-устройства становятся все более и более способными к эффективной работе без необходимости наличия высокоскоростного соединения с облачными сервисами. Например, та же функция биометрической аутентификации работает полностью в локальном режиме, что коренным образом снижает риск перехвата пользовательских данных сторонними лицами.
Новый уровень глубины: Vision и CoreML
Наличие огромной вычислительной мощности вкупе с возможностью распознавать объекты, положение, движение и даже лица конкретных людей на фото делает возможным для Apple использование так называемого компьютерного зрения на своих устройствах – технологии, которая уже использовалась при обработке статичных фотографий, а теперь ставшая доступной и для использования в режиме непосредственной съемки.
Разумеется, Depth стала не единственной технологией, предназначающейся для обработки изображения на iOS. В дополнение к новым функциям, требующим наличия двух камер, а также новой технологии TrueDepth для iPhone X, выход iOS 11 сопроводился выпуском настоящего алгоритма машинного обучения, который будет использоваться камерами устройств на базе iOS 11.
Этим летом Apple отмечала, что CoreML уже работает в шесть раз быстрее, чем существующие аналоги на Android. При этом речь шла о работе на iPhone 7. Все функции нового фреймворка Apple пообещала предоставить сторонним разработчикам, желающим усовершенствовать свои приложения.