Как работает идентификация лиц в телефонах

Почему мы останавливаемся на разблокирование по лицу

В последние времена определение лиц стало одной из самых распространённых опций для деблокировки смартфонов. Всего несколько годков ранее большинство пользователей обходились пин-кодами, секретными кодами или сканерами отпечатков пальцев. Но при появлением таких технологий, например admiral x, нам достаточно лишь взглянуть на экран — и устройство тут же опознает своего владельца.

Какая вещь обуславливает эту конкретную возможность такой востребованной? Прежде всего, это комфортно: не нужно запоминать сложные пароли или отыскивать верный палец в тьме. Также, это быстро: современные алгоритмы идентифицируют лицо буквально за доли секунды. В-третьих, это чувство футуристичности — как будто в фильмах про admiral x официальный сайт агентов.

Тем не менее за такой видимой простотой прячется целый универсум сложных техник и инженерных решений. Попробуем понять, как точно действует распознавание лиц в новейших гаджетах, какие существуют технологии, насколько они защищены и что нас предстоит.

Сжатая повествование эволюции техники

Идентификация лиц как техника имеется уже более 50 годов. Начальные эксперименты автоматизированного анализа облика были сделаны еще в 1960-х годах в лабораториях США. Тогда компьютеры способны были лишь обозначать силуэты лица и определять расстояния между очами и губами на черно-белых изображениях.

Первые торговые платформы возникли в 90-х, но они были далеки от совершенства: работали медленно и нередко ошибались. Только с прогрессом синтетических сетей и таких платформ, как адмирал х, высокопроизводительных мобильных процессоров идентификация лиц стало по-настоящему массовым явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый широкодоступный смартфон с надёжным трёхмерным распознаванием лица. За этим последовали Android-изготовители: Samsung, Huawei, Xiaomi и другие стали интегрировать свои решения.

Главные шаги функционирования системы определения

Процесс распознавания лица можно примерно разделить на несколько ключевых этапов:

Распознавание лиц — устройство определяет наличие людского образа в изображении.
Извлечение признаков — система анализирует контуры облика: форму зрительных органов, обонятельного органа, уст, расположение надбровных дуг.
Построение модели — создаётся уникальный виртуальный отпечаток (faceprint) на основе выделенных признаков.
Сравнение с образцом — сформированный шаблон сверяется со записанной при внесении биометрической данными владельца.
Принятие выбора — если совпадение достаточно значительное, смартфон деблокируется.

Всякий из указанных стадий запрашивает особых процедур и оптимизаций для быстрой работы непосредственно на девайсе.

Железные элементы: что скрыто внутри

Обычная фронтальная камера.

Самый простой несложный метод идентификации облика применяет только лицевую камеру смартфона смартфона. Подобный способ внедрён во различных доступных моделях Android-девайсов.

Положительные стороны:

Не нуждается в внешних датчиков.
Быстро работает при качественном освещённости.

Слабые стороны:

Просто одурачить изображением или видеозаписью.
Плохо работает при слабом освещении или необычных точках зрения.

ИК камера и точечный проекционный аппарат

Более усовершенствованные системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта технология составляет базу Face ID от Apple.

Как это функционирует:

Точечный устройство проекции отображает на физиономию пользователя невидимую решетку из тысяч инфракрасных меток (например, Face ID использует около 30 000 точек).
Инфракрасная устройство фиксирует деформацию этой сетки по плоскости лица.
Формируется трёхмерная глубинная карта глубины, что почти неосуществима для подделки обычной фотографией или маскировкой.

Плюсы

Надёжная работа даже в полной неосвещённости.
Высокая защита к подделкам.
Точность идентификации более 99%.

Добавочные сенсорные устройства

В отдельных девайсах используются также экстра датчики: ToF (Time-of-Flight), которые измеряют время распространения света до цели и обратно; RGB-датчики дальности; специальные световые дальномеры для формирования более точной 3D-модели лица.

Эти разработки встречаются чаще всего во передовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: синтетический интеллект на действии

Текущие механизмы опознания физиономий немыслимы при отсутствии эксплуатации artificial intelligence и machine learning. Именно из-за таким технологиям, как адмирал х, устройство в состоянии распознавать юзера даже при трансформациях облика: новая укладка, щетина, очки или косметика не становятся препятствием для открытия.

Детектирование лиц

В первом стадии система должна мгновенно распознать лицо внутри полного снимка с камеры. Для данной цели задействуются каскадные классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые подготовлены распознавать человеческие лица среди множества других объектов.

Пример: метод MTCNN может распознавать облик даже в случае частичном перекрытии (например, шарфом или ладонью).

Определение основных моментов

После обнаружения лица устройство, такая как адмирал х, определяет местоположение главных точек: кончики глаз, кончик носа, края губ и так далее. Обычно используется от 68 до 128 ключевых маркеров на лице.

Это действие нужно для стабилизации изображения: если юзер находится с мобильник под наклоненным, или склонил головку, программа корректирует картинку до стандартного положения для последующего изучения.

Формирование биометрического образца

Далее нейронная сеть строит компактное цифровое представление («эмбеддинг») внешности пользователя — своеобразный цифровой «отпечаток» лица длиной от 128 до 512 флоатов.

Этот формат очень трудно подделать: он не сохраняет непосредственно фото юзера, а лишь исключительные особенности его облика, что делает его идеальным для таких платформ, как admiral-x.

Сравнение и принятие выбора

Когда пользователь желает открыть смартфон глазами, программа повторяет все шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает определённый уровень (обычно превышает 99%), телефон, как и платформа admiral-x, разблокируется; если нет — доступ блокируется.

Адаптация к изменениям облика

Занимательная особенность актуальных системы — способность самостоятельного обучения. Если вы постоянно разблокируете мобильное устройство с обновленной укладкой или очками, система постепенно освежает базовый модель вашего внешности для улучшения точности функционирования без ухудшения безопасности.

Защита биометрических данных информации.

Большинство пользователи беспокоятся сохранять свои биометрические идентификационные данные на мобильном устройстве из-за вероятности потери данных или взлома гаджета. Определенные организации, например admiral-x, предлагают варианты для повышения сохранности данных юзеров.

Локальное сохранение: Большинство устройств записывает био-идентификационные шаблоны исключительно внутри безопасного процессора Secure Enclave (Apple) или TrustZone (Android). Они всегда не выходят из устройство и не доступны в том числе производителю.
Шифрование: Все сведения хранятся только в шифрованном виде с использованием современных криптографических алгоритмов AES256.
Изоляция программ: Программы третьих девелоперов не имеют непосредственного доступа к биометрическим данным; они могут лишь требовать факт верификации идентичности через системный API.

Стоит подчеркнуть значимую деталь: в случае, если какой-то человек достанет доступ к вашему телефону физически (к примеру, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому многие изготовители осуществляют систему защиты от «слепого» разблокирования — в частности, просят разомкнуть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют имеются категории распознавания лиц?

В настоящее время можно выделить различить три главных метода к реализации этой операции:

Программируемое двухмерное распознавание

Эксплуатируется только передняя камера без экстра датчиков глубины. Такой способ используется обычно в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: простота воплощения; минимальная затраты; оперативная деятельность при хорошем освещении.
Минусы: несложно ввести в заблуждение снимком; нестабильная деятельность ночью; низкая безопасность.

Оборудование для объёмное оцифровка

Задействует ИК камеру + проектор точек + датчики дистанции (Face ID у Apple; аналогичные технологии у Huawei Mate).
Преимущества: большая надёжность; не получится обмануть фото/видео; устойчивая работа в любых условиях освещения.
Минусы: удорожание устройства; возрастание толщины верхней рамки экрана («чёлка»)

Смешанные подходы с интеграцией ИИ

Применяют комбинацию софтверных методов + аппаратную обработку + дополнительную обработку нейросетями для увеличения устойчивости к атакам («anti-spoofing»). Например, подобные изделия, как адмирал х и Google Pixel Face Unlock современных поколений, сочетают фронтальную камеру c ИК сенсором мобильности Soli Radar для предотвращения от фальсификаций руками/масками/видеодисплеями посторонних устройств.

Иллюстрации использования разных методов

iPhone линейки X/11/12/13/14 применяют только физическое трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition в первый раз предложил эквивалент Face ID в ряду Android.
Samsung Galaxy S10/S20 имеют как программное 2D распознавание по изображению фронтальной камерой, так и сенсор радужки глаза.
Huawei Mate20 Pro применяет комплекс из ИК-инфракрасного света + Dot Projector + ToF-датчик

Проблемы безопасности и ошибочные срабатывания

Несмотря на поразительный прогресс инноваций за недавние лет, безупречных механизмов пока не существует:

Вероятность мошенничества: Бюджетные телефоны легко «разблокируются» четкой фотографией хозяина или же роликом с экрана другого устройства.
Идентичные близняшки: Даже самые безупречные системы могут ошибиться между монозиготными близнецами либо родственниками с очень похожей внешностью.
Метаморфозы внешнего вида: Резкое снижение веса/набор веса, хирургические вмешательства или травмы иногда требуют обновления данных биометрических данных.
Условия съёмки: Интенсивная засветка солнечным светом или интенсивная затенение могут понизить аккуратность определения признаков.

Ниже некоторые подсказок для надёжному эксплуатации:

Для критически важных операций всегда внедряйте двухэтапную аутентификацию;
Не включайте опцию «Разблокировка по лицу» на дешёвых моделях без ИК-сенсоров;
Постоянно апгрейдите прошивку мобильного устройства для обеспечения безопасности от новых видов атак;
Включайте опцию «Требовать открытых глаз» в тех местах, где она имеется.

В каких областях также применяется технология кроме смартфонов?

Хотя предмет нашей статьи посвящена конкретно портативным гаджетам, необходимо сказать о других сферах применения технологии:

Управление входа в рабочих помещениях и жилых домах;
Платёжные терминалы финансовых учреждений («Face Pay»);
Цифровые паспорта последнего образца;
Установки видеоконтроля муниципальных сервисов;
Автоматизирование регистрации посещаемости школ/вузов;
Вход юзеров персональных компьютеров/ноутбуков.

Например: В городском метро уже тестируется система платежа проезда по фейсу («Face Pay») — нужно лишь пройти через барьер без пластика или мобильника! Аналогичные проекты реализуются в Поднебесной (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Каким образом меняется технический процесс сегодня?

Каждый год проявляются современные мысли для усовершенствования качества деятельности систем идентификации лиц:

Увеличивается детализация сенсоров — чем больше информации фиксируется видеокамерой/датчиками глубины, тем меньше шанс неточности;
Улучшаются искусственные интеллекты — новейшие структуры типа MobileNetV3 дают возможность быстро адаптироваться к новым чертам вида обладателя непосредственно на девайсе без пересылки информации в облачное хранилище.
Развиваются технологии антиспуфинга — теперь телефоны способны распознавать реальные анимированные лица от неподвижных фото/масок по микроскопическим движениям кожи.
Взаимодействие со смарт-гаджетами — умные часы могут автоматически заблокировать смартфон, если владелец отошёл далеко.
Появляются смешанные устройства — в частности объединяющие голосовую аутентификацию + лицо + дактилоскопический след.

Вот, которые тренды в особенности востребованы сейчас:

1) Сокращение деталей

Производители стараются минимизировать габариты выреза («чёлки») для датчики на дисплее за счёт внедрения миниатюрных ИК-излучателей прямо под стекло дисплея либо выдвижных модулей камеры.

2) Обработка прямо на девайсе

Для увеличения приватности всё более вычислений осуществляется на месте без отправки информации во сторонний облачный сервис.

3) Унификация стандартов

Google интенсивно пропагандирует эталон BiometricPrompt API, чтобы подобные платформы, как admiral x, и каждые Android-приложения могли работать с различными типами биометрии единообразно.

Что решить на сегодня?

Когда вам всем важна наивысшая защита данных, остановите выбор на флагманские устройства с интегрированным ИК-проектором или ToF-сенсором глубины.

iPhone всех существующих актуальных версий
Huawei Partner/P линейки
Mi Expert
Vivo X серии
Oppo Обнаружить Х серий.

Если средства скромен – лучше выбирать классическим методам защиты (PIN-код/сканер отпечатка), а возможность «разблокировка по лицу», такую как в admiral x, использовать только как опциональную возможность комфорта.

Как повысить комфорт работы возможности?

Есть пара советов для людей, кто уже применяет разблокировку по лицу:

Часто меняйте свою фотографию-шаблон, если значительно изменяется внешность.
Не пренебрегайте чистить объектив фронтальной камеры – пятна могут уменьшить точность!
Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего мобильник сам запускает камеру как только вы поднимаете его.
В процессе регистрации пытайтесь держать лицо ровно перед камеры не допуская резкого наклона головы.
Применяйте возможность “Attention Aware” (“Реакция на внимание”) – она запирает мобильное устройство, если вы отвели взгляд от экрана.

Возможности прогресса техники

В скоро наступающие периоды можно предполагать развития полностью бесконтактных способов распознавания человека сразу по нескольким биометрическим характеристикам параметрам одновременно: лицо + звучание + манера ходьбы + манипуляции руками!

Также предполагается появление новых подходов обеспечения личной информации – например, изменяющееся корректировка диджитал шаблона после каждой удачной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – единственная из наиболее захватывающих технологий нашего времени! Она обеспечивает общение со телефоном проще чем до этого, и такие приложения, как admiral-x, могут в разы улучшить ваш юзерский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, когда вы осведомлены, как функционирует эта технология в деталях, – сумеете осознаннее определять свой очередной гаджет!