Как работает определение лиц в смартфонах

Почему мы выбираем разлочивание по лицевому распознаванию

В последние времена определение физиономий является одной из самых популярных функций для разблокировки умных телефонов. Всего некоторые лет ранее основная масса юзеров удовлетворялись пин-кодами, секретными кодами или сканерами отпечатков пальцев. Но с появлением подобных технологий, например вулкан россия, нам достаточно просто взглянуть на экран — и аппарат тут же узнает своего владельца.

Что делает эту особенность очень нужной? Прежде всего, это практично: не нужно удерживать в памяти замысловатые пароли или искать нужный палец в тьме. Также, это оперативно: современные системы узнают лицо практически за доли секунды. В-третьем пункте, это чувство будущего — словно в фильмах про вулкан россия шпионов.

Однако за данной на первый взгляд легкостью скрывается целый мир комплексных методов и инженерных разработок. Попробуем разобраться, как точно работает распознавание лиц в новейших мобильных телефонах, какие существуют технологии, насколько они безопасны и что нас ожидает в будущем.

Краткая история развития технологии

Идентификация лиц как методика существует уже более пятидесяти годов. Начальные эксперименты автоматизированного изучения лица были сделаны еще в 1960-х годах в научных учреждениях США. Тогда компьютеры умели лишь обозначать силуэты головы и определять расстояния между глазами и устами на ахроматических изображениях.

Изначальные бизнес установки появились в 90-х, но они были несовершенны: работали медленно и часто давали сбои. Только с развитием синтетических сетей и таких систем, как вулкан россии, высокопроизводительных мобильных чипов распознавание лиц стало по-настоящему общедоступным явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый популярный смартфон с безопасным трёхмерным идентификацией лица. За ним последовали Android-производители: Samsung, Huawei, Xiaomi и прочие начали внедрять свои разработки.

Ключевые этапы функционирования устройства распознавания

Процесс определения лица можно примерно поделить на несколько важных этапов:

Распознавание лиц — аппарат определяет присутствие людского лица в кадре.
Выделение признаков — алгоритм анализирует черты физиономии: форму глаз, обонятельного органа, губ, позицию надбровных дуг.
Построение шаблона — создаётся особенный электронный отпечаток (faceprint) на основе выделенных признаков.
Сравнение с эталоном — созданный образец сравнивается с сохранённой при регистрации биометрической сведениями владельца.
Принятие определения — если соответствие достаточно значительное, смартфон открывается.

Каждый из данных этапов требует специальных методов и усовершенствований для быстрой работы непосредственно на девайсе.

Железные составляющие: что находится внутри

Типичная селфи камера.

Наиболее легкий метод идентификации облика задействует только фронтальную камеру мобильного устройства. Подобный подход реализован во многих доступных версиях Android-устройств.

Сильные стороны:

Не требует дополнительных сенсоров.
Оперативно работает при достаточном свете.

Недостатки:

Легко одурачить снимком или видеозаписью.
Неправильно функционирует при слабом свете или непривычных углах обзора.

Инфракрасная камера и пунктирный проекционный аппарат

Более продвинутые системы, такие как вулкан россии, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая техпроцесс является основой Face ID от Apple.

Как это действует:

Точечный проектор показывает на облик пользователя невидимую структуру из тысяч инфракрасных меток (например, Face ID применяет около 30 000 меток).
ИК устройство регистрирует искривление этой сетки по плоскости физиономии.
Формируется трехмерная карта глубины глубины, что почти неподвластна для имитации типичной фотографией или маской.

Преимущества

Надёжная работа даже в полной темноте.
Высокая защита к подделкам.
Точность распознавания более 99%.

Дополнительные сенсорные устройства

В определённых аппаратах применяются также экстра сенсоры: ToF (Time-of-Flight), которые фиксируют период прохождения луча до объекта и обратно; Трехцветные-датчики дальности; специальные световые лидары для построения более точной 3D-модели лица.

Эти технологии используются чаще всего во топовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: искусственный интеллект в работе

Нынешние механизмы распознавания лиц немыслимы в отсутствие использования искусственного интеллекта и machine learning. Именно вследствие таким технологиям, как вулкан россии, устройство может распознавать юзера даже при трансформациях внешности: новая причёска, щетина, оптика или грим не становятся помехой для разблокировки.

Детектирование физиономии

На начальном этапе система обязана мгновенно обнаружить ликовое изображение среди целого изображения с камеры. Для этого используются каскадные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые “обучены” распознавать лиц человека среди множества других объектов.

Пример: алгоритм MTCNN способен распознавать физиономию даже при частичном закрытии (например, платком или рукой).

Идентификация важных аспектов

После распознавания лица устройство, такая как вулкан россии, вычисляет положение ключевых точек: края глаз, верхушка носа, края губ и так далее. Обычно используется от 68 до 128 главных точек на лице.

Это действие требуется для стабилизации картинки: если человек находится с телефон под углом, или склонил головку, программа исправляет изображение до стандартного положения для дальнейшего анализа.

Построение биометрического идентификатора шаблона

Далее нейронная сеть строит уплотненное числовое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой образ лица длиной от 128 до 512 чисел с плавающей запятой.

Этот формат очень сложно подделать: он не удерживает само картинку юзера, а лишь уникальные черты его вида, что делает его совершенным для таких систем, как vulkan russia.

Сравнение и вынесение выбора

В случае, когда человек хочет открыть мобильник взором, механизм повторяет все указанные шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает определённый порог (обычно превышает 99%), телефон, как и платформа vulkan russia, разблокируется; если нет — доступ блокируется.

Приспособление к метаморфозам внешнего вида

Увлекательная характеристика современных системы — способность самообучения. Если ты часто доступаете к смартфон с свежей укладкой или оптикой, программа постепенно обновляет основной образец вашего внешности для повышения точности работы без снижения уровня безопасности.

Охрана биометрических данных.

Множество клиенты боятся сохранять свои био-идентификационные данные на смартфоне из-за угрозы утечки данных или взлома гаджета. Некоторые фирмы, вроде vulkan russia, предлагают решения для повышения сохранности информации юзеров.

Локальное сбережение: Основная часть устройств записывает био-идентификационные шаблоны исключительно в пределах защищённого чипа Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не покидают устройство и не доступны включая создателю.
Шифрование: Все данные сохраняются только в зашифрованном виде с использованием современных криптографических алгоритмов AES256.
Изоляция приложений: Программы внешних девелоперов не обладают прямого доступа к биометрическим; они могут лишь требовать факт верификации идентичности через системный API.

Следует отметить существенную деталь: в случае, если кто-то сможет получить физический доступ к вашему телефону (например, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому большинство компании внедряют систему защиты от “слепого” разблокирования — к примеру, требуют раскрыть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие бывают категории определения лиц на изображениях?

Сегодня можно выделить различить 3 главных способа к осуществлению этой задачи:

Программируемое плоское идентификация

Эксплуатируется только лицевая камера без вспомогательных сенсоров дистанции. Этот способ встречается чаще всего в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: несложность осуществления; минимальная затраты; скоростная деятельность при хорошем свете.
Минусы: несложно обмануть фотографией; нестабильная функционирование ночью; недостаточная защищенность.

Техническое объёмное сканирование

Применяет ИК камеру + проектор точек + датчики дистанции (Face ID от Apple; аналогичные технологии у Huawei Mate).
Плюсы: высокая надёжность; невозможно обмануть фото/видео; устойчивая функционирование в любых условиях освещения.
Минусы: увеличение цены устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Комбинированные подходы с дополнением ИИ

Применяют комбинацию программируемых методов + аппаратно-техническую обработку + постобработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные изделия, например вулкан россии и Google Pixel Face Unlock новейших версий, сочетают фронтальную камеру c ИК сенсором мобильности Soli Radar для защиты от фальсификаций руками/масками/видеодисплеями посторонних устройств.

Примеры применения разных техник

iPhone серии X/11/12/13/14 задействуют только аппаратное трёхмерное 3D-сканирование
Xiaomi Mi8 Explorer Edition впервые внедрил эквивалент Face ID в числе Android.
Samsung Galaxy S10/S20 имеют как софтверное двухмерное определение по фото фронтальной камерой, так и сканер глазного ириса.
Huawei Mate20 Pro использует систему из ИК-подсветки + Dot Projector + ToF-сенсор

Проблемы охраны и неверные срабатывания

Несмотря на замечательный успехи технологий за прошедшие годы, идеальных систем пока не наблюдается:

Вероятность подвоха: Бюджетные смартфоны просто доступны высококачественной изображением владельца или видеозаписью с дисплея иного гаджета.
Идентичные близнецы: Даже самые идеальные системы могут перепутать между однояйцевыми близнецами либо родственниками с очень аналогичной внешностью.
Изменения внешнего вида: Стремительное утрата веса/увеличение массы тела, хирургические вмешательства или повреждения иногда требуют перерегистрации биометрии.
Условия съёмки: Яркая засветка солнцем или же глубокая тень могут понизить точность определения признаков.

Здесь некоторые подсказок по надёжному использованию:

Для важных операций всегда используйте двухэтапную аутентификацию;
Не включайте возможность “Разблокировка по лицу” на недорогих моделях без ИК-сенсоров;
Регулярно обновляйте программное обеспечение мобильного устройства для обеспечения безопасности от актуальных атак;
Включайте опцию “Требовать раскрытых глаз” в тех местах, где она доступна.

Где ещё применяется технология помимо мобильных телефонов?

Хотя тема данной работы касается в частности мобильным устройствам, стоит упомянуть о других сферах применения технологии:

Контроль доступа в деловых центрах и многоквартирных зданиях;
Платёжные аппараты банков (“Face Pay”);
Виртуальные паспорта последнего образца;
Установки видеоконтроля муниципальных подразделений;
Механизация учёта посещаемости образовательных учреждений/университетов;
Вход юзеров компьютеров/ноутбуков.

Например: В московском метро уже испытывается система платежа проезда по лицу (“Face Pay”) — хватит пройти через барьер без пластика или мобильника! Схожие инициативы осуществляются в Поднебесной (Шэньчжэнь), Южной Корее и ряде стран Европы.

Как трансформируется технический процесс в наше время?

Всякий год проявляются свежие мысли для повышения качества функционирования систем лицевого распознавания:

Увеличивается детализация сенсоров — чем больше информации фиксируется видеокамерой/глубинными сенсорами, тем меньше вероятность погрешности;
Развиваются искусственные интеллекты — современные структуры типа MobileNetV3 дают возможность скоростно обучаться дополнительным характеристикам вида пользователя прямо на устройстве без отправки данных в облако.
Совершенствуются способы антиспуфинга — теперь мобильные устройства умеют различать подлинные анимированные облики от фиксированных фото/маскировок по микроскопическим микродвижениям.
Интеграция со интеллектуальными приборами — смарт-часы могут автоматически блокировать мобильный телефон, если владелец отошёл далеко.
Проявляются гибридные механизмы — например комбинирующие речевую опознание + физиономию + пальцевой отпечаток.

Здесь, те тенденции очень востребованы в данный момент:

1) Уменьшение компонентов

Изготовители стараются минимизировать размер прорези (“чёлки”) для датчики на экране за счёт встраивания миниатюрных ИК-проекторов прямо под стекло дисплея либо высувных модулей камеры.

2) Обработка прямо на девайсе

Для увеличения приватности всё больше расчётов выполняется внутри устройства без отправки информации во внешний облачный сервис.

3) Унификация регламентов

Google активно пропагандирует стандарт BiometricPrompt API, чтобы подобные системы, как вулкан россия, и каждые Android-приложения могли взаимодействовать с всеми формами биометрии стандартизированно.

Что выбрать на сегодня?

Если вам всем нужна максимальная безопасность информации, подбирайте флагманские аппараты с интегрированным ИК-проектором или же ToF-сенсором глубины.

iPhone каждого актуальных версий
Huawei Mate/Series P ряда
Mi Expert
Vivo X серии
Oppo Обнаружить Икс линейки.

Если бюджет ограничен – лучше отдавать предпочтение классическим способам безопасности (PIN-код/сканер пальца), а опцию “разблокировка по лицу”, такую как в вулкан россия, применять только как дополнительную возможность комфорта.

Как повысить комфорт использования функции?

Есть некоторые советов для тех, кто уже использует функцию распознавания лица:

Регулярно обновляйте свою фото-шаблон, если значительно меняется внешность.
Не пренебрегайте чистить линзу фронтальной камеры – пятна могут понизить четкость!
Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – так смартфон сам запускает камеру как только вы берёте его в руки.
В процессе регистрации пытайтесь держать голову неподвижно перед камеры не допуская значительного наклона головы.
Применяйте опцию “Attention Aware” (“Реакция на внимание”) – она запирает смартфон, если вы отворачиваетесь от дисплея.

Перспективы эволюции инноваций

В скоро наступающие периоды можно предвкушать возникновения полностью бесконтактных способов опознания индивидуума сразу по нескольким биометрическим характеристикам параметрам одновременно: физиономия + голос + походка + жесты рук!

Также возможно возникновение современных подходов обеспечения приватности – скажем, изменяющееся корректировка электронного образца после каждой результативной авторизации, чтобы усложнить его копирование злоумышленниками.

Распознавание лиц – одна из самых интересных инноваций нашего времени! Она делает общение со мобильным устройством проще чем раньше, и такие аппы, как vulkan russia, могут в разы повысить ваш юзерский опыт, но требует осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, раз вы понимаете, как устроена эта система изнутри, – сумеете осознаннее выбирать свой будущий девайс!