Appliquer l'apprentissage profond pour l'anti-usurpation faciale

Client

Le Client exerce dans le domaine de l'e-commerce et des services informatiques et propose des services infonuagiques pour réaliser des transactions financières. De plus, le fournisseur offre des systèmes de notification et de paiement pour les joueurs de loterie, une plateforme de paiement électronique, une plateforme d'abonnement électronique et des solutions sur mesure.

Le Client recherchait des experts en reconnaissance faciale. Avec le développement et l'utilisation généralisée de systèmes de vision par ordinateur, les attaques d'usurpation sont devenues un problème à résoudre. L'objectif métier du Client était de concevoir et de créer une solution robuste pour prévenir ce type d'attaque.

Défi : modèle efficace d'anti-usurpation faciale

L'équipe de DataSqueeze a relevé le défi d'entraîner un modèle d'apprentissage profond pour l'anti-usurpation faciale. Le Client avait besoin que le modèle discerne les types d'attaques suivants :

• Attaque imprimée (un morceau de papier avec une photo imprimée)
• Attaque digitale (un appareil avec une photo)
• Attaque par rejeu (une vidéo préenregistrée)

Notre équipe a dû concevoir les processus de collecte de données spécifiquement pour cette tâche et collecter toutes les données nécessaires à l'entraînement. Les données pour l'analyse et l'entraînement du modèle contenaient de courtes vidéos prises avec les caméras frontales des téléphones mobiles.

Nos ingénieurs ont décidé d'utiliser un réseau de détection de visages pré-entraîné. D'abord, nous avons trouvé des visages et des points clés du visage. Ensuite, nous avons utilisé la sortie pour la détection de falsification.

Solution : Un modèle basé sur l'apprentissage profond pour contrer les tentatives de fraude par image/vidéo

En coopération avec le Client, nous avons préparé un jeu de données contenant 2500 vidéos représentant différents types d'attaques ainsi que des visages authentiques.

Notre équipe a commencé par le prototypage du modèle, puis est passée à l'évaluation de l'implémentation commerciale. Nous avons divisé le processus de formation du modèle en deux phases : la détection des attaques d'images statiques avec des images numériques/imprimées et la détection des attaques vidéo.

1. attaques par images statiques

La tâche consistait à détecter une vraie ou fausse personne en utilisant une seule image du jeu de données existant. À cet effet, l'algorithme a trouvé des points faciaux clés (yeux, nez, coins des lèvres) sur une série de photos. Les coordonnées du mouvement des points clés pouvaient être utilisées comme caractéristiques.

Nos ingénieurs ont entraîné le modèle à classer les séquences de points clés faciaux comme faux/authentiques pour être utilisées plus tard pour l'inférence.

2. attaques vidéo

La tâche consistait à détecter une vraie personne ou une tentative de fraude en utilisant une séquence d'images vidéo ou une seule image. Nous avons décidé d'utiliser différentes caractéristiques d'une image : flou, variation de couleur, etc. Nous avons utilisé des descripteurs tels que DOG (analyse de la distorsion de l'image), LBP (classification de texture), HOG (comme caractéristiques supplémentaires pour la classification). Sur la base de ces descripteurs, nous avons récupéré un ensemble de caractéristiques pour l'entraînement. De plus, en utilisant l'apprentissage profond pour l'anti-usurpation faciale, nous avons entraîné un modèle séparé pour analyser chaque image puis combiner différents types de caractéristiques avec la sortie de cette analyse au sein du réseau final.

En tant que solution finale, nous avons proposé ce qui suit :

• Un modèle image par image pour analyser chaque image séparément et extraire certaines caractéristiques
• Données sur les points clés du visage à utiliser avec les caractéristiques
• Un RNN pour analyser les caractéristiques et dynamiques des points clés
• Le modèle résout la tâche sur une séquence d'images pour les attaques statiques et vidéo

Résultat : preuve de concept et conseil sur le développement ultérieur du projet

L'équipe de DataSqueeze a créé une preuve de concept basée sur Python et a fourni au Client une démo pour relever le défi de l'anti-usurpation faciale. Nous avons livré l'intégralité du pipeline d'entraînement et d'inférence du modèle, y compris l'option d'importer le réseau neuronal final afin que le Client puisse l'utiliser depuis Java.

Le code que nous avons livré pourrait être utilisé pour entraîner des modèles sur des données étendues et des modèles à grande vitesse. Nous avons également présenté plusieurs types de modèles.

En utilisant notre modèle, le Client peut choisir le seuil de décision et trouver un équilibre entre FAR (taux d'acceptation des faux positifs) et TAR (taux d'acceptation des vrais positifs). Nous avons atteint la qualité initialement demandée par le Client.

L'équipe d'ingénierie a offert son expérience solide dans la création de systèmes de reconnaissance faciale et d'autres systèmes avec la vision par ordinateur comme base. Notre solution répond au besoin urgent de mesures de sécurité. Notre Client a obtenu un modèle fonctionnel répondant aux objectifs et a reçu des recommandations connexes de la part de nos experts pour une formation avancée du modèle.

Travaillez avec DataSqueeze sur votre Projet de reconnaissance faciale