STAGE – Ingénieur de Recherche Évaluation de la robustesse et contre-mesures pour un système de reconnaissance du locuteur biométrique multimodal Audio-Vidéo (H/F) – 6 mois

Lieu : Palaiseau, France

Construisons ensemble un avenir de confiance

Thales est un leader mondial des hautes technologies spécialisé dans trois secteurs d’activité : Défense & Sécurité, Aéronautique & Spatial, et Cyber & Digital. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus respectueux de l’environnement et plus inclusif. Le Groupe investit près de 4,5 milliards d’euros par an en Recherche & Développement, notamment dans des domaines clés de l’innovation tels que l’IA, la cybersécurité, le quantique, les technologies du cloud et la 6G. Thales compte près de 85 000 collaborateurs dans 65 pays. ​

Nos engagements, vos avantages

• Notre savoir-faire technologique

• Notre attention portée à l’équilibre des collaborateurs

• Un environnement inclusif et bienveillant

• Un engagement sociétal et environnemental reconnu (Thales Solidarity, indice CAC 40 ESG…)

Votre quotidien

Thales Research&Technology, notre centre de recherche dans les domaines matériels, et CortAIx Labs, notre centre de recherche en IA et digital ont pour mission de proposer des innovations de ruptures, de maintenir et d’accroitre l’avance technologique et d’en assurer la compétitivité pour le groupe.

Un stage précédent a permis de développer et de valider une approche de reconnaissance du locuteur par fusion multimodale (audio et vidéo). Il a été prouvé que l'ajout de la modalité vidéo améliore les performances de reconnaissance par rapport à une approche purement audio. Cependant, dans des conditions réelles et adversariales, un système biométrique doit faire face à de multiples tentatives de fraude (spoofing). Avec la démocratisation des intelligences artificielles génératives (deepfakes, voice conversion, lip-sync), un attaquant peut tenter d'usurper l'identité d'un locuteur en falsifiant l'audio, la vidéo, ou les deux de manière asymétrique (ex: une personne porte un masque ou modifie sa voix tout en gardant son visage). L'objectif de ce stage est d'évaluer la robustesse du système actuel face à ces attaques et de développer des contre-mesures intelligentes, notamment en repensant la stratégie de fusion multimodale pour détecter ces fraudes.

Objectifs :

1. Concevoir et générer différentes attaques (symétriques et asymétriques) pour tester la vulnérabilité du système actuel.

2. Étudier la cohérence temporelle et la "preuve de vie" (Liveness) entre l'audio et la vidéo pour détecter les rejeux été les deepfakes.

3. Tester la résilience du système dans des conditions environnementales dégradées (bruit, luminosité faible).

4. Proposer et implémenter une stratégie de fusion dynamique capable d'ajuster le poids de chaque modalité en fonction de leur niveau de confiance respectif.

Vos missions

1. Évaluer la vulnérabilité du système de reconnaissance actuel en concevant et générant des attaques adversariales (symétriques et asymétriques telles que deepfakes audio/vidéo, voice conversion, ou port de masques).

2. Tester la résilience du système multimodal face à des conditions environnementales dégradées (bruit acoustique, basse luminosité, qualité vidéo réduite).

3. Développer des contre-mesures axées sur la "preuve de vie" (Liveness) en analysant la cohérence temporelle audio- vidéo (synchronisation labiale) et en explorant la détection de signaux vitaux (rPPG).

4. Concevoir et implémenter une stratégie de fusion multimodale dynamique, capable d'ajuster le poids de chaque modalité en temps réel selon son niveau de confiance afin de contrer efficacement les fraudes.

Votre profil

Etudiant en dernière année (Bac+5) d'une école d'ingénieur ou équivalent, vous recherchez un stage de fin d'études de 6 mois.

Vous avez de solides compétences en programmation (Python, PyTorch ou TensorFlow) ?

Vous avez des connaissances de base en apprentissage profond (réseaux de neurones, CNN, RNN/Transformers) ?

Vous avez une appétence pour le traitement du signal audio/vidéo et/ou la cybersécurité (connaissance des deepfakes est un plus) ?

Vous êtes connu pour votre curiosité, autonomie et rigueur scientifique ?

Alors n'hésitez plus, ce stage est fait pour vous !

Tous nos stages sont conventionnés et soumis à une gratification dont le montant est déterminé selon votre niveau d’études.
Thales, entreprise Handi-Engagée, reconnait tous les talents. La diversité est notre meilleur atout. Postulez et rejoignez nous !