STAGE – Codecs audio neuronaux : imposer une structure dans les jetons pour l’interprétabilité et le contrôle(H/F)

Lieu : Palaiseau, France

Construisons ensemble un avenir de confiance

Thales est un leader mondial des hautes technologies spécialisé dans trois secteurs d’activité : Défense & Sécurité, Aéronautique & Spatial, et Cyber & Digital. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus respectueux de l’environnement et plus inclusif. Le Groupe investit près de 4,5 milliards d’euros par an en Recherche & Développement, notamment dans des domaines clés de l’innovation tels que l’IA, la cybersécurité, le quantique, les technologies du cloud et la 6G. Thales compte près de 85 000 collaborateurs dans 65 pays. ​

Nos engagements, vos avantages

• Notre savoir-faire technologique

• Notre attention portée à l’équilibre des collaborateurs

• Un environnement inclusif et bienveillant

• Un engagement sociétal et environnemental reconnu (Thales Solidarity, indice CAC 40 ESG…)

Votre quotidien

Thales Research&Technology, notre centre de recherche dans les domaines matériels, et CortAIx Labs, notre centre de recherche en IA et digital ont pour mission de proposer des innovations de ruptures, de maintenir et d’accroitre l’avance technologique et d’en assurer la compétitivité pour le groupe.

Votre quotidien

Un codec (“codeur-décodeur”) est une méthode qui encode et décode un flux de données numérique, par exemple audio ou vidéo, en vue d’une transmission ou d’un stockage. Pour les applications où la bande passante est limitée, comme les communications militaires, les transmissions satellitaires ou les systèmes embarqués, un bon codec doit proposer un encodage qui compresse l’information sans dégrader le signal décodé. Les codecs fonctionnent généralement en trois parties. Ils plongent le signal dans un espace latent avec un encodeur. Ils discrétisent cet espace latent avec un dictionnaire fini (ou codebook) de vecteurs de référence (appelés tokens, ou codewords). Enfin, ils resynthétisent le signal avec un décodeur. Pour des communications ou le stockage, il suffit d’envoyer ou de conserver la suite d’indices des tokens (ou vecteurs de référence) associés au signal considéré.

Les codecs audios traditionnels à faible débits binaires comme MELP, Opus ou EVS atteignent leurs limites en dessous de 2 400 bits par seconde d’audio (bps), avec une dégradation significative de l’intelligibilité et de la naturalité de la voix. Les codecs audios neuronaux définissent l’encodeur et le décodeur avec des réseaux de neurones. Ils sont inspirés des progrès récents en apprentissage profond pour de la compression d’image et en modèles de langage basés sur la tokenisation. Ils proposent des compressions extrêmes, jusqu’à 165 bps pour FocalCodec tout en reconstituant des audios de très bonne qualité.

Bien que prometteurs, les CANs ne sont pas encore utilisables dans des environnements opérationnels. Un défaut majeur que nous souhaitons traiter dans ce stage est l’opacité des tokens, qui limite leur interprétabilité et leur fiabilité. Pour les codecs états de l’art, les tokens sont entièrement appris avec les données : ils très flexibles et contiennent des informations à la fois sémantiques et acoustiques.

Dans ce stage, nous souhaitons imposer une structure adéquate au dictionnaire de tokens. L’objectif est de proposer un biais inductif qui améliore les capacités de généralisation du codec hors des domaines d’entraînement, et rend possible des audits de ses tokens.

Vos missions

Dans ce contexte, vous aurez pour missions :

- Monter en compétence sur les codecs audios neuronaux

- Prendre en main un ou plusieurs codecs

- Modifier l’étape de quantification pour créer des tokens interprétables, séparant le message, l’identité du locuteur et son style (prosodie, émotion, etc.)

Présentation et transmission des résultats au reste de l’équipe

Objectifs :

- Démêler les informations de différentes natures dans les tokens (contenu du message, l’identifiabilité du locuteur, et son style)

- Gagner en contrôle sur la reconstruction d’audio (eg, changement de locuteur, de style, ou de message)

- Valider l’interprétabilité des tokens obtenus

Votre profil

Vous avez envie de découvrir le domaine de la recherche ?

Vous avez pour ambition de réaliser votre stage au sein de Thales ?

Etudiant en M2, en Ecole d’ingénieur en IA, Maths appliquées ou informatique, vous avez des connaissances en :

• Pratique de Python et d’un framework Deep Learning (PyTorch)
• Traitement du signal audio
• Anglais (niveau B2-C1 attendu)

Rigueur, autonomie et goût pour l’expérimentation sont des atouts que l'on vous reconnait ?

Alors ce stage est fait pour vous !

Tous nos stages sont conventionnés et soumis à une gratification dont le montant est déterminé selon votre niveau d’études.
Thales, entreprise Handi-Engagée, reconnait tous les talents. La diversité est notre meilleur atout. Postulez et rejoignez nous !