[Soutenance de thèse] 11/12/2025 – Nicolas André : « Représentations et fonctions d’activation réelles et hyper-complexes dans les réseaux de neurones pour le traitement du signal » (UPR LIA)

Monsieur Nicolas ANDRÉ soutiendra publiquement ses travaux de thèse intitulés : « Représentations et fonctions d’activation réelles et hyper-complexes dans les réseaux de neurones pour le traitement du signal », dirigés par Monsieur Mohamed MORCHID, le jeudi 11 décembre 2025.

Laboratoire

UPR 4128 LIA – Laboratoire Informatique d’Avignon

Composition du jury de soutenance

M. Mohamed MORCHID	Avignon Université	Directeur de thèse
M. Javier RAMIREZ RODRIGUEZ	Universidad Autónoma Metropolitana	Rapporteur
Mme Irina ILLINA	Université de Lorraine	Rapporteure
M. Patrice BELLOT	Aix-Marseille Université	Examinateur
M. Majed HADDAD	Avignon Université	Invité

Résumé

Les travaux de recherche présentés dans cette thèse portent sur la conception et l’analyse théorique d’architectures neuronales en apprentissage automatique, avec une approche résolument mathématique. Ils visent à améliorer l’efficacité et la capacité d’approximation des réseaux de neurones tout en réduisant leur complexité paramétrique. Une part importante de ces recherches concerne les fonctions d’activation, éléments centraux du processus d’apprentissage. Cette thèse explore notamment la création de nouvelles fonctions présentant des propriétés structurelles originales capables de diminuer le nombre de paramètres sans perte de performance, tout en conservant une rigueur formelle dans leur définition et leur analyse. Dans un premier axe, l’étude porte sur les réseaux neuronaux réels. Il y est proposé de nouvelles architectures basées sur les existantes Rational Activation Functions (RAF), des fonctions d’activation paramétriques capables de reproduire le comportement d’une couche linéaire avec ReLU tout en offrant une plus grande flexibilité. Ce cadre a permis d’introduire les Exponential-Based RAF, qui combinent des composantes exponentielles et rationnelles afin de renforcer la capacité d’approximation et de réduire significativement le nombre de paramètres. Les expériences menées sur des tâches classiques de classification et de régression ont confirmé la supériorité de ces modèles, qui obtiennent de meilleures performances tout en utilisant des architectures beaucoup plus compactes. Un deuxième axe de ces travaux concerne les réseaux de neurones de quaternions, une famille de modèles hyper-complexes offrant des représentations particulièrement adaptées à des données multidimensionnelles, comme en traitement du signal, vision par ordinateur ou langage. Les fonctions d’activation dans ce contexte soulèvent des défis uniques en raison de la structure non commutative des quaternions. Cette thèse propose des RAF et des Component-Specific RAF (CSRAF) adaptées à ce cadre, accompagnées de justifications mathématiques et d’expérimentations démontrant leur capacité à dépasser les approches classiques dites split. Plus récemment, il y est aussi développé une méthode efficace de calcul de l’exponentielle de matrices quaternioniques, ouvrant la voie à de nouvelles fonctions d’activation et à une réduction supplémentaire des ressources de calcul. Parallèlement à ces travaux théoriques, cette thèse porte aussi sur le traitement automatique du langage. Un premier article s’est intéressé aux capacités de classification de modèles Transformers appliqués à des conversations téléphoniques fortement bruitées. Il y est étudié la détection de thèmes et de sous-thèmes ainsi que l’influence de leurs interconnexions sur l’apprentissage, démontrant la robustesse de ces architectures dans des conditions acoustiques dégradées. L’ensemble de ces contributions (qu’il s’agisse de nouvelles fonctions d’activation pour réseaux réels ou quaternioniques, de méthodes de calcul matriciel hyper-complexe, ou d’applications au traitement du langage) vise un objectif commun : concevoir des modèles plus compacts, mathématiquement solides et performants, capables de répondre aux besoins croissants du machine learning moderne, tout en ouvrant des perspectives applicatives dans des domaines variés tels que la vision, l’audio ou le traitement du signal.

Mots-clés : Neurone, Quaternion, Langage, Fonction d’activation, Apprentissage machine