Monthly seminar MMSID (Models and Methods for Signal, Image and Data)

The seminar usually takes place in the LIGM seminar room on the 4th floor of the Copernic building – see map at University Gustave Eiffel. (Paris area, train station: Noisy-Champs RER A, 20 minutes from the Paris city center.)

List of talks:

• Thursday, January 22nd, Nicolas Schreuder (LIGM)
  (Cliquer pour le résumé)

  Tests d’homogénéité fondés sur la distance de Sliced Wasserstein

  Le test d’homogénéité consiste à déterminer si deux ensembles de données proviennent de la même distribution. Si les méthodes classiques reposent souvent sur des hypothèses paramétriques fortes ou se limitent à des cadres de faible dimension, le développement de métriques flexibles, notamment issues des méthodes à noyaux et du transport optimal, a permis de concevoir des tests non paramétriques adaptés à des données plus complexes. Les tests basés sur la Maximum Mean Discrepancy (MMD) constituent aujourd’hui une référence largement étudiée, tandis que les distances de transport optimal restent relativement peu exploitées pour le test statistique. Dans cet exposé, je présenterai une approche fondée sur la distance de Sliced Wasserstein combinée à une procédure de permutation pour le test d’homogénéité. Je discuterai des garanties théoriques obtenues dans les cadres étudiés ainsi que des performances empiriques observées, en comparaison avec les tests basés sur la MMD, suggérant que le Sliced Wasserstein constitue une alternative naturelle et compétitive aux approches à noyaux. Référence : Binh Thuan Tran, NS (2025). Minimax-Optimal Two-Sample Test with Sliced Wasserstein. arXiv:2510.27498.
• Friday, February 20th., Abdelatif Zaidi (Huawei).
  (Cliquer pour le résumé)

  Compressibilité des algorithmes d’apprentissage statistique pour l’analyse du pouvoir de généralisation. Est-il nécessaire de mémoriser pour apprendre ?

  Cet éxposé est composé de deux parties. Dans la premiere, je présente un nouveau cadre d’ étude de l’erreur de généralisation des algorithmes d’apprentissage statistiques, à travers un nouveau prisme de compressibilité de taille variable des algorithmes que j’introduis. Dans ce cadre, l’erreur de généralisation d’un algorithme est liée au taux de compression de ses données d’entrée. Je montrerai que: (i) cela permet d’obtenir des bornes qui dépendent de la mesure statistique empirique des données plutot que de leur distribution inconnue, (ii) que ces bornes englobent et améliorent plusieurs bornes existantes de type PAC-BAYES, ou obtenues par approche théorie de l’information comme celle de Xu-Raginsky ou encore fondées sur la dimension intrinsèque de la structure fractale sous-jacente de l’algorithme, révelant ainsi le caractère unifcateur de l’approche. Il sera aussi montré que l’on peut utiliser ce cadre pour développer de nouvelles bornes plus fines sur la généralization. Dans la seconde partie de l’ éxposé, j’aborde la question importante du rapport entre pouvoir de généralisation et faculté de mémoire des algorithmes d’apprentissage statistique, question qui est encore à élucider. En effet, l’intuition selon laquelle les bons algorithmes devraient extraire uniquement les informations pertinentes et écarter les informations superflues, intuition étayée par certrains travaux théoriques, est remise en question par le succès retentissant des réseaux de neurones profonds sur-parametrés modernes. Je montrerai comment le cadre de compressibilité introduit dans la première partie de l’exposé permet de déterminer si la mémorisation est une composante nécessaire a la généralisation, comme cela a été récemment affirmé dans certains travaux.

  • Data-dependent generalization bounds via variable-size compressibility, EEE Transactions on Information Theory, vol. 70, no. 9, pp. 6572-6595, Sept. 2024, disponible à https://arxiv.org/abs/2303.05369,

  • Tighter CMI-Based Generalization Bounds via Stochastic Projection and Quantization, NeurIPS 2025, disponible à https://arxiv.org/abs/2510.23485

Organizers:

• Théo Lacombe
• François-Xavier Vialard