Sélection 2023

Apprentissage multi-modal évolutif pour les données hétéro-gènes patrimoniale – AMEDEE

Partenaires internes FSP :
CYU Cergy Paris Université - Laboratoire ETIS : Nistor Grozavu

Centre de Recherche et de Restauration des musées de France (C2RMF) : Ann Bourgés

 
Doctorant :
David Roqui
Actuellement, une phase d’état de l’art pratique est en cours avec pour objectif de réaliser un benchmark (un comparatif) des différents modèles de régression classiques. Pour cela, nous les appliquons sur chaque modalité prise individuellement. Cette approche permet de déterminer quel modèle de régression classique est le plus enclin à performer correctement sur une modalité donnée. En parallèle, un état de l’art théorique sur l’apprentissage multimodal ainsi que sur les données patrimoniales multimodales est en cours. Cette démarche vise à comprendre les fondements théoriques et à évaluer les performances pratiques des modèles existants dans le contexte des données patrimoniales. Le benchmark pratique met l’accent sur l’évaluation comparative des modèles de régression pour identifier ceux qui offrent les meilleures performances pour chaque type de donnée patrimoniale. D’autre part, l’état de l’art théorique se concentre sur l’exploration des techniques d’apprentissage multimodal, qui permettent de combiner et d’exploiter différentes sources de données patrimoniales. En conjuguant ces deux approches, nous visons à élaborer une compréhension globale et approfondie des meilleures pratiques en matière d’analyse et de modélisation des données patrimoniales multimodales, ce qui contribuera à l’amélioration des méthodes existantes et à la proposition de nouvelles approches plus efficaces et adaptées aux spécificités de ces données.
L’objectif de ce projet est d’utiliser l’apprentissage multimodale qui est capable de traiter plusieurs modalités de données (audio,text,etc) dans le but de prédire l’état de dégradation de sites patrimoniaux français

Intérêts sociétaux et valorisation

Les perspectives actuelles du projet sont de développer un modèle multimodal à partir d’un modèle classique. Pour cela, nous allons dans un premier temps sélectionner la modalité que nous jugeons la plus pertinente après discussions. Pour cette modalité, nous allons ensuite choisir le meilleur modèle. Une fois cela fait, nous modifierons le modèle sélectionné afin qu’il puisse traiter les données multimodales liées aux sites patrimoniaux.

Il est prévu d’entraîner un modèle multimodal par type de climat. Par exemple, le climat méditerranéen sera représenté par le site de Villefranche-sur-Mer ainsi que son modèle associé. De même pour Strasbourg et Bibracte. L’objectif d’entraîner un modèle par site est de créer un modèle robuste et spécialisé par climat. Un modèle généraliste serait théoriquement possible, mais nécessiterait une bien plus grande quantité de données provenant de nombreux sites et climats.

Nos membres

Actualités

Savez-vous que votre navigateur est obsolète ?

Pour naviguer de la manière la plus satisfaisante sur notre site Web, nous vous recommandons de procéder à une mise à jour de votre navigateur. Mettre à jour mon navigateur

×