A propos des masses de données – le 11 Mars 2015

Qui, quand ? lieu ?

• par Franck Le Petit (Lerma – Observatoire de Paris)
• le 11 Mars 2015
• 14H00 salle Gervais de Lafond

Résumé

Les masses de données acquises par les grands instruments et produits par les modèles numériques sont une occasion de repenser les services de diffusion de données. Loin de n’être qu’une source de difficultés, en disposant des outils et des algorithmes adaptés pour les stocker et les manipuler, il devient possible de mettre en oeuvre de nouvelles approches pour la recherche, voir de développer des systèmes informatiques “intelligents”.
Ceci nécessite souvent de revoir la façon dont les données sont formatées et organisées, de développer des méthodes pour fouiller et manipuler rapidement ces données, et de revoir l’interface homme-machine.
En s’appuyant sur le service SO5 Plateforme MIS & Jets, nous montrerons un exemple d’utilisation de données simulées spécialement traitées de façon à faciliter l’interprétation des observations dans le milieu interstellaire. Pour chacun des modèles diffusés, ce sont prêt de 150 000 métadonnées qui sont produites, transformées et chargées en base de données. Ces métadonnées couvrent les densités de colonne de centaines d’espèces chimiques et des dizaines de milliers d’intensité de raies. Pour interpréter des observations dans le MIS Galactique et extragalactique, ce sont des milliers de modèles qui sont nécessaires engendrant des millions de données et métadonnées hétérogènes.
Nous présenterons certaines des solutions techniques envisagées pour gérer ces masses de données (SQL, NoSQL, …) ainsi que l’apport du web-sémantique pour interagir avec ce type de système. Enfin, nous terminerons avec d’autres exemples des possibilités que permettent d’envisager les masses de données en astro (études statistiques, corrélation, moments, réductions dimensionnelles entre les quantités exploitées, qu’elles soient synthétiques ou observationelles).