Efficient Scheduling of Scientific Workflows using Hot Metadata in a Multisite Cloud

Ji Liu 1 Luis Pineda-Morales 2 Esther Pacitti 1 Alexandru Costan 2 Patrick Valduriez 1 Gabriel Antoniu 2 Marta Mattoso 3
1 ZENITH - Scientific Data Management
LIRMM - Laboratoire d'Informatique de Robotique et de Microélectronique de Montpellier, CRISAM - Inria Sophia Antipolis - Méditerranée
2 KerData - Scalable Storage for Clouds and Beyond
Inria Rennes – Bretagne Atlantique , IRISA_D1 - SYSTÈMES LARGE ÉCHELLE
Résumé : Les applications scientifiques à grande échelle sont souvent exprimées sous forme de workflows scientifiques (SWfs) qui aident à définir les jobs de traitement des données et les dépendances entre les activités des jobs. Certains SWfs nécessitent une très grande quantité de stockage et de calcul, ce qui peut être obtenu en exploitant plusieurs data centers dans un cloud. Dans ce contexte, la gestion des métadonnées et l’ordonnancement des tâches entre différents data centers deviennent critiques pour l’exécution efficace de SWf. Dans cet article, nous proposons une architecture et un modèle distribués hybrides, en utilisant les métadonnées chaudes (fréquemment consultées) pour l’ordonnancement efficace de SWf dans un cloud multisite. Nous utilisons notre modèle dans un système de gestion de workflows scientifiques (SWfMS) pour valider et régler son applicabilité à différents workflows scientifiques réels avec différents algorithmes d’ordonnancement. Nous montrons que la combinaison d'une gestion efficace des métadonnées chaudes et des algorithmes d’ordonnancement améliore les performances du SWfMS. En évitant les opérations inutiles de métadonnées froides, le temps d'exécution des jobs qui s’exécutent en parallèle est réduit jusqu'à 64,1% et celui de l'ensemble des workflows scientifiques jusqu'à 37,5%.
Type de document :
Communication dans un congrès
BDA: Conférence sur la Gestion de Données — Principes, Technologies et Applications, Nov 2017, Nancy, France. pp.13, 2017
Liste complète des métadonnées

Littérature citée [36 références]  Voir  Masquer  Télécharger

https://hal-lirmm.ccsd.cnrs.fr/lirmm-01620231
Contributeur : Ji Liu <>
Soumis le : mardi 21 novembre 2017 - 13:14:27
Dernière modification le : jeudi 24 mai 2018 - 15:59:21

Fichier

BDA2017.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : lirmm-01620231, version 2

Citation

Ji Liu, Luis Pineda-Morales, Esther Pacitti, Alexandru Costan, Patrick Valduriez, et al.. Efficient Scheduling of Scientific Workflows using Hot Metadata in a Multisite Cloud. BDA: Conférence sur la Gestion de Données — Principes, Technologies et Applications, Nov 2017, Nancy, France. pp.13, 2017. 〈lirmm-01620231v2〉

Partager

Métriques

Consultations de la notice

200

Téléchargements de fichiers

107