MR-Part : Minimizing Data Transfers Between Mappers and Reducers in MapReduce - Archive ouverte HAL Access content directly
Conference Papers Year : 2013

MR-Part : Minimizing Data Transfers Between Mappers and Reducers in MapReduce

(1) , (1) , (2) , (1) , (1, 3)
1
2
3
Miguel Liroz-Gistau
  • Function : Author
  • PersonId : 901689
Reza Akbarinia
Esther Pacitti

Abstract

La réduction du transfert des données dans la phase "Shuf?e" de MapReduce est très importante, car elle augmente la localité des données, et diminue le coût total des exécutions des jobs MapReduce. Dans la littérature, plusieurs optimisations ont été proposées pour réduire le transfert de données entre les mappers et les reducers. Néanmoins, toutes ces approches sont limitées par la façon dont les clé-valeurs intermédiaires sont réparties sur les mappers. Dans cet article, nous proposons une technique qui repartitionne les tuples dans le ?chier d'entrée, avec l'objectif d'optimiser la distribution des clés-valeurs sur les mappers. Notre approche détecte les relations entre les tuples d'entrée et les clé-valeurs intermédiaires en surveillant l'exécution d'un ensemble de tâches MapReduce qui est représentatif du workload. Puis, à partir des relations détectées, il affecte les tuples d'entrée aux mappers, et augmente la localité des données lors des futures exécutions. Nous avons implémenté notre approche dans Hadoop, et l'avons évaluée par expérimentation dans Grid5000. Les résultats montrent une grande réduction dans le transfert de données pendant la phase "Shuf?e" par rapport à Hadoop.
Fichier principal
Vignette du fichier
bda_2013-paper.pdf (148.45 Ko) Télécharger le fichier
Origin : Files produced by the author(s)
Loading...

Dates and versions

lirmm-00879531 , version 1 (18-11-2013)

Identifiers

  • HAL Id : lirmm-00879531 , version 1

Cite

Miguel Liroz-Gistau, Reza Akbarinia, Divyakant Agrawal, Esther Pacitti, Patrick Valduriez. MR-Part : Minimizing Data Transfers Between Mappers and Reducers in MapReduce. BDA: Bases de Données Avancées, Oct 2013, Nantes, France. ⟨lirmm-00879531⟩
331 View
475 Download

Share

Gmail Facebook Twitter LinkedIn More