s'authentifier
version française rss feed
HAL : hal-00684866, version 1

Voir la fiche concise  BibTeX,EndNote,...
Towards Scalable Data Management for Map-Reduce-based Data-Intensive Applications on Cloud and Hybrid Infrastructures
Antoniu G., Bigot J., Blanchet C., Bougé L., Briant F. et al
1st International IBM Cloud Academy Conference - ICA CON 2012, Research Triangle Park, North Carolina : États-Unis (2012) - http://hal.inria.fr/hal-00684866
Informatique/Calcul parallèle, distribué et partagé
Towards Scalable Data Management for Map-Reduce-based Data-Intensive Applications on Cloud and Hybrid Infrastructures
Gabriel Antoniu (, http://www.irisa.fr/kerdata/doku.php?id=people:gabriel.antoniu)1, Julien Bigot ()2, Christophe Blanchet3, Luc Bougé ()1, François Briant4, Franck Cappello5, 6, 7, Alexandru Costan ()1, Frédéric Desprez ()2, Gilles Fedak ()2, Sylvain Gault2, Kate Keahey ()8, Bogdan Nicolae ()5, 6, Christian Pérez ()2, Anthony Simonet2, Frédéric Suter ()9, Bing Tang2, Raphael Terreux3
1 :  INRIA - IRISA - KerData
http://www.inria.fr/equipes/kerdata
INRIA – CNRS : UMR6074 – École normale supérieure (ENS) - Cachan – Institut National des Sciences Appliquées (INSA) - Rennes – Université de Rennes 1
Campus de Beaulieu 35042 Rennes cedex
France
2 :  LIP Lyon / Inria Grenoble Rhône-Alpes - AVALON
http://avalon.ens-lyon.fr/
CNRS : UMR5668 – INRIA – École Normale Supérieure (ENS) - Lyon – Laboratoire d'informatique du Parallélisme – Université Claude Bernard - Lyon I (UCBL)
ENS Lyon 46 allée d'Italie 69364 Lyon Cedex 07
France
3 :  IBCP - Institut de biologie et chimie des protéines [Lyon]
http://www.ibcp.fr
CNRS : UMR5086 – Université Claude Bernard - Lyon I (UCBL)
7 Passage du Vercors 69367 LYON CEDEX 07
France
4 :  IBM PSSC Montpellier - Innovation Lab.
IBM PSSC Montpellier
Product & Solutions Support Center, 1 rue de la Vieille Poste 34060 Montpellier Cedex 2
France
5 :  INRIA Saclay - Ile de France - GRAND-LARGE
http://grand-large.lri.fr/index.php/Main_Page
INRIA – CNRS : UMR8623 – Université Paris XI - Paris Sud
PCRI - Université de Paris-Sud, Bâtiment 650, 91405 ORSAY Cedex
France
6 :  JLPC - Joint Laboratory for Petascale Computing [Illinois]
http://jointlab.ncsa.illinois.edu/
University of Illinois at Urbana-Champaign – INRIA – National Center for Supercomputing Applications (NCSA)
États-Unis
7 :  LRI - Laboratoire de Recherche en Informatique
http://www.lri.fr/
CNRS : UMR8623 – Université Paris Sud
LRI - Bâtiments 650-660 Université Paris-Sud 91405 Orsay Cedex
France
8 :  ANL - Argonne National Laboratory
http://www.anl.gov
US Department of Energy – University of Chicago
9700 S. Cass Avenue Argonne, IL 60439
États-Unis
9 :  CC IN2P3 - Centre de Calcul de l'inst. national de phy. nucléaire et de phy. des particules
http://cc.in2p3.fr/
CNRS : USR6402 – IN2P3
12-14, boulevard Niels Bohr 69622 VILLEURBANNE CEDEX
France
As Map-Reduce emerges as a leading programming paradigm for data-intensive computing, today's frameworks which support it still have substantial shortcomings that limit its potential scalability. In this paper we discuss several directions where there is room for such progress: they concern storage efficiency under massive data access concurrency, scheduling, volatility and fault-tolerance. We place our discussion in the perspective of the current evolution towards an increasing integration of large-scale distributed platforms (clouds, cloud federations, enterprise desktop grids, etc.). We propose an approach which aims to overcome the current limitations of existing Map-Reduce frameworks, in order to achieve scalable, concurrency-optimized, fault-tolerant Map-Reduce data processing on hybrid infrastructures. This approach will be evaluated with real-life bio-informatics applications on existing Nimbus-powered cloud testbeds interconnected with desktop grids.
Anglais

Communications avec actes
2012
internationale
1st International IBM Cloud Academy Conference - ICA CON 2012
Research Triangle Park, North Carolina
États-Unis
04/2012

MapReduce – cloud computing – data-intensive computing – hybrid infrastructures – BlobSeer – BitDew – Nimbus – HLCM – Grid'5000
Référence du projet ANR-10-SEGI-001
Année 2010
Acronyme du projet MapReduce
Titre du projet Traitement intensif de données à très grande échelle à l'aide du paradigme MapReduce sur des infrastructures de type cloud et hybrides
Liste des fichiers attachés à ce document :
PDF
ICACON2012-MapReduce.pdf(977.8 KB)