The Doppler Quarterly (FRANÇAIS) Printemps 2017 - Page 30

Même charge, clusters multiples Tout comme nous devons commencer à songer à des clusters qui s'animent pour accomplir leur calcul intensif avant de repasser en veille, nous devrions également nous affranchir de l'habitude de ne nous intéresser qu'à des clusters uniques, et commencer à envisager plusieurs clusters gérant des charges de travail différentes. Si vous vous habituez aux schémas de développement, de test et de déploiement spécifi ques associés aux clusters éphémères, l'étape naturelle suivante est de songer à exécuter des clusters distincts pour les différents modèles de consomma- tion ; par exemple, un ou plusieurs clusters pour l'assimilation des données, un ou plusieurs pour les requêtes rapides et un pour les sciences des données. Ecosystème d'outils Nous avons signalé que la technologie privilégiée pour élaborer un lac de données est HDFS. Si vous vous engagez avec HDFS, les options les plus courantes sont Apache Oozie pour la gestion du workfl ow, Apache Pig pour les scripts et Apache Hive pour les requêtes par lot et certaines requêtes interactives. Apache Spark a gagné en popularité ces dernières années et devrait être un candi- dat sérieux pour gérer les analyses de streaming et les charges de travail d'appren- tissage automatique. Nous voyons également des clusters Redshift, DynamoDB et ElasticSearch cohabiter avec l'écosystème Hadoop au sein d'un déploiement Ama- zon Web Services. Tous les outils présentent certaines limitations. Par conséquent, une analyse préalable minutieuse est nécessaire pour s'assurer que les fonctionnal- ités indispensables sont prises en charge ou qu'elles apparaissent dans la feuille de route pour une prise en charge à court terme. Amazon Redshift Copy depuis le système HDFS Connecteur EMR-DynamoDB Amazon Redshift Amazon DynamoDB Connecteurs de données de streaming Source de données JDBC avec Spark SQL Amazon RDS Amazon Kinesis Amazon EMR Connecteur Elasticsearch Système de fichiers EMR (EMRFS) Amazon S3 Figure|5|: Diverses technologies collaborant dans AWS Automatisation de l'assimilation des données Au cours de nos discussions, nous entendons souvent parler d'une préoccupation concernant la persistance polyglotte : la complexité de l'intégration des données back-end. Les moteurs à traitement multiple impliquent davantage de code d'as- similation et de coûts de développement, de maintenance et de modifi cation asso- ciés. Mais en répartissant les charges de travail sur plusieurs moteurs d'automati- sation, nous pouvons simplifi er les structures de données dans chaque moteur. Un 28 | THE DOPPLER | PRINTEMPS 2017