Création de jobs Spark en environnement Mesos pour la génération de fichiers XML (H/F)

Création de jobs Spark en environnement Mesos pour la génération de fichiers XML (H/F)

Mission

Ce stage a pour but de créer une extraction XML d’une base de données complète au moyen du framework de calculs distribués Spark. Les données d’entrée seront sous forme de fichiers dump de tables DB2 qu’il faudra trier et appareiller au moyen de Spark. En sortie, un fichier XML valide devra être produit. Les principales étapes sont résumées ainsi :

  • Conversion EBCDIC UTF8 des données
  • Tri et appareillage des différents fichiers de dump de la base via Spark
  • Formatage XML

 

Une des missions du stage est de monter en compétences sur le framework Spark et Mesos, en évaluer les possibilités pour proposer des approches innovantes. Le stagiaire devra également fournir une documentation complète afin de capitaliser les connaissances acquises au cours du stage et d’en faire bénéficier les équipes en place. L’accent sera mis sur l’utilisation de Spark et de Mesos (en tant qu’ordonnanceur) mais également sur la capacité à développer en suivant les standards professionnels (respect des normes de codage ; test unitaires ; utilisation d’un SCM tel que Git ; …)

Environnement

Ce stage est réalisé en équipe projet, il met en avant la force de proposition, la curiosité et l’envie de créer un produit d’exception ! Le stagiaire sera encadré durant la durée de stage, mais devra aussi pouvoir évoluer de manière autonome.

Compétences requises

Niveau Bac+5 d’école d’ingénieur ou d’université avec une spécialisation en développement informatique. Vous cultivez un fort intérêt pour l’innovation, en particulier liée au monde de la mobilité et la data science.

Vous avez des connaissances pour : Framework Spark, le langage Scala, Mesos et Formatage XML.

Lieu & durée du stage

Stage à pouvoir dès que possible pour une durée minimale de 6 mois, dans nos locaux de Bagnolet, Tour Gallieni II (métro Gallieni).A l’issue du stage, le stagiaire pourra se voir proposer un emploi CDI chez Infotel.

Votre candidature

Votre CV et lettre de motivation sont à adresser à recrutement-paris@infotel.com sous la référence : P17003.