Mysql
 sql >> Base de données >  >> RDS >> Mysql

Comment transférer une table mysql vers hive ?

  1. Tout d'abord, téléchargez mysql-connector-java-5.0.8 et placez le jar dans le dossier lib et bin de Sqoop

  2. Créer la définition de table dans Hive avec les noms et types de champs exacts comme dans mysql

    sqoop import --verbose --fields-terminated-by ',' --connect jdbc:mysql://localhost/test --table employee --hive-import --warehouse-dir /user/hive/warehouse --fields -terminated-by ',' --split-by id --hive-table employee

test - Nom de la base de données

employé - Nom de la table (présent dans le test)

/user/hive/warehouse - Répertoire dans HDFS où les données doivent être importées

--split-by id - id peut être la clé primaire de la table 'employee'

--hive-table employee - table des employés dont la définition est présente dans Hive

Guide de l'utilisateur Sqoop (L'un des meilleurs guides pour apprendre Sqoop)