Vous pouvez remplacer les configurations par défaut des applications en fournissant un objet de configuration pour les applications lorsque vous créez un cluster. L'objet de configuration est référencé en tant que fichier JSON. Les objets de configuration consistent en une classification, des propriétés et des configurations imbriquées facultatives. Les propriétés sont les paramètres que vous souhaitez modifier dans ce fichier. Vous pouvez spécifier plusieurs classifications pour plusieurs applications dans un seul objet JSON.
Pour remplacer hive-site.xml par les informations de votre métastore mysql externe, créez un fichier de configuration appelé hiveConfiguration.json contenant les modifications apportées à hive-site.xml :
[
{
"Classification": "hive-site",
"Properties": {
"javax.jdo.option.ConnectionURL": "jdbc:mysql:\/\/hostname:3306\/hive?createDatabaseIfNotExist=true",
"javax.jdo.option.ConnectionDriverName": "org.mariadb.jdbc.Driver",
"javax.jdo.option.ConnectionUserName": "username",
"javax.jdo.option.ConnectionPassword": "password"
}
}
]
Utilisez hiveConfiguration.json avec la commande AWS CLI suivante pour créer le cluster :
aws emr create-cluster --release-label emr-5.11.0 --instance-type m3.xlarge --instance-count 2 \
--applications Name=Hive --configurations ./hiveConfiguration.json --use-default-roles
Référence :
https://docs.aws.amazon .com/emr/latest/ReleaseGuide/emr-hive-metastore-external.html
