Sie können die Standardkonfigurationen für Anwendungen überschreiben, indem Sie beim Erstellen eines Clusters ein Konfigurationsobjekt für Anwendungen angeben. Das Konfigurationsobjekt wird als JSON-Datei referenziert. Konfigurationsobjekte bestehen aus einer Klassifizierung, Eigenschaften und optionalen verschachtelten Konfigurationen. Eigenschaften sind die Einstellungen, die Sie in dieser Datei ändern möchten. Sie können mehrere Klassifizierungen für mehrere Anwendungen in einem einzelnen JSON-Objekt angeben.
Um hive-site.xml mit Ihren externen MySQL-Metastore-Informationen zu überschreiben, erstellen Sie eine Konfigurationsdatei namens hiveConfiguration.json, die Änderungen an hive-site.xml enthält:
[
{
"Classification": "hive-site",
"Properties": {
"javax.jdo.option.ConnectionURL": "jdbc:mysql:\/\/hostname:3306\/hive?createDatabaseIfNotExist=true",
"javax.jdo.option.ConnectionDriverName": "org.mariadb.jdbc.Driver",
"javax.jdo.option.ConnectionUserName": "username",
"javax.jdo.option.ConnectionPassword": "password"
}
}
]
Verwenden Sie hiveConfiguration.json mit dem folgenden AWS CLI-Befehl, um den Cluster zu erstellen:
aws emr create-cluster --release-label emr-5.11.0 --instance-type m3.xlarge --instance-count 2 \
--applications Name=Hive --configurations ./hiveConfiguration.json --use-default-roles
Referenz :
https://docs.aws.amazon .com/emr/latest/ReleaseGuide/emr-hive-metastore-external.html
