Cloudera Data Platform (CDP) Data Center ist eine vollständige Datenplattform, die die neuesten Open-Source-Analysen – Spark, Impala, Hive, HBase, Kafka, Hadoop und mehr – in einem multifunktionalen Analyse- und Datenverwaltungssystem vereint, das Folgendes bietet:
- Leistungsstärkere SQL-Analyse
- Stream-Verarbeitung und -Management in Echtzeit
- Granuläre attributbasierte Zugriffskontrolle
- Dynamische Spaltenfilterung und Zeilenmaskierung
- Eine 10-fache Steigerung der Datei- und Objektskalierbarkeit
Ich habe ein Terraform-Modul (v0.12) verwendet, das CDP Data Center auf Oracle Cloud Infrastructure (OCI) bereitstellt.
Diese Vorlage unterstützt die Ausrichtung auf vorhandene VCN/Subnetze für die Clusterbereitstellung. Um diese Funktion zu aktivieren, verwenden Sie einfach das Schema-Menüsystem, um ein vorhandenes VCN-Ziel auszuwählen, und wählen Sie dann geeignete Subnetze für jeden Cluster-Hosttyp aus.
1. Laden Sie die ZIP-Datei für die Cloudera Terraform-Bereitstellung mit Resource Manager herunter .
2. Melden Sie sich bei der Oracle Cloud Infrastructure (OCI)
an
3. Wählen Sie Ressourcenmanager aus und klicken Sie auf Stapel
4. Klicken Sie auf Stapel erstellen .
5. Auf den Stapelinformationen Seite laden Sie die ZIP-Datei hoch, die Sie in Schritt 1 heruntergeladen haben, und klicken Sie dann auf Weiter .
6. Klicken Sie auf Variablen konfigurieren Geben Sie auf der Seite den Inhalt eines „von SSH bereitgestellten Schlüssels“ (optional) ein. Hinweis:Wenn Sie Cloudera Manager in einem privaten Subnetz bereitstellen, benötigen Sie einen VPN- oder SSH-Tunnel durch einen Edge-Knoten um auf die Clusterverwaltung zuzugreifen. Wenn Sie eine VPC erstellen, müssen Sie einen Bereich von IPv4-Adressen für die VPC in Form eines Classless Inter-Domain Routing (CIDR)-Blocks angeben, z. B. 10.0.0.0/16. Klicken Sie auf Weiter .
7. Überprüfen Sie Ihre Konfiguration und klicken Sie auf Erstellen.
9. Aus den Terraform-Aktionen Menü wählen Sie Plan
10. Klicken Sie auf Planen
11. Warten Sie einen Moment, bis dieser Job abgeschlossen ist.
12. Terraform wurde erfolgreich initialisiert.
13. Auftrag erfolgreich abgeschlossen
14. Diagramm, das zeigt, was normalerweise mit dieser Vorlage bereitgestellt wird. Dass Ressourcen automatisch auf „Fehlerdomänen“ in einer „Verfügbarkeitsdomäne“ verteilt werden, um Fehlertoleranz sicherzustellen.
Referenzen
Erfahren Sie mehr über die Bereitstellung von Hadoop auf Oracle Cloud Infrastructure. Verfügbar unter https://docs.oracle.com/en/solutions/learn-deploy-hadoop-oci/index.html#GUID-6BC025FF-829B-4BBD-9C80-69044F61F35B
Stellen Sie Hadoop mithilfe von Resource Manager einfach auf Oracle Cloud Infrastructure bereit. Verfügbar unter https://blogs.oracle.com/cloud-infrastructure/deploy-hadoop-easily-on-oracle-cloud-infrastructure-using-resource-manager
Cloudera auf Oracle Cloud Infrastructure (Terraform-Bereitstellungsvorlage). Verfügbar unter https://github.com/oracle-quickstart/oci-cloudera
Überblick über den Ressourcen-Manager. Verfügbar unter https://docs.cloud.oracle.com/en-us/iaas/Content/ResourceManager/Concepts/resourcemanager.htm
CDP-Rechenzentrum. Verfügbar unter https://docs.cloudera.com/cdp/latest/overview/topics/cdpdc-overview.html
