Cloudera Manager 4.7 hat Unterstützung für die Verwaltung von Cloudera Search 1.0 hinzugefügt. Somit können Benutzer von Cloudera Manager problemlos alle Komponenten von Cloudera Search (einschließlich Apache Solr) bereitstellen und alle zugehörigen Dienste verwalten, genau wie alle anderen Dienste, die in CDH (Clouderas Distribution von Apache Hadoop und verwandten Projekten) enthalten sind.
In dieser Anleitung lernen Sie die Schritte zum Hinzufügen von Cloudera Search zu einem Cloudera Enterprise (CDH + Cloudera Manager)-Cluster kennen.
Installation des SOLR-Pakets
In unserem Beispiel verwendet der Cluster ein CDH 4.4-Paket und führt die Dienste Apache ZooKeeper, HDFS und Apache HBase aus. (Pakete sind eine wirklich nützliche Methode, um neue Software bereitzustellen und unkomplizierte Upgrades über Cloudera Manager durchzuführen.)
Wenn Sie das SOLR-Paket direkt von Cloudera herunterladen möchten, können Sie die Standardeinstellungen für „Remote Parcel Repository URLs“ (unter den Parcels Abschnitt auf der Registerkarte "Administration") wie unten gezeigt:
Festlegen der Paket-Repository-URL
Wenn Sie ein lokales Repository verwenden möchten (d. h. zuerst das Paket von Cloudera herunterladen und dann von der lokalen Kopie installieren), können Sie den Anweisungen hier folgen. Die nächsten Schritte sind das „Herunterladen“, „Verteilen“ und „Aktivieren“ des Pakets auf der Seite „Pakete“ auf der Registerkarte „Hosts“.
Bereitstellen des SOLR-Pakets
Sobald das Paket aktiviert ist, stehen Ihnen alle Komponenten von Cloudera Search (Solr, Lily HBase Indexer und Morphlines Sink von Apache Flume) bereit, um zusammen mit CDH verwendet zu werden.
Im nächsten Schritt fügen Sie Ihrem Cluster den Apache Solr-Dienst hinzu. Wählen Sie im Menü „Aktionen“ Ihres Clusters auf der Registerkarte „Dienste“ die Option „Dienst hinzufügen“, wodurch Sie zum „Assistenten zum Hinzufügen von Diensten“ in Cloudera Manager gelangen. Sobald Sie den Schritten im Assistenten folgen und auswählen, wo die Solr-Server ausgeführt werden sollen, landen Sie auf einer Workflow-Seite, die den Solr-Dienst initialisiert und alle Solr-Server startet.
Den Solr-Dienst zum Laufen bringen
Das war’s – der Solr-Service ist jetzt einsatzbereit! Befolgen Sie die Anweisungen im Cloudera Search-Benutzerhandbuch um Sammlungen zu erstellen und ihnen Dokumente zur Indexierung hinzuzufügen. Der folgende Screenshot zeigt, wie Sie eine Sammlung mit dem standardmäßigen Solr-Schema erstellen.
Erstellen der ersten Sammlung
Hinzufügen von Lily HBase Indexer
Cloudera Manager 4.7 bietet auch Unterstützung für den im SOLR-Paket enthaltenen Lily HBase Indexer. Der Lily HBase Indexer Service ist ein flexibles, skalierbares, fehlertolerantes, transaktionales System nahezu in Echtzeit zur Verarbeitung eines kontinuierlichen Stroms von HBase-Zellaktualisierungen in Live-Suchindizes. Um ihn zu verwenden, fügen Sie den Dienst „Keystore Indexer“ über den „Assistenten zum Hinzufügen von Diensten“ hinzu.
Bevor Sie jedoch den Lily HBase Indexer verwenden können, müssen Sie sicherstellen, dass Replikation und Indizierung im HBase-Dienst im Cluster aktiviert sind. Sie können diese Eigenschaften auf der Konfigurationsseite des HBase-Dienstes im Abschnitt „Backup“ ändern.
Festlegen von HBase-Eigenschaften für Lily HBase Indexer
Beachten Sie auch, dass Cloudera Manager eine standardmäßige Cloudera Morphlines-Datei enthält, die vom Lily HBase Indexer verwendet werden kann. Um diese Datei so zu ändern, dass sie Ihre eigenen Funktionen verwendet, sollten Sie zum Keystore Indexer-Dienst navigieren und die Morphlines-Konfiguration wie unten gezeigt ändern:
Bearbeiten von Cloudera Morphlines für Lily HBase Indexer
Sobald diese Änderungen vorgenommen wurden, können Sie damit beginnen, den Lily HBase Indexer zu verwenden, um alle Daten zu indizieren, die in HBase eingehen, indem Sie den Anweisungen im Lily HBase Indexer Benutzerhandbuch folgen . Dieser Blogbeitrag bietet auch ein großartiges Beispiel dafür, wie E-Mails mit HBase und Cloudera Search indexiert werden.
Schlussfolgerung
Jetzt wissen Sie, wie einfach es ist, mit Cloudera Manager einen Cloudera-Suchdienst für Ihren CDH-Cluster bereitzustellen, zu konfigurieren und zu verwalten. Beginnend mit Cloudera Enterprise 5 (zum Zeitpunkt des Verfassens dieses Artikels in der Beta-Phase) werden Cloudera Search und Lily HBase Indexer standardmäßig installiert und gestartet – was diesen Vorgang noch einfacher macht.
Vikram Srivastava ist Software Engineer bei Cloudera.
