Die Namen von IRI-Softwareprodukten und wie sie laufen, waren für Uneingeweihte manchmal eine Quelle von Rätseln oder sogar Verwirrung. Dieser Artikel erläutert die Teile und verdeutlicht ihr Zusammenspiel und bietet eine schnelle Einführung für potenzielle Benutzer, Partner und neue Branchenanalysen M.
Wo alles begann
Es begann 1978 mit IRI CoSort, dem Dienstprogramm zum Sortieren, Umwandeln und Berichten von Big Data für Unix und Windows, das bis heute weit verbreitet ist. Vor CoSort hieß dieses erste IRI-Produkt in dieser Reihenfolge CO-SORT, COSORT und CoSORT.
1992 fügte IRI den anderen Dienstprogrammen und APIs im CoSort-Paket die Datendefinitionssyntax und das Manipulationsprogramm der Sort Control Language (SortCL) hinzu. Heute ist SortCL die am weitesten verbreitete und funktionsreichste Benutzeroberfläche im CoSort-Paket.
SortCL-Skripte definieren, und das sortcl-Programm wird ausgeführt, die Jobs, die viele allgemeine Datenverschiebungs- und Mapping-Aufgaben ausführen und kombinieren, die CoSort-Benutzer ausführen müssen. SortCL ist nicht nur eine einfache 4GL zum Lernen, Lesen und Modifizieren, sondern wird auch durch eine API (namens sortcl_routine) und grafisch in der kostenlosen IRI Workbench IDE unterstützt, die auf Eclipse basiert.
Als die SortCL-Funktionalität erweitert wurde, wuchs sie über den traditionellen CoSort-Markt für Sortiermigrationen und BI/DW-Beschleunigung hinaus. Heute ist die ausführbare SortCL-Datei nicht nur die Engine, die die meisten CoSort-Jobs ausführt, sondern auch das schlagende Herz mehrerer Spin-off-Produkte, wie hier dargestellt:
CoSort / SortCL-Spin-off-Produkte
Insbesondere verarbeiten dieselbe SortCL-Engine und kompatible Jobskripte – normalerweise von IRI Workbench entworfen und verwaltet – strukturierte Datenquellen in:
- IRI FieldShield und IRI DarkShield zur Datenmaskierung
- IRI RowGen für Testdatensynthese und Datenbank-Subsetting
- IRI NextForm für die Konvertierung und Replikation von Daten und Datenbanken und die
- Jobs der IRI Voracity-Datenverwaltungsplattform, darunter die in CoSort und die oben verlinkten Produkte, plus zusätzliche Front-End-Funktionen über die gemeinsame Workbench-GUI, wie:
- Datenermittlung (Profilerstellung, Klassifizierung und Suche)
- Data Warehouse ETL, CDC und SDC
- Data Vault 2.0-Migration und Prototyping
- Datenqualität (Validierung, Bereinigung, Homogenisierung)
- Analytics oder Data Wrangling für Splunk und KNIME und andere BI-Tools per Übergabe
Eine andere Möglichkeit, die Produkthierarchie zu betrachten, ist diese:
wo die Workbench IDE ist, wo alle IRI-Produktjobs entworfen werden – einschließlich der zusätzlichen Funktionen, die in Voracity unterstützt werden.
Eine häufig gestellte Frage
Da SortCL mit CoSort begann und allen diesen Produkten gemeinsam ist, bedeutet dies, dass ich CoSort oder ein anderes oben genanntes Produkt verwenden kann, um das zu tun, was die anderen Produkte auch tun?
Die Antwort ist ja und nein. Ja, Sie haben SortCL und können theoretisch einige der gleichen Arbeiten erledigen, die ein anderes SortCL-kompatibles IRI-Produkt ausführen soll. Aber es wäre schwieriger und stellt ein Produktionsrisiko dar. IRI bietet nur Dokumentation und Support für die Aufgaben, die am besten mit Ihrem/Ihren lizenzierten IRI-Produkt(en) in Verbindung stehen.
Daher ist die Crossover-Fähigkeit in der Praxis begrenzt. Nichtsdestotrotz ist kombinatorische Funktionalität in vielen Fällen üblich (wie eine sortierte DB-Teilmenge), und in Voracity sind Anwendungsfälle mit mehreren Aufgaben und mehreren Schritten (wie inkrementelles Mapping, Maskieren, Bereinigen und Neuformatieren) hocheffizient und werden vollständig unterstützt /P>
SortCL ist die Standard-Engine in allen IRI Voracity CDC, ETL, CDC, Bereinigung, Abstimmung, Subsetting ,
PII-Maskierung, Testdatensynthese, Konvertierung, Neuformatierung, Wrangling, Analyse und Berichterstellung.
Laufzeitarchitektur
Nachdem Sie nun die Namen der Produkte kennen, wollen wir uns damit befassen, wie sie zusammenhängen und bereitgestellt werden.
IRI-Software arbeitet normalerweise in einem Client/Server-Modell, in dem SortCL-kompatible Jobs in einer Front-End-Bearbeitungsumgebung wie IRI Workbench oder einem anderen Texteditor oder über die IRI-API definiert werden. Diese Jobs werden normalerweise im Back-End-Programm von SortCL auf Linux-, Unix- oder Windows-Maschinen (physisch oder virtuell) vor Ort oder in der Cloud ausgeführt:
Einige Jobs, die in SortCL-Syntax geschrieben sind, können auch ohne Änderung direkt in Map Reduce 2, Spark, Spark Stream, Story oder Tez für Lizenznehmer der Voracity Grid (VGrid) Edition für Hadoop ausgeführt werden.
Beachten Sie jedoch, dass es im Gegensatz zu vielen anderen ETL- und Datenmaskierungsprogrammen keinen CoSort-Server gibt, auf dem SortCL ausgeführt oder zentral verwaltet werden muss. Die leichtgewichtige ausführbare SortCL-Datei kann überall ausgeführt werden, von einem Raspberry Pi bis zu einem z/Linux-Mainframe.
Daher ist es gemäß dem obigen Diagramm üblich, dass Sites Test- und QA-SortCL-Instanzen auf Entwickler-Laptops mit IRI Workbench sowie auf zentralisierten Datei- oder Datenbankservern installiert haben, um die Leistung zu optimieren. Diese FAQ behandelt die Frage, wo man SortCL beispielsweise im Kontext von IRI-Datenmaskierungsprodukten lizenzieren und wie die Kosten entsprechend berücksichtigt werden können.
Wenn Sie Fragen dazu haben, welches IRI-Produkt Sie benötigen oder wie Sie es am besten auf Ihrer Hardware einsetzen (oder bereitzustellen planen), wenden Sie sich bitte an Ihren IRI-Vertreter.
