Datras – EPTL (Extract - Profile - Transform

Datras hat die Funktionalitäten der bisher entwickelten Stand-Alone Tools für das Datenqualitätsmanagement (DQM) zu einer integrierten IT-Lösung, dem Datras EPTL, zusammengefasst. Das komplett neu entwickelte EPTL deckt den gesamten Prozess im DQM ab und bietet erheblich erweiterte Funktionalitäten.

Unter anderem sind jetzt Business Rules die Grundlage für alle Abläufe, die Bearbeitungsschritte können für wiederkehrende Aufgaben abgespeichert sowie gesamte Arbeitsabläufe automatisiert werden.

SAP-Systeme werden mit Hilfe von Datras Dynamic ABAP als eine normale SQL-Datenbank gewrappt, so dass problemlos Daten exportiert und bearbeitet werden können (natürlich auch aus SAP-spezifischen Tabellen und Views, wie Pool- und Cluster-Tabellen, die in der unterliegenden Datenbank nicht sichtbar sind).

SAP im Datras EPTL (als PDF )

Datras Dynamic ABAP (White Paper): Export of Industrial Amount of Data from SAP (als PDF )

Datras EPTL — Extract - Profile - Transform - Load

Die Anwendung Datras EPTL deckt den gesamten DQM-Prozess zur Überprüfung, Transformation und Integration von Unternehmensdaten ab. Grundlage für alle Abläufe sind frei definierbare, austauschbare und wieder verwendbare Business Rules. Das integrierte Repository umfasst vorgefertigte, branchenspezifische Rules und Ressourcen. Individuelle DQM-Prozesse können damit ohne großen Anpassungsaufwand sofort gestartet werden.

Features

Native Konnektoren für ORACLE, IBM DB2,
MS SQL-Server, MySQL, MS Access und SAP
Textimport mit integrierter Datentypkonvertierung
Exploratives Profiling inkl. Mustererkennung
Transparente Dublettenprüfung
Debugger und Editoren
Datenbankexplorer

Repository

Expressions, Parameters, Masks und Compares
Branchenspezifische Business Rules
Komplett vorgefertigte Abläufe als Ressourcen

Benefits

Performanter Datenbankzugriff
Regeln und Ressourcen sind als XML-Dateien aus-
tausch- und verteilbar (Team Working)
Einfache und kontrollierbare Umsetzung von indivi-
duellen Anpassungen
Visuelle Darstellung der Abhängigkeiten und Meta-Informationen von Unternehmensdaten
Vordefinierte Bausteine für Data Quality Activities
Einfache Erstellung eigener Profile und Anpassung vordefinierter Profile
Minimale Anpassung für eigene DQM-Prozesse

Extract & Profile

Extract

Datenextrakt sowohl für SQL-Datenbanken als auch für Text- und Excel-Daten
Experten für das Erstellen von SQL-Abfragen

Profile

Echtzeit-Profiling
Standard-Profiling (min, max, average, etc.)
Exploratives Profiling (Mustererkennung, Werte- und Character-Verteilungen)
Column-, Dependency-, Redundancy-Profiling basierend auf hierarchischen Rules

Das Ergebnis des Profilings wird mit jedem Datensatz verknüpft und steht damit als Filter für nachfolgende Data Quality Activities (Transform, Load, etc.) zur Verfügung.

Repository

Expressions: Satz von regulären Ausdrücken als Grundbausteine für die Business Rules

Params: Parameter für das dynamische Steuern der Abläufe, insbesondere das Setzen von Zeitfenstern im Extract und Profile

Masks: Masken für das kontrollierte Transformieren von Datentypen und
-inhalten

Rules: vorgefertigte und branchenspezifische Business Rules zum Erstellen
und Anpassen eigener Profile

Compares: vorgefertigte Unschärfe-Profile zur Dublettenprüfung

Ressourcen: komplette Abläufe vom Extract bis Load mit allen Bestandteilen

Alle Bestandteile des Repositories sind einfach als XML-Dateien austausch- und verteilbar.

Transform & Load

Transform

Auf Basis der Profiling-Ergebnisse können mit Konverts sowohl Datentypen (Data Transformation) als auch Dateninhalte (Data Cleansing) verändert werden. Die Konverts werden dabei von Masken gesteuert, die die gewünschte Transformation beschreiben. Bei defekten Daten werden den Datensätzen Fehlerinformationen hinzugefügt.

Load

Die transformierten Daten können, gefiltert nach den Profiling-Ergebnissen und den Transformationsfehlern, in verschiedene und unabhängige SQL-Datenbanken verteilt werden.

Dublettenprüfung

Leistungsstarke, transparente Dublettenprüfung mit der Möglichkeit den Grad der Unschärfe individuell zu definieren. Zusätzlich kann die Analyse erweitert werden, so dass die Dubletten auch über Informationsketten identifiziert werden.

Compares

Diese bieten die Möglichkeit individuell und transparent den Grad der Unschärfesuche zu definieren und solche Unschärfedefinitionen für weitere Analysen im Repository zu hinterlegen.

Tasks (optional)

Client-Server-Architektur zur dezentralen Entwicklung und Pflege von Rules und zum zentralen Betrieb der Data Quality Activities. Mit Hilfe der Tasks ist es möglich, die kompletten Arbeitsabläufe automatisiert abzubilden und zu betreiben.