Technical data processing

Home/References/Knowledge-base/Technical data processing
Image: Projectpicture for industry traffic / transport / logistics

Rebuilding a data warehouse according to the Business Object Model

Ziel des Projekts ist die Entwicklung und der Betrieb eines Enterprise Data Warehouse (EDWH) auf Basis eines Business Object Models (BOM), welches den Fachbereichen den Zugriff auf Detaildaten im Sinne des Self-Service zur Verfügung stellt. Die Daten sollen auf Detailebene zeitnah mit hoher Performance und Qualität bereitgestellt werden und nicht wie bisher als Aggregate in Form von Data Marts auf Tagesbasis. Die PTA unterstützt sowohl bei Datenmodellierung, Datenbankdesign als auch bei der Konzeption und Implementation der ETL- bzw. ELT-Prozesse im Rahmen der Bewirtschaftung des EDWH.

Read more...
Image: Projectpicture for industry traffic / transport / logistics

Monitoring of ETL / ELT processes in the Business Intelligence environment

Ziel des Projektes ist die Überwachung aller ETL- bzw. ELT-Prozesse im Rahmen der Datenbewirtschaftung eines Enterprise Data Warehouses (EDWH). Im Sinne der Qualitätssicherung sowohl für die Entwicklung als auch für den Betrieb eines EDWHs sollen die Integrationsprozesse transparent gemacht werden, um somit frühzeitig Fehlerquellen zu identifizieren. Die PTA konzipiert und implementiert Dashboards, um ausgewählte Metriken komponentenübergreifend nach dem Drill-Down-Prinzip in übersichtlicher Form zu visualisieren.

Read more...
Image: Projectpicture for industry trade

Service and database synchronisation

Ziel des Projekts ist das Erarbeiten von Lösungsalternativen für das regelmäßige Importieren von Daten verschiedener Webservices in eine Zieldatenbank des Kunden. Die Lösungen sollen einfach erweiterbar sein, sodass jederzeit mit wenig Aufwand neue Webservices angebunden werden können. Zum Einen entwickelt die PTA hierfür einen Prototyp auf Grundlage von Spring-Boot. Zum anderen werden die Datenimporte mit einem ETL/ELT-Werkzeug (Apache-Nifi) implementiert. Während die Spring Boot Applikation individuelle Aspekte eines Webservices, z. B. die Transformation von Daten in ein einheitliches Format in einzelnen Java-Klassen abbildet, werden diese in einem ELT/ELT-Werkzeug auf einer grafischen Oberfläche in einzelnen Schritten (Prozessoren) konfiguriert.

Read more...
Image: Projectpicture for industry trade

Production and enrichment for product data of an online store

Der Kunde möchte durch eine System– und Software–Neuentwicklung unabhängig von einer Drittanbieter Software zur Datenversorgung werden. Sowie eine Systemlandschaft zur Produktdaten–Produktion und Anreicherung realisieren. Das System soll auf Basis von Java Microservices in der AWS entwickelt werden und Daten für weitere interne Anwendungen bereitstellen. Die PTA unterstützt hierbei durch Beratungs– und Entwicklungstätigkeit.

Read more...
Image: Projectpicture for industry health care

Restructuring data flow control data warehouse

Vollumfängliche Restrukturierung von Web–Seite und mehreren Fachanwendungen zur Prüfung und Verwaltung von Datenlieferungen. Die Umsetzung von neuen gesetzlichen Vorgaben bei paralleler Fortführung bestehender Prozesse stellt sehr hohe Anforderungen an die komplexe Verarbeitungslogik und das System. Jährlich müssen rund 30.000 Berichte erstellt und veröffentlicht werden. Diese Aufgaben bedürfen der Unterstützung von automatisierten Verfahren und einer benutzerfreundlichen Webanwendung, um eine große Anzahl von Berichtsverfahren schnell und effektiv zu bearbeiten. Die Anwendung stellt das Annahme–, Kommentierungs– und Weiterleitungsverfahren der Berichte inklusive Verarbeitungsdokumentation sicher. Die Veröffentlichung arbeitet fehlertolerant im Falle technischer Ausfälle. Die Wartbarkeit der Software hat hohe Priorität.

Read more...
Image: Projectpicture for industry health care

Data warehouse data flow control

Implementierung und Weiterentwicklung einer Web-Seite und von Fachanwendungen zur Prüfung und Verwaltung von Datenlieferungen. Die Umsetzung der gesetzlichen Vorgaben stellt sehr hohe Anforderungen an das System, denn monatlich müssen ca. 25.000 Berichte erstellt und veröffentlicht werden. Diese Aufgaben bedürfen der Unterstützung von automatisierten Verfahren und einer benutzerfreundlichen Webanwendung, um eine große Anzahl von Berichtsverfahren schnell und effektiv zu bearbeiten. Die Anwendung stellt das Annahme-, Kommentierungs- und Weiterleitungsverfahren der Berichte sicher. Die Veröffentlichung arbeitet fehlertolerant im Falle technischer Ausfälle.

Read more...