Nachdem die Hussel GmbH von der Douglas Holding verkauft worden war, musste das bestehende Data Warehouse aus der mit der Parfümerie gemeinsam genutzten Infrastruktur in ein neues Data Center überführt werden. Gemeinsam mit uns als Microsoft-Gold-Partner gelang die Analyse der Ist-Situation, die Konzeption der BI-Architektur sowie die Planung und Umsetzung der Migration des Data Warehouse – trotz eines knappen Zeitrahmens von 4 Monaten.
Ausgangssituation
Als Teil der Douglas Holding basierte Hussels Data Warehouse bislang auf einer zentralen, von der Douglas-Informatik verwalteten IBM DB2-Datenbank. Diese wurde vor allem durch das Microsoft-Warenwirtschaftssystem Dynamics NAV gespeist, dessen Daten wiederum auf einer Microsoft-SQL-Serverdatenbank lagen. Um Daten vom Warenwirtschaftssystem in die zentrale Datenbank zu übertragen, wurden diese zunächst in ein CSV-Format exportiert. Zur Bewirtschaftung des Data Warehouse waren zahlreiche Datenbank- und Unix-Shell-Skripte im Einsatz. Die tägliche Datenversorgung wurde skriptgesteuert über einen UNIX-Scheduler via cron- und at-Jobs realisiert.
Das Reporting erfolgte über eine MicroStrategy-Lösung mit DB2-Metadatenbanken. Die eingesetzte Testumgebung beinhaltete ein Data-Warehouse und Metadaten für MicroStrategy. Für die Versionskontrolle wurde Subversion und zur Projektverwaltung JIRA genutzt.
Anforderungen: Mehr Performance und ein
nahtloser Übergang
Die Zielsetzung für die Migration in ein neues Data Center war ambitioniert: Nicht nur sollte die Datenhaltung von einer DB2- auf eine MS-SQL-Datenbank umgestellt werden, die sich besser in die bestehende Microsoft-Infrastruktur einfügt, es durfte auch im Berichtswesen keinen Ausfall beim Übergang in das folgende Geschäftsjahr entstehen. Zusätzlich war eine Performance-Steigerung ebenso erwünscht wie ein Betrieb durch Generalisten, um die Personaldecke nicht unnötig mit mehreren Spezialist:innen zu verdicken: Das ganze System sollte transparent und übersichtlich gestaltet werden.
Das neue Hussel-Data-Warehouse
Und tatsächlich konnten all diese Anforderungen erfüllt werden. Die Migration des Data Warehouse auf Microsoft SQL Server 2014 EE vereinfacht den Betrieb, da dieser bereits für die Resourcenplanung (ERP) verwendet wird. Die Verwendung des ETL-Tools (Extraction-Transformation-Load) Microsoft SQL Server Integration Services sorgt für strukturierte Abläufe und bringt überdies Funktionalität für Error Handling, Auditing und Logging mit, sodass Ausfallzeiten minimiert werden können. Durch das Auditing-Template der inovex, das ohne große Aufwände an die Hussel Bedarfe angepasst wurden konnte, war eine schnelle Umsetzung dieser Art erst möglich.
Zusätzliche Ausfallsicherheit bietet die integrierte Zeit- und Workflow-Steuerung im SQL-Server-Agent, die im Fehlerfall Alarm schlägt und das schnelle Eingreifen des Betriebspersonal ermöglicht.
Die Performance des Systems wird durch mehrere Änderungen deutlich verbessert: Über eine metadatengesteuerte Extraktion und Archivierung der Daten aus NAV können einzelne Tabellen vollautomatisiert bis in den Core Layer des Data Warehouse übertragen werden. Durch einen Eintrag in den Metadaten entfallen viele manuelle Schritte und dank eines Delta Loads eignet sich das Verfahren auch für große Datenmengen. Die Extraktion und Archivierung der Daten direkt aus Tabellen ist ein deutlicher Zeitgewinn auch für zukünftige Projekte, da der Lade-Mechanismus auch für andere Quellsysteme verwendet werden kann. Gleichzeitig entfällt die Konvertierung der Daten aus dem CSV-Format sowie die Verwaltung der CSV-Dateien auf File Shares, was den Prozess nicht nur beschleunigt, sondern diese Fehlerquelle komplett ausschließt. Dank der metadatengesteuerten Extraktion und Archivierung ist die Anbindung zusätzlicher NAV-Tabellen inzwischen mit einem Aufwand im kleinen einstelligen Stundenbereich möglich.
Für die Befüllung der Stern-Schemata stehen im neuen Hussel-Data-Warehouse Templates zur Verfügung, die den Prozess vereinheitlichen und jeweils Zusatzfunktionalitäten wie das Auditing beinhalten. Weiterhin erlaubt die im SQL-Server integrierte In-Memory-Technologie Clustered-Columnstore Index stark beschleunigte Auswertungen.
Um die reibungslose Verarbeitung der Daten zu gewährleisten und Performance-Einbußen zu vermeiden, werden nun auch die Metadatenbanken für ETL und Reporting in SQL-Server-Datenbanken gespeichert. Da somit alle relevanten Datenbanken auf dem Microsoft SQL Server basieren, konnte außerdem ein umfassendes, konsistentes Backup- und Betriebskonzept für das Hussel Data Warehouse (DWH) etabliert werden.
Auch die Entwicklung profitiert von der nunmehr homogenen Microsoft-Umgebung. So kommen die in Visual Studio integrierten SQL Server Data Tools für die Datenbankobjekte und ETL-Prozesse zum Einsatz. Deren visuelle Oberfläche erhöht die Entwicklungsgeschwindigkeit und hilft dank automatisierbaren Deployments zwischen den Entwicklungs-, Test- und Produktivumgebungen dabei, manuelle Fehler zu reduzieren. Außerdem ermöglicht das Verwalten der Artefakte in Visual Studio das Benutzen einer Versionskontrolle, die das Arbeiten im Team und strukturierte Releases erst möglich macht.
Der Umzug in das neue, von Douglas losgelöste, Rechenzentrum verlief reibungslos. Ein heterogenes Team aus Hussel-Mitarbeiter:innen, der Unterstützung von Douglas Informatik & Service und inovex-BI-Spezialist:innen setzte die neue Infrastruktur innerhalb des vorgegebenen Zeitrahmens und unter Berücksichtigung des geplanten Budgets fehlerfrei um. So konnten die Monats- und Jahresendauswertungen wie gefordert schon auf dem neuen System durchgeführt werden.
Andreas Smieja
Projektleiter, HusselTechnologie-Stack
- Microsoft SQL Server 2014 Enterprise Edition
- SQL Server Integration Services
- Microsoft Dynamic NAV
- Visual Studio 2013/SQL Server Data Tools
- Git
- Management Studio
- gitlab
- MicroStrategy Reporting
Wie können wir Sie unterstützen?