Migration des Data Warehouse auf SQL Server 2014 für Hussel Confiserie

Nachdem die Hussel GmbH von der Douglas Holding verkauft worden war, musste das bestehende Data-Warehouse aus der mit der Parfümerie gemeinsam genutzten Infrastruktur in ein neues Data Center überführt werden. Gemeinsam mit uns als Microsoft-Gold-Partner gelang die Analyse der Ist-Situation, die Konzeption der BI-Architektur sowie die Planung und Umsetzung der Migration des Data-Warehouse – trotz eines knappen Zeitrahmens von 4 Monaten.

Ausgangssituation

Als Teil der Douglas Holding basierte Hussels Data Warehouse bislang auf einer zentralen, von der Douglas-Informatik verwalteten IBM DB2-Datenbank. Diese wurde vor allem durch das Microsoft-Warenwirtschaftssystem Dynamics NAV gespeist, dessen Daten wiederum auf einer Microsoft-SQL-Serverdatenbank lagen. Um Daten vom Warenwirtschaftssystem in die zentrale Datenbank zu übertragen, wurden diese zunächst in ein CSV-Format exportiert. Zur Bewirtschaftung des Data Warehouse waren zahlreiche Datenbank- und Unix-Shell-Skripte im Einsatz. Die tägliche Datenversorgung wurde skriptgesteuert über einen UNIX-Scheduler via cron- und at-Jobs realisiert.

Das Reporting erfolgte über eine MicroStrategy-Lösung mit DB2-Metadatenbanken. Die eingesetzte Testumgebung beinhaltete ein Data-Warehouse und Metadaten für MicroStrategy. Für die Versionskontrolle wurde Subversion und zur Projektverwaltung JIRA genutzt.

Data Center Schema vorher
Data Center Schema vorher

Anforderungen: Mehr Performance und ein nahtloser Übergang

Die Zielsetzung für die Migration in ein neues Data Center war ambitioniert: Nicht nur sollte die Datenhaltung von einer DB2- auf eine MS-SQL-Datenbank umgestellt werden, die sich besser in die bestehende Microsoft-Infrastruktur einfügt, es durfte auch im Berichtswesen keinen Ausfall beim Übergang in das folgende Geschäftsjahr entstehen. Zusätzlich war eine Performance-Steigerung ebenso erwünscht wie ein Betrieb durch Generalisten, um die Personaldecke nicht unnötig mit mehreren Spezialisten zu verdicken: Das ganze System sollte transparent und übersichtlich gestaltet werden.

Das neue Hussel-Data-Warehouse

Und tatsächlich konnten all diese Anforderungen erfüllt werden. Die Migration des Data Warehouse auf Microsoft SQL Server 2014 EE vereinfacht den Betrieb, da dieser bereits für die Resourcenplanung (ERP) verwendet wird. Die Verwendung des ETL-Tools (Extraction-Transformation-Load) Microsoft SQL Server Integration Services sorgt für strukturierte Abläufe und bringt überdies Funktionalität für Error Handling, Auditing und Logging mit, sodass Ausfallzeiten minimiert werden können. Durch das Auditing-Template der inovex, das ohne große Aufwände an die Hussel Bedarfe angepasst wurden konnte, war eine schnelle Umsetzung dieser Art erst möglich.

Data Warehouse Schema nachher
Data Warehouse Schema nachher

Zusätzliche Ausfallsicherheit bietet die integrierte Zeit- und Workflow-Steuerung im SQL-Server-Agent, die im Fehlerfall Alarm schlägt und das schnelle Eingreifen des Betriebspersonal ermöglicht.

Die Performance des Systems wird durch mehrere Änderungen deutlich verbessert: Über eine metadatengesteuerte Extraktion und Archivierung der Daten aus NAV können einzelne Tabellen vollautomatisiert bis in den Core Layer des Data Warehouse übertragen werden. Durch einen Eintrag in den Metadaten entfallen viele manuelle Schritte und dank eines Delta Loads eignet sich das Verfahren auch für große Datenmengen. Die Extraktion und Archivierung der Daten direkt aus Tabellen ist ein deutlicher Zeitgewinn auch für zukünftige Projekte, da der Lade-Mechanismus auch für andere Quellsysteme verwendet werden kann. Gleichzeitig entfällt die Konvertierung der Daten aus dem CSV-Format sowie die Verwaltung der CSV-Dateien auf File Shares, was den Prozess nicht nur beschleunigt, sondern diese Fehlerquelle komplett ausschließt. Dank der metadatengesteuerten Extraktion und Archivierung ist die Anbindung zusätzlicher NAV-Tabellen inzwischen mit einem Aufwand im kleinen einstelligen Stundenbereich möglich.

Für die Befüllung der Stern-Schemata stehen im neuen Hussel-Data-Warehouse Templates zur Verfügung, die den Prozess vereinheitlichen und jeweils Zusatzfunktionalitäten wie das Auditing beinhalten. Weiterhin erlaubt die im SQL-Server integrierte In-Memory-Technologie Clustered-Columnstore Index stark beschleunigte Auswertungen.

Um die reibungslose Verarbeitung der Daten zu gewährleisten und Performance-Einbußen zu vermeiden, werden nun auch die Metadatenbanken für ETL und Reporting in SQL-Server-Datenbanken gespeichert. Da somit alle relevanten Datenbanken auf dem Microsoft SQL Server basieren, konnte außerdem ein umfassendes, konsistentes Backup- und Betriebskonzept für das Hussel Data Warehouse (DWH) etabliert werden.

Auch die Entwicklung profitiert von der nunmehr homogenen Microsoft-Umgebung. So kommen die in Visual Studio integrierten SQL Server Data Tools für die Datenbankobjekte und ETL-Prozesse zum Einsatz. Deren visuelle Oberfläche erhöht die Entwicklungsgeschwindigkeit und hilft dank automatisierbaren Deployments zwischen den Entwicklungs-, Test- und Produktivumgebungen dabei, manuelle Fehler zu reduzieren. Außerdem ermöglicht das Verwalten der Artefakte in Visual Studio das Benutzen einer Versionskontrolle, die das Arbeiten im Team und strukturierte Releases erst möglich macht. 

Fazit

„Der Umzug in das neue, von Douglas losgelöste, Rechenzentrum verlief reibungslos. Ein heterogenes Team aus Hussel-Mitarbeitern, der Unterstützung von Douglas Informatik & Service und inovex-BI-Spezialisten setzte die neue Infrastruktur innerhalb des vorgegebenen Zeitrahmens und unter Berücksichtigung des geplanten Budgets fehlerfrei um. So konnten die Monats- und Jahresendauswertungen wie gefordert schon auf dem neuen System durchgeführt werden.“

Andreas Smieja, Projektleiter Hussel

 

Verwendete Technologien

  • Microsoft SQL Server 2014 Enterprise Edition
  • SQL Server Integration Services
  • Microsoft Dynamic NAV
  • Visual Studio 2013/SQL Server Data Tools
  • Git
  • Management Studio
  • gitlab
  • MicroStrategy Reporting

Sie haben Fragen oder möchten zu diesem Thema beraten werden?

Dann rufen Sie uns an unter +49 (0)721 619 021-0 oder schreiben Sie uns eine E-Mail. Wir freuen uns auf Ihre Nachricht!

Weitere Themen:

Patrick Thoma

Ich freue mich auf Ihre Nachricht!

Patrick Thoma

Head of Data Management & Analytics

inovex Blog

Stefan Kirner / 26.08.2015

Microsoft Power BI Version 2.0

Seit Juli 2015 ist die Version 2.0 der Self-Service BI Software verfügbar mit jeder Menge neuer Features, die in diesem Artikel kurz vorgestellt werden. Das Tool richtet sich neben dem BI Professional in erster Linie auch an den nicht immer IT-affinen Business Analysten oder Controller.

Artikel im inovex Blog lesen

inovex Trainings

Trainer: Stefan Kirner

Microsoft Power BI Training bei inovex

Mehr Informationen

inovex Technologiepartner

inovex ist Microsoft Gold-Partner

Wir sind zertifizierter Microsoft-Gold-Partner und eines der führenden Implementierungshäuser für Business-Intelligence-Lösungen, die auf Microsoft-Technologien basieren.

Mehr lesen

inovex Leistungen

Data Science bei inovex

inovex hat ein ein Team von hochqualifizierten Data Scientists an Bord, die neueste Methoden der Daten-Analyse für den Einsatz bei unseren Kunden nutzbar machen.

Mehr Informationen

Big Data

Sébastien Jelsch / 08.10.2015

Optimierung von Analytischen Abfragen über Statistical Linked Data mit MapReduce

In diesem Kurzbeitrag zu einer laufenden Arbeit von inovexler Sébastien Jelsch wird eine Extract-Transform-Load (ETL) Pipeline vorgestellt, die extrem große Mengen an Linked Data automatisiert in ein horizontal skalierbares Open Source OLAP-System bereitstellen kann.

Beitrag jetzt lesen