Import-Booster im Produktdaten-Management für validierte CSV-, XLS- und XLSX-Importe

Aus langsamen, fehleranfälligen Produktdaten-Importen wurde ein performanter Import: ein schnelles, stabiles und verständliches Tool, das Nutzer gezielt durch komplexe Importprozesse führt und große Datenmengen zuverlässig verarbeitet.

Eines der größten Probleme des bestehenden Systems lag in der Verwaltung von Produktdaten-Importen. Nutzer konnten ihre Produktdaten in verschiedenen Formaten importieren, darunter CSV, XLS und XLSX. Für die Anwender war diese Flexibilität ein klarer Vorteil. Im Hintergrund bedeutete sie jedoch zusätzlichen technischen Aufwand, da die eingelesenen Dateien zunächst in ein standardisiertes Format überführt werden mussten.

Für interne Prozesse ist die Verarbeitung von CSV-Dateien deutlich einfacher und effizienter als die direkte Arbeit mit Excel-Dateien. Die bisherige Konvertierung basierte jedoch auf dem Python-Tool unoconv, das mit LibreOffice kompatible Dokumente umwandeln kann. Obwohl unoconv vielseitig einsetzbar ist, brachte der Einsatz mehrere Nachteile mit sich: schwache Performance, hoher Speicherverbrauch und nur begrenzte Optimierungsmöglichkeiten.

Gerade bei einem System, das regelmäßig große Produktdatenmengen verarbeitet, wurde diese technische Grundlage zunehmend zum Risiko. Produktdaten-Importe mit mehr als hunderttausend Datensätzen konnten über eine Stunde dauern und jederzeit fehlschlagen.

Hinzu kam eine sehr rudimentäre Datenvalidierung. Das System prüfte lediglich die Eindeutigkeit der Produkte sowie die Gültigkeit der Sprachangaben. Eine zu lange Beschreibung, ein falsch formatiertes Preisfeld oder ein fehlendes Pflichtfeld reichten aus, um den gesamten Importprozess zu unterbrechen — häufig ohne eine klare oder hilfreiche Fehlermeldung.

Das führte sowohl bei den Nutzern als auch bei den Entwicklerteams im Support zu erheblicher Frustration.

Ziel war es, den gesamten Importprozess grundlegend zu modernisieren und daraus einen leistungsfähigen Import-Booster für Produktdaten zu entwickeln.

Die erste Herausforderung bestand darin, die Datenverarbeitung deutlich zuverlässiger zu machen. Produktdaten sollten bereits zu Beginn des Imports vollständig validiert werden. Statt Fehler erst spät im Prozess zu erkennen, sollte das System frühzeitig konkrete Warnungen und Fehlermeldungen liefern. So können Nutzer fehlerhafte Daten gezielt korrigieren, bevor der eigentliche Import startet.

Die zweite Herausforderung betraf die Performance. Eine vollständige Datenvalidierung erhöht zwangsläufig die Systemlast. Deshalb musste der zusätzliche Prüfaufwand durch eine deutlich schnellere Verarbeitung kompensiert werden. Entscheidend waren dabei kürzere Laufzeiten, ein geringerer Speicherverbrauch und eine stabilere Verarbeitung großer CSV-, XLS- und XLSX-Dateien.

Der neue Import-Booster sollte also nicht nur schneller sein, sondern auch verständlicher, robuster und besser wartbar.

Im ersten Schritt wurde unoconv durch zwei PHP-Bibliotheken ersetzt: PhpSpreadsheet und OpenSpout.

OpenSpout eignet sich besonders für die performante Verarbeitung sehr großer Dateien bei geringem Speicherverbrauch. Für ältere Excel-Formate wie XLS blieb jedoch PhpSpreadsheet notwendig, da OpenSpout dieses Format aus Performancegründen nicht unterstützt.

Zusätzlich wurde die Konvertierungsstrategie grundlegend überarbeitet. Statt nur eine einzige Zwischendatei zu erzeugen, erstellt das System nun mehrere Dateien, die jeweils nach Sprache getrennt sind. Dadurch können einzelne Verarbeitungsschritte parallelisiert werden.

Zunächst wird die Standardsprache verarbeitet, um die Hauptentitäten zu erstellen. Anschließend werden weitere Sprachdateien genutzt, um Übersetzungen effizient zu ergänzen. Diese neue Struktur verbessert die Performance und macht den gesamten Importprozess besser skalierbar.

Da das System auf Laravel basiert und zusätzlich eine API für externe Nutzer bereitstellt, wurden auch dort bestehende Schwächen im Bereich der Validierung behoben. Dafür wurde ein vollständiges Request-Validation-System für Produktdaten implementiert.

Jedes Produktfeld erhielt definierte Validierungsregeln sowie lokalisierte Fehlermeldungen für alle unterstützten Sprachen. Jede CSV-Zeile kann dadurch gegen denselben Regelkatalog geprüft werden. Das sorgt für konsistente Datenqualität — unabhängig davon, ob Produktdaten über die Benutzeroberfläche, eine CSV-Datei, eine XLSX-Datei oder die API verarbeitet werden.

Dank OpenSpout konnten diese Validierungen direkt während des Einlesens und der Konvertierung durchgeführt werden. Mehrere bisher getrennte Verarbeitungsschritte wurden dadurch in einem optimierten Workflow zusammengeführt. Das spart Zeit, reduziert Fehlerquellen und verbessert gleichzeitig die Nutzerführung.

Das Ergebnis ist ein vollständig modernisiertes Importsystem: ein Booster für Produktdaten-Importe, der CSV-, XLS- und XLSX-Dateien schneller, stabiler und verständlicher verarbeitet.

Prozesse, die früher mehrere Minuten oder sogar Stunden dauerten, werden heute, abhängig vom Datenvolumen, innerhalb weniger Sekunden oder Minuten abgeschlossen. Diese Performance-Verbesserung hat die Nutzererfahrung grundlegend verändert. Produktdaten-Importe werden nicht länger als riskanter oder blockierender Vorgang wahrgenommen, sondern als schneller und vorhersehbarer Prozess.

Auch die neue Validierungsstrategie bringt einen deutlichen Mehrwert. Fehler werden bereits in den ersten Schritten des Imports erkannt. Nutzer erhalten präzise Fehlermeldungen, die den Problemtyp und die betroffene Zeile eindeutig benennen. Dadurch lassen sich fehlerhafte Produktdaten schneller korrigieren, ohne dass der gesamte Importprozess unnötig unterbrochen wird.

Aus technischer Sicht brachte die Überarbeitung ebenfalls klare Vorteile. Die Anzahl importbezogener Incidents konnte stark reduziert werden. Dadurch sank der Supportaufwand, während gleichzeitig mehr Zeit für wertschöpfende Weiterentwicklungen frei wurde.

Der neue Import-Booster macht Produktdaten-Importe nicht nur schneller, sondern auch zuverlässiger, transparenter und langfristig besser skalierbar.