Workflow Systems for Large-Scale Scientific Data Analysis

In den letzten Dekaden sind die computertechnischen Anforderungen bei der Analyse wissenschaftlicher Datensätze stark gestiegen. Die Gründe dafür sind vielfältig: Typische Datensätze sind in ihrer Größe heute enorm gewachsen, die wachsende Komplexität wissenschaftlicher Fragestellungen erfordert immer komplexere Methoden, und der zunehmende Einsatz von maschinellem Lernen und künstlicher Intelligenz erfordert spezielle Maßnahmen für das Modelltraining und die Qualitätskontrolle. Darüber hinaus sind die Erwartungen hinsichtlich Reproduzierbarkeit und Wiederverwendbarkeit der Analysen heute viel höher als in der Vergangenheit, und Themen wie Energieverbrauch und Vertrauenswürdigkeit der Ergebnisse haben als weitere Anforderungen an Bedeutung gewonnen. Diese Entwicklungen führen dazu, dass Analysen heute vornehmlich auf großen Rechenclustern durchgeführt werden, deren Benutzung den Umgang mit komplexen Software-Infrastrukturen erfordert. „Scientific Workflow Management Systems“ (SWMS) sind Softwaresysteme, die entwickelt wurden, um diesen Anforderungen gerecht zu werden. Ein SWMS besteht in der Regel aus mehreren Komponenten, wie einer Workflow-Sprache zur Formulierung der komplexen Analyseverfahren in mehrstufige Pipelines, Virtualisierungs- und Containertechnologien zur portablen Einbindung der Binärcodes einer Pipeline, und einer Workflow-Engine zur robusten und reproduzierbaren Ausführung der spezifizierten Analyse-Pipelines auf verteilten Infrastrukturen. SWMS stützen sich während der Ausführung eines Workflows dabei auf weitere Komponenten von Cluster-Infrastrukturen, wie verteilte Dateisysteme für den Datenaustausch über Rechnergrenzen hinweg und Ressourcenmanager für die Verwaltung von Rechenkernen, Speicher, GPUs und Speicherplatz. Bei richtiger Orchestrierung führt das Zusammenspiel dieser Komponenten zu reproduzierbaren, portablen und leicht anpassbaren Datenanalyseprozessen. 
SWMS entstanden Ende des letzten Jahrhunderts, als Datenanalysen immer öfter eine Skalierbarkeit über einzelne Workstations hinaus benötigten. Mit dem starken Anstieg der Größe der Eingabedaten, der wachsenden Komplexität der untersuchten Forschungsfragen und der Demokratisierung der Datenwissenschaft im Allgemeinen stieg ihre Popularität kontinuierlich an. Allerdings arbeiten SWMS heute in einem anderen Umfeld als früher. Während SMMS der ersten Generation oft als eigenständige, monolithische Anwendungen konzipiert wurden, müssen sie heute mit anderen Infrastrukturkomponenten in Rechenzentren interagieren, um Ressourcen effektiv und sicher einzusetzen, und auch gewachsene Anforderungen an Funktionalität und Bedienbarkeit erfüllen. Dadurch sind die Systemarchitekturen erheblich komplexer geworden. Eine umfassende und aktuelle Beschreibung der Folgen dieser Entwicklungen, d. h. der inneren Funktionsweise aktueller SWMS, fehlt jedoch noch.