Cloud Parallelizer, A High-Performance Backend for Distributed Task Parallelization

Im Zuge eines Forschungsprojekts des Instituts für Software der Hochschule Rapperswil wurde ein Framework zur .NET Task-Parallelisierung in der Cloud entwickelt. Das entwickelte Framework ermöglicht es, Tasks aus der .NET Task Parallel Library automatisch über einen Web-Dienst auf entfernte Rechenkerne zu verteilen und so die Anwendung zu beschleunigen. Hinter dem Dienst wurde bis anhin ein HPC Cluster benutzt, welcher jedoch in verschiedener Hinsicht schwerfällig und ineffizient ist. Einerseits muss der Cluster Eingaben und Ausgaben über Dateien austauschen und andererseits müssen Anfragen auf Jobs mit fixer Anzahl Cores abgebildet werden, was zu einer schlechten Lastverteilung führt.
Ziel dieser Arbeit war es daher, ein neues Backend zu entwickeln für eine mögliche Ablösung des bestehenden. Dazu sollte eine native Backend-Architektur ohne Cluster-Middleware entwickelt werden, welche die Last von Anfragen automatisch optimal auf eine beliebige Anzahl heterogener Rechnerknoten hinter dem Service verteilt. Zudem sollen zur Laufzeit neue Knoten hinzugefügt bzw. entfernt werden können.
Entwickelt wurde ein komplett neues Backendsystem bestehend aus zwei Komponenten: Einem Master-Service, mit welchem die .NET Anwendungen als Clients kommunizieren und welcher deren auszuführende Tasks verwaltet. Einem Worker-Service pro beteiligtem Rechen-Knoten, welcher vom Master-Service Tasks bezieht und auf den Cores des Knotens ausführt. Das Konzept entspricht einem verteilten Thread Pool. Aufgrund des Pull-Prinzips der Worker wird automatisch eine optimale Auslastung bei genügender Anzahl Tasks auf eine dynamische Anzahl heterogener Rechnerknoten erreicht. Zudem entfällt eine unnötige Serialisierung in Files. Die HTTPS-Kommunikation mit dem Master-Service basiert beim Warten auf einem Polling-Prinzip mit adaptiven Frequenzen.
Die entwickelte Lösung wurde auf einer Umgebung mit 24 Rechnern zu je 4 Cores (insgesamt 96 Cores) experimentell evaluiert und mit dem HSR Cluster verglichen. Dabei konnte nachgewiesen werden, dass das neue System gegenüber dem Cluster performanter ist, gleichförmiger skaliert und deutlich kleinere Overheads aufweist. Das neue Backend eignet sich somit als idealer Ersatz für das bestehende Cluster-Backend.