Job-Scheduler

Zu Beginn 2001 haben wir uns für C++ entschieden. Die Software wird mit der Standard Template Library STL in Microsoft Visual Studio 2008 und GNU GCC entwickelt. Der Code ist für alle Systeme derselbe, nur die Implementierungen der System­schnittstellen unterscheiden sich. Nennens­werter Portierungs­aufwand entsteht in der Regel nur bei neuen System­aufrufen.

Die nativen JDBC-Treiber laufen umstandslos auf allen Plattformen. Sie werden über eine Datenbankschicht und eine Java-Kopplung über Java Native Interface JNI eingebunden.

Betrieb über ODBC ist weiterhin möglich.

Weitgehende Verwendung standardisierter SQL. Die Datenbankschicht passt syntaktische Eigenarten an.

Nur beim automatischen Anlegen der Tabellen wird auf die verschiedenenen DBMS stärker eingegangen.

Damit die API für unterschiedliche Sprachen bereitgestellt werden kann, ist sie mit COM-Klassen umhüllt, die mit ODL schematisch beschrieben sind.

Für Unix-Betriebssysteme ist der COM-Mechanismus neu implementiert worden.

Microsofts Skriptsprachen JScript und VBScript werden über die einheitliche Schnittstelle Scripting Engine angesprochen.

Ebenso später PerlScript von ActiveState.

Perl wird über das Perl-API eingebunden und dem Scheduler über die Schnittstelle IActiveScript (scripting engine) als nachladbares Modul (shared object) bereitgestellt.

Die Wahl fällt auf Mozillas JavaScript-Implementierung Spidermonkey. 2008 ist eine neue Version von Spidermonkey nach dem Standard JavaScript 1.7 übernommen worden. Mozilla plant weitere Versionen.

Als Schnittstelle zum Modul wird wieder Microsofts IActiveScript verwendet.

Java ist über JNI eingebunden. Der Job implementiert die Methoden einer vom Scheduler vorgegebenen Oberklasse. Die Objekte des Schedulers sind über Java-Proxy-Klassen ansprechbar, die die Aufrufe über JNI an C++ weitergeleiten.

Besondere Vorkehrungen zur Freigabe von Objekten für Javas garbage collector.

Die Aufrufe der mit COM umhüllten Objekte werden zu einem Byte-Strom serialisiert und über eine Pipe oder TCP-Verbindung gesendet (marshalling). Der Empfänger ruft die verlangte Methode auf und übergibt typgerecht mit C++-Mitteln die Parameter. Anschließend wird der Rückgabewert oder die Exception zurückgesendet. Objekt-Referenzen werden mit Proxys realisiert. Der Vorgang ist für den Anwender transparent.

Jobs können auch auf einem anderen Rechner laufen.

Implementierung ohne Threads, mit asynchronen Objekten.

Die Jobkette ordnet jedem Zustand des Auftrags einen Job zu. Jeder Job einer Jobkette stellt eine Methode zur Verarbeitung eines Auftrags bereit und kann damit mehrere Aufträge nacheinander bearbeiten. Er kann den Zustand des Auftrags (dessen Position in der Jobkette) ändern oder den Auftrag für eine Weile zurückstellen.

In einer Jobkette können mehrere Aufträge, die über ihre Kennung unterschieden werden, parallel bearbeitet werden.

Wenn eine Jobkette nur einen Auftrag kennt, kann dieser als Staffelstab (token) benutzt werden, der für die richtige Reihenfolge der Ausführung der Jobs sorgt.

Aufträge können eine Startzeit haben und periodisch oder nach einem Kalender wiederholt werden.

Jobketten lassen sich verschachteln.

Windows: Die Funktion des Betriebssystem wird genutzt.

Unix: Periodische Prüfung des Verzeichnisses auf Veränderung.

Für jede im überwachten Verzeichnis vorhandene oder neu eintreffende Datei erzeugt der Scheduler einen Auftrag. Der Auftrag lebt solange, wie die Datei vorhanden ist. Die Jobkette arbeitet mit der Datei, bis sie sie nach Erledigung des Auftrags entfernt. Mehrere Dateien können parallel verarbeitet werden.

Die Kommandos des Scheduler sind als Web-Service zugänglich. Dabei kann die Schnittstelle über XSLT angepasst werden, sodass zum Beispiel SOAP-Anfragen möglich sind.

Jobketten lassen sich als Web-Service einrichten. Eine Aufruf eines Web-Service führt zu einem Auftrag, der die Jobkette durchläuft und am Ende eine Antwort erzeugt.

Die Jobs greifen über die API auf die Web-Service-Anforderung zu.

Jeder Auftragsschritt wird unter einem verfügbaren Scheduler ausgeführt, die Verteilung über die Datenbank abgestimmt. Die Scheduler überwachen gegenseitig ihren Puls und erkennen so einen Ausfall. Nicht mehr lebendige Scheduler werden nach kurzer Frist außer Betrieb genommen und dabei abgebrochene Auftragsschritte zurückgesetzt und wiederholt.

Der Reserve-Scheduler läuft auf einem anderen Rechner und überwacht über die gemeinsame Datenbank den Puls des ersten Schedulers. Sobald der Puls ausfällt, übernimmt der Reserve-Scheduler den Betrieb.

Der Scheduler überwacht den Konfigurationsverzeichnisbaum auf Änderungen und übernimmt sie sobald sie stabil sind. Fehlerhafte Änderungen werden verworfen und lassen den Zustand des Schedulers unverändert. Änderungen, die wegen laufender Jobs oder anderer Abhängigkeiten nicht sofort übernommen werden können, übernimmt der Scheduler, sobald das möglich ist.

Die Konfigurationen werden in eigenen Verzeichnisbäumen abgelegt, die nach den Rechnern benannt sind. Ein ausgewählter Scheduler, der Supervisor, überwacht die Verzeichnisse auf Änderungen.

Der Supervisor signalisiert dem betroffenen Scheduler die Änderung, der daraufhin die Differenz zu seinem bisherigen Stand anfordert. Gerade beschriebene, also noch unvollständige Dateien werden erkannt und verzögert gelesen.

Der anfordernde Rechner überträgt Prüfsummen seiner Konfigurations­dateien. Der Server antwortet nur mit den geänderten, hinzugefügten und gelöschten Dateien.

Ein einfacher, im Scheduler implementierter HTTP-1.1-Server liefert die HTML-Seite und lässt den Scheduler in XML übergebene Kommandos ausführen und beantworten.

Mit JavaScript wird eine zweite HTTP-Verbindung zum Dienst aufgebaut, die zur Ausfühung von XML-Kommandos dient. Die XML-Antworten werden über ein XSLT-Stylesheet in HTML gewandelt und ins Browser-Fenster eingefügt (DHTML). Die Technik wird 2005 als Ajax bekannt.

Der HTTP-Server arbeitet mit asynchronen Socket-Ereignissen in nur einem Thread für alle Verbindungen.

Der HTTP-Server liefert jeden neuen Abschnitt der Protokolldatei als Batzen (chunk) einer nie endenden HTTP-Antwort.