fix(scanner): Notventil fuer haengende Suchlaeufe

Die Sperre gegen parallele Laeufe schuetzt gegen Ueberholen, nicht gegen
einen Lauf, der gar nicht zurueckkommt. Haengt ein Browser oder steht eine
Verbindung, laeuft das finally nie - pipelineRunning bleibt true und der
Scanner sucht bis zum naechsten Neustart des Dienstes nicht mehr. Das ist
schlimmer als die Ueberlappung, gegen die die Sperre da ist.

Jetzt merkt sich die Pipeline den Startzeitpunkt. Steht die Sperre laenger
als eine Stunde, gibt der naechste Aufruf sie frei und startet neu.

Dokumentiert in docs/03-scanner.md, mit den Messwerten des Vorfalls vom
26.08.2026 in der alten App: fuenf Pipeline-Starts in 16 Minuten, 31
chrome-headless-shell-Prozesse, 1,62 GB RSS, Load Average 126 auf 4 Kernen,
Swap zu 100 Prozent gefuellt. Die alte App hatte die Sperre nicht; der
Guard dort ist mit diesem Commit nachgezogen worden.

Zur Abgrenzung festgehalten: die Chromium-Prozesse waren kein Leck. Alle
Scraper schliessen ihren Browser in einem finally. Es waren fuenf
gleichzeitige Laeufe mal mehrere Boersen.

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
This commit is contained in:
Sascha Wolf
2026-08-26 10:37:58 +02:00
co-authored by Claude Opus 5
parent 64dea0b100
commit 5d095e55ac
2 changed files with 79 additions and 2 deletions
+20 -2
View File
@@ -80,6 +80,16 @@ const sendEmailNotification = async (agent, project, matchPercentage, pros, cons
* Bewertung zweimal bei OpenAI.
*/
let pipelineRunning = false;
let pipelineStartedAtMs = null;
/*
* Notventil. Die Sperre schuetzt nur gegen Ueberholen, nicht gegen einen Lauf,
* der gar nicht zurueckkommt: haengt ein Browser oder steht eine Verbindung,
* laeuft das finally nie und der Scanner bleibt bis zum naechsten Neustart
* stumm - schlimmer als die Ueberlappung, gegen die die Sperre da ist. Nach
* dieser Zeit gibt der naechste Aufruf die Sperre frei und startet neu.
*/
const PIPELINE_MAX_RUNTIME_MS = 60 * 60 * 1000;
export const isPipelineRunning = () => pipelineRunning;
@@ -89,10 +99,17 @@ export const isPipelineRunning = () => pipelineRunning;
*/
export const runMatchingPipeline = async () => {
if (pipelineRunning) {
console.log('[Pipeline] Lauf laeuft schon - neuer Aufruf uebersprungen.');
return false;
const runningForMin = Math.round((Date.now() - pipelineStartedAtMs) / 60000);
if (Date.now() - pipelineStartedAtMs < PIPELINE_MAX_RUNTIME_MS) {
console.log(`[Pipeline] Lauf laeuft schon (${runningForMin} min) - neuer Aufruf uebersprungen.`);
return false;
}
console.warn(`[Pipeline] Lauf haengt seit ${runningForMin} min - Sperre wird freigegeben, neuer Lauf startet.`);
}
pipelineRunning = true;
pipelineStartedAtMs = Date.now();
/*
* Der BEGINN des Laufs, nicht sein Ende. Das Suchintervall ist ein Takt und
@@ -107,6 +124,7 @@ export const runMatchingPipeline = async () => {
return await executePipeline();
} finally {
pipelineRunning = false;
pipelineStartedAtMs = null;
/*
* Zeitpunkt festhalten, damit der Zeitplan einen Neustart uebersteht - sonst
* beginnt nach jedem Deployment die Wartezeit von vorn. Auch ein manueller