feat: Projekt Scanner integrieren, Whisper in die Einstellungen
Der eigenstaendige Projekt Scanner zieht komplett ins CRM ein und laeuft parallel zur bestehenden App weiter - jede geteilte Ressource ist verdoppelt statt geteilt, damit die alte Installation unberuehrt bleibt: - eigene Datenbank perinco_scanner, legt sich beim Start selbst an - eigener SCANNER_ENCRYPTION_KEY, eigenes Upload-Verzeichnis - eigener Scheduler mit Zeitversatz, damit nicht beide Instanzen gleichzeitig mit denselben Portal-Cookies scrapen (Rate-Limits, CAPTCHA, doppelter RAM) - Sperre gegen ueberlappende Laeufe: Scheduler und "Jetzt scannen" teilen sie, ein zweiter Aufruf bekommt 409 statt doppelter OpenAI-Kosten Backend unter /api/scanner hinter der CRM-Anmeldung; die HTTP-Basic-Auth des Originals entfaellt. CV-PDFs kommen als Stream mit Token statt aus einem statischen Verzeichnis. Bestandsdaten holt "npm run scanner:import" aus der alten Datenbank, ohne sie zu veraendern. Oberflaeche in Tailwind und CI-Farben neu gebaut: Menuepunkt Scanner mit aufklappbaren Unterpunkten, Einstellungen als eigener Reiter. Whisper hat keinen eigenen Menuepunkt mehr, sondern ist ein Reiter in den Einstellungen. Damit diese Geraeteeinstellung jeder Rolle offensteht, sind die Einstellungen jetzt fuer alle sichtbar - welche Reiter erscheinen, entscheidet die Rolle. Ausserdem: kein festes Admin-Passwort mehr im Quelltext, playwright exakt auf 1.60.0 gepinnt (nutzt den vorhandenen Chromium-Build des Servers), technische Dokumentation mit Funktionszeichnungen unter docs/. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
This commit is contained in:
Sascha Wolf
@@ -0,0 +1,184 @@
|
||||
# 03 Projekt Scanner
|
||||
|
||||
Der Scanner durchsucht Projektboersen nach Auftraegen und bewertet jeden Fund mit
|
||||
OpenAI gegen die Lebenslaeufe der Berater. Er ist eine vollstaendige Portierung
|
||||
der eigenstaendigen App und laeuft parallel zu ihr.
|
||||
|
||||
## Ein Suchlauf
|
||||
|
||||
```mermaid
|
||||
sequenceDiagram
|
||||
participant C as node-cron<br/>jede Minute
|
||||
participant P as Pipeline
|
||||
participant PW as Playwright
|
||||
participant B as Projektboersen
|
||||
participant DB as perinco_scanner
|
||||
participant AI as OpenAI gpt-4o-mini
|
||||
participant M as SMTP
|
||||
|
||||
C->>P: faellig? (Intervall, Mo-Fr, 07-22 Uhr, Sperrfrist)
|
||||
P->>P: laeuft schon einer? dann abbrechen
|
||||
P->>DB: aktive Agenten laden
|
||||
P->>P: Keywords aller Agenten zusammenfuehren
|
||||
P->>DB: Portal-Sessions laden
|
||||
|
||||
loop je Portal
|
||||
P->>PW: Chromium starten, Cookies setzen
|
||||
PW->>B: Suchseite je Keyword
|
||||
B-->>PW: Projektkarten
|
||||
PW-->>P: Projekte (Titel, Beschreibung, Ort, Rate, URL)
|
||||
end
|
||||
|
||||
loop je Projekt x Agent
|
||||
P->>DB: Treffer schon vorhanden? dann weiter
|
||||
P->>P: Ausschlussbegriff im Text? dann weiter
|
||||
P->>AI: Lebenslauf vs. Projektbeschreibung
|
||||
AI-->>P: { matchPercentage, pros[], cons[] }
|
||||
P->>DB: Treffer speichern
|
||||
alt Prozent >= Benachrichtigungs-Schwelle
|
||||
P->>M: E-Mail an Agent oder Standardempfaenger
|
||||
end
|
||||
end
|
||||
```
|
||||
|
||||
Zwei Sparmassnahmen stecken bewusst **vor** dem OpenAI-Aufruf: der vorhandene
|
||||
Treffer (Unique-Key `agent_id, project_id`) und die Ausschlussbegriffe. Ein
|
||||
Projekt, das „Arbeitnehmerueberlassung" enthaelt, kostet damit keinen Cent.
|
||||
|
||||
## Wann laeuft er
|
||||
|
||||
```mermaid
|
||||
flowchart TD
|
||||
T["Cron-Tick, jede Minute"] --> A{"scanning_active?"}
|
||||
A -->|nein| STOP1["nichts tun"]
|
||||
A -->|ja| B{"Intervall geaendert?"}
|
||||
B -->|ja| RE["neu planen"]
|
||||
B -->|nein| C{"Sperrfrist nach Start<br/>SCANNER_SCHEDULER_OFFSET"}
|
||||
C -->|noch aktiv| STOP2["nichts tun"]
|
||||
C -->|abgelaufen| D{"Mo-Fr?"}
|
||||
D -->|nein| STOP3["nichts tun"]
|
||||
D -->|ja| E{"07:00-21:59?"}
|
||||
E -->|nein| STOP4["nichts tun"]
|
||||
E -->|ja| F{"Intervall seit<br/>letztem Lauf um?"}
|
||||
F -->|nein| STOP5["nichts tun"]
|
||||
F -->|ja| G["Pipeline starten"]
|
||||
```
|
||||
|
||||
Die **Sperrfrist** ist die Antwort auf ein konkretes Problem: beide Instanzen
|
||||
benutzen dieselben Portal-Cookies. Ohne Versatz ziehen nach einem Neustart beide
|
||||
gleichzeitig los, was Rate-Limits und CAPTCHAs provoziert - und zwei Chromium
|
||||
gleichzeitig belasten den Speicher doppelt.
|
||||
|
||||
> Fruehere Fassung war fehlerhaft: der Versatz wurde ueber einen vorgealterten
|
||||
> `lastRunTime` gebaut. Ein Zeitstempel kann einen Lauf aber nur **vorziehen**,
|
||||
> nie verzoegern - bei Intervall 15 und Versatz 30 lief er deshalb sofort. Jetzt
|
||||
> ist es eine eigene Frist (`notBefore`).
|
||||
|
||||
## Parallelbetrieb - alles verdoppelt
|
||||
|
||||
```mermaid
|
||||
flowchart LR
|
||||
subgraph alt["alte App (scanner.perinco.de)"]
|
||||
A1["Express :5005"] --> A2[("project_scanner")]
|
||||
A1 --> A3["uploads/ in<br/>/var/www/Projekt Scanner/backend"]
|
||||
A4["ENCRYPTION_KEY"] --- A1
|
||||
end
|
||||
|
||||
subgraph neu["CRM (pcrm.perinco.de)"]
|
||||
N1["Express :5006<br/>/api/scanner"] --> N2[("perinco_scanner")]
|
||||
N1 --> N3["uploads/ in<br/>/var/www/perinco_CRM/server"]
|
||||
N4["SCANNER_ENCRYPTION_KEY"] --- N1
|
||||
end
|
||||
|
||||
B["Projektboersen"]
|
||||
O["OpenAI"]
|
||||
A1 --> B
|
||||
N1 --> B
|
||||
A1 --> O
|
||||
N1 --> O
|
||||
|
||||
IMP["npm run scanner:import"] -.->|"liest"| A2
|
||||
IMP -.->|"schreibt"| N2
|
||||
IMP -.->|"kopiert"| N3
|
||||
```
|
||||
|
||||
| | alte App | CRM |
|
||||
| --- | --- | --- |
|
||||
| Datenbank | `project_scanner` | `perinco_scanner` |
|
||||
| Schluessel | `ENCRYPTION_KEY` | `SCANNER_ENCRYPTION_KEY` |
|
||||
| CV-Dateien | eigener Ordner | eigener Ordner |
|
||||
| Aufraeumen | 03:00 | 03:30 |
|
||||
| Anmeldung | HTTP Basic | CRM-Sitzung (JWT) |
|
||||
|
||||
**Der Preis:** Beide bewerten dieselben Projekte unabhaengig voneinander, die
|
||||
OpenAI-Kosten fallen also doppelt an. Wer das senken will, stellt im CRM ein
|
||||
groesseres Suchintervall ein - die Einstellung gilt nur fuer diese Instanz.
|
||||
|
||||
## Uebernahme aus der alten Datenbank
|
||||
|
||||
`server/src/scanner/importLegacy.js`, aufrufbar als `npm run scanner:import`:
|
||||
|
||||
```mermaid
|
||||
flowchart TD
|
||||
S["Start"] --> C{"Zieltabelle agents leer?"}
|
||||
C -->|nein, ohne --force| AB["Abbruch"]
|
||||
C -->|ja oder --force| E["Einstellungen kopieren<br/>inkl. OpenAI-Key"]
|
||||
E --> P["Portale ueber den Namen zuordnen:<br/>Benutzername, Session-Cookies, Status"]
|
||||
P --> PW{"LEGACY_ENCRYPTION_KEY gesetzt?"}
|
||||
PW -->|ja| PW2["Passwort entschluesseln<br/>und neu verschluesseln"]
|
||||
PW -->|nein| PW3["Passwort auslassen"]
|
||||
PW2 --> A["Agenten anlegen, Ids behalten<br/>CV-PDF kopieren"]
|
||||
PW3 --> A
|
||||
A --> M{"--with-matches?"}
|
||||
M -->|ja| M2["Projekte und Treffer<br/>mit Original-Ids"]
|
||||
M -->|nein| F["fertig"]
|
||||
M2 --> F
|
||||
```
|
||||
|
||||
Die Ids bleiben erhalten, damit uebernommene Treffer weiter auf die richtigen
|
||||
Agenten und Projekte zeigen. Deshalb bricht das Skript bei bereits vorhandenen
|
||||
Agenten ab.
|
||||
|
||||
> **Beim Rollout am 06.08.2026 festgestellt:** Die Portal-Passwoerter der alten
|
||||
> Datenbank lassen sich mit dem dortigen `ENCRYPTION_KEY` nicht mehr
|
||||
> entschluesseln - der Schluessel wurde nach dem Speichern getauscht. Die alte App
|
||||
> kann sie damit ebenso wenig lesen, es ging also nichts verloren. Die
|
||||
> Session-Cookies liegen im Klartext und wurden uebernommen; damit scrapt die
|
||||
> neue Instanz sofort.
|
||||
|
||||
## Oberflaeche
|
||||
|
||||
| Reiter | Datei | Inhalt |
|
||||
| --- | --- | --- |
|
||||
| Dashboard | `ScannerDashboard.tsx` | Kennzahlen, Filter, Trefferliste, *Jetzt scannen*, Ton bei neuen Treffern |
|
||||
| Unpassend | `ScannerRejected.tsx` | Treffer mit Status `rejected` |
|
||||
| Suchagenten | `ScannerAgents.tsx` | Beraterprofile, CV-Upload |
|
||||
| Boersen-Konten | `ScannerPortals.tsx` | Verbindungsstatus, Zugangsdaten, Cookie-Import |
|
||||
| Einstellungen | `settings/ScannerSettings.tsx` | Intervall, Schwellenwerte, OpenAI, Ton, E-Mail |
|
||||
|
||||
**Wichtig zum Ton:** Er haengt an der Dashboard-Komponente. Wer auf einen anderen
|
||||
Menuepunkt wechselt, hoert nichts - die Komponente wird ausgebaut und die
|
||||
30-Sekunden-Abfrage endet. In einem anderen Browsertab bleibt der Ton dagegen
|
||||
aktiv, nur langsamer (Chrome bremst Timer versteckter Tabs auf etwa einmal pro
|
||||
Minute) und nur, wenn zuvor irgendwo auf der Seite geklickt wurde
|
||||
(Autoplay-Regel). Browserunabhaengig meldet nur die E-Mail.
|
||||
|
||||
## Endpunkte
|
||||
|
||||
Alle unter `/api/scanner`, alle hinter `requireAuth`:
|
||||
|
||||
| Methode | Pfad | Zweck |
|
||||
| --- | --- | --- |
|
||||
| GET | `/agents` | Liste ohne `cvText` (Nutzlast) |
|
||||
| POST/PUT | `/agents[/:id]` | anlegen/aendern, `multipart` mit CV |
|
||||
| DELETE | `/agents/:id` | Agent samt CV-Datei |
|
||||
| GET | `/agents/:id/cv` | PDF als Stream |
|
||||
| GET | `/portals` | Status ohne Geheimnisse |
|
||||
| POST | `/portals/credentials` | Zugangsdaten, AES-verschluesselt |
|
||||
| POST | `/portals/sync-session` | Cookie-Import, normalisiert fuer Playwright |
|
||||
| POST | `/portals/test-connection/:id` | Mini-Scrape bzw. Session-Pruefung |
|
||||
| GET | `/matches` | Filter: `status`, `agentId`, `minPercentage`, `limit` |
|
||||
| PUT/DELETE | `/matches/:id` | Status setzen, loeschen |
|
||||
| GET/POST | `/settings` | Geheimnisse maskiert |
|
||||
| POST | `/scan` | Lauf starten, `409` wenn schon einer laeuft |
|
||||
| GET | `/status` | laeuft ein Lauf, Scheduler an, Datenbankname |
|
||||
Reference in New Issue
Block a user