A/B-Aufbau fuer Qwen3.5-4B: Messstrecke und Konvertierungs-Kit
lab/ab-llm.mjs vergleicht zwei LLMs ueber reanalyze-llm (ohne Neu-Diarisierung), mit snapshot/restore der Originalanalysen und einem Report aus Tabelle plus Volltext-Vergleich. tools/rkllm-qwen35/ konvertiert Qwen3.5-4B auf dem PC mit rkllm-toolkit 1.3.0 (muss zur Board-Runtime passen), Parameter identisch zum produktiven Modell: w8a8_g128, 3 NPU-Kerne, max_context 16384. Doku: Changelog 2026-09-29 (2) mit Recherchestand, Sicherung und GOTCHAs, plus neuer Abschnitt "Modellwechsel und A/B-Tests" in Kapitel 05 samt Mermaid-Ablauf. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
This commit is contained in:
@@ -356,3 +356,37 @@ frei** statt 100 MB.
|
||||
|
||||
**Preis:** die nächste Analyse lädt rkllm neu. Der Kurz-Clip-Pfad verliert damit seinen „rkllm bleibt
|
||||
warm"-Vorteil (Kap. 03) — dafür ist die Analyse verlässlich statt schnell-aber-manchmal-tot.
|
||||
|
||||
## Modellwechsel und A/B-Tests
|
||||
|
||||
Das aktive Modell steht in **einer** systemd-Zeile:
|
||||
|
||||
```bash
|
||||
cat /etc/systemd/system/callrec.service.d/gemma-model.conf
|
||||
# [Service]
|
||||
# Environment=RKLLM_MODEL=/opt/rkllm-models/qwen3-4b-w8a8g128-16k.rkllm
|
||||
systemctl daemon-reload && systemctl restart callrec
|
||||
```
|
||||
|
||||
`llm.js:10` liest `process.env.RKLLM_MODEL` (Fallback: das alte qwen2.5-3b). Ein Wechsel ist damit
|
||||
umkehrbar, solange die alte `.rkllm` liegen bleibt. **Vor jedem Restart prüfen, ob eine Analyse läuft**
|
||||
— ein Restart killt sie ersatzlos.
|
||||
|
||||
Gemessen wird mit `lab/ab-llm.mjs` (seit 2026-09-29). Es ruft `reanalyze-llm` auf, also **ohne**
|
||||
Neu-Diarisierung: gleiches Transkript, gleiche Sprecher, gleiche Kontextnotiz — der einzige Unterschied
|
||||
zwischen zwei Läufen ist das Modell. `snapshot` sichert die Originalanalysen vorher, `restore` schreibt
|
||||
sie zurück, `report` legt Tabelle und Volltext-Vergleich nebeneinander.
|
||||
|
||||
```mermaid
|
||||
flowchart LR
|
||||
SNAP["snapshot <ids><br/>Originalanalysen sichern"] --> RUNA["run A<br/>aktuelles Modell"]
|
||||
RUNA --> SWAP["gemma-model.conf umstellen<br/>daemon-reload + restart"]
|
||||
SWAP --> RUNB["run B<br/>neues Modell"]
|
||||
RUNB --> REP["report A B<br/>Dauer / Laenge / Todos + Volltext"]
|
||||
REP --> DEC{"besser?"}
|
||||
DEC -->|ja| KEEP["Drop-in bleibt<br/>altes .rkllm liegt als Rueckweg"]
|
||||
DEC -->|nein| BACK["Drop-in zurueck<br/>restore schreibt Analysen zurueck"]
|
||||
```
|
||||
|
||||
Die Konvertierung eines neuen Modells passiert **nicht** auf dem Board (kein CUDA), sondern auf dem PC
|
||||
mit `tools/rkllm-qwen35/` — rkllm-toolkit-Version muss exakt zur Runtime auf dem Board passen.
|
||||
|
||||
Reference in New Issue
Block a user