A/B-Aufbau fuer Qwen3.5-4B: Messstrecke und Konvertierungs-Kit

lab/ab-llm.mjs vergleicht zwei LLMs ueber reanalyze-llm (ohne
Neu-Diarisierung), mit snapshot/restore der Originalanalysen und einem
Report aus Tabelle plus Volltext-Vergleich.

tools/rkllm-qwen35/ konvertiert Qwen3.5-4B auf dem PC mit
rkllm-toolkit 1.3.0 (muss zur Board-Runtime passen), Parameter
identisch zum produktiven Modell: w8a8_g128, 3 NPU-Kerne,
max_context 16384.

Doku: Changelog 2026-09-29 (2) mit Recherchestand, Sicherung und
GOTCHAs, plus neuer Abschnitt "Modellwechsel und A/B-Tests" in
Kapitel 05 samt Mermaid-Ablauf.

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>

tools/rkllm-qwen35/Dockerfile

@@ -0,0 +1,32 @@
+# rkllm-toolkit 1.3.0 auf CUDA — konvertiert Qwen3.5-4B nach .rkllm fuer den RK3588.
+# Version 1.3.0 ist Pflicht: sie muss zur Runtime auf dem Board passen
+# (RKLLM SDK 1.3.0, build 82bf4aa8e 2026-06-16) und bringt erst die Qwen3.5-Unterstuetzung.
+FROM nvidia/cuda:12.4.1-cudnn-devel-ubuntu22.04
+
+ENV DEBIAN_FRONTEND=noninteractive
+RUN apt-get update && apt-get install -y --no-install-recommends \
+        python3.10 python3-pip python3.10-dev git ca-certificates \
+    && rm -rf /var/lib/apt/lists/*
+
+WORKDIR /work
+COPY requirements.txt /work/requirements.txt
+COPY rkllm_toolkit-1.3.0-cp310-cp310-linux_x86_64.whl /work/
+
+# torch zuerst und explizit als CUDA-Build; danach die uebrigen Requirements OHNE
+# torch/torchvision, sonst zieht pip die CPU-Raeder nach und die Quantisierung
+# laeuft auf der CPU (Stunden statt Minuten).
+RUN pip3 install --no-cache-dir torch==2.6.0 torchvision==0.21.0 \
+        --index-url https://download.pytorch.org/whl/cu124
+RUN grep -viE '^(torch|torchvision)==' /work/requirements.txt > /work/req-rest.txt \
+    && pip3 install --no-cache-dir -r /work/req-rest.txt
+# auto_gptq kompiliert gegen CUDA und ist fuer unseren w8a8-Pfad nicht noetig:
+# Fehlschlag darf den Build nicht killen.
+RUN pip3 install --no-cache-dir auto_gptq==0.7.1 || echo "auto_gptq uebersprungen (fuer w8a8 nicht noetig)"
+RUN pip3 install --no-cache-dir /work/rkllm_toolkit-1.3.0-cp310-cp310-linux_x86_64.whl
+
+# HF-Cache und Ausgabe liegen im gemounteten /data, damit ein Neustart des
+# Containers den 8-GB-Download nicht wiederholt.
+ENV HF_HOME=/data/hf
+ENV PYTHONUNBUFFERED=1
+COPY convert_qwen35.py /work/convert_qwen35.py
+CMD ["python3", "/work/convert_qwen35.py"]