Drei weitere Kandidaten geprueft, alle drei abgelehnt

Ministral-3-3B: Architektur mistral3 steht nicht in der Liste des
rkllm-Toolkits, dazu FP8-Gewichte -- nie konvertiert. Config auf Llama
umbiegen waere moeglich gewesen, aber ein falsch eingelesenes Modell
haette plausiblen Unsinn produziert.

Phi-4-mini: konvertiert (5,06 GB), laedt aber nicht auf der NPU.
partial_rotary_factor 0.75 ergibt 48 LongRoPE-Faktoren, die Runtime
erwartet starr head_dim/2 = 64. Rockchips "Phi3" meint Phi-3-mini.

SmolLM3-3B: laeuft, in 2 von 3 Faellen schneller als Qwen3, scheitert
aber inhaltlich -- 13 statt 61 Todos, JSON-Schluessel als
Listeneintraege, Englisch-Drift im deutschen Text.

rkllm_server.cpp: Chat-Template kommt jetzt aus der Umgebung
(RKLLM_TMPL_SYSTEM / _USER_PRE / _USER_POST), Defaults = bisheriges
ChatML-Verhalten, mit Qwen3 gegengeprueft. Damit ist der naechste
Kandidat eine Drop-in-Zeile statt einer Neuuebersetzung.

Doku: Changelog 2026-09-29 (4) mit Messwerten und allen Fallstricken,
Kapitel 05 um Architektur-Vorpruefung und Template-Konfiguration
erweitert. Messstrecke: Zeitlimit 45 -> 90 Minuten.

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_017A91sWU5aWrqZ2DWNTLVph

This commit is contained in:

Sascha

2026-09-29 19:59:04 +02:00

co-authored by

Claude Opus 5

parent 9e9958fb01

commit 3a2e8144f7

4 changed files with 176 additions and 11 deletions

									
										app/lab/ab-llm.mjs
									
		+1
		-1
	
												View File
												
				@@ -22,7 +22,7 @@ import { pool } from '../db.js';

				const OUT = '/opt/callrec/lab/ab-llm';

				const API = 'http://127.0.0.1';

				const POLL_MS = 5000;

				const TIMEOUT_MS = 45 * 60 * 1000;   // eine Analyse darf lange dauern (Whole-Pass)

				const TIMEOUT_MS = 90 * 60 * 1000;   // 45 min war zu knapp: #114 brauchte 60,8 min

				fs.mkdirSync(OUT, { recursive: true });