Omni: official low-latency first chunk (<500ms) + sdpa + plan doc

s2s now synthesizes the first N audio frames of the answer with the official
talker (greedy -> deterministic prefix of the full generation, smooth seam)
and emits it as the first chunk; full answer follows. Adds --first-chunk-frames
and --tts-attn-implementation (sdpa). serve.sh uses a 2-token bridge prefix +
3-frame first chunk.

Measured on RTX 3090 (warm): first_audio_chunk_ms 5931 -> ~459ms, first chunk
intelligible. Held-out accuracy 30/30 unaffected (full TTS path unchanged).

Adds CLAUDE.md documenting both systems + the omni integration plan.

CLAUDE.md

@@ -0,0 +1,55 @@
+# gemma1b-tts-integration
+
+Speech-to-speech PT-BR omni + tutor de pronúncia. Dois sistemas no mesmo repo.
+
+## GPU / pod
+
+- Pod vast.ai: `root@83.10.127.251 -p 41506` — **RTX 3090 24GB**.
+- Venvs: `/workspace/qwen3-tts-venv` (Qwen3.5 LLM, whisper, espeak-cv-ft, Qwen3-TTS), `/workspace/qwen3-codec-venv` (codec 12Hz).
+- Repo no pod: `/workspace/gemma1b-tts-integration`. Sync por `rsync -e 'ssh -p 41506'` para os subdirs corretos.
+- Servers persistidos por `deploy/omni_serve.sh start|stop|status|restart` + cron `@reboot` (vast não tem systemd ativo).
+
+## Sistema 1 — Omni speech-to-speech
+
+Pipeline (3 modelos): `áudio → Wav2Vec2 + projector → Qwen3.5-0.8B → texto → Qwen3-TTS → áudio`.
+
+- Bridge (porta 8787): Wav2Vec2 + projector semântico → resposta. `scripts/wav2vec2_qwen_omni_answer_server.py`.
+- S2S (porta 8788): ponte + Qwen3-TTS oficial (voice clone pf_dora). `scripts/speech_to_speech_server.py`.
+- Endpoints: `/v1/speech-to-speech.wav`, `.first.wav`, `.stream.wav`.
+- Lado **entrada é omni de verdade** (embeddings de áudio no LLM, sem ASR-texto). Lado **saída é encadeado** (texto→TTS), não fundido.
+
+### Objetivo atual (em andamento)
+
+Integrar os 3 modelos como **um modelo só** e provar:
+1. **100 perguntas de áudio respondidas com sentido correto.**
+2. **Latência < 500 ms no primeiro chunk de áudio** (warm).
+
+Plano:
+- Baseline honesto: accuracy held-out (30) vs train (100, overfit) + `first_audio_chunk_ms` atual. Tool: `scripts/omni_asr_gate.py`.
+- Latência: carregar Qwen3-TTS com `attn_implementation="sdpa"` (zero-install; modelo suporta sdpa/flash) + first-chunk oficial = gerar primeiros N frames (greedy `tts_temperature=0` ⇒ prefixo exato da geração completa ⇒ emenda suave) e emitir cedo.
+- Validar 100 perguntas: sentido correto + 1º chunk < 500 ms inteligível (gate whisper).
+
+Estado conhecido: projector treinado em 130 (held-out 26/30); TTS oficial 29/30 mas ~3 s full; audio_head rápido (491 ms) porém ininteligível (2/30) — descartado. flash-attn não instalado; sdpa é o caminho.
+
+### Dados / checkpoints
+
+- Eval: `docs/qwen35_ptbr_expanded100_eval.jsonl` (100, = treino), `docs/qwen35_ptbr_general_eval.jsonl` (30, held-out). Áudio em `job_output/omni-train-130/{train,eval}_questions/`.
+- QA manifests: `job_output/omni-train-130/{train,eval}_qa.jsonl` (com `required`/`forbidden`).
+- Projector: `job_output/omni-train-130/projector_answer/`.
+
+## Sistema 2 — Tutor de pronúncia (completo)
+
+Dois ramos determinísticos → LLM redige. `scripts/pronunciation_tutor.py`. Doc: `docs/gop_logit_bplus.html`.
+
+- **Segmental (B+ GOP-logit):** `wav2vec2-xlsr-53-espeak-cv-ft` → logits → `speech_bridge_gemma/ctc_gop.py` (GOP por fonema, cap top-K). Limiar calibrado por `scripts/calibrate_gop.py` (synth pt-br vs voz francesa = interferência L1; 34 fonemas). Thresholds: `docs/gop_thresholds.json`.
+- **Suprasegmental (prosódia):** `speech_bridge_gemma/prosody.py` — F0/energia/duração vs áudio nativo → entonação (corr/range), tônica (pico de proeminência), ritmo (rate, nPVI). Sem treino.
+- Fusão no payload/draft do feedback: `speech_bridge_gemma/qwen_pronunciation_feedback.py`.
+- Validado na 3090: francófono → 4 erros de fonema + entonação monótona + ritmo silábico; nativo → prosódia limpa.
+
+Não integrado ao omni (pipelines separados; encoders de áudio diferentes).
+
+## Convenções
+
+- Código sem comentários, autoexplicativo, solução mais simples (ver `~/.claude/CLAUDE.md`).
+- Git: commit local; push para `origin` e `hf` (Hugging Face) só quando pedido. HF rejeita >10MB sem LFS — usar worktree sobre `hf/main` + LFS para `*.pt`/`*.safetensors`.
+- Latência: 5xx/cache, medir sempre **warm** (cold carrega modelo ~30 s).

deploy/omni_serve.sh

@@ -36,9 +36,11 @@ start_s2s() {
     --host 127.0.0.1 --port "$S2S_PORT" \
     --answer-backend bridge_http \
     --bridge-http-url "http://127.0.0.1:$BRIDGE_PORT/answer-audio" \
+    --bridge-http-first-url "http://127.0.0.1:$BRIDGE_PORT/answer-audio?max_answer_tokens=2" \
     --tts-backend official --tts-model "$TTS_MODEL" --tts-mode voice_clone \
     --ref-audio "$REF_AUDIO" --ref-text "$REF_TEXT" \
     --tts-dtype bfloat16 --tts-text-normalization ptbr_safe --max-answer-tokens 48 \
+    --first-chunk-frames 3 --tts-attn-implementation sdpa \
     > "$RUN_DIR/s2s.log" 2>&1 < /dev/null &
   echo $! > "$s2s_pid"
   echo "s2s started pid=$(cat "$s2s_pid") port=$S2S_PORT"

scripts/qwen35_qwen3tts_voiceclone_smoke.py

@@ -228,11 +228,14 @@ def load_tts(args: argparse.Namespace, device: str):
     Qwen3TTSModel, _ = import_qwen_tts()
 
     dtype = resolve_dtype(args.tts_dtype, device)
-    return Qwen3TTSModel.from_pretrained(
-        args.tts_model,
-        device_map=device if device != "cuda" else "cuda:0",
-        dtype=dtype,
-    )
+    base = {"device_map": device if device != "cuda" else "cuda:0", "dtype": dtype}
+    attn = getattr(args, "tts_attn_implementation", "sdpa")
+    if attn:
+        try:
+            return Qwen3TTSModel.from_pretrained(args.tts_model, attn_implementation=attn, **base)
+        except (TypeError, ValueError):
+            pass
+    return Qwen3TTSModel.from_pretrained(args.tts_model, **base)
 
 
 def build_voice_prompt(model, args: argparse.Namespace):

scripts/speech_to_speech_server.py

@@ -215,9 +215,15 @@ class SpeechToSpeechRuntime:
             wavs = [wav]
         else:
             tts_start = time.perf_counter()
-            wavs, sample_rate = synthesize_batch(self.tts, [spoken], self.voice_prompt, self.args)
-            timings["tts_ms"] = round((time.perf_counter() - tts_start) * 1000.0, 3)
+            first_frames = max(1, int(self.args.first_chunk_frames))
+            first_audio_wav, first_audio_sample_rate = self.synthesize_official(spoken, first_frames)
+            first_audio_kind = "qwen3_official_first_chunk"
             timings["first_audio_chunk_ms"] = round((time.perf_counter() - start) * 1000.0, 3)
+            if first_chunk_only:
+                wavs, sample_rate = [first_audio_wav], first_audio_sample_rate
+            else:
+                wavs, sample_rate = synthesize_batch(self.tts, [spoken], self.voice_prompt, self.args)
+            timings["tts_ms"] = round((time.perf_counter() - tts_start) * 1000.0, 3)
         wav_path = out_dir / f"{uuid.uuid4().hex}.wav"
         self.write_wav(wav_path, wavs[0], sample_rate)
         audio_bytes = wav_path.read_bytes()
@@ -253,6 +259,15 @@ class SpeechToSpeechRuntime:
             "llm_error": self.llm_error,
         }
 
+    def synthesize_official(self, spoken: str, frames: int) -> tuple[Any, int]:
+        saved = self.args.max_audio_tokens
+        self.args.max_audio_tokens = frames
+        try:
+            wavs, sample_rate = synthesize_batch(self.tts, [spoken], self.voice_prompt, self.args)
+        finally:
+            self.args.max_audio_tokens = saved
+        return wavs[0], sample_rate
+
     def synthesize_audio_head(
         self,
         spoken: str,
@@ -650,6 +665,8 @@ def parse_args() -> argparse.Namespace:
     parser.add_argument("--bridge-http-first-url", default="")
     parser.add_argument("--bridge-http-timeout", type=float, default=120.0)
     parser.add_argument("--tts-backend", choices=["official", "audio_head"], default="official")
+    parser.add_argument("--first-chunk-frames", type=int, default=8)
+    parser.add_argument("--tts-attn-implementation", default="sdpa")
     parser.add_argument("--tts-model", default="")
     parser.add_argument("--tts-dtype", choices=["auto", "float32", "float16", "bfloat16"], default="bfloat16")
     parser.add_argument("--tts-mode", choices=["voice_clone", "custom_voice"], default="custom_voice")