Making Spoken Dialogue Models See the Face An explicit turn-taking objective unlocks visual turn cues that next-token audio prediction ignores 音声対話モデルに顔を「見せる」 明示的なターンテイキング目的関数が、next-token 音声予測では無視される視覚的ターン交代手がかりを引き出す

A spoken dialogue model that watches its partner's face — and sees turn changes coming ~1 second early. On a contamination-free held-out split, the face lifts turn-yield ROC-AUC from 0.705 to 0.818 (+0.113), and a presence-controlled test attributes ~83% of that gain to facial dynamics — not the face's mere presence. 対話相手の顔を見ながら話す音声対話モデル — 話者交代を約 1 秒前に予見する。学習と重複しない held-out で、顔は turn-yield ROC-AUC を 0.705 → 0.818(+0.113)へ引き上げ、presence 対照により その利得の約 83% が顔の動き由来(顔の単なる有無ではない)と示される。

The three-step result3 段階の結果

Architectureアーキテクチャ

Face input improves turn prediction — on held-out data 顔入力はターン予測を改善する — held-out で

Which facial cue carries it? どの顔手がかりが効くか?

On held-out MultiDialog, gaze is the leading cue, followed by mouth. Because each row keeps the rest of the face real (presence preserved), these drops isolate the channel's information, consistent with the presence-controlled result above. The effect replicates cross-corpus on Seamless Interaction — whose continuous-video capture removes the per-turn presence coupling entirely — with ΔAUC +0.096 (95% CI [+0.092, +0.101], 414 conversation-disjoint dialogues); there the leading cue shifts to head pose, tracking the body-framed camera. The face is a robust cue; its dominant channel follows what the camera captures. held-out MultiDialog では視線が主要な手がかり、次いで口。各行は顔の残りを実値に 保つ(presence 保持)ため、これらの低下はそのチャネルの情報量を切り出しており、 上の presence 対照と整合する。効果は Seamless Interaction でも cross-corpus 再現 (連続映像撮影でターンごとの presence 結合が原理的に無い)— ΔAUC +0.096 (95% CI [+0.092, +0.101]、会話非重複 414 対話)。ただし主要手がかりは頭部姿勢に 移り、全身フレームのカメラ構図を追う。顔は頑健な手がかりであり、支配的チャネルは カメラが何を捉えるかに従う。

New: scale routes the face into generation 新結果: スケールが顔を生成へルーティングする

Everything above is a prediction result — and at ~160 h of training, that is all there is: the facial input projections stay near their zero initialisation (<2% of the input embedding norm) and zeroing the face leaves the model's own speech untouched. Scaling the same recipe to combined face-to-face corpora changes this qualitatively. The facial share of the input embedding grows <2% → 28% → 35% across 0.16 / 0.45 / 1.27 kh of training data, and at 1,270 h (FaceDuplex-7B, the largest open face-to-face full-duplex model to date) the partner's face causally changes the model's own speech. ここまでは予測の結果 — そして学習 ~160 h ではそれが全てだった: 顔入力の射影は ゼロ初期化近傍に留まり(入力埋め込みノルムの <2%)、顔をゼロ化してもモデル自身の 発話は変わらない。同じレシピを複合 face-to-face コーパスへスケールさせると これが質的に変わる。顔の入力埋め込み比率は学習データ 0.16 / 0.45 / 1.27 kh に わたり <2% → 28% → 35% と単調に成長し、1,270 h(FaceDuplex-7B、 公開 face-to-face full-duplex モデルとして過去最大)では相手の顔がモデル自身の発話を 因果的に変える。

Honest scope: a coarse binary floor-taking statistic is unchanged by the face (0.77 both arms) — the generative effect is on how much and how coherently the model speaks. Generation metrics are automatic (UTMOS / ASR-based); human evaluation is future work. 正直な範囲注記: 粗い二値 floor-taking 統計は顔で変わらない(両アームとも 0.77)— 生成側の効果は発話量と一貫性に現れる。生成指標は自動評価(UTMOS / ASR ベース)で、 人手評価は今後の課題。

Watch it run動作デモ

A methodological warning about input ablation 入力 ablation についての方法論的警告

Our first attribution attempt zeroed input dimensions post-hoc at eval time. Because the face encoder normalizes across all 61 dims, partial zeroing pushes the input out of distribution and fabricates attribution: head translation — a constant per clip — appeared to carry a massive +0.278 AUC drop. Re-training with the same dims zeroed consistently at train and eval time removes the artifact (true translation contribution: 0.000). Post-hoc input zeroing through a normalization layer is not a valid ablation. (Relatedly, every number on this page is reported on a contamination-free held-out split, since the dataset's per-turn videos couple coefficient presence to the turn label — see the presence-controlled result.) 最初の寄与分析では、評価時に入力次元を事後的にゼロ化していた。顔エンコーダは 61 次元全体で正規化するため、部分的なゼロ化は入力を分布外に押し出し、寄与を捏造する: クリップごとの定数にすぎない頭部並進が +0.278 という巨大な AUC 低下を持つように見えた。 同じ次元を学習時と評価時に一貫してゼロ化して再学習するとこのアーティファクトは消える (並進の真の寄与: 0.000)。正規化層を通した事後的な入力ゼロ化は有効な ablation ではない。 (関連して、本ページの数値はすべて学習非重複の held-out で報告している。データセットの ターン別動画は係数の有無を turn ラベルと結合させるため — 上の presence 対照を参照。)

BibTeX

@article{anonymous2026face,
  title   = {Making Spoken Dialogue Models See the Face: An Explicit Turn-Taking
             Objective Unlocks Visual Turn Cues That Next-Token Audio Prediction Ignores},
  author  = {Anonymous},
  journal = {Under review},
  year    = {2026}
}