OpenAI は GPT-Live の遅延を公開していないため、実際に計測してみました

判断に500ミリ秒 ― 発話停止は遅いが、誤った割り込み検知は減る

AI が話している最中にユーザーが意図的に割り込むと、GPT-Live が沈黙するまでに最も時間がかかります。その間、AI は「本当に割り込まれたのか」を判断しています。

単純にこの数値だけを見ると、ターン制の前世代モデルである Advanced Voice Mode に比べて 498 ミリ秒の後退となっており、0.5 秒も声をかぶせられるのはユーザーが気づくレベルです。しかし、ユーザーが実際に感じる体験は「止まるまでの速さ」だけではありません。そこで、本来は割り込みとしてカウントされるべきではない音も再生して検証しました。

（咳などの）単発の音のテストでは、GPT-Live が 1 回、 Advanced は 2 回で、統計的にはほぼ互角です。一方、背景音声（雑音）のテストでは明確な差が出ました。GPT-Live は 30 回の検証すべてで反応しなかったのに対し、Advanced は 20 回、Standard は 30 回すべてで反応してしまいました。（なお、同じ雑音下でも、主たる話者の発話自体は 3 つのモードすべてが 30 回中 30 回正しく認識していました。つまり、世代間で「雑音の中で発話を聞き取る能力」に差はなく、差が出るのは「自分が話している最中に、雑音に惑わされず話し続けられるか」という点です。）旧世代のシステムは、あらゆる音を割り込みとして扱います。反応は速く一貫していますが、その分誤反応も頻繁です。GPT-Live は、本物の割り込みなのか、たまたま自分の発話に重なった環境音なのかを見極めるのに十分な根拠がそろうまで待ちます。（この 498 ミリ秒は、判断ロジック・ネットワークの往復時間・再生バッファ・クライアント側の停止処理など、すべてを含んだエンドツーエンドの数値です。）

この新しいポリシーには、旧世代の即時反応型の仕組みでは起こり得なかった種類の失敗もあります。誰も ChatGPT に話しかけていない、雑音の多い部屋での検証で、GPT-Live は 30 回中 4 回、10 秒間の検証枠で背景音声（雑音）に自発的に応答してしまいました。旧世代のモードはこうした場面では沈黙を保っていました。これは「発話は正しく検出できているものの、それが誰に向けられたものかを誤って判断してしまう」という、話者特定の問題です。OpenAIのヘルプドキュメントもこの境界（限界）を認めています。

トレードオフ：GPT-Live は割り込みへの反応に時間がかかる一方で、60 回の誤割り込み検証のうち誤反応したのはわずか 1 回でした（Advanced は 22 回誤反応）。ただしその代わりに、自分に向けられていない会話に割って入ってしまうという新たなリスクも抱えています。

GPT-Liveの真の進歩は、速度が5倍になったことではなく、ジッターが5分の1になったこと

応答遅延、つまりユーザーの発話が終わってから最初の音声フレームが返ってくるまでの時間について見てみましょう。

Standard Voice Mode は比較から除外して構いません。「テキスト化→返答生成→読み上げ」という最初期のパイプラインは、1 ターンあたり 5 秒もかかる時代遅れの仕組みであり、業界水準から 2 世代も遅れています。実質的な比較対象となるのは GPT-Live と Advanced Voice Mode です。中央値で見ると、GPT-Live が勝るのはわずか 205 ミリ秒程度で、世代交代と呼べるほどの差ではありません。世代間で本当に変化したのはテール（ばらつきの末尾）部分 です。Advanced の P90（上位 10 パーセントの遅い応答）は 2,318 ミリ秒と、自身の中央値のほぼ 2 倍に達します。つまり、10 回に 1 回は 2 秒以上待たされることになり、しかもそれがいつ起こるかは予測できません。一方、GPT-Live の P90 は中央値からわずか 104 ミリ秒しか離れていません。これを、通信分野の用語を借りて「ターンテイキング・ジッター（話者交代の揺らぎ） 」と呼ぶことにします。GPT-Live は Advanced Voice Mode と比べて中央値そのものはほとんど変わりませんでしたが、そのばらつきを大幅に抑え込みました。ばらつきの広がりはほぼ5分の1（標準偏差σ：489 → 104ミリ秒）にまで縮小しています。

人間の脳は、こうした一貫性を「自然さ」として認識します。人間同士の会話でのターン交代はおよそ 200 ミリ秒で起こるとされており（Stivers et al., PNAS 2009）、常に同じテンポで返ってくる応答は「よく考えている」ように感じられる一方、1.3 秒で返ってきたり 2.3 秒かかったり揺れ動く応答は「もたついている」ように感じられます。GPT-Live は人間のスピードにはまだ遠く及びませんが、その「距離感」を予測可能なものにしたと言えます。

ただし、「最初に聞こえる音声フレーム」という指標には、ある種の落とし穴もあります。それには「相槌」も含まれているのです。検索や推論が必要な質問の場合、GPT-Live は「確認しますね」といった相槌を返しつつ、裏側では GPT-5.5 が処理を進めます。そのため、実際の答えがまだ出ていなくても、最初の音声自体は早く届くことになります。処理そのものにかかる時間が消えたわけではなく、GPT-Live はその時間を会話の中に「再配置」しただけなのです。音声エージェントを評価するには、本来「相槌が始まるタイミング」「実質的な答えが始まるタイミング」「答えが完了するタイミング」という 3 つの指標が必要です。今回の検証で計測したのはこのうち 1 つ目のみであり、次回はこの 3 つすべてを計測する予定です。

10%のパケットロスは古いモデルを破壊するが、GPT-Liveにはほとんど影響しない

私たちはネットワークをわざと劣化させ、一世代分のモデルの進歩を打ち消すのにどれほどのダメージが必要かを検証しました。結果として、10%のパケットロスで十分すぎるほどでした。パケットロスが発生した状態の GPT-Live の P90（1,836ミリ秒）は、ターン制の Advanced が正常なネットワーク下で記録した P90（2,318ミリ秒）をなお下回っていたのです。つまり、劣化したネットワーク下の新モデルの方が、健全なネットワーク下の旧モデルよりも優れているという結果になりました。

中央値でも同じ傾向が見られました。アップリンク（上り） で 10% のパケットロスが発生した状態では、GPT-Live の遅延増加はわずか 314 ミリ秒だったのに対し、Advanced は 2,448 ミリ秒も増加し、ほぼ 3 倍に膨れ上がって Standard の正常時のベースラインに迫るほどでした。障害をダウンリンク（下り） に変え、さらに 100 ミリ秒の遅延を加えても、この順位は変わりませんでした。

外部からの観測だけでは、考えられる 3 つの要因を切り分けることはできません。
1 つ目は、音声を継続的に取り込む逐次処理型のアーキテクチャで、パケットロスがあってもパイプライン全体が止まるのではなく、あくまで「文脈の一部を失う」だけで済んでいる可能性です。
2 つ目は、モードごとのコーデック、ロス隠蔽処理、ジッターバッファといったトランスポート・クライアント側の実装の違いです。
3 つ目は、劣化した音声データを用いた学習の影響です。
それぞれの寄与度を数値で示すには内部のテレメトリデータが必要であり、私たちにはそれができないため、無理に断定することは避けます。しかし、これらのモデルを利用して開発を行う人々にとって、その内訳はトータルの結果ほど重要ではありません。原因が何であれ、この耐障害性は製品自体に備わっているのですから。

語られない要件 ― 話しながら相手の声を聞き取ることの成立にはネットワークまで含めた時間設計を要求する

テキストのチャットボットであれば、ジッター（揺らぎ）は単に不便です。しかし話しながら相手の声を聞き取る全二重システムにおいては、タイミングそのものが意味を持ちます。沈黙自体が一種の入力であるため、ネットワーク遅延はユーザーのためらいと見分けがつかなくなってしまいます。割り込みはネットワークの往復を伴うため、停止までの遅延はモデル単体の性能ではなく、システム全体の性能として表れます。相槌にも許容できる時間の限界があるため、遅延の低さだけでなく、往復時間が予測可能であることも同じくらい重要です。そしてロス隠蔽処理は、今や人間とモデルという 2 つの「聞き手」の両方に対応する必要があり、人間の耳向けに滑らかにした音声が、必ずしもモデルが必要とする情報を保持しているとは限りません。

全二重モデルだけでは、自然な体験を提供することはできません。モデル・サーバー処理・トランスポート・クライアントという 4 つの要素すべてが、タイミングの面で足並みをそろえる必要があります。OpenAI はスタック全体を自社で保有しているからこそ、この 4 要素すべてを調整できます（今春公開されたインフラストラクチャに関する資料を参照） 。しかしほとんどのチームは、こうした要素を何一つ保有していません。パブリックインターネット経由でモデルの API を利用するだけであり、そこで生じるあらゆるトレードオフを自分たちの問題として引き受けることになります。このギャップを埋める存在こそが、Agoraの提供するレイヤーです。パブリックインターネットのデフォルト経路に代わるグローバルなリアルタイムネットワーク、モデルの利用に合わせて調整された耐ロス性の高い伝送方式、そしてユーザーが声をかぶせたときにエージェントがどれだけ速く発話を止めるかを決定する、クライアント側の割り込み処理と AI-VAD（音声区間検出） の仕組みの提供です。なお、これは私たちのビジネスそのものでもあるため、その点を差し引いてお読みいただければと思います。同時に、だからこそ今回どのような検証項目を組むべきかが分かっていたとも言えます。私たちはまさにこうしたトレードオフの調整に、何年もかけて取り組んできたのです。

体感はしたものの、まだ数値化できていないこと

私たちのテストエンジニアが繰り返し話題にしたのは、特定の数値よりもむしろ、ある「振る舞い」についてでした。GPT-Live は素早く回答しつつ、裏側では別の処理を進めており、その間も無音の時間を作らないのです。旧世代のモードは、沈黙してしまっていました。これは、先ほどの「3 つの時計」というフレームワークが数値化しようとしている、「反応が速く聞こえること」と「実際に処理が完了していること」との間のギャップにほかなりません。

さらに、一貫して観察された点が 3 つあります。
1 つ目は、GPT-Live が私たちの相槌に対して会話の流れを見失わなかったことです。旧世代のモードは、小さくつぶやかれた「うんうん」といった相槌さえも新しいターンとして扱い、話題を変えてしまっていました。
2 つ目は、感情のトーンが文脈に応じて自然に変化していたことです。
そして 3 つ目は、「40 秒後に知らせて」といった検証において、時折外すことはあったものの、経過時間をある程度把握できている様子が見られたことです。旧世代のモードはこうした検証に完全に失敗していました。
これらはいずれも、話者特定やコードスイッチング、長時間セッションでの精度低下と並んで、次回のプロトコルで検証すべき候補です。

これらを総合すると、7 月 8 日という日は、あらゆる音声エージェントにとっての基準がリセットされた日だと言えます。相槌までおよそ 1.1 秒、割り込まれてから沈黙するまでおよそ 1.4 秒、背景音声による誤反応はゼロ、パケットロス 10% 下での遅延増加は 314 ミリ秒。今後、何かとこのモデルを比較する際、ユーザーが体感することになるのはこうした数値です。（GPT-Live API自体はまだウェイトリストのみの公開です。現在のRealtime APIのデフォルトであるgpt-realtime-2.1は別のモデルであり、今回はテストしていません。）

測定方法と制限

検証環境：iPhone 13、ChatGPT v1.2026.183（App Store 版）、GPT-Live-1 が有効な Plus アカウントを使用。音声はすべて英語。検証実施日は 2026 年 7 月 9 日です。

測定方法：あらかじめ録音した発話を再現性のある発話をする装置から再生することで、すべての試行で全く同じ入力を与えています。両者の音声はそれぞれ別トラックで録音し、すべての数値はストップウォッチではなく波形データから読み取っています。各条件につき n=30 で検証しました。応答遅延は、ユーザーの発話の最終フレームから出力音声の最初のフレームまでの時間です。停止遅延は、割り込みの最初のフレームから AI の音声の最終フレームまでの時間です。意図的な割り込みは、いずれのモードでも 30 回中 30 回すべて成功したため、今回報告しているのは「割り込みが成立するかどうか」ではなく「どれだけ速く沈黙するか」です。

制限：n=30 という規模のため、1 桁台のわずかな差については過度に重視すべきではなく、P90 の値もあくまで参考値として捉えてください。検証は単一のデバイス、単一の場所、単一のアカウント、かつローンチ直後のスナップショットに限定して行っています。ネットワーク障害の強度も 1 段階のみで、ダウンリンク（下り）の検証ではパケットロスと遅延を組み合わせて負荷をかけています。この結果は網羅的な調査ではなく、あくまで一時点でのスナップショットとして捉えていただければと思います。

今後：今後リリースされる他のリアルタイム音声モデルについても、同じプロトコルで検証を行っていく予定です。

AIが話しながら聞く「全二重」の時代が始まっています。そして今、私たちはそれを計測できる段階に来ています。

ご案内：より技術的な内容を紹介するQiitaのAgora社ブログも日本語展開を始めましたので是非フォローしていただき、最先端なAIエージェントの技術情報をキャッチしてください。

Agora公式Qiita記事：https://qiita.com/Agora_io