Agora Go Real アプリやWebサイトまわりの技術、Agoraに関する記事などを綴ります。

この記事では、リアルタイム音声・ビデオ技術を提供する Agora Conversational AI Engine と、LLM アプリケーション開発プラットフォーム「Dify」を連携させる方法について、具体的な手順とユースケースを交えて解説します。

昨今、LLM (大規模言語モデル) を活用した AI アシスタントやチャットボットが急速に普及しています。 しかし、実用的な AI アプリケーションを構築する際、GPT や Claude のような汎用 LLM をそのまま利用するだけでは不十分なケースが増えています。 ユーザーが本当に求める AI エージェント、例えば「社内の最新マニュアルに基づいて回答する」や「現在の天気や株価を調べて応答する」といった機能を実現するには、LLM が外部の知識やツールと連携する仕組みが不可欠です。 具体的には、独自のナレッジベースと連携する RAG (Retrieval Augmented Generation) や、外部 API を呼び出す Tool Calling といった技術と組み合わせることが、今や AI エージェント開発の「当たり前」になりつつあります。 この「カスタマイズされた AI の頭脳」は、もちろんリアルタイムの「音声対話」においても重要です。 Agora が提供する Conversational AI (Convo AI) は、ASR (音声認識) や TTS (テキスト読み上げ) といった、リアルタイム音声 AI に不可欠なパイプラインをシンプルに扱うためのソリューションです。 そして、AI エージェントの「頭脳」にあたる LLM 部分に関して、Agora Convo AI は標準の LLM（例えば OpenAI の GPT）だけでなく、OpenAI Chat Completions 互換のプロトコルを介して、開発者が独自に用意した LLM サービス (Custom LLM サービス) と接続できる拡張性を備えています。 本記事では、この「Custom LLM サービス」を取り上げて、Convo AI と連携させる手順や簡単な実装例を紹介します。

アバターを使った会話エージェントは、カスタマーサポート、教育、エンターテイメントなど、多くの分野でより自然で魅力的なユーザー体験を提供します。しかし、ユーザーの発話に合わせて AI が応答を生成し、さらにアバターの口の動き（リップシンク）や表情をリアルタイムで同期させる処理は、開発者にとって大きな負担となりがちです。 この記事では、Agora Conversational AI (Convo AI) とサードパーティの AI Avatar サービスを連携させることで、この課題を解決する方法を紹介します。

近年、音声対話型の AI エージェント開発が活発になっています。この開発では、一般的に ASR (音声認識)、LLM (大規模言語モデル)、TTS (音声合成) という複数の AI モデルを連携させる必要があります。しかし、これらのモデルの組み合わせや各々の性能によって、AI の応答速度 (レイテンシ) が大きく変動し、ユーザー体験の質を左右するという課題があります。 Agora 社が提供する Agora Conversational AI Engine は、こうした音声 AI エージェントを構築するためのプラットフォームです。開発者は様々なベンダーの ASR、 LLM、 TTS モデルを柔軟に組み合わせることができますが、一方で「どの組み合わせが自社のサービスにとって最適なのか？」という選定の難しさに直面します。 この課題に対し、Agora 社が客観的なデータに基づいてモデル選定を支援するために公開しているのが、「Agora Conversational AI Performance Lab」です。このツールは、後述する主要な指標「チェーンドモデル遅延 (Chained Model Latency)」を元に、様々なモデルの組み合わせをランキング形式で比較・表示しています。本記事では、このツールの見方と、データに基づいたモデル選定の方法を解説します。

カリフォルニア州サンタクララ（2025 年 12 月 1 日）– リアルタイム・エンゲージメントおよび会話型 AI の主要プラットフォームである Agora, Inc. (NASDAQ: API) は本日、東南アジアで最も急成長している AI ネイティブ・ワークプラットフォームの 1 つである Agnes AI が、新しい AI グループチャットおよびマルチエージェント・コラボレーションシステムの基盤として「Agora Chat」を採用したことを発表しました。この統合は、大規模なリアルタイム AI 強化型チームワークとマルチエージェントによる生産性向上における重要なマイルストーンとなります。 ※この投稿は、Agora の日本総代理店であるブイキューブが、Agora ブログを翻訳した記事です。

2025 年 11 月 15 日、Agora Conversational AI Engine v2.0 がリリースされました。 今回のメジャーアップデートでは、特定の話し声に焦点を合わせる「Selective Attention Locking (SAL)」や、スムーズな対話終了を実現する機能、会話の割り込み制御に関する新たなモードに加え、ASR・LLM・TTS の対応プロバイダーが大幅に拡充されています。

記事中のイメージはmarchサイトより引用しています。 株式会社Wrusty（ラスティ）が提供する「march（マーチ）」は、オンライン診療からクリニックの業務支援、患者とのコミュニケーションまでをLINEで完結できるオールインワンのサービスで、多くの医療現場で活用されています。 marchのオンライン診療の通話機能に実装されていた既存SDKのWebRTCプラットフォームでは、通信品質や機能の拡張性に課題を抱えていました。これらの課題を解決し、より高品質なサービスを提供するために選ばれたのがAgoraです。 今回は、株式会社Wrusty（ラスティ）で開発を担当されている 近藤 弘和 氏に、Agora導入の背景や導入後の変化、そして今後の展望について詳しくお話を伺いました。

※この投稿は、Agoraの日本総代理店であるブイキューブが、Agoraブログを翻訳した記事です。 個別最適化が当たり前になった今、ファンダムは「見るだけ」から「参加する」へ変わりました。 推しとの関係はリアルタイムで更新され、やり取りが継続します。 その結果、ファン体験は日常のタッチポイントとして定着しています。 リアルタイムエンゲージメント（RTE）の世界的リーダーであるAgoraは、最新の会話型AIでファン向けプラットフォームの進化を牽引します。 会話型AIは、ファン向けプラットフォームに新しい時代をもたらします。 AIが生む親密な体験と、実際に触れられるインタラクティブなアクセサリーの融合が、 アーティストやインフルエンサー、ブランドとコミュニティのつながり方を根本から変えていきます。

レイテンシーは、しばしばインターネットの「速度」として語られる帯域幅と混同されがちです。多くのインターネットサービスプロバイダーは「○○Mbpsで速い」「競合より30％速い」と帯域幅を強調しますが、体感の速さや操作の反応の速さは帯域幅だけでは決まりません。 正しくは、帯域幅＝一度に流せる量（道路の幅）、レイテンシ＝最初のデータが届くまでの時間（目的地までの時間）という別の指標です。道路がどれだけ広くても、目的地までの時間が長ければ到着は遅いのと同じで、レイテンシは実効的な速さ（ページの表示開始やクリック後の応答）を支える一方で、しばしば上限を決めるボトルネックになります。 本記事では、レイテンシーの意味、帯域幅との違い、主な原因、かんたんな測定方法、そして改善のコツをわかりやすく解説します。

※この記事はAgora社の「How does WebRTC work?」を翻訳したものになります。 WebRTCの定義から、WebRTCとWebSocketsの比較やその仕組みを解説します。 ＜WebRTCの仕組み概要＞ 端末が getUserMedia() でカメラ/マイクを取得し、RTCPeerConnection を作成。 シグナリング経由で SDP と ICE候補を交換し、STUN/TURNで到達経路を確立。 DTLSで鍵交換→SRTPで暗号化してメディア送受信（P2P or SFU中継）。