Agora Go Real アプリやWebサイトまわりの技術、Agoraに関する記事などを綴ります。

生成AIを活用したボイスボットや会話型エージェントの開発において、「音声」だけでなく「テキスト」を同時に画面に表示したいというニーズは非常に一般的です。聴覚情報の補助や、会話履歴の可視化は、ユーザー体験（UX）を大きく向上させます。 Agora が提供するConversational AI Engine（以下、Convo AI）は、LLMとリアルタイム音声通話技術を統合したソリューションです。本記事では、Convo AI向けに提供されているToolkitを活用し、Webクライアント上で会話の文字起こし（Live Transcript）を表示する実装方法を解説します。

この記事では、リアルタイム音声・ビデオ技術を提供する Agora Conversational AI Engine と、LLM アプリケーション開発プラットフォーム「Dify」を連携させる方法について、具体的な手順とユースケースを交えて解説します。

昨今、LLM (大規模言語モデル) を活用した AI アシスタントやチャットボットが急速に普及しています。 しかし、実用的な AI アプリケーションを構築する際、GPT や Claude のような汎用 LLM をそのまま利用するだけでは不十分なケースが増えています。 ユーザーが本当に求める AI エージェント、例えば「社内の最新マニュアルに基づいて回答する」や「現在の天気や株価を調べて応答する」といった機能を実現するには、LLM が外部の知識やツールと連携する仕組みが不可欠です。 具体的には、独自のナレッジベースと連携する RAG (Retrieval Augmented Generation) や、外部 API を呼び出す Tool Calling といった技術と組み合わせることが、今や AI エージェント開発の「当たり前」になりつつあります。 この「カスタマイズされた AI の頭脳」は、もちろんリアルタイムの「音声対話」においても重要です。 Agora が提供する Conversational AI (Convo AI) は、ASR (音声認識) や TTS (テキスト読み上げ) といった、リアルタイム音声 AI に不可欠なパイプラインをシンプルに扱うためのソリューションです。 そして、AI エージェントの「頭脳」にあたる LLM 部分に関して、Agora Convo AI は標準の LLM（例えば OpenAI の GPT）だけでなく、OpenAI Chat Completions 互換のプロトコルを介して、開発者が独自に用意した LLM サービス (Custom LLM サービス) と接続できる拡張性を備えています。 本記事では、この「Custom LLM サービス」を取り上げて、Convo AI と連携させる手順や簡単な実装例を紹介します。

アバターを使った会話エージェントは、カスタマーサポート、教育、エンターテイメントなど、多くの分野でより自然で魅力的なユーザー体験を提供します。しかし、ユーザーの発話に合わせて AI が応答を生成し、さらにアバターの口の動き（リップシンク）や表情をリアルタイムで同期させる処理は、開発者にとって大きな負担となりがちです。 この記事では、Agora Conversational AI (Convo AI) とサードパーティの AI Avatar サービスを連携させることで、この課題を解決する方法を紹介します。

2025 年 11 月 15 日、Agora Conversational AI Engine v2.0 がリリースされました。 今回のメジャーアップデートでは、特定の話し声に焦点を合わせる「Selective Attention Locking (SAL)」や、スムーズな対話終了を実現する機能、会話の割り込み制御に関する新たなモードに加え、ASR・LLM・TTS の対応プロバイダーが大幅に拡充されています。

近年、顧客体験の向上や業務効率化のため、AI、特に「対話型AI」の活用が急速に広がっています。テキストチャットだけでなく、より自然で直感的な「声」によるコミュニケーションへの期待が高まっています。 しかし、人間とAIがリアルタイムでスムーズに音声対話するシステムを構築しようとしても、遅延、ネットワークの不安定さ、背景ノイズ、精度の問題といった課題が、しばしばユーザー体験を損ない、フラストレーションの原因となってきました。 この記事では、そうした課題を解決し、高品質なリアルタイム音声AIアプリケーションの開発を加速する「Agora Conversational AI Engine」について、初めての方向けに分かりやすく解説します。製品の概要とその強み、そしてこの製品を試していただく方法に焦点を当ててご紹介します。

はじめに 前回の記事では、Agora Conversational AI Engine の基本的な概念と Console の Playground を通じた対話体験の概要を紹介しました。Playground での体験は、本製品が提供する対話型 AI の可能性の一端を示すものです。 本記事「その2」では、Agora Conversational AI Engine の RESTful API の活用方法を掘り下げます。API を利用することで、開発中のアプリケーションや既存のサービスと Conversational AI Engine を直接連携させ、より柔軟かつ高度な対話型 AI 機能の実装が可能になります。

※この投稿は、Agoraの日本代理店であるブイキューブが、Agoraブログを翻訳した記事です。 急速に進化する現在のデジタル社会では、ライブストリーム動画がトレンドになっています。今までの配信形式よりユーザーがもっと没入的な機能でカスタマイズできるストリーミングオプションを期待しています。コンテンツの作成者は独創性をもつ形式でのライブ配信を求めており、配信者の動きや表情を反映するダイナミックな3Dアバターへのニーズが生まれました。

OpenAIとの提携により、AgoraはOpenAI向けの新しい会話型AI SDKをリリースしました。 公式ドキュメント：Conversational AI powered by Agora and OpenAI このSDKはOpenAIの最新Realtime APIと統合されており、超低遅延で自然な音声対話が可能となります。 以下、本記事ではこちらのSDKを「統合SDK」と表現します。 AIがリアルな会話を通して感情の理解もできるように設計されており、Agoraの超低遅延のリアルタイム音声機能と会話型AIの連携を活かして、「カスタマーサポート」や「教育分野」、「言語学習」などの分野で、よりリアルなAIとの会話を提供できるようになりました。 その他のユースケースなど、細かい情報は以下の記事をご覧ください。 AgoraとOpenAI : リアルタイムで自然な会話型AIを可能にする 本記事では、実際にこの統合SDKを実行して挙動を検証していきます。

※この投稿は、Agoraの日本代理店であるブイキューブが、Agoraブログを翻訳した記事です。 この記事は、高速なWebサイトを構築するためのWebフレームワークであるAstroを用いたバックエンド構築に関するシリーズのパート3です。 パート1 Astroを用いたトークン生成システムの構築 パート2 Astroを用いたクラウドレコーディングの実装