この連携により、開発者は音声認識 (ASR)、大規模言語モデル (LLM)、テキスト読み上げ (TTS) と、アバターの描画・リップシンクといった複雑なリアルタイム同期処理を自前で実装する手間を大幅に削減できます。結果として、AI による音声対話とアバター描画を組み合わせたリッチなユーザー体験を、よりスピーディに構築可能になります。
今回は、現在ベータサポートされている Akool を例に、具体的な連携方法と設定のポイントを解説します。
まず、Agora Convo AI について簡単におさらいします。
Agora Conversational AI (Convo AI) は、リアルタイムでの音声対話が可能な AI エージェントを構築するためのシステムです。主な役割は、以下の 3 つのコンポーネントをパイプラインとして連携させ、低遅延な会話を実現することです。
Convo AI は RESTful API を介して AI エージェントを設定・制御する仕組みを採用しています。具体的なワークフローや RESTful API での操作など、基本的な情報は以下のドキュメント・ブログ記事にて紹介していますので、併せてご覧ください:
Convo AI が AI Avatar と連携すると、この処理パイプラインが変化します。
AI Avatar を使わない場合、パイプラインはシンプルです。TTS で生成された音声 (オーディオ) は、Agora RTC (Real-Time Communication) チャンネルを通じてエンドユーザーに直接送信されます。
AI Avatar (Akool など) と連携する場合、このパイプラインの末尾に AI Avatar サービスの処理が追加されます。
これにより、AI エージェント側では、ASR と LLM の処理は通常時と同様ですが、TTS 以降の処理が以下のように変化します:
開発者にとっての最大のメリットは、Convo AI の TTS が出力する音声と、AI Avatar サービスが生成する映像との間の複雑なリアルタイム同期処理を、Agora プラットフォーム側が吸収してくれる点です。
開発者は、サーバーサイドでこれら 2 つのサービスを連携させる設定（後述する JSON）を行うことで、クライアント側は「アバターが話している音声＋映像ストリーム」を受信するだけでよくなります。
アバターを使った会話エージェントの実装には、いくつかのアプローチが考えられます。
Agora Convo AI と AI Avatar の連携は、アプローチ 1 (クラウド完結型) を採用しており、特に開発のスピードとクライアント実装の簡潔さを重視する場合に適しています。
Convo AI が連携可能な AI アバターサービスの中から、今回は Akool を採用して、連携方法の解説を行います。
Akool は、米国カリフォルニア州に本社を置く AI 技術企業で、マーケティングや教育、企業向けに高品質なビジュアルコンテンツを作成するための AI プラットフォームを提供しています。
プラットフォームでは、フェイススワップや画像生成、ビデオ翻訳など多様な機能が提供されていますが、Agora Convo AI が連携するのは、その中の「Streaming Avatar」サービスです。これは、リアルタイムでの対話とリップシンクが可能な AI アバターを実現する機能です。
このサービスは、AI を活用したリアルな表情とリップシンク機能を持ち、様々なスタイルのプリセットアバターを利用できるほか、プラットフォームの機能としてカスタムアバターの作成もサポートしています。
ではここから、Agora Convo AI と Akool との連携方法について解説していきます。
※ 2025-10 時点では、この機能はベータ版のため、実際の仕様・機能が変わる場合があります。
事前準備として、Convo AI を RESTful API で制御する仕組みと、Agora VideoSDK で実装したクライアントサイドのアプリケーションが完成していることを想定して解説します。
この辺りについてもう少し詳しく知りたい方は、以下のブログ記事をご覧ください。
AI アバターとの連携には、追加で以下の情報が必要になります。
RESTful API (POST /projects/{appid}/join) に含めるリクエストボディ (JSON) を拡張する形で、Avatar 機能を有効にします。
以下は、Convo AI (ASR: Ares、LLM: Gemini、TTS: Cartesia) と Akool Avatar を連携させる場合の設定例です:
{
"name": "ai_avatar_test_agent",
"properties": {
"channel": "avatar_demo_channel",
"token": "<convo_ai_agent_rtc_token>",
"agent_rtc_uid": "1001",
"remote_rtc_uids": ["2001"], // ★ 受信対象のユーザーUID (※ "*" は使用不可)
/* Convo AI の設定 (ASR, LLM, TTS) */
"asr": {
"vendor": "ares",
"language": "ja-JP"
// ... 他のASR設定
},
"llm": {
"vendor": "custom",
"style": "openai",
"url": "https://generativelanguage.googleapis.com/v1beta/openai/chat/completions",
"api_key": "<your_llm_api_key>"
"params": {
"model": "gemini-2.0-flash"
}
// ... 他のLLM設定
},
"tts": {
"vendor": "cartesia",
"params": {
"api_key": "<your_tts_api_key>",
"model_id": "sonic-2",
"output_format": {
"container": "raw",
/* ★ 注意点: Akool は 16000 Hz が必須 */
"sample_rate": 16000
}
// ... 他のTTS設定
}
},
/* ★ AI Avatar (Akool) の連携設定 ★ */
"avatar": {
"vendor": "akool",
"enable": true,
"params": {
"api_key": "<your_akool_api_key>",
"agora_uid": "1002", // アバター専用のUID（例）
"agora_token": "<avatar_rtc_token>", // アバター専用のToken
"avatar_id": "<your_akool_avatar_id>"
}
}
}
}
アバター連携を正しく動作させるために、いくつかの重要な注意点があります。
avatar オブジェクトの設定
properties 配下に avatar オブジェクトを追加し、avatar.enable: true と avatar.vendor: "akool" を指定します。 params の中には、予め購入した Akool の API キーや、アバター用の uid、Token (必要な場合) 、アバター ID を設定します。
/* ★ AI Avatar (Akool) の連携設定 ★ */
"avatar": {
"vendor": "akool",
"enable": true,
"params": {
"api_key": "<your_akool_api_key>",
"agora_uid": "1002", // アバター専用のUID（例）
"agora_token": "<avatar_rtc_token>", // アバター専用のToken
"avatar_id": "<your_akool_avatar_id>"
}
}
この avatar オブジェクトのパラメータ詳細は、API リファレンス の properties.avatar セクションで確認できます。
AI Avatar を使う場合は、受信対象のユーザーの uid (remote_rtc_uids) を明示的に指定する必要があります。
ワイルドカード ("*") を使用すると、エラーが発生します。
"properties": {
// ... その他設定
"remote_rtc_uids": ["2001"], // ★ 受信対象のユーザーUID (※ "*" は使用不可)
// ... その他設定
Akool では 16,000 Hz のサンプルレートのみをサポートしています。
以下サンプルコードのように、tts の設定で sample_rate: 16000 を明示的に指定してください。これが一致しない場合、エラーが発生します。
"tts": {
// ... 他のTTS設定
"output_format": {
/* ★注意点: Akool は 16000 Hz が必須 */
"sample_rate": 16000
}
// ... 他のTTS設定
}
},
アバター連携時、見かけ上は 1 名の AI エージェントが参加するように見えますが、内部的には 2 つの uid を以下の用途としてチャンネルに接続します:
受信専用 uid は properties.agent_rtc_uid、送信専用 uid は avatar.params.agora_uid でそれぞれ指定します。
クライアントアプリケーション側（ユーザー側）では、送信専用 uid からの音声・映像ストリームを（user-published イベントなどで）検知し、受信 (subscribe) するロジックを実装いただく必要があります。
今回紹介した機能について、手軽に体験いただけるデモが用意されています。
https://conversational-ai.agora.io/ (要サインアップ)
コーディング不要で、すぐに AI アバターとの会話体験可能なデモが用意されています。
Agora アカウントにサインイン後、設定ボタン ( ① ) を押し、パネル内 Settings > AI Avatar ( ② ) からアバターを選択後、通話開始ボタン ( ③ ) から会話を体験いただけます。
今回は Agora Convo AI と AI Avatar (Akool) を連携させることで、開発者は音声と映像の複雑な同期処理を意識することなく、JSON 設定のみでリッチな会話型 AI アバターをアプリケーションに組み込む方法を紹介しました。
クライアント側の実装も、特定のアバター uid から配信される音声・映像ストリームを受信するだけと、非常にシンプルになります。
これにより、より人間らしいインタラクション (例: AI コンシェルジュや対話型デジタルサイネージ、など) が可能なチャットボットの実装がよりスピーディになります。
本記事では、Akool との連携を紹介しましたが、この他サポートしているプロバイダーとして HeyGen (アルファ版) もございます。
ぜひ、より魅力的で自然な AI エージェント体験の構築にお役立てください。