Agora Go Real アプリやWebサイトまわりの技術、Agoraに関する記事などを綴ります。

近年、顧客体験の向上や業務効率化のため、AI、特に「対話型AI」の活用が急速に広がっています。テキストチャットだけでなく、より自然で直感的な「声」によるコミュニケーションへの期待が高まっています。 しかし、人間とAIがリアルタイムでスムーズに音声対話するシステムを構築しようとしても、遅延、ネットワークの不安定さ、背景ノイズ、精度の問題といった課題が、しばしばユーザー体験を損ない、フラストレーションの原因となってきました。 この記事では、そうした課題を解決し、高品質なリアルタイム音声AIアプリケーションの開発を加速する「Agora Conversational AI Engine」について、初めての方向けに分かりやすく解説します。製品の概要とその強み、そしてこの製品を試していただく方法に焦点を当ててご紹介します。

AIを活用したリアルタイム音声認識（Speech-to-Text: STT）は、カスタマーサポート、字幕生成、多言語会議、ライブ配信、通話記録、など多くのユースケースで活用されています。 そしてAgoraが提供するクラウドベースの文字起こし機能(Real-Time Speech to Text)も、低遅延かつ高精度なSTT機能を提供します。 Real-Time Speech to Textの公式ドキュメントこちら また、LLMを併用した応用的なアーキテクチャを構成する際にも、文字起こしの精度が非常に重要となります。 そこで本記事では、Agoraの文字起こしがどの程度の精度であるか、発話音声に対して意図的にノイズを混入させ、Agoraの文字起こし精度を確認していきます。

※この投稿は、Agoraの日本代理店であるブイキューブが、Agoraブログを翻訳した記事です。 急速に進化する現在のデジタル社会では、ライブストリーム動画がトレンドになっています。今までの配信形式よりユーザーがもっと没入的な機能でカスタマイズできるストリーミングオプションを期待しています。コンテンツの作成者は独創性をもつ形式でのライブ配信を求めており、配信者の動きや表情を反映するダイナミックな3Dアバターへのニーズが生まれました。

【AR/VRを活用したリアルタイム遠隔医療コラボレーション】 オンラインコラボレーションとは、通信技術を活用して、遠隔地の個人やグループが共同作業を行うことです。 この概念には、ビデオ会議、インスタントメッセージング、コラボレーションソフトウェアなど、さまざまなデジタルコミュニケーションツールやプラットフォームが含まれます。目的は、地理的な制約を超えてリアルタイムでやり取りを行い、情報を共有し、共同で問題を解決できる環境を促進することです。

「会話型 AI」がIoTの新たな可能性を切り開きます。最新の大規模言語モデル（LLM）を活用したマルチモーダル通信により、複雑なリクエストを理解し、自然な会話を行い、さらにはライブ映像を解析してアクションを実行することが可能になります。 Agora の 会話型 AI SDK は、自動化・通信・リアルタイムの意思決定 を進化させるのに重要な役割を担っています。 本記事では、こうした技術がさまざまな業界でどのように活用されているのか、注目の事例を詳しく紹介し、IoT の未来がどのように変わっていくのか を探ります。

TENはTransformative Extensions Networkの略で、会話型AIを作るための音声エージェントフレームワークです。 2024 年後半に登場したものであり、オーディオフレーム及びビデオフレームの処理にAgoraが採用されています。 この記事では、TEN framework の紹介とローカルビルドの手順を簡単に紹介します。 TEN framework 公式サイト：https://www.theten.ai/

OpenAIとの提携により、AgoraはOpenAI向けの新しい会話型AI SDKをリリースしました。 公式ドキュメント：Conversational AI powered by Agora and OpenAI このSDKはOpenAIの最新Realtime APIと統合されており、超低遅延で自然な音声対話が可能となります。 以下、本記事ではこちらのSDKを「統合SDK」と表現します。 AIがリアルな会話を通して感情の理解もできるように設計されており、Agoraの超低遅延のリアルタイム音声機能と会話型AIの連携を活かして、「カスタマーサポート」や「教育分野」、「言語学習」などの分野で、よりリアルなAIとの会話を提供できるようになりました。 その他のユースケースなど、細かい情報は以下の記事をご覧ください。 AgoraとOpenAI : リアルタイムで自然な会話型AIを可能にする 本記事では、実際にこの統合SDKを実行して挙動を検証していきます。

※この投稿は、Agoraの日本代理店であるブイキューブが、Agoraブログを翻訳した記事です。 この記事は、高速なWebサイトを構築するためのWebフレームワークであるAstroを用いたバックエンド構築に関するシリーズのパート3です。 パート1 Astroを用いたトークン生成システムの構築 パート2 Astroを用いたクラウドレコーディングの実装

リモートワーク、遠隔授業やハイブリッドイベントが普及し、オンライン会議やウェビナーへのニーズが高くなっています。ビデオ会議ツールとしてzoom, Google Meet, Microsoft Teams, Skypeなどいくつかが挙げられますが、これらのアプリはSaaSとしてのUIが出来上がっているので、お客様の利用シーンに応じて機能を自由にカスタマイズできません。また、自社ブランドとして音声／ビデオ通話アプリを立ち上げたいが、ゼロから構築するには開発リソースが足りず大変と感じるお客様も少なくないのが現状です。このような課題を解決するためにAgoraはFlexible Classroomソリューションを提供しています。今回は、このソリューションの特徴や用途、利用方法について紹介いたします。

※この投稿は、Agoraの日本代理店であるブイキューブが、Agoraブログを翻訳した記事です。 この記事では、自前のオンラインレッスンアプリの作成方法を紹介いたします。教師としてレッスン開催、または生徒として授業料の支払いやレッスン受講などをこのアプリにて完結させることができます。すべてのビデオレッスンはプラットフォーム上で実施されるので、認証、ユーザー管理や支払い機能の他に多様なリアルタイムの機能も含まれる包括的なアプリになります。