2023年04月07日

映像・音声配信アプリに付随するオプション機能開発について

optional-functions

ライバーの配信アプリやメタバースでは映像・音声の送受信が基本的な機能になります。それにはHLSやWebRTCといった技術が採用されています。独自で実装が困難な場合や、工数がかかる場合は、Amazon IVS、Amazon Chaim、Agora.io、Twilio等のPaaSを活用する場合もあります。低遅延やパケットロス対策、ジッタ対策等も含まれており工数短縮以外にも高品質の恩恵も受けられます。

企画・開発初期ではメインとなる映像・音声の送受信に着目されがちですが、サービスの差別化や特徴を考えた際、オプションとなる機能についても考察する必要があります。

この記事ではオプション機能に注目して、機能紹介や活用できるSDK等を紹介します。

お役立ち資料ダウンロード

オンライン体験におけるブイキューブの技術サポートのご案内

【図解】システム開発のお手伝い

ブイキューブのソリューションアーキテクトが、寄り添います!
各種ライブ配信システムのアーキテクチャについて わかりやすい構成図にてご紹介!

無料ダウンロード

オプション一覧

アナリティクス

通話分析オプションは、多くのユーザーを抱えるサービスで多く実装されている機能かと思います。
通話状況と品質をリアルタイム追跡および分析可能にすることでユーザーがどのような環境でチャンネルに参加していたかを自己分析できます。
ユーザーからの問い合わせをすばやく解決し、通話/配信体験の質を向上させることが可能です。

美顔フィルター

主にライバーさんの配信アプリで活用されるケースが多いかと思います。一般的な機能としては、「美肌」「顔やせ」「デカ目」等の美顔機能、色調補正、ステッカー、メイクアップ、バーチャル背景になります。FaceUnity、Banuba、Tencent Effect、BytePlus、DeepAR等がSDKで提供されています。技術選定のポイントとしては対応しているプラットフォームや要望のある美顔効果機能があるかという点です。

チャット

チャットオプションは、ジャンルを問わず実装されている機能かと思います。単純なテキストデータの送受信がベースになりますがリアルタイム性が求められたり、逆に少しづつチャットが流れて欲しい等、サービスや状況によって細かなチューニングが必要な場合もあります。実装で重要なポイントは配信端末側で大量にチャットデータを受け付けると端末負荷で配信停止してしまうケースもあるので、設計の段階からこのような懸念を除外したほうがよいかと思います。

CDN連携(Media Pull、Media Push)

主にライブ配信アプリで活用されるオプションになります。
CDNに対して、映像/音声のPullやPushを行うことで、より多くの視聴者にリーチすることができます。
エンゲージメントの追加にもお役立ちできるかと思います。

録画(VOD)

アーカイブ配信や議事録として活用する為のオプションになります。
拠点毎に録画するか、すべての配信拠点を一つのファイルとして録画するかといった点が実装時の考慮する点になります。
また、前述のチャットを含めた状態でのアーカイブ動画が必要な場合もあります

リアルタイム文字起こし

AIの進歩により、文字起こしもかなり正確になってきました。活用方法は様々で、文字起こしと翻訳を連携させたり、文字起こしした文章を議事録として活用させたり、ChatGPTでサマリーを起こしてアーカイブに利用する等が考えられます。Amazon Transcribe等が活用できます。

空間オーディオ

メタバースでは没入感が重要になってきます。音声や音源がキャラクターの位置によって右から聞こえたり、遠くで聞こえたりといった空間を再現させるとより没入感がでてきます。実現するには座標計算したうえで、ボリュームやPANを調整する必要があります。座標計算においては、自身の移動、相手の移動といった二つの局面があり、その座標データもPub/Subする必要があります。

ボイスチェンジャー・ノイズキャンセル

美声化やプライバシー保護の観点からボイスチェンジャーを提供する場合もあるかと思います。
ビデオ通話に最適なモードや歌唱に最適なモード、ハイブリッドなモードが選択可能です。
オンライン会議やセミナー等ではノイズキャンセルも重宝されます。
AIによるノイズキャンセルAPIが用意されています。

コンテンツモデレーション

特にライブ配信アプリで使われるオプションになります。
配信者・視聴者ユーザーが双方向的に文字/音声/映像における、不要な冒涜、侮辱、不適切なコンテンツを投稿していないかモニタリングします。
アプリコミュニティを健全な状態に保つ重要な機能です。

ホワイトボード

セミナー等の学習系サービスにはホワイトボード機能が活用されます。PDFやパワーポイントの資料を変換してレンダリングしたり、ペンツールや文字ツール等で自由に描画ができる機能になります。実装難易度が高く、工数もかかる機能となります。Agora.ioではホワイトボード機能のオプションを提供しています。

オプション利用について考慮する点

映像・音声に対するデータアクセス

美顔フィルターやボイスチェンジャーを実装する場合、カメラやマイクでキャプチャーしたデータにアクセスできるかどうかがポイントになります。ブイキューブで取り扱うSDKにはキャプチャしたRAWデータにアクセス可能なAPIがありますので、他のSDKとの連携が可能になります。このようにメインとなる映像・音声のソリューションを選定する場合は、他のSDKとの連携部分を考慮したほうが良いかと思います。

サンプルコード

実装内容によっては難易度の高いものがあります。リファレンスは主にAPI単体での説明になるので理解が難しい場合もあります。可能であればサンプルコードが豊富なPaaSやSDKを採用した方が学習コストが下げられます。各SDKでは比較的ユースケースに合わせたサンプルや各種オプション機能を組み合わせたサンプルが多く公開されています。

ブイキューブでは各種オプションを取扱いしております。
映像・音声配信アプリのトライアル利用も可能です。
ぜひお気軽にお問い合わせください。

 

>Agoraの無料トライアルを試してみる

ガイドブックダウンロード
ビデオ通話・ライブ配信API/SDK「Agora」

超低遅延API/SDK「Agora」ガイドブック

通話・配信遅延30-200ms!100万人の視聴対応!未経験者から専門家まで、誰でも読みやすいAgoraのガイドブックをダウンロードしませんか。

無料ダウンロード
藤本 諭志

執筆者藤本 諭志

株式会社ブイキューブ 技術本部 Agora担当。 2007年ブイキューブ入社。 自社開発サービスであるV-CUBE セミナーの開発に携わる。現在はAgoraとTencent Cloudのプロダクト担当SEをしている。 スキル:Docker/AWS/Linux/DB/Ruby/PHP/JavaScript

関連記事

先頭へ戻る