2023年04月14日

モバイル化: マルチパーティモバイルビデオ通話のためのAgoraとZoom SDKとの比較テスト

main

※この投稿は、Agoraの日本総代理店であるブイキューブが、Agoraブログを翻訳した記事です。
※一部、日本向けに調整しています。

第3回:マルチパーティモバイルビデオ通話-ビデオSDKの比較

この複数パートのブログのパート1パート2で、Agoraは、Zoom Video SDKがいくつかの面でAgoraのVideo SDKを上回ることを示唆したZoomの最近の研究を調べました。しかし、私たちのフォローアップ分析では、Agoraの詳細なテストにより、1:1のPC通話シナリオとマルチホストビデオ通話(デスクトップPC)において、SDKのパフォーマンスの優位性を実証しました。

第3回目は、最大32人が参加するマルチパーティモバイルビデオ通話において、AgoraとZoomのVideo SDKを並べて、実際のネットワーク条件を変化させながら、どのようなパフォーマンスを示したかを見ていきます。

まず、この議論の発端について簡単に説明します。2022年末にZoomが依頼した一連のベンチマークテストでは、ビデオテレフォニー会社はVideo SDKの分野にさらに足を踏み入れ、Agoraを含むいくつかの有名な競合製品と比較しました。

明らかに、10年近く何千もの顧客と何百ものユースケースにクラス最高のVideo SDKを提供してきたAgoraのチームは、このチャレンジに挑む自信がありました。

こことここにあるように、第1ラウンドと第2ラウンドはAgoraに軍配が上がりました。Agoraが3連覇を達成するかどうかは、この先を読んでみてください!

お役立ち資料ダウンロード  【図解】システム開発のお手伝い  ブイキューブのソリューションアーキテクトが、寄り添います! 各種ライブ配信システムのアーキテクチャについて わかりやすい構成図にてご紹介! 無料ダウンロード

テスト構成とシナリオ

結果を見る前に、テストに使用した条件と構成について説明します。

表1 - テストセットアップ 

製品

Agora Video Call V6.2.26.2533, SDK 3.5.2

Zoom for Android Version: 5.12.8

シナリオ

Video 32v32 

 

Sender: Galaxy S20 

Processor Octa-core, 1x 2.84GHz Kryo 585 + 3x 2.42GHz Kryo 585 + 4x 1.80GHz Kryo 585 

12GB RAM 

 

Receiver: Galaxy S10+ 

Processor Octa-core, 2.80 GHz, Kryo 485 

8GB RAM 

製品構成

Agora 480×640 @ 30fps 

Zoom 480×640 @ 30fps 

ネットワーク構成

Sender: WIFI, ATTWrt5gC 

Receiver: WIFI, ATTWrt5g 

表2 - テストケースのシナリオ

ID

Description

Unlimited

通常のネットワーク状態

Limited500K

帯域制限のない状態で試験を開始し、送信側で低帯域の500Kbpsを適用し、その後受信側で適用します。

UL25%PL

アップリンクネットワークのパケットロスが25%になる。

DL25%PL

ダウンリンクネットワークのパケットロスは25%です。

Limited500K25%PL

帯域制限のない状態で試験を開始し、送信側で低帯域

UL600msJitter

アップリンクネットワークのジッターは600msです。

DL600msJitter 

ダウンリンクネットワークは600msのジッターを持つ。

 

そして、ページネーションについての注意事項です。

モバイルでの32動画ホストテストですが、モバイル画面で32個の動画タイルを同時にレンダリングすることは、ユーザーエクスペリエンス上、ほとんど意味がありません。そのため、リアルなユーザーエクスペリエンスのために、この問題を解決するためにページネーションが実装されました。
Agoraについては、Agora Video Call V6.2.26.2533 とSDKバージョン3.5.2を使用してテストしました。Zoomについては、Zoomのベストプラクティスが適切に実装されていることを確認するため、最近のAndroidバージョン:5.12.8を使用してテストしました(比較対象)。
* すべての結果は、32ビデオh会議からビデオを受信するGalaxy S10+で観察および測定されました。

【注目】すべてのビデオSDKが同じように作成されているわけではありません。

最適なネットワーク条件下でも、大きなパケットロスでも、Agoraは上から下までZoomを凌駕しています。もしあなたがお金を稼ぐビジネスに携わるCEOであれば、他の企業が悪条件下でコンテンツ配信に苦戦する中で機能する信頼性の高いビデオSDKを持つことは、成功と失敗を分けることになります。


この結果を見てください:

・通常のネットワーク環境では、AgoraとZoomはともに良好な結果を示しました。しかし、AgoraはZoomよりも2フレーム/秒(FPS)も優れていました。流暢なビデオとオーディオ、平均受信フレームレート26FPSで、AgoraはZoomの24FPSより優れていました。


・25%のアップリンクパケットロスが発生した場合、Agoraは25FPSで2FPSのアドバンテージを維持し、安定していました。Zoomは23のフレームレートに落ちました。


・25%のダウンリンクパケットロスでは、Agoraの優位性は拡大し、受信フレームレートではZoomに対して5FPSの優位性を持つことになりました。 Agora 25 FPS、Zoom 20 FPS。


・ネットワークがアップリンク600msのジッターを持つ状況を作り出し、Video SDKの性能の差をさらに広げる。Agoraは23FPSで安定していますが、Zoomは3FPSと急激に低下しており、映像が乱れ、参加者が通話を中断する可能性があります。


・ダウンリンクのジッターを600msに設定した場合も、ほぼ同じ結果となり、Agoraは再び23FPS、Zoomは4FPSに落ちました。この結果、Zoomの映像は非常に途切れ途切れになりました。


・帯域制限なしでテストを開始し、まず送信側で500Kbpsの低帯域を適用し、次に受信側で適用すると、AgoraはZoomよりはるかに優れたパフォーマンスを発揮しました。Zoomは、映像がフリーズしたまま合計10秒以上0FPSまで落ち、その後20秒間苦労して25FPSまで回復しました。

モバイルのまとめ

フレームレートテスト

このテストでは、主にパケットロスやネットワーク条件の制限が送受信フレームレートに与える影響に焦点を当てました。
以前のブログで説明したように、Agoraは、公衆インターネットへのオーバーレイとしてのSD-RTN™ネットワークの活用、ラストマイル接続でのパフォーマンスを最適化する技術の実装、およびデバイスの最適化によって、しばしばコストのかかるパケットロスにつながるネットワークの混乱に対処するいくつかの方法を持っています。
AIアルゴリズムを用いてインターネット上の障害を回避してトラフィックをルーティングし、最適なパフォーマンスのためにリアルタイムのトラフィックを最適にシェイプすることで、Agoraは消費者の解約の可能性に直接対抗しています。

通常のネットワーク

通常のネットワーク条件下で、マルチパーティモバイルビデオ通話の平均受信フレームレートを見ると、Agoraは平均受信フレームレート26FPSで流暢なビデオとオーディオを維持します。Zoomは24 FPSと遅れをとっています。

図1: 通常のネットワーク状態におけるAgoraとZoomのFPSの比較

図1: 通常のネットワーク状態におけるAgoraとZoomのFPSの比較

25% アップリンクパケットロス

25%のアップリンクパケットロスで、Agoraは安定しており、25FPSで2~3のFPSアドバンテージを維持しました。Zoomは23のフレームレートに落ちました。

図2: アップリンクパケットロスが25%のネットワークにおけるAgoraとZoomのFPS比較

図2: アップリンクパケットロスが25%のネットワークにおけるAgoraとZoomのFPS比較

25% ダウンリンクパケットロス

ダウンリンクのパケットロスが25%に達するテストでも、Agoraは競合と距離を置き続けました。Zoomが19FPSまで低下したのに対し、Agoraは健康的な25FPSで安定を保っています。この差は、ユーザーが通話に関する問題に気づくのに十分なほど大きいものです。

25% ダウンリンクパケットロス

図3:AgoraとZoomのFPS比較(ダウンリンクのパケットロスが25%の場合

アップリンク600msジッター

ネットワーク上でデータを送信する際に発生する遅延の変動です。600msは高いと考えられ、顕著なパフォーマンスの問題が発生する可能性が高いです。ジッターが常に600ms以上である場合、混雑や干渉など、ネットワーク接続に問題がある可能性があります。
テストのネットワークがアップリンク600msのジッターに達すると、ZoomのFPSは4FPSという低い値まで急激に低下しました。
ここでは、Zoomのフレームレートは4FPSに低下し、途切れ途切れの映像になりました。一方、Agoraは23FPSと安定しています。このテストでは、ビデオSDKの性能の差が改めて示されました。

図4: アップリンク600msのジッターを持つネットワークでのAgoraとZoomのFPSの比較

図4: アップリンク600msのジッターを持つネットワークでのAgoraとZoomのFPSの比較

ダウンリンク600msのジッター

アップリンクのジッターと同様に、ダウンリンクの600msのジッターも同様の結果が得られました。ダウンリンク600msのジッターの条件を整えた場合も、ほぼ同じ結果となり、Agoraは再び23FPS、Zoomは4~5FPSが底値となりました。
この場合も、フレームレートが20台半ばであれば、ユーザーはラグや乱れを感じることはないでしょう。5以下のフレームレートでは、映像がフリーズし始めます。

図5: ダウンリンク600msのジッターを持つネットワークでのAgoraとZoomのFPSの比較

図5: ダウンリンク600msのジッターを持つネットワークでのAgoraとZoomのFPSの比較

フレームレートの回復

帯域制限なしでテストを開始し、500Kbpsの低帯域を最初に送信側で適用し、次に受信側で適用した場合、AgoraはZoomよりもはるかに優れた性能を発揮しました。Zoomは、合計10秒以上0FPSに落ち、映像がフリーズし、その後20秒間苦労して25FPSに回復しました。
Agoraは6FPSまで落ち込みましたが、2秒以内に20FPS台半ばまですぐに回復します。

図6:limited500Kテストケースにおけるフレームレートの回復

図6:limited500Kテストケースにおけるフレームレートの回復

限定500K、25%パケットロス時のフレームレート回復率

下のグラフのように、最初のフレームレートがゼロになり、一時的に5まで回復した後、30秒間苦戦しています。

図7:limited500K25%PLテストケースでのフレームレート回復率

図7:limited500K25%PLテストケースでのフレームレート回復率

CPU使用率

モバイルの多人数ビデオ通話では、CPU Octa-core, 2.80 GHz, Kryo 485をモニターしています。

 

表3 - CPUの比較

Test Case ID 

Agora

Zoom

Unlimited

10.61%

8.15%

Limited500K

10.52%

7.27%

UL25%PL

10.28%

7.75%

DL25%PL

10.75%

7.88%

Limited500K25%PL

10.46%

7.71%

UL600msJitter

10.88%

6.57%

DL600msJitter

10.92%

7.01%

 

このユースケースでは、複数のアプリケーションを実行しても、ZoomとAgoraのいずれにもユーザーエクスペリエンスへの影響はないと思われます。Agoraは平均10.63%、Zoomは平均7.47%でした。

RAM使用率

AgoraはZoomよりもRAMの消費量が少なく、平均254MBに対してZoomは平均293MBでした。

 

表4 - RAMの比較

Test Case ID 

Agora

Zoom

Unlimited

251MB

298MB

Limited500K

262MB

295MB

UL25%PL

254MB

300MB

DL25%PL

255MB

298MB

Limited1M25%PL

258MB

274MB

UL600msJitter

242MB

294MB

DL600msJitter

256MB

298MB

結論

今回もAgoraは、様々な実世界のネットワーク条件下でZoomと対決し、明確な勝者となりました。すべてのテストにおいて、AgoraのビデオSDKはZoomのものを凌駕していました。
アプリケーションにビデオ機能を統合する人にとって、Agoraは、Zoomを含む他社よりも信頼性が高く効率的に、開発者が迅速かつ容易にビデオ機能をあらゆるアプリケーションに追加できるツールを提供します。テストが示すように、どんな条件でも、特に厳しい環境でも、Agoraは流暢で自然なオーディオとビデオを提供します。

次は…

次回のテストアップデートでは、ウェブ用のビデオSDKを利用する際に、AgoraとZoomの比較の内訳をカバーします。

その間に、Agoraのパフォーマンスをご自身でテストするために、無料でサインアップしてください。

ガイドブックダウンロード  【大充実】通話・配信SDK「Agora」ガイドブック  通話・配信サービス開発や、配信技術のリプレイスを検討中の方、必見の内容です。 Agora SDKの特徴から活用例まで徹底解説! 無料ダウンロード
ブイキューブ

執筆者ブイキューブ

Agoraの日本総代理店として、配信/通話SDKの提供だけでなく、導入支援から行い幅広いコミュニケーションサービスに携わっている。

関連記事

2023年02月07日

ジッター(ジッタ)とレイテンシー(レイテンシ):違い・原因・解決方法

  • Agora
  • 基礎知識
  • ライブ配信
  • ビデオ通話
※この投稿は、Agoraの日本総代理店であるブイキューブが、Agoraブログを翻訳した記事です。 ※一部、日本向けに調整しています。 私たちが利用するテクノロジーは、物理的な場所や距離がもはや障壁ではないグローバル コミュニティを生み出しました。急速に変化し、ますますデジタル化が進む世界では、リアルタイムコミュニケーションが不可欠です。 急速に変化するテクノロジーに加えて、世界的な出来事が過去数年間の経済を変えてきました。企業が直面する多くの課題の中で、変わらないものの 1 つは、対面でのコミュニケーションの必要性です。スムーズなリアルタイムコミュニケーションを実現することは非常に重要です。この重要な側面を提供できないと、ユーザーの不満を引き起こすだけでなく、最終的に収益の損失につながります。 競争力を維持するには、開発者が効率的なコミュニケーションに影響を与える要因を完全に理解していることが不可欠です。レイテンシとジッタの議論に参加してください。 リアルタイム通信の中断の最大の原因の2つは、ネットワークの遅延とジッタです。ジッタとレイテンシは、理解する上で非常に重要な違いです。両者にはいくつかの類似点がありますが (たとえば、どちらもネットワーク パフォーマンスに悪影響を及ぼします)、まったく異なる現象です。 アプリケーションがスムーズに動作するには、ジッタとレイテンシの両方を最小限に抑える必要があります。ジッタとレイテンシの違いを理解することは、適切なソリューションを見つけるための基本です。この記事では、ジッタと遅延の原因を理解し、両方を特定して監視する方法を理解し、リアルタイム通信を最適化できるようにそれらを削減するための戦略を概説します。

先頭へ戻る