テスト構成とシナリオ

結果を見る前に、テストに使用した条件と構成について説明します。

表1 - テストセットアップ 

表2 - テストケースのシナリオ

そして、ページネーションについての注意事項です。

モバイルでの32動画ホストテストですが、モバイル画面で32個の動画タイルを同時にレンダリングすることは、ユーザーエクスペリエンス上、ほとんど意味がありません。そのため、リアルなユーザーエクスペリエンスのために、この問題を解決するためにページネーションが実装されました。
Agoraについては、Agora Video Call V6.2.26.2533 とSDKバージョン3.5.2を使用してテストしました。Zoomについては、Zoomのベストプラクティスが適切に実装されていることを確認するため、最近のAndroidバージョン：5.12.8を使用してテストしました（比較対象）。
* すべての結果は、32ビデオh会議からビデオを受信するGalaxy S10+で観察および測定されました。

【注目】すべてのビデオSDKが同じように作成されているわけではありません。

最適なネットワーク条件下でも、大きなパケットロスでも、Agoraは上から下までZoomを凌駕しています。もしあなたがお金を稼ぐビジネスに携わるCEOであれば、他の企業が悪条件下でコンテンツ配信に苦戦する中で機能する信頼性の高いビデオSDKを持つことは、成功と失敗を分けることになります。

この結果を見てください：

・通常のネットワーク環境では、AgoraとZoomはともに良好な結果を示しました。しかし、AgoraはZoomよりも2フレーム/秒(FPS)も優れていました。流暢なビデオとオーディオ、平均受信フレームレート26FPSで、AgoraはZoomの24FPSより優れていました。

・25%のアップリンクパケットロスが発生した場合、Agoraは25FPSで2FPSのアドバンテージを維持し、安定していました。Zoomは23のフレームレートに落ちました。

・25%のダウンリンクパケットロスでは、Agoraの優位性は拡大し、受信フレームレートではZoomに対して5FPSの優位性を持つことになりました。 Agora 25 FPS、Zoom 20 FPS。

・ネットワークがアップリンク600msのジッターを持つ状況を作り出し、Video SDKの性能の差をさらに広げる。Agoraは23FPSで安定していますが、Zoomは3FPSと急激に低下しており、映像が乱れ、参加者が通話を中断する可能性があります。

・ダウンリンクのジッターを600msに設定した場合も、ほぼ同じ結果となり、Agoraは再び23FPS、Zoomは4FPSに落ちました。この結果、Zoomの映像は非常に途切れ途切れになりました。

・帯域制限なしでテストを開始し、まず送信側で500Kbpsの低帯域を適用し、次に受信側で適用すると、AgoraはZoomよりはるかに優れたパフォーマンスを発揮しました。Zoomは、映像がフリーズしたまま合計10秒以上0FPSまで落ち、その後20秒間苦労して25FPSまで回復しました。

モバイルのまとめ

フレームレートテスト

このテストでは、主にパケットロスやネットワーク条件の制限が送受信フレームレートに与える影響に焦点を当てました。
以前のブログで説明したように、Agoraは、公衆インターネットへのオーバーレイとしてのSD-RTN™ネットワークの活用、ラストマイル接続でのパフォーマンスを最適化する技術の実装、およびデバイスの最適化によって、しばしばコストのかかるパケットロスにつながるネットワークの混乱に対処するいくつかの方法を持っています。
AIアルゴリズムを用いてインターネット上の障害を回避してトラフィックをルーティングし、最適なパフォーマンスのためにリアルタイムのトラフィックを最適にシェイプすることで、Agoraは消費者の解約の可能性に直接対抗しています。

通常のネットワーク

通常のネットワーク条件下で、マルチパーティモバイルビデオ通話の平均受信フレームレートを見ると、Agoraは平均受信フレームレート26FPSで流暢なビデオとオーディオを維持します。Zoomは24 FPSと遅れをとっています。

図1: 通常のネットワーク状態におけるAgoraとZoomのFPSの比較

25% アップリンクパケットロス

25%のアップリンクパケットロスで、Agoraは安定しており、25FPSで2～3のFPSアドバンテージを維持しました。Zoomは23のフレームレートに落ちました。

図2: アップリンクパケットロスが25%のネットワークにおけるAgoraとZoomのFPS比較

25% ダウンリンクパケットロス

ダウンリンクのパケットロスが25%に達するテストでも、Agoraは競合と距離を置き続けました。Zoomが19FPSまで低下したのに対し、Agoraは健康的な25FPSで安定を保っています。この差は、ユーザーが通話に関する問題に気づくのに十分なほど大きいものです。

図3：AgoraとZoomのFPS比較（ダウンリンクのパケットロスが25%の場合

アップリンク600msジッター

ネットワーク上でデータを送信する際に発生する遅延の変動です。600msは高いと考えられ、顕著なパフォーマンスの問題が発生する可能性が高いです。ジッターが常に600ms以上である場合、混雑や干渉など、ネットワーク接続に問題がある可能性があります。
テストのネットワークがアップリンク600msのジッターに達すると、ZoomのFPSは4FPSという低い値まで急激に低下しました。
ここでは、Zoomのフレームレートは4FPSに低下し、途切れ途切れの映像になりました。一方、Agoraは23FPSと安定しています。このテストでは、ビデオSDKの性能の差が改めて示されました。

図4: アップリンク600msのジッターを持つネットワークでのAgoraとZoomのFPSの比較

ダウンリンク600msのジッター

アップリンクのジッターと同様に、ダウンリンクの600msのジッターも同様の結果が得られました。ダウンリンク600msのジッターの条件を整えた場合も、ほぼ同じ結果となり、Agoraは再び23FPS、Zoomは4～5FPSが底値となりました。
この場合も、フレームレートが20台半ばであれば、ユーザーはラグや乱れを感じることはないでしょう。5以下のフレームレートでは、映像がフリーズし始めます。

図5: ダウンリンク600msのジッターを持つネットワークでのAgoraとZoomのFPSの比較

フレームレートの回復

帯域制限なしでテストを開始し、500Kbpsの低帯域を最初に送信側で適用し、次に受信側で適用した場合、AgoraはZoomよりもはるかに優れた性能を発揮しました。Zoomは、合計10秒以上0FPSに落ち、映像がフリーズし、その後20秒間苦労して25FPSに回復しました。
Agoraは6FPSまで落ち込みましたが、2秒以内に20FPS台半ばまですぐに回復します。

図6：limited500Kテストケースにおけるフレームレートの回復

限定500K、25%パケットロス時のフレームレート回復率

下のグラフのように、最初のフレームレートがゼロになり、一時的に5まで回復した後、30秒間苦戦しています。

図7：limited500K25%PLテストケースでのフレームレート回復率

CPU使用率

モバイルの多人数ビデオ通話では、CPU Octa-core, 2.80 GHz, Kryo 485をモニターしています。

表3 - CPUの比較

このユースケースでは、複数のアプリケーションを実行しても、ZoomとAgoraのいずれにもユーザーエクスペリエンスへの影響はないと思われます。Agoraは平均10.63％、Zoomは平均7.47％でした。

RAM使用率

AgoraはZoomよりもRAMの消費量が少なく、平均254MBに対してZoomは平均293MBでした。

表4 - RAMの比較

結論

今回もAgoraは、様々な実世界のネットワーク条件下でZoomと対決し、明確な勝者となりました。すべてのテストにおいて、AgoraのビデオSDKはZoomのものを凌駕していました。
アプリケーションにビデオ機能を統合する人にとって、Agoraは、Zoomを含む他社よりも信頼性が高く効率的に、開発者が迅速かつ容易にビデオ機能をあらゆるアプリケーションに追加できるツールを提供します。テストが示すように、どんな条件でも、特に厳しい環境でも、Agoraは流暢で自然なオーディオとビデオを提供します。

次は…

次回のテストアップデートでは、ウェブ用のビデオSDKを利用する際に、AgoraとZoomの比較の内訳をカバーします。

その間に、Agoraのパフォーマンスをご自身でテストするために、無料でサインアップしてください。