最新のテストでは、iOS 上の Siri がクエリの 78.5% に正しく回答し、Google アシスタントの 85.5% を下回りました。

複数の企業のスマート スピーカーにスポットライトを当てて、さまざまなカテゴリでのパフォーマンスを判定する テストを実施して から 5 か月後、Loup Ventures は本日 、完全にデジタル AI アシスタントに焦点を当てた IQ テスト を実施しました。必要な結果を得るために、研究者らはスマートフォンで Siri、Google アシスタント、Alexa、Cortana にそれぞれ 800 問の質問をし、その結果を 2017 年 4 月に行われた前回の AI テストと比較しました。

新しいテストにおける Siri の場合、Apple の AI ヘルパーはクエリの 99 パーセントを理解し、クエリの 78.5 パーセントに正しく答えました。これは 、2017 年 4 月に実施された同様の AI に焦点を当てたテスト (800 問中 66.1% が正解) よりも 改善されました。 Loup Venturesは2月にスマートスピーカーをテストした際にも同様の方法論を検討したが、「デジタルアシスタントとスマートスピーカーではユースケースが大きく異なる」ため、これらのテストの結果を「比較する価値はない」と研究者らは説明している。

これは特に HomePod の Siri に当てはまります。Siri は特定の領域ではうまく機能しますが、スピーカー自体で実行できるアクションの量は主に制限されています。これにより、Apple の HomePod は 、2 月に Loup Venture が行ったスマート スピーカーの研究 中に行われた AI アシスタントのパフォーマンス テストで「トーテムポールの最下位」に追いやられ、Siri は、新しい製品と同じ 5 つのカテゴリにわたって、合計 782 の質問のうち 52.3 パーセントに正解しました。テスト。

Loup Ventures は、各デジタル アシスタントを 2 つの指標に基づいて評価します。「質問された内容を理解したか?」 「正しい応答が返されましたか?」質問は、地元 (例: 「一番近いコーヒー ショップはどこですか?」)、商業 (「ペーパー タオルをもっと注文できますか?」)、ナビゲーション (「バスでアップタウンまで行くにはどうすればよいですか?」) を含む 5 つのカテゴリーから寄せられました。 )、情報 (「今夜ツインズは誰とプレーしますか?」)、およびコマンド (「今日の午後 2 時にスティーブに電話するようリマインドしてください」)。

iOS 11.4 を実行している iPhone の Siri、Pixel XL の Google アシスタント、iOS アプリの Alexa、iOS アプリの Cortana について質問がありました。 Siri の最高のカテゴリはコマンド (質問の 90% が正解) で、iPhone、スマート ホーム製品、Apple Music などの要素を制御するように求められた場合、すべてのライバルを上回りました。コマンドに続いて、Siri はローカル (87 パーセント)、ナビゲーション (83 パーセント) で良好なパフォーマンスを示し、情報 (70 パーセント) とコマース (60 パーセント) で低下し始めました。

Google アシスタントは、コマンドを除くすべてのカテゴリで優位性を持っています。このカテゴリで Siri がアシスタントをリードしているのは奇妙です。両方とも (Cortana や Alexa のように) サードパーティ アプリ上に存在するのではなく、携帯電話の OS に組み込まれているためです。携帯電話、スマート ホーム、音楽などの制御において、Siri の方がわずかに便利で多用途 (より柔軟な言語に対応) であることがわかりました。私たちの質問セットには、かなりの量の音楽関連のクエリ (スマート スピーカーの最も一般的なアクション) も含まれています。 ）。 Apple は、そのルーツに忠実に、Siri がモバイル デバイスとスマート スピーカーの両方で音楽を再生できることを保証しました。

Google アシスタントは、Command を除くすべてのカテゴリでトップのデジタル アシスタントであり、Loup Ventures は、音声クエリの検索結果を読み上げ、多くの場合「まさに探しているもの」である Google の「強調スニペット」機能を特に気に入っています。 Alexa と Cortana はどちらも、1 つのアプリ内だけでなく iOS 全体でタスクを実行できる Siri の機能とは異なり、それぞれの iOS アプリが iPhone 上でアシスタントが実行できることを制限しているため、テストの成績が低かったです。

合計すると、Google アシスタントは 800 の質問のうち 85.5 パーセントが正しく答え、すべてを理解しました。一方、Siri は 78.5 パーセントが正しく答え、11 が誤解されました。 Alexaは正解が61.4％、誤解が13件だったのに対し、Cortanaは「出遅れ者」で正解は52.4％、誤解が19件だった。

2017 年 4 月からの 15 か月間で、Siri は 13 パーセントポイント向上し、Loup Ventures は、ほとんどのアシスタントにとって「技術の進歩の速さに感銘を受けた」と指摘しています。研究者らは続けて、昨年抱えていた問題の多くは「自然言語処理とデバイス間の接続性の改善」によって解消されたと説明した。

Loup Ventures は、特に Siri に関して、今後さらなる改善が行われる予定であると考えています。この秋、デジタル アシスタントは、Apple が iOS 12 で今後導入する「 Siri ショートカット 」機能によって新しい機能を獲得します。これにより、ユーザーは音声コマンドを通じて簡単にトリガーできるアプリ間の自動化を作成できるようになります。研究者らは、9月にリリースされる可能性が高いiOS 12内でその機能がリリースされる際に「その機能をテストしたいと考えている」と述べている。