AppleとMotorolaを除き、ほぼすべてのモバイルデバイスメーカーがベンチマークを不正行為している

サムスンがベンチマークスコアを人為的につり上げているとする火曜日の 報道 を受けて、評判の高いハードウェアレビューサイト AnandTech は、AppleとMotorolaを除くほぼすべてのモバイルメーカーがゲームのベンチマークテストにCPU/GPUの最適化を使用していることを示唆する証拠を公開した。

Samsung およびその他の OEM は、ベンチマークが検出されたときにデバイスのパフォーマンスを向上させるためにさまざまな方法を使用します。たとえば、Samsung の Galaxy S 4 では、特定のベンチマークで優位性を得るために熱制限 (および最大 GPU 周波数) を引き上げ、ベンチマークが検出されたときに CPU の電圧/周波数も最高の状態まで引き上げました。これは複数のメーカーが実施した戦略です。 LG、HTC、ASUSなども同様です。

以下の表で、 Anandtech は ベンチマークを検出し、最大 CPU 周波数で即座に応答するデバイスを強調表示しています。

Apple と Motorola を除いて、文字通りすべての OEM が、この愚かな CPU 最適化を実行するデバイスを少なくとも 1 台出荷しています (または出荷済み)。古い Motorola デバイスでも同じ動作をした可能性がありますが、私たちが手元にある新しいデバイスではそのような動作は見られませんでした。これは過去 2 年間で表面化したと思われる組織的な問題であり、サムスンをはるかに超えて広がっています。

AnandTech は 、ターゲットを絞ったベンチマークは回避する必要があるため、どのデバイスがどのベンチマークに対して最適化されているかを発見する継続的な「いたちごっこ」であると指摘しています。

唯一の現実的な解決策は、スイートの最適化に先駆けてスイートを進化させ続けることです。特定のベンチマークに注目を集めるほど、そのベンチマークが騙される可能性が高くなります。私たちは PC 側で常にこのいたちごっこをしていますが、モバイルではそもそも優れたベンチマークがあまりないため、イライラがさらに増します。 []

ここには単一の解決策はなく、むしろ時代の先を行くための多面的なアプローチが必要です。私たちは、積極的な OEM 最適化に先んじてテスト スイートを刷新し続ける必要があり、OEM にこの狂気を止めるよう請願する必要があり、ベンチマーク ベンダーと協力して、最適化が発生したときに検出して無効にし、次のようなベンチマークを回避する必要があります。簡単にゲームできます。

OEM がベンチマークの最適化に多大な労力を費やしたにもかかわらず、その成果はごくわずかです。 CPU テストへの影響により、パフォーマンスが 0 ～ 5% 向上し、GPU ベンチマークでは 10% 未満の向上が明らかになりました。