Messungen bei Galaxy S5 auf ARM TechDays 2015 beweisen:
CPU-Benchmarks in Smartphones sind wertlos
In Bestenlisten sortieren »Smartphone-Reviewer« die Geräte nach ihrer vermeintlichen Leistungsfähigkeit, die sich aus Messungen von bekannten und beliebten Benchmarks ergibt. Auf den ARM TechDays 2015 wurde nun bewiesen: Die Ergebnisse sind vollkommen ohne Aussagekraft, die Bestenlisten ein Fall für den Schredder.
Haben Sie schon von GeekBench, AnTuTu und Quadrant gehört? Vermutlich ja, denn diese drei CPU-Benchmarks gehören zur Grundausstattung der Reviewer, die in diversen Magazinen und auf Websites seit 2007 als „Stiftung Warentest für Smartphones“ jedes neue Gerät testen und in Bestenlisten einordnen. Je höher der Score eines CPU-Benchmarks, desto schneller der Prozessor und desto besser das Gerät für den Nutzer, lautet dabei die Devise.
Auf den ARM TechDays 2015 in London wurde dieses Klischee nunmehr an Hand eines Galaxy S5 von Samsung, dessen Herz ein hauseigener 8-Core-Exynos-Prozessor „Exynos 5 Octa 5422“ in Big.LITTLE-Konfiguration mit jeweils vier CPUs des Typs ARM Cortex-A15 (1,9 GHz) und Cortex-A7 (1,3 GHz) darstellt, entzaubert.
Die Idee bestand darin, über eine selbst aufgebaute Meßanordnung die realen Leistungsaufnahmen der einzelnen SoC-Blöcke und sonstiger Komponenten in dem Smartphone zu messen und dadurch auf die Belastungen von CPU, GPU und Speicherschnittstelle Rückschlüsse zu ziehen.
Das erste und zweite Bild der Bilderstrecke zeigen das prinzipielle Vorgehen. Die Stromversorgung jedes Blocks wird durch Kondensatoren und Spulen von Wechselstromeinflüßen gereinigt. Während man an dem Kondensator, der auf Masse liegt, die Spannung direkt messen kann, muss man für den Strom zwischen Spule und Kondensator einen Meßwiderstand einlöten, von dessen Spannungsabfall man auf den Strom rückschließen kann.
Bild 3 in der Bilderstrecke zeigt die Spannungsversorgung im Galaxy S5 im Blockschaltbild. Es sind hinreichend viele Power-Domänen verfügbar, um neben den SoC-Blöcken auch Display, Speicherschnittstelle etc. einzeln vermessen zu können.
Im folgenden Bild ist der Stromversorungs-Chip von Qualcomm nebst der ihn umgebenen Spulen und Kondensatoren zu sehen.
Die Verbindung zwischen diesen muss geöffnet werden, um jeweils einen Maßwiderstand einlöten zu können. Das folgende Bild zeigt das Ganze nach getaner Arbeit und die Maßkabel, die vor und hinter dem Meßwiderstand angebracht wurden.
Methodik und Befunde
Die Messungen wurden mit National Instruments‘ USB 6218 und der Software LabView durchgeführt, das folgende Bild zeigt den gesamten Meßaufbau.
Nun wird es spannend: Das nächste Bild in der Bilderstrecke zeigt die Messergebnisse bei realen Anwendungsszenarien wie Web-Browsen, Videos abspielen, Musik hören und Spielen. Das ausgewählte Spiel „Need for Speed“ fordert insbesondere die GPU und von allen Szenarien am stärksten auch die CPUs. Selbst die vier Cortex-A15 kommen jedoch zusammen nicht mehr auf eine durchschnittliche Leistungsaufnahme von nur 600 mW, was bedeutet, dass sie im Schnitt weit diesseits ihrer maximalen Taktfrequenz von 1,9 GHz betrieben werden. An dieser Stelle stellt sich die Frage, bei welchen Anwendungen die Rechenleistung der CPUs von High-End-SoCs überhaupt noch benötigt wird, oder ob der Wettlauf nach immer mehr Rechenleistung für den Anwender gar nicht mehr real sichtbar bzw. erlebbar wird.
Das folgende Bild in der Bilderstrecke zeigt die Messergebnisse beim Ablauf der drei oben genannten CPU-Benchmarks sowie des GPU-Benchmarks GFXBench in vier unterschiedlichen Meßszenarien.
Wie sich unschwer erkennen lässt, generieren die CPU-Benchmarks eine Rechenlast, die jenseits aller getesteten realen Anwendungen liegt, selbst ein Spiel wie „Need for Speed“ liegt um Faktoren darunter. Zwischen 2,6 und 3,7 W nehmen die acht Cortex-Cores bei den Benchmark-Messungen auf, das ist bis zu 6x mehr als beim Gaming und zeigt, dass jeweils die maximale Taktfrequenz fast durchgängig erreicht wird.
Fazit: Sinnlose Speed-Tests
Beim GFXBench sieht das Ganze ungleich besser aus: Die hier generierte Rechenlast führt zu einer Leistungsaufnahme von maximal 2,5 W bei der GPU, ein Wert, der beim Spielen zwar nicht ganz, aber wenigstens ansatzweise erreicht wurde.
Das letzte Bild in der Bilderstrecke zeigt, in welchen Größenordnungen der Benutzer die Leistungsaufnahme des Displays steuern kann – je nach Kontrast und Helligkeit ist beim Galaxy S5 eine Bandbreite zwischen 90 mW und 1,3 W gegeben – das ist fast Faktor 15. In realen Szenarien ist damit das Display tatsächlich der größte Energiefresser, beim CPU-Benchmark ist dies dank der irrealen Core-Belastungen nicht der Fall, was das Ergebnis auch in diese Richtung verfälscht.
Fazit
Der höchste CPU-Benchmark-Wert zeigt tatsächlich den schnellsten Prozessor an – theoretisch. Für den Kunden eines Smartphones sind diese Scores jedoch wertlos, da selbst beim Gaming der CPU-Workload nicht ansatzweise die Rechenleistung ausnutzt, welche die Cores bereitstellen. Ob ein GeekBench-Ergebnis 1.500 Punkte, 1.200 oder 1.400 Punkte ausweist – es spielt schlichtweg im Alltagsbetrieb keine Rolle mehr. Eine Bestenliste auf Grund von Benchmark-Scores aufzustellen, ist daher der falsche Ansatz. Sinn könnte eine stärkere CPU nur unter dem Gesichtspunkt der Energieeffizienz machen: Kann sie einen Workload schneller abarbeiten und damit schneller in den Sleep-Mode zurückgehen, könnte die verbrauchte Energie (Leistungsaufnahme x Zeit) geringer sein als bei einer CPU, die länger im aktiven Modus läuft. Dies hängt jedoch von der Rechenleistung/W der CPU-Architektur ab und nicht von Benchmark-Werten, die ausschließlich die Rechenleistung berücksichtigen.
Wichtiger wäre eine Sortierung der Smartphones nach Energieeffizienz, d.h. welches Gerät arbeitet einen definierten Workload mit der geringsten Energie ab. Dafür müsste die Reviewer-Gemeinde statt Benchmark-Apps in mühsamer Lötarbeit jedoch den gezeigten Meßaufbau nachbauen. Ob dieser Aufwand zukünftig betrieben werden wird? Wir haben unsere Zweifel.
