Dopede benchmarks og softwaresnyd [BAGGRUND]

Ifølge Ars Technica, vil Samsung med Android 4.4 KitKat opdateringen ikke længere anvende sin præstationsfremmende ’benchmark booster’. Det betyder at vi ikke længere vil opleve dopede resultater fra Samsungs topenheder i udbredte benchmarks, blandt andre AnTuTu, GeekBench og Vellamo – men hvordan kunne det overhovedt komme så vidt?

For mobilentusiaster er benchmarks, en nem måde at sammenligne ydelsen blandt mobiltelefoner – og som mobilentusiast sover man bedre, med vished om at ens dyrebare, nyerhvervede enhed nu også er den hurtigste knallert på kajen.

De snyder allesammen

At blive topscorer i test er selvfølgeligt eftertragtet, især i de tidlige Android dage hvor systemet kunne opføre sig hakkende og tøvende. Hvorfor Samsung, HTC, Sony, Asus og LG, blandt andre, har benyttet sig af en række optimeringer til at presse en topscorer ud af maskineriet. Optimeringerne endte dog med at være så gennemgribende at benchmark-scorerne forsatte deres himmelflugt – uden længere at udmønte sig i reel ydelse.

Optimering blev til snyd.

Benchmarks bliver intetsigende

Spørgsmålet er nu hvor stor indflydelse benchmark optimeringerne rent faktisk har.

Da Anandtech.com i sin tid afslørede snyderiet var fremgangsmåden at slå styresystemet over i ’benchmark modus’ hvor alle hardwarekomponenter tiltes til 100 procent (og i nogle tilfælde endda over) og al hensyn til strømstyring og varmeudvikling røg overbords.

Eksempelvis bliver alle fire processorkerner fyret op til maximal frekvens, uanset belastning. Den slags bruger strøm skødesløst og varmer telefonen unødigt – uacceptabelt til almindeligt brug, men det giver en bedre målscore i de famøse benchmarks. Ifølge Anandtechs oprindelige artikel giver den slags optimering op til 10% højere score, især i 3D-tests, som giver mål for ydelsen i de tunge 3D-spil.

I den efterfølgende podcast bekræftede Brian Klug, mobilredaktør ved Anandtech.com, at deres fund kun udgjorde toppen af isbjerget. Igennem hans insider-kilder fremgik det at dopingen ikke kun forgik på hardware-niveau, men også i softwarelaget. Hvor stor indflydelse softwareoptimeringerne rent faktisk har, kunne han, kun gisne om.

Benchmarks bliver intetsigende

For bedre at forstå software optimeringerne er det relevant at vende sig mod AnTuTu. Med sine 100 millioner brugere er den i dag den mest populære benchmark til Android, og derfor også et yndet mål for tweaks og hacks fra producenterne.

I kølvandet på ’skandalen’ har AnTuTu udviklet en ’X edition’ – en særudgave som forsøger at omgå producenternes software-optimeringer. Bevæbnet med denne kan vi få et indblik i hvor stort et spænd man kan opleve mellem sminkede og reelle resultater.

Efter at kørt testene nogle gange – vi troede selv ikke helt, at forskellen kunne være så stor, fremgår det at software sammenlagt med hardware optimeringerne, giver mellem 30 og 40 procents boost til den reelle ydelse. Og noterer samtidigt at Sony har sneget sig udenom dopingkontrollen.

Vi kan derfor kun bifalde at Samsung nu gør op med optimeringerne, både fordi det gør det nemmere at sammenligne enheder og samtidig skaber et positivt forbillede til de øvrige aktører i Androidland . Benchmarks har altid skulle tages med et gran salt, men har nærmet sig det meningsløse efterhånden som producenterne overbød hinanden i præstationsfremmende optimeringer.

Afslutningsvis er det et udtryk for modenhed i mobilmarkedet. Det kan ses som en stiltiende accept af at hardcore ydelse efterhånden betyder mindre – så længe telefonen føles hurtig nok. Med eller uden doping.