Snyd i Android benchmark er udbredt

Benchmark tests kan ikke bruges til meget hvis producenterne ikke kæmper på lige vilkår. En illustration lavet af anandtech.com, viser at det er relativt udbredt at forsøge at snyde benchmark programmer, så ens egne enheder får et bedre resultat end konkurrenternes.

– Samsung Galaxy Note 3 booster hastigheden på benchmark målinger

En form for snyd er, at detektere at enheden bliver testet af et benchmark program og skrue op for ydelsen i denne periode så enheden præstere væsentligt bedre end forbrugeren vil opleve under normalt brug.

Tabellen viser en delmængde af de enheder der er testet samt hvilke benchmark programmer der genkendes af telefonerne som derefter skruer op for ydelsen.

 – Galaxy S4 optimeret i benchmark test

Det er sikkert ganske få som bygger deres telefonkøb på disse benchmark tests (med rette), men ikke desto mindre er det ærgerligt at man ikke kan danne et fornuftigt sammenligningsgrundlag.

Anandtech konkluderer i artiklen (kan læses i sin fulde længde her), at man ikke kan gøre meget andet end at undgå at benytte benchmark programmer som er kompromitterede, snakke med producenterne om at stoppe denne tendens samt få benchmark-udviklerne til at omgå optimeringerne efterhånden som de opdages.

Nogle mere opsatte end andre

Som det kan ses af grafikken (større billede her) er nogle producenter mere opsatte på at få deres telefoner i toppen af tabellerne end andre. Udviklingen hos Samsung fra Galaxy S4 til Note 3 viser tydeligt en indsats på dette område – at fange flere typer benchmark programmer.

Omvendt ligner det en noget halvhjertet indsats fra LG der tydeligvis godt kunne bruge nogle flere “optimerings-ingeniører”.

Indtil videre ser det ud som om at Google med deres Nexus enheder, Motorola og Apple ikke deltager i dette show.

Ifølge Anandtech kæmpes der om 0-5 procent ekstra CPU ydelse og maksimalt 10 procent GPU ydelse når de forskellige benchmark tests er færdige.

Kilde: Anandtech.com