Mobilsiden.dk  /   Nyhedsoversigt  /   Snyd i Android benchmark er udbredt

Snyd i Android benchmark er udbredt

Senest er Samsung fanget i at optimere deres produkter under benchmark tests, men de er bestemt ikke alene.

Grafikken viser en delmængde af de enheder Anandtech har testet samt hvilke benchmark programmer der forsøges at snyde. (se større billede <a href=her)" />
Grafikken viser en delmængde af de enheder Anandtech har testet samt hvilke benchmark programmer der forsøges at snyde. (se større billede her)

Benchmark tests kan ikke bruges til meget hvis producenterne ikke kæmper på lige vilkår. En illustration lavet af anandtech.com, viser at det er relativt udbredt at forsøge at snyde benchmark programmer, så ens egne enheder får et bedre resultat end konkurrenternes.

- Samsung Galaxy Note 3 booster hastigheden på benchmark målinger

En form for snyd er, at detektere at enheden bliver testet af et benchmark program og skrue op for ydelsen i denne periode så enheden præstere væsentligt bedre end forbrugeren vil opleve under normalt brug.

Tabellen viser en delmængde af de enheder der er testet samt hvilke benchmark programmer der genkendes af telefonerne som derefter skruer op for ydelsen.

 - Galaxy S4 optimeret i benchmark test

Det er sikkert ganske få som bygger deres telefonkøb på disse benchmark tests (med rette), men ikke desto mindre er det ærgerligt at man ikke kan danne et fornuftigt sammenligningsgrundlag.

Anandtech konkluderer i artiklen (kan læses i sin fulde længde her), at man ikke kan gøre meget andet end at undgå at benytte benchmark programmer som er kompromitterede, snakke med producenterne om at stoppe denne tendens samt få benchmark-udviklerne til at omgå optimeringerne efterhånden som de opdages.

Nogle mere opsatte end andre

Som det kan ses af grafikken (større billede her) er nogle producenter mere opsatte på at få deres telefoner i toppen af tabellerne end andre. Udviklingen hos Samsung fra Galaxy S4 til Note 3 viser tydeligt en indsats på dette område - at fange flere typer benchmark programmer.

Omvendt ligner det en noget halvhjertet indsats fra LG der tydeligvis godt kunne bruge nogle flere “optimerings-ingeniører”.

Indtil videre ser det ud som om at Google med deres Nexus enheder, Motorola og Apple ikke deltager i dette show.

Ifølge Anandtech kæmpes der om 0-5 procent ekstra CPU ydelse og maksimalt 10 procent GPU ydelse når de forskellige benchmark tests er færdige.

Kilde: Anandtech.com

Forrige artikel Næste artikel

Få notikationer:

Læs Mobilsidens debatregler her


Kommentar

Per 04-10-2013 11:03:04

det var ikke ment som et udfald mod dig, men mere generalt mod at der altid skal hældes på bålet om hvor dårlig Andoid og for den sags skyld også Samsung er.

Hvis vi skal tage udgangspunkt i den test, fifles der ikke. Mobilen kan faktisk yde det der kommer frem. At den så er begrænset et eller andet sted i hardware/software, er vel ikke anderledes en en 45 knallert som, ja kan køre meget stærkere end de 45 kmt.

At de forskellige benchmarks apps ikke kan tage højde for alm. ydelse og ydelse til det yderste, er vel ikke Samsungs eller HTC´s skyld

0 0
Andreas Birkjær 04-10-2013 11:53:31

Helt i orden :) Det var heller ikke min mening at hælde på bålet, uagtet hvem der er målet i artiklen syntes jeg det er et interessant emne.

Du har ret i at mobilerne teknisk set godt kan yde hvad der fremvises i de tests, men så er mit argument at der er ikke mange som er interesserede i den ydelse på en normal telefon.

Hvis et spil fik tildelt alle de mulige ressourcer ville telefonen ikke bare blive brandvarm en også sluge batteriet på rekordtid - og det er sikkert kun et par bivirkninger.
Altså bliver det meget hurtigt til en teoretisk ydelse.

Hvis alle fabrikanterne gjorde det, ville det sådan set også være fint med mig, så er sammenligningsgrundlaget intakt. Det der irriterer mig er, at man forsøger ubemærket at snige en tilstand ind i mobilerne der kun gør sig gældende når man kører en bestemt test for at opnå fordele frem for konkurrerende mærker - i stedet for at lade telefonerne udmærke sig i den tilstand som brugerne også oplever.

Som det kan ses af grafikken virker det som en de facto standard at telefonerne testes uden modifikationer - indtil nogle producenter vil forbedre deres benchmark score i forskellige programmer og begynder at lægge kodestumper ind som specifikt undersøger om der køres en benchmark test for derefter at øge ydelsen til det absolutte maksimum. Det mener jeg er snyd :)

0 0
Per 04-10-2013 08:59:04

Endnu en Amerikansk (apple land)undersøgelse, som I lapper i jer,for nu står der igen noget dårligt om Android.

Hvad med I kom med alle de artikler som omhandler alle dårligdommene i IOS og Apple. Nogle bliver nævnt, men forsvinder overraskende hurtigt fra jer hjemmeside igen.

0 0
jn 04-10-2013 09:52:53

Vildt at folk kan forsvare det her. Det er snyd og Samsung & Co. er taget med hænderne i kagedåsen, længere er den ikke. Mener man ikke det, er objektiviteten væk (som altid i de her religionsdebatter).

0 0
Andreas Birkjær 04-10-2013 09:09:02

Lad os nu ikke bevæge os ud på et iOS vs Android sidespor, det har ingen relevans for denne artikel overhovedet.
Jeg begriber ærlig talt ikke hvordan jeg kom i en "Android-hader" båd med denne artikel.

Men jeg kan da oplyse om, at jeg aldrig har haft en iPhone og aldrig vil få det. Jeg sværger til Android og glæder mig umådeligt til at se nogle nye Linux-spillere som Tizen/Ubuntu.

Jeg hader tværtimod ikke nogle af styresystemerne, jeg mener at der skal være plads til alle - jo flere des bedre så vi kan få nogle valgmuligheder :)

Men jeg skal da nok komme med nogle negative artikler om Apple og iOS når jeg falder over dem - det kan jeg love dig. Senest skrev jeg da om at Apple var blevet sagsøgt for dårlige arbejdsforhold, må jeg så være Android-elsker igen? :)

0 0
Arthur 03-10-2013 21:00:21

Hvis tendensen skifter og normen bliver noget andet, så kan man ikke tale om "snyd" længere. Her er der tale om flere producenter som ikke lader sig begrænse i Benchmarks, derfor kan man kun forvente at dette bliver den nye norm i fremtiden. Ergo, så er det ikke snyd.

Hvis du hele dit liv har skrevet "mayonnaise" og pludselig ser en tendens til at mennesker istedet skriver "majonæse", så vil normen ændre sig og nr 2 stavemåde vil derfor også blive betragtet som korrekt.

0 0
Andreas Birkjær 04-10-2013 07:15:59

Jeg vil egentlig stadigvæk påstå der er tale om at snyde forbrugeren selv om alle producenter udøver denne praksis. Man står med en gulerod og fortæller hvordan enhederne præsterer helt fantastisk, men de resultater der fremvises er ikke nogen som forbrugeren vil kunne genkende når han/hun står med telefonen i hånden.

Det vil dog give et sammenligningsgrundlag man kan bruge til noget.

I mine øjne er det eneste rigtige at lade telefonerne opføre sig som de gør i hænderne på forbrugerne, så kan benchmark vindere findes på den rigtige måde - igennem teknologiske fremskridt.

0 0
Arthur 04-10-2013 15:39:05

Andreas

Ja, men når man benchmarker noget, så er man også interesseret i at vide hvad den KAN yde. For skulle vi gå ud fra din teori om hvad forbrugeren i virkeligheden kan mærke, så kan de ikke mærke størstedelen af hvad en smartphone kan yde alligevel.

Se blot på hvor smartphones er idag. Kan du tage hånden på hjertet og sige at vi forbrugere har et reelt behov for at have quad-core eller octa-cores processorer? Har vi behov for et højere pixel densitet end vores menneskelige øje kan se? Har vi behov for en højere lydfrekvens end vores menneskelige øre kan høre? osv.

Nej vel? Derfor mener jeg også at den form for benchmarking som du beskriver er ved at være obsolete.

Der går ikke lang tid før at smartphone benchmarking udvikler sig til den form for benchmarking som man udfører på grafikkort. Der er man interesseret i at vide hvad den kan yde under de bedste forhold. Ikke hvordan grafikkortet vil yde i din HP computer fra Elgiganten.

0 0
Andreas Birkjær 04-10-2013 16:07:17

Om vi har et reelt behov for disse ting ved jeg ikke, men forskellen på de specifikationer du nævner og så emnet i denne artikel er, at det er ganske målbart og nemt at overskue.

Min telefon har en quad-core din har kun en dual-core. Min har 400 PPI din har kun 300, alle disse tal er meget fast definerede og man kan ikke bare lige sådan snyde.

Når det er sagt, så tror jeg du har ret, vi er i samme spor som med grafikkort og det er sikkert kun et spørgsmål om tid før vi ender med at alle telefoner benchmarkes under "optimale forhold".

Jeg syntes ikke det er det rigtige, men det er en bedre situation end vi har nu hvor enkelte producenter sniger kodestumper ind for de benchmarks der nu lige er oppe i tiden.

Men til sidst et spørgsmål, med grafikkort, kan man derhjemme så ikke også skabe optimale forhold? Og dermed få den ydelse der præseteres under benchmarks? Det er jo netop ikke tilfældet her hvor spil og apps aldrig vil få tildelt alle tilgængelige resourcer

0 0
Arthur 04-10-2013 18:57:43

Jo det kan man jo sagtens hvis man har ressourcerne til der :)

Spil og apps vil jo primært ikke få tildelt de ressourcer fordi der ikke er et behov for at allokere de ressourcemængder for at få en optimal oplevelse.

Jeg er sikker på at hvis der kommer en app som faktisk kræver at telefonen yder på alle 4 cylindre, så vil den også gøre det indtil at den løber tør for strøm.

Vi er bare kommet til et stadie hvor smartphones er lidt for kraftige til vores daglige behov. Hvilket resulterer i at at Samsung og andre producenter har et behov for at vise os den teoretiske tophastighed på deres flagships.
For nu kan vi ikke længere selv føle forskellen i load-tiden fra man trykker på en app, til den åbner.

Havde Samsung haft den mindste skam ved at gøre det, så havde de ikke gentaget samme nummer efter første afslørelse. Men, nu viser det sig at andre producenter er hoppet med på vognen. Hvilket må betyde at det her bliver den nye standard inden længe.

Ingen har jo lyst til at være den tykkeste dreng i klassen. Slet ikke hvis man kan skjule det :)

0 0
Andreas Birkjær 04-10-2013 21:28:41

Jeg tror det er de færreste mobilproducenter der vil tillade at en app/service/spil bruger så mange kræfter, det vil gå alt for meget ud over helheden af telefonen - men det er bare min umiddelbare vurdering.

Men nu siger du selv at Samsung ikke havde nogen skam efter første afsløring, det syntes jeg også er slemt nok. Man starter en (i mine øjne) elendig trend, og når andre så hopper med på vognen så skulle det være berettiget at blive ved? :)

Men som sagt, jeg tror du har ret i at udviklingen havner i at man presser telefonerne til det yderste (medmindre anandtech og lignende medier finde en fornuftig løsning) - men bare fordi alle gør det, bliver det ikke specielt meget bedre syntes jeg.

Jeg forstår din pointe, men i min verden vil jeg stadigvæk kategorisere det som snyd selv om alle gør det, sammenligningsgrundlaget bliver intakt men man tester stadigvæk på noget hardware der ikke stemmer overens med den virkelighed brugeren oplever - og i modsætning til grafikkort kan man ikke lige tilkøbe hardware og tweake lidt hist og her og på magisk vis få telefonen til at yde så kraftigt hele tiden, ej heller ville man være specielt godt tjent ved det. Medmindre kølingen på telefonerne begynder at tillade det (min HTC One X bliver i forvejen godt varm til tider :))

0 0
TF 03-10-2013 23:42:39

Men nu er det jo tydeligt det ikke er normen i nu så på nuværende tidspunkt er der tale om "snyd"

0 0
Arthur 04-10-2013 03:34:40

Asus, Samsung, LG og HTC gør det. Det er kun et spørgsmål om tid før alle gør det.

0 0
TF 04-10-2013 03:40:55

Muligvis men indtil da er det stadig snyd og når de gør vil disse tests være ubruglige vis de da ikke allerede er.

0 0
Alex 03-10-2013 16:08:05

problemet er jo at det KUN er I benchmarks den skruer helt op for clock frekvensen, den går det ikke i diverse spil og apps ..

0 0
Alex 03-10-2013 16:08:03

problemet er jo at det KUN er I benchmarks den skruer helt op for clock frekvensen, den går det ikke i diverse spil og apps ..

0 0
Trentors 03-10-2013 15:45:35

Og det er halvhjertede anmeldere som kun kan finde ud af smide et par benchmarks og ellers skriver løst og fast om alt det andet. AnandTech og især GSMArena har en meget professionel tilgang til dette f.eks. fandt AnandTech ud af hvor stor indflydelse throttling har på SGS4. Og GSMArena laver konsekvent test på højtalerne, lydkvalitet og batterilevetid. Relevante ting som er målbare men helt uden for "jeg føler"-typen af anmeldelser der er flest af.

0 0
Andreas Birkjær 03-10-2013 16:11:31

Jeg syntes nu ikke der er noget galt i "jeg-føler" tests, den almene bruger vil jeg tro er fuldkommen ligeglad med en benchmark test som han/hun sikkert ikke forstår synderlig meget af alligevel.

Men jeg giver dig ret i, at det er rart at have et sted som eksempelvis anandtech vhor man kan grave dybere ned i lagene hvis man vil :)

0 0
Nikolaj 03-10-2013 15:41:07

Hvis tlf reelt KAN yde det så er det vel fair nok.
Som jeg ser det så handler disse tests om hvad tlf KAN yde når de bliver presset og ikke hvad de yder normalt.

Med en bærbar måler du jo også hvad den KAN yde og ikke hvad den bruger i "batteri tilstand" med lav lystyrke og grafikkort slået fra. Nej du måler det maksimale du kan trække ud af maskinen med varme og strømforbrug som følge.

Hvori ligger snyden?

0 0
Andreas Birkjær 03-10-2013 16:09:03

Man måler på noget som i bund og grund ikke har hold i den virkelighed som brugeren oplever - det er der ikke som sådan noget galt i.

Der hvor jeg syntes det er forkert er, at ved at lave disse tweaks og benchmark-only modifikationer fjernes sammenligningsgrundlaget enheder imellem.

Jeg mener det er snyd at lave modifikationer til enheder som udelukkende har det formål, at bringe bedre tal til torvs under tests - i hvert fald når det kun er nogle producenter der søger disse fordele.

0 0

Om brug af cookies