Una delle notizie tecniche più famose di recente è la scoperta che Oppo si è unita a società che falsificano i test delle prestazioni per i loro dispositivi e un mese prima era notizia che Huawei falsificava i risultati delle prestazioni del suo famoso processore Kirin 970, e Huawei ha commentato che aveva inteso questo perché i test delle prestazioni sono ingannevoli e non testano il telefono in modo reale, il che potrebbe dare un'impressione errata sui loro dispositivi. Allora cosa sono questi test delle prestazioni e danno un risultato reale ed efficace? E se i suoi risultati non sono veri, allora perché i produttori ci danno così tanta enfasi, sia dichiarando la superiorità che il prezzo per ingannare?


Dopo il rilevamento di un qualsiasi nuovo processore, troviamo la prima preoccupazione è quanto il processore raggiungerà nei risultati di Geekbench e aspettiamo che il telefono lo valuti in Antutu e quando l'annuncio di una scheda grafica pensiamo ai suoi risultati su 3DMark e telecamere in DXOMark e così via. Queste aziende sono solo un esempio di molte aziende specializzate in test delle prestazioni per hardware e apparecchiature, e questo non è solo su iOS e Android, ma si estende anche ai computer, e forse una delle aziende più famose è PassMark. Prima di pensare insieme quanto siano importanti queste aziende e applicazioni, scopriamo perché sono esistite in primo luogo.

Perché hai trovato i test delle prestazioni

Quando vi diciamo che c'è un'auto con un motore da 200 CV e un motore da 220 CV, significa che la seconda è più veloce? Certo che no, poiché il primo può essere molto leggero o progettato in modo più dinamico, quindi puoi sovraperformare il secondo in velocità, quindi la velocità è giudicata dal criterio dell'accelerazione, cioè chilometri al secondo, per arrivare da zero a 100 km. La stessa cosa accade nel mondo della tecnologia, perché ci sono diverse tecnologie per la produzione di processori, quindi giudicare dal più veloce diventa difficile, e diventa ancora più difficile quando si confronta la velocità del dispositivo nel suo complesso. La velocità del dispositivo dipende dal processore, dalla velocità della memoria, dalla capacità di archiviazione e dall'hardware eseguito da questo processore, quindi è possibile inserire un processore più potente e una memoria più veloce, ma l'hardware rimanente come lo schermo è violento e il consumo provoca una diminuzione delle prestazioni.

>

Quindi le app di benchmarking delle prestazioni sembravano fornirci un benchmark simile all'accelerazione da zero a 100 km nelle auto

Come funzionano i test delle prestazioni

Le aziende designate conducono test delle prestazioni impostando criteri specifici per i loro test, ad esempio, DxoMark sceglie i criteri per zoom, messa a fuoco automatica, rumore, colore, forza del flash, stabilizzazione e altri fattori per giudicare le fotocamere, poiché mette 9 fattori nelle immagini e 7 nei video. Quindi inizia a testare i dispositivi e li classifica in base alla loro conformità agli standard che ho impostato. Lo stesso vale con le applicazioni che testano la scheda grafica, mentre eseguono un gioco, nonché le regolazioni delle immagini e altre cose, e misurano l'efficienza della scheda grafica nel fornire queste funzioni. In breve, l'azienda stabilisce determinati standard per i test e poi li organizza.

Perché le applicazioni ad alte prestazioni non sono corrette?

Nel commento di Huawei sul segreto del loro inganno delle applicazioni ad alte prestazioni, hanno detto che non è giusto e non rivela la verità, quindi l'hanno ingannato In effetti, ciò che ha detto il funzionario Huawei è parzialmente vero, in quanto le applicazioni non sono corrette, ma sono neutre e la differenza è molto diversa. Immagina con me che il telefono sia in grado di svolgere 10 lavori, quindi un'azienda decida di condurre test e stabilisce i propri criteri per 7 dei 10 lavori e le aziende classificano in base a queste prestazioni di questi 7 lavori in modo neutro, ma immagina che c'è un'azienda che è molto superiore nelle posizioni 8, 9 e 10 E coloro che non sono coperti dal test delle prestazioni mentre le loro prestazioni sono nella media negli altri 7, il risultato è che il loro telefono sarà nella media. Il test non ha incluso i punti in cui il telefono eccelle. Un altro esempio, immagina che il test delle prestazioni per la fotografia DxoMark non includa la fotografia in condizioni di scarsa illuminazione, quindi Google lancia il telefono Pixel 3 e Xiaomi Mi Mix 3 con funzioni speciali nella fotografia notturna. Quale ti aspetti che sia la loro valutazione? Pessimo ovviamente perché i loro punti di forza e di merito non sono coperti dal test.

I criteri sono riservati?

La famosa domanda difficile è: i criteri di prova sono segreti? Certo, no, non è classificato, ma è dichiarato, come appare nelle immagini sopra di DxoMark, ma il punto importante è che la gente comune non legge - ma forse la maggior parte delle persone che hanno aperto l'articolo non lo ha fatto arrivare a questo punto per leggerlo, ad esempio quando chiedi a qualcuno dell'iPhone o della fotocamera del Note 9 e lui ti dice che la sua valutazione è tale.In DxoMark, ma su quali basi avviene questa valutazione. Qualcuno ha pensato di leggere i dettagli della valutazione? Ad esempio, la valutazione dell'iPhone XS Max è arrivata in 3560 parole, ovvero 2-3 volte la lunghezza di un articolo di notizie a margine e più di 3 volte il nostro articolo. Un report molto dettagliato, che troverete, mostra che i difetti della fotocamera sono tali e tali ei suoi vantaggi in quanto tali, ma in realtà il 99% non sarà interessato a leggere i report, ma sarà soddisfatto del numero finale. Ecco il disastro! I numeri, i dettagli del test e gli standard vengono annunciati, ma il pubblico è interessato alla figura dell'arbitro finale. Di conseguenza, possono verificarsi errori e valutazioni errate.

Come le app per le prestazioni ci ingannano

Allontaniamoci da Apple e guardiamo il report DxoMark sul Note 9 di Samsung e Mi Mix 3 di Xiaomi, e troveremo che entrambi i telefoni hanno ottenuto 103 punti. Significa che sono identici? Certo, non il risultato. Questa è la media dei numeri, ma ci sono enormi differenze nei dettagli. Ad esempio, nell'arrotondamento, Xiaomi ottiene 53 punti, mentre Samsung 66 punti, e Xiaomi eccelle nei colori 87 punti contro 81 punti. per Samsung e così via, ma il risultato finale, entrambi i telefoni hanno ottenuto 103 punti. Quindi può accadere che tu tenga in mano due telefoni, scatti foto e osservi i tuoi standard "e sei interessato ad approssimare, ad esempio," quindi dici che Samsung maledice il rapporto e dice come è uguale tra Xiaomi e Samsung, e il contrario accade in altri punti.

Come esempio finale, gli stessi test dicono che la valutazione del Note 9 è di 103 punti e la valutazione di Google Pixel 2 è di 98 punti ... Ma internamente, nelle riprese video, un telefono Samsung ottiene 94 punti e 96 punti di Google, che è il telefono Google più basso che supera un altro telefono più alto in un campo specifico. Ecco due immagini della valutazione di Samsung Note 9 e Xiaomi Mix 3, e ti sembra che siano la stessa valutazione finale, ma sono diverse in quasi tutti i risultati dettagliati.

Un'immagine della valutazione del Samsung Note 9

Screenshot della recensione di Xiaomi Mix 3

In breve, le applicazioni per le prestazioni misurano le prestazioni medie, quindi potresti acquistare un telefono e vedere ottimi risultati per un test delle prestazioni "complessivo" e rimanere sorpreso che non sia all'altezza dello standard richiesto; O perché i vantaggi che ti interessano non sono coperti dal test, o perché hai guardato il numero totale, non i dettagli.

Un altro punto è che le aziende stanno ora iniziando a introdurre processori con una parte dedicata di intelligenza artificiale. I test delle prestazioni non misurano questo aspetto, ma misurano piuttosto la velocità e, di conseguenza, un test potrebbe dirti che il processore X è migliore di Y, mentre allo stesso tempo il processore Y a velocità inferiore supporta infatti le funzioni dell'intelligenza artificiale è migliore rispetto a X e di conseguenza è migliore e più efficiente nell'uso effettivo.

Perché dovremmo perseguire i test delle prestazioni

Forse ti senti strano perché dall'inizio dell'articolo diciamo che le applicazioni non sono neutre e rilasciano cifre medie per le prestazioni, e nessuno si preoccupa dei dettagli e ha adottato una decisione sbagliata sulla base, e poi ci trovi a dirlo dobbiamo continuare a seguire i test delle prestazioni. La verità è che l'applicazione delle prestazioni, come menzionato sopra, potrebbe non essere completamente espressa, ma è neutra. Cioè, negli standard stabiliti di giorno in giorno in ordine, qualunque sia il dispositivo. Con questo possiamo conoscere l'evoluzione della stessa azienda. Ad esempio, il Samsung S9 include un hardware potente, un'interfaccia operativa Samsung "resistente" e uno schermo di alta qualità. E il prossimo telefono S10 o X verrà dalla stessa azienda con la stessa interfaccia o una versione più recente di esso. Di conseguenza, se troviamo che il test delle prestazioni mostra un miglioramento, significa un miglioramento reale perché è la stessa azienda. Se guardiamo alle società concorrenti, se troviamo che un telefono ottiene 260 mila punti, l'ultimo 250 e il terzo è 270, e questi tre dispositivi provengono da società diverse, le loro prestazioni saranno spesso vicine e le differenze effettive sono poche , e questo è causato dalla qualità dello schermo e dell'interfaccia del sistema. Ma se trovi un altro telefono che appare a 340, allora è decisamente più veloce di loro, poiché queste grandi differenze derivano da un vero cambiamento piuttosto che da un'interfaccia e uno schermo.

Puoi anche imparare l'applicazione della tecnologia stessa, ad esempio il processore Kirin 980 confrontato con il Kirin 970 e il processore Snapdragon 845 rispetto all'855 "non rilasciato" e il processore A11 con l'A12 e così via.

Conclusione

Le applicazioni di test delle prestazioni sono importanti perché ci informano sull'entità dello sviluppo delle prestazioni, ma non devono trarci in inganno e sono l'unico criterio di giudizio, soprattutto il numero finale. Devi aspettare i dettagli e come questo telefono o computer ha ottenuto la valutazione e i suoi punti di forza e di debolezza; E ricorda che i risultati ravvicinati sono spesso impercettibili, ma se ci sono enormi differenze, queste differenze sono spesso reali e tangibili nell'uso.

Ti affidi ai risultati dei test delle prestazioni per giudicare i dispositivi prima di acquistarli? Oppure hai criteri speciali che puoi condividere con noi nei commenti?

Fonte:

DxOMark

Articoli correlati