Uma das notícias técnicas mais famosas recentemente é a descoberta de que a Oppo se juntou a empresas que falsificam testes de desempenho para seus dispositivos e um mês antes foi notícia de que a Huawei falsificou os resultados de desempenho de seu famoso processador Kirin 970, e Huawei comentou que tinha pretendia isso porque os testes de desempenho são enganosos e não testam o telefone da maneira real, o que pode dar uma impressão incorreta sobre Seus dispositivos. Então, o que são esses testes de desempenho e eles fornecem um resultado real e eficaz? E se seus resultados não são verdadeiros, então por que os fabricantes colocam tanta ênfase nisso, seja declarando superioridade ou preço enganoso?


Após a detecção de qualquer novo processador, descobrimos que a primeira preocupação é quanto o processador vai atingir nos resultados do Geekbench e esperamos que o telefone avalie no Antutu e quando do anúncio de uma placa gráfica pensamos nos seus resultados no 3DMark e câmeras em DXOMark e assim por diante. Essas empresas são apenas uma amostra de muitas empresas especializadas em testes de desempenho para hardware e equipamentos, e isso não é apenas em iOS e Android, mas se estende a computadores também, e talvez uma das empresas mais famosas seja a PassMark. Antes de pensarmos juntos na importância dessas empresas e aplicativos, vamos descobrir por que eles existiram.

Por que você encontrou testes de desempenho

Quando dizemos que existe um carro com motor de 200 cv e outro de 220 cv, isso significa que o segundo é mais rápido? Claro que não, já que o primeiro pode ser muito leve ou projetado de forma mais dinâmica, então você pode superar o segundo em velocidade, então a velocidade é avaliada pelo critério de aceleração, ou seja, quilômetros por segundo, para atingir de zero a 100 km. A mesma coisa acontece no mundo da tecnologia, porque existem diferentes tecnologias para a fabricação de processadores, então julgar pela mais rápida fica difícil, e fica ainda mais difícil quando se compara a velocidade do dispositivo como um todo. A velocidade do dispositivo depende do processador, da velocidade da memória, da capacidade de armazenamento, bem como do hardware que este processador executa, então você pode colocar um processador mais forte e memória mais rápida, mas o restante do hardware, como a tela, é violento e o consumo causa uma diminuição no desempenho.

>

Assim, os aplicativos de benchmarking de desempenho pareceram nos fornecer um benchmark semelhante à aceleração de zero a 100 km em carros

Como funcionam os testes de desempenho

As empresas designadas realizam testes de desempenho definindo critérios específicos para seus testes, por exemplo, o DxoMark escolhe os critérios de zoom, foco automático, ruído, cor, intensidade do flash, estabilização e outros fatores para julgar as câmeras, pois coloca 9 fatores nas imagens e 7 em vídeos. Em seguida, você começa a testar os dispositivos e classificá-los de acordo com sua conformidade com os padrões que defini. O mesmo acontece com aplicativos que testam a placa de vídeo, enquanto rodam um jogo, bem como ajustes de imagens e outras coisas, e medem a eficiência da placa de vídeo no fornecimento dessas funções. Resumindo, a empresa define certos padrões de teste e os organiza de acordo com eles.

Por que os aplicativos de desempenho não são justos?

No comentário da Huawei sobre o segredo de seu engano de aplicativos de desempenho, eles disseram que não é justo e não revela a verdade, então eles enganaram Na verdade, o que disse o funcionário da Huawei é parcialmente verdade, já que os pedidos não são justos, mas são neutros e a diferença é muito diferente. Imagine comigo que o telefone é capaz de fazer 10 empregos, então uma empresa decide fazer testes e define seus próprios critérios para 7 dos 10 empregos, e as empresas classificam com base no desempenho desses 7 empregos de forma neutra, mas imagine que existe uma empresa que é muito superior nas posições 8, 9 e 10 E aquelas que não são contempladas pelo teste de desempenho enquanto seu desempenho está na média nas outras 7, o resultado é que o seu telefone ficará na média. O teste não incluiu os pontos em que o telefone se destaca. Outro exemplo, imagine que o teste de desempenho para fotografia DxoMark não inclua fotografia com pouca luz, então o Google lança o celular Pixel 3 e o Xiaomi Mi Mix 3 com recursos especiais em fotografia noturna. Qual você espera que seja a avaliação deles? É claro que é ruim porque seus pontos fortes e méritos não são abordados no teste.

Os critérios são confidenciais?

Agora, a famosa pergunta complicada é: os critérios de teste são secretos? Claro, não, não está classificado, mas está declarado, como aparece nas fotos acima do DxoMark, mas o ponto importante é que o público não lê - pelo contrário, a maioria das pessoas que abriram o artigo não alcançou este ponto para lê-lo - por exemplo, quando você pergunta a alguém sobre a câmera do iPhone ou Note 9 e ele diz que sua avaliação é assim. No DxoMark, mas com base em que essa avaliação acontece. Alguém pensou em ler os detalhes da avaliação? Por exemplo, a avaliação do iPhone XS Max veio em 3560 palavras, ou seja, 2 a 3 vezes o comprimento de uma notícia na margem, e mais de 3 vezes o nosso artigo. Um relatório muito detalhado, que você vai encontrar, mostra que os defeitos da câmera são tais e tal e suas vantagens como tais, mas na verdade 99% não se interessarão em ler os relatórios, mas ficarão satisfeitos com o número final. Aqui está o desastre! Os números, detalhes das provas e os critérios são anunciados mas o público está interessado no número final do árbitro. Conseqüentemente, o erro e o julgamento incorreto podem ocorrer.

Como os aplicativos de desempenho nos enganam

Vamos sair da Apple e olhar para o relatório DxoMark no Note 9 da Samsung e Mi Mix 3 da Xiaomi, e descobriremos que ambos os telefones obtiveram 103 pontos. Isso significa que eles são idênticos? Claro, não o resultado. Essa é a média dos números, mas há grandes diferenças nos detalhes. Por exemplo, no arredondamento, Xiaomi consegue 53 pontos, enquanto Samsung 66 pontos, e Xiaomi se destaca nas cores 87 pontos contra 81 para Samsung, e assim por diante, mas o resultado final de ambos os telefones obteve 103 pontos. Então pode acontecer que você segure dois telefones, tire fotos e olhe seus padrões, "e você está interessado, por exemplo, em aproximação" e diga que a Samsung amaldiçoa o relatório e diz que é igual entre Xiaomi e Samsung e o contrário acontece em outros pontos.

Como exemplo final, os mesmos testes dizem que a avaliação do Note 9 é de 103 pontos, e a avaliação do Google Pixel 2 é de 98 pontos ... Mas, internamente, na gravação de vídeo, um telefone Samsung ganha 94 pontos e o do Google 96 pontos, que é o telefone do Google mais baixo supera outro telefone mais alto em uma área específica. Aqui estão duas fotos da avaliação do Samsung Note 9 e do Xiaomi Mix 3, e parece que elas são a mesma avaliação final, mas são diferentes em quase todos os resultados detalhados.

Uma imagem da avaliação Samsung Note 9

Capturas de tela da análise do Xiaomi Mix 3

Resumindo, os aplicativos de desempenho medem o desempenho médio, então você pode comprar um telefone e ver ótimos resultados em um teste de desempenho "geral" e ficar surpreso por não estar de acordo com o padrão exigido; Ou porque os benefícios com os quais você se preocupa não são cobertos pelo teste ou porque você olhou para o número total, não para os detalhes.

Outro ponto é que as empresas agora estão começando a introduzir processadores com uma parte dedicada de inteligência artificial. Os testes de desempenho não medem esta questão, mas medem a velocidade e, consequentemente, um teste pode dizer que o processador X é melhor do que Y, enquanto ao mesmo tempo o processador Y de velocidade mais baixa de fato suporta funções de inteligência artificial melhores do que X e consequentemente, é melhor e mais eficiente no uso real.

Por que devemos buscar testes de desempenho

Você pode se sentir estranho porque desde o início do artigo dizemos que os aplicativos não são neutros e emitem valores médios de desempenho, e ninguém se preocupa com os detalhes e adotou uma decisão errada com base nisso, e então você nos encontra dizendo isso temos que continuar a seguir os testes de desempenho. Na verdade, o aplicativo de desempenho, conforme mencionado acima, pode não ser totalmente expresso, mas é neutro. Ou seja, nos padrões definidos pela ordem do dia, seja qual for o dispositivo. Com isso, podemos conhecer a evolução de uma mesma empresa. Por exemplo, o Samsung S9 inclui hardware poderoso, uma interface operacional Samsung "resistente" e uma tela de alta qualidade. E o próximo telefone S10 ou X virá da mesma empresa com a mesma interface ou uma versão mais recente, portanto, se acharmos que o teste de desempenho mostra uma melhoria, isso significa uma melhoria real porque é a mesma empresa. E se olharmos para as empresas concorrentes, se descobrirmos que um telefone obtém 260 mil pontos, o último 250 e o terceiro 270, e esses três dispositivos são de empresas diferentes, então seu desempenho frequentemente será próximo e as diferenças reais são poucas e causados ​​pela qualidade da tela e da interface do sistema. Mas se você encontrar outro telefone que apareça em 340, então é definitivamente mais rápido do que eles, já que essas grandes diferenças resultam de uma mudança real, em vez de uma interface e uma tela.

Você também pode aprender a aplicação da própria tecnologia, por exemplo, o processador Kirin 980 em comparação com o Kirin 970 e o processador Snapdragon 845 em comparação com o 855 "não emitido" e o processador A11 com o A12 e assim por diante.

Conclusão

Os aplicativos de teste de desempenho são importantes porque nos informam sobre a extensão do desenvolvimento em desempenho, mas não devem nos enganar e são o único critério para julgamento, especialmente o número final; Você tem que esperar pelos detalhes e como este telefone ou computador recebeu a avaliação e seus pontos fortes e fracos; E lembre-se de que resultados aproximados geralmente são imperceptíveis, mas se houver grandes diferenças, essas diferenças são frequentemente reais e tangíveis no uso.

Você confia nos resultados dos testes de desempenho para julgar os dispositivos antes de comprá-los? Ou você tem critérios especiais que pode compartilhar conosco nos comentários?

Fonte:

DxOMark

Artigos relacionados