Jedną z najbardziej znanych nowinek technicznych w ostatnim czasie jest odkrycie, że Oppo dołączyło do firm, które fałszywie testy wydajności swoich urządzeń i miesiąc wcześniej pojawiła się wiadomość, że Huawei sfałszował wyniki działania swojego słynnego procesora Kirin 970, a Huawei skomentował, że tak zamierzał. Dzieje się tak, ponieważ testy wydajności są zwodnicze i nie testują telefonu w rzeczywisty sposób, co może dać błędne wrażenie na temat ich urządzeń. Więc czym są te testy wydajności i czy dają rzeczywisty i skuteczny wynik? A jeśli jej wyniki nie są prawdziwe, to dlaczego producenci kładą na to tak duży nacisk, czy to deklarując wyższość, czy oszukując cenę?


Po wykryciu jakiegokolwiek nowego procesora, pierwszym problemem jest to, ile procesor osiągnie w wynikach Geekbench i czekamy, aż telefon oceni go w Antutu i kiedy zapowiedź karty graficznej myślimy o jej wynikach na 3DMark i kamery w DXOMark i tak dalej. Firmy te to tylko próbka wielu firm specjalizujących się w testach wydajności sprzętu i sprzętu, i to nie tylko na iOS i Androida, ale także na komputery, a być może jedną z najbardziej znanych firm w tym zakresie jest PassMark. Zanim wspólnie zastanowimy się, jak ważne są te firmy i aplikacje, dowiedzmy się, dlaczego w ogóle istniały.


Dlaczego znalazłeś testy wydajności

Kiedy mówimy, że jest samochód z silnikiem 200 KM i silnikiem 220 KM, czy to oznacza, że ​​ten drugi jest szybszy? Oczywiście, że nie, ponieważ pierwsza może być bardzo lekka lub zaprojektowana bardziej dynamicznie, więc możesz wyprzedzić drugą pod względem prędkości, więc prędkość ocenia się na podstawie kryterium przyspieszenia, czyli kilometrów na sekundę, aby osiągnąć od zera do 100 km. To samo dzieje się w świecie technologii, ponieważ istnieją różne technologie wytwarzania procesorów, więc ocenianie z najszybszych staje się trudne, a jeszcze trudniejsze, gdy porównuje się prędkość całego urządzenia. Szybkość urządzenia zależy od procesora, szybkości pamięci, pojemności pamięci, a także sprzętu, na którym działa ten procesor, więc możesz umieścić mocniejszy procesor i szybszą pamięć, ale pozostały sprzęt, taki jak ekran, jest gwałtowny a zużycie powoduje spadek wydajności.

>

Wydaje się więc, że aplikacje do testowania wydajności zapewniają nam punkt odniesienia podobny do przyspieszenia od zera do 100 km w samochodach


Jak działają testy wydajności

Wyznaczone firmy przeprowadzają testy wydajności, ustalając określone kryteria ich testowania, na przykład DxoMark wybiera kryteria zoomu, autofokusa, szumu, koloru, siły błysku, stabilizacji i innych czynników do oceny aparatów, ponieważ stawia 9 czynników na zdjęciach i 7 w filmach. Następnie rozpoczyna testowanie urządzeń i klasyfikuje je pod kątem zgodności z normami, które wyznaczyłem. To samo dotyczy aplikacji, które testują kartę graficzną podczas uruchamiania gry, a także dostosowywania obrazów i innych rzeczy oraz mierzą wydajność karty graficznej w zapewnianiu tych funkcji. Krótko mówiąc, firma ustala pewne standardy testowania, a następnie ustala zgodnie z nimi.


Dlaczego aplikacje wydajnościowe są niesprawiedliwe?

W komentarzu Huawei na temat sekretu ich oszukiwania aplikacji wydajnościowych, powiedzieli, że to nie jest sprawiedliwe i nie ujawnia prawdy, więc oszukali; W rzeczywistości to, co powiedział urzędnik Huawei, jest częściowo prawdą, ponieważ aplikacje nie są sprawiedliwe, ale są neutralne, a różnica jest bardzo różna. Wyobraź sobie, że telefon jest w stanie wykonać 10 zadań, a następnie firma decyduje się na przeprowadzenie testów i ustala własne kryteria dla 7 z 10 miejsc pracy, a firmy oceniają na podstawie wyników tych 7 zadań w sposób neutralny, ale wyobraź sobie że jest firma, która jest bardzo lepsza na pozycjach 8, 9 i 10, a ci, którzy nie są objęci testem wydajności, podczas gdy na pozostałych 7 wypadają przeciętnie, w efekcie ich telefon będzie przeciętny. W teście nie uwzględniono punktów, w których telefon się wyróżnia. Inny przykład: Wyobraź sobie, że test wydajności dla fotografii DxoMark nie obejmuje fotografii przy słabym oświetleniu. Wtedy Google wprowadza na rynek telefon Pixel 3 i Xiaomi Mi Mix 3 ze specjalnymi funkcjami do fotografii nocnej. Czego oczekujesz od ich oceny? Oczywiście źle, ponieważ test nie obejmuje ich mocnych stron i zalet.


Czy kryteria są poufne?

Teraz słynne podchwytliwe pytanie brzmi: czy kryteria testu są tajne? Oczywiście nie, nie jest to tajne, ale jest zadeklarowane, jak widać na zdjęciach powyżej DxoMark, ale ważne jest to, że zwykli ludzie nie czytają - ale być może większość osób, które otworzyły artykuł, nie dojdź do tego punktu, żeby go przeczytać - np. gdy pytasz kogoś o aparat iPhone'a lub Note 9 i powie Ci, że jego ocena jest taka. W DxoMarku, ale na jakiej podstawie ta ocena się odbywa. Czy ktoś pomyślał o przeczytaniu szczegółów oceny? Na przykład ocena iPhone'a XS Max obejmowała 3560 słów, 2-3 razy więcej niż artykuł z wiadomościami na marginesie i ponad 3 razy więcej niż nasz artykuł. Bardzo szczegółowy raport, który znajdziesz, pokazuje, że wady aparatu są takie a takie i jego zalety jako takie, ale tak naprawdę 99% nie będzie zainteresowanych czytaniem raportów, ale będzie zadowolonych z ostatecznej liczby. Oto katastrofa! Numery, szczegóły testów i standardy są ogłaszane, ale publiczność jest zainteresowana postacią sędziego końcowego. W związku z tym może wystąpić błąd i niewłaściwa ocena.


Jak oszukują nas aplikacje wydajnościowe

Odejdźmy od Apple i spójrzmy na raport DxoMark na temat Note 9 od Samsunga i Mi Mix 3 od Xiaomi, a przekonamy się, że oba telefony dostały 103 punkty, czy to oznacza, że ​​są identyczne? Oczywiście nie wynik.To jest średnia liczb, ale są ogromne różnice w szczegółach.Na przykład w zaokrągleniu Xiaomi dostaje 53 punkty, podczas gdy Samsung 66 punktów, a Xiaomi celuje kolorami 87 punktów w porównaniu do 81 punktów. dla Samsunga i tak dalej, ale ostateczny wynik oba telefony dostały 103 punkty. Może się więc zdarzyć, że trzymasz dwa telefony, robisz zdjęcia i patrzysz na swoje standardy „i interesuje Cię np. Przybliżenie” i mówisz, że Samsung przeklina raport i mówi, jak równa się Xiaomi i Samsungowi i dzieje się odwrotnie w innych punktach.

Jako ostatni przykład, te same testy mówią, że ocena Note 9 to 103 punkty, a ocena Google Pixel 2 to 98 punktów ... Ale wewnętrznie, w nagrywaniu wideo, telefon Samsung otrzymuje 94 punkty, a Google 96 punktów, co to najniższy telefon Google, który przewyższa inny telefon o wyższej wartości w określonej dziedzinie. Oto dwa zdjęcia oceny Samsung Note 9 i Xiaomi Mix 3 i wydaje się, że są to ta sama ocena końcowa, ale różnią się one w prawie wszystkich szczegółowych wynikach.

Zdjęcie oceny Samsung Note 9

Zrzuty ekranu z recenzji Xiaomi Mix 3

Krótko mówiąc, aplikacje wydajnościowe mierzą średnią wydajność, więc możesz kupić telefon i zobaczyć świetne wyniki w „ogólnym” teście wydajności i być zaskoczonym, że nie spełnia on wymaganych standardów; Albo dlatego, że korzyści, na których Ci zależy, nie są objęte testem, albo dlatego, że spojrzałeś na całkowitą liczbę, a nie szczegóły.

Inną kwestią jest to, że firmy zaczynają teraz dostarczać procesorom dedykowaną część sztucznej inteligencji. Testy wydajnościowe nie mierzą tej sprawy, a raczej mierzą prędkość, a zatem test może powiedzieć, że procesor X jest lepszy niż Y, podczas gdy jednocześnie procesor Y o niższej prędkości faktycznie obsługuje funkcje sztucznej inteligencji, jest lepszy niż X i odpowiednio jest lepszy i bardziej wydajny w rzeczywistym użyciu.


Dlaczego powinniśmy przeprowadzać testy wydajności

Możesz czuć się dziwnie, ponieważ od początku artykułu mówimy, że aplikacje nie są neutralne i podajemy średnie dane dotyczące wydajności, a nikt nie dba o szczegóły i na ich podstawie podjął złą decyzję, a potem stwierdzamy, że mówimy, że musimy nadal śledzić testy wydajności. Prawda jest taka, że ​​aplikacja wydajności, jak wspomniano powyżej, może nie być w pełni wyrażona, ale jest neutralna. Oznacza to, że w normach ustalanych w porządku dziennym, niezależnie od urządzenia. Dzięki temu możemy poznać ewolucję tej samej firmy. Na przykład Samsung S9 zawiera potężny sprzęt, „wytrzymały” interfejs operacyjny firmy Samsung i wysokiej jakości ekran. A następny telefon S10 lub X będzie pochodził z tej samej firmy z tym samym interfejsem lub jego nowszą wersją. W związku z tym, jeśli okaże się, że test wydajności pokazuje poprawę, oznacza to rzeczywistą poprawę, ponieważ jest to ta sama firma. A jeśli spojrzymy na konkurencyjne firmy, jeśli okaże się, że telefon dostaje 260 tysięcy punktów, ostatnie 250, a trzecie 270, a te trzy urządzenia są z różnych firm, to często ich wydajność będzie bliska, a rzeczywistych różnic jest niewiele. i spowodowane jakością ekranu i interfejsem systemu. Ale jeśli znajdziesz inny telefon, który pojawia się na 340 XNUMX, to jest zdecydowanie szybszy od nich, ponieważ te duże różnice wynikają z rzeczywistej zmiany, a nie interfejsu i ekranu.

Można również nauczyć się zastosowania samej technologii, na przykład procesora Kirin 980 w porównaniu z procesorem Kirin 970 i procesorem Snapdragon 845 w porównaniu do 855 „nie wydano” oraz procesora A11 z A12 i tak dalej.


Wniosek

Aplikacje do testowania wydajności są ważne, ponieważ mówią nam o stopniu rozwoju wydajności, ale nie powinny nas oszukiwać i są jedynym kryterium oceny, zwłaszcza ostateczną liczbą. Musisz poczekać na szczegóły i jak ten telefon lub komputer uzyskał ocenę oraz jego mocne i słabe strony; I pamiętaj, że bliskie rezultaty są często niezauważalne, ale jeśli występują duże różnice, to często te różnice są rzeczywiste i namacalne w użyciu.

Czy polegasz na wynikach testów wydajności, aby ocenić urządzenia przed ich zakupem? A może masz specjalne kryteria, którymi możesz się z nami podzielić w komentarzach?

Źródło:

Dxomark

Powiązane artykuły