Salah satu berita teknis paling terkenal baru-baru ini adalah penemuan bahwa Oppo bergabung dengan perusahaan yang memalsukan tes kinerja untuk perangkat mereka dan sebulan sebelumnya ada berita bahwa Huawei memalsukan hasil kinerja prosesor Kirin 970-nya yang terkenal, dan Huawei berkomentar bahwa itu telah terjadi. dimaksudkan ini karena tes kinerja menipu dan tidak menguji telepon secara nyata, yang dapat memberikan kesan yang salah tentang perangkat mereka. Jadi apa tes kinerja ini dan apakah mereka memberikan hasil yang nyata dan efektif? Dan jika hasilnya tidak benar, lalu mengapa pabrikan terlalu menekankan padanya, apakah dengan menyatakan keunggulan atau harga untuk menipu?


Setelah mendeteksi prosesor baru apa pun, kami menemukan minat pertama pada seberapa banyak prosesor akan mencapai hasil Geekbench dan kami menunggu telepon untuk mengevaluasinya di Antutu dan ketika pengumuman kartu grafis kami memikirkan hasilnya pada 3DMark dan kamera di DXOMark dan sebagainya. Perusahaan-perusahaan ini hanyalah contoh dari banyak perusahaan yang berspesialisasi dalam pengujian kinerja untuk perangkat keras dan peralatan, dan ini tidak hanya di iOS dan Android, tetapi juga meluas ke komputer, dan mungkin salah satu perusahaan paling terkenal di dalamnya adalah PassMark. Sebelum kita memikirkan bersama betapa pentingnya perusahaan dan aplikasi ini, mari kita cari tahu mengapa mereka ada sejak awal.

Mengapa Anda menemukan tes kinerja

Ketika kami memberi tahu Anda bahwa ada mobil dengan mesin 200 hp dan mesin 220 hp, apakah ini berarti yang kedua lebih cepat? Tentu saja tidak, karena yang pertama mungkin sangat ringan atau dirancang lebih dinamis, sehingga Anda dapat mengungguli yang kedua dalam hal kecepatan, jadi kecepatan dinilai dari kriteria percepatan, yaitu kilometer per detik untuk mencapai dari nol hingga 100 km. Hal yang sama terjadi di dunia teknologi, karena ada teknologi yang berbeda untuk membuat prosesor, jadi menilai dari yang tercepat menjadi sulit, dan menjadi lebih sulit lagi jika membandingkan kecepatan perangkat secara keseluruhan. Kecepatan perangkat tergantung pada prosesor, kecepatan memori, kapasitas penyimpanan, serta perangkat keras yang dijalankan prosesor ini, jadi Anda dapat memasang prosesor yang lebih kuat dan memori yang lebih cepat, tetapi perangkat keras yang tersisa seperti layar keras. dan konsumsi menyebabkan penurunan kinerja.

>

Jadi aplikasi pembandingan kinerja tampaknya memberi kami tolok ukur yang mirip dengan akselerasi nol hingga 100 km di mobil

Bagaimana tes kinerja bekerja

Perusahaan yang ditunjuk melakukan tes kinerja dengan menetapkan kriteria khusus untuk pengujian mereka, misalnya, DxoMark memilih kriteria untuk zoom, fokus otomatis, kebisingan, warna, kekuatan lampu kilat, stabilisasi dan faktor lain untuk menilai kamera, karena mereka memasukkan 9 faktor dalam gambar dan 7 dalam video. Kemudian mulai menguji perangkat dan memberi peringkat sesuai dengan kesesuaiannya dengan standar yang telah saya tetapkan. Hal yang sama berlaku untuk aplikasi yang menguji kartu grafis, saat menjalankan game, serta menyesuaikan gambar dan hal-hal lain, dan mengukur efisiensi kartu grafis dalam menyediakan fungsi-fungsi ini. Singkatnya, perusahaan menetapkan standar tertentu untuk pengujian dan kemudian mengaturnya.

Mengapa aplikasi kinerja tidak adil?

Dalam komentar Huawei tentang rahasia penipuan mereka terhadap aplikasi kinerja, mereka mengatakan bahwa itu tidak adil dan tidak mengungkapkan kebenaran, jadi mereka menipunya; Faktanya, apa yang dikatakan pejabat Huawei itu sebagian benar, karena aplikasinya tidak adil, tetapi netral dan perbedaannya sangat berbeda. Bayangkan dengan saya bahwa ponsel mampu melakukan 10 pekerjaan, kemudian sebuah perusahaan memutuskan untuk melakukan tes dan menetapkan kriteria sendiri untuk 7 dari 10 pekerjaan tersebut, dan peringkat perusahaan berdasarkan kinerja 7 pekerjaan ini secara netral, tetapi bayangkan bahwa ada perusahaan yang sangat unggul di posisi 8, 9 dan 10 Dan mereka yang tidak tercakup dalam tes kinerja sedangkan kinerjanya rata-rata di 7 lainnya, hasilnya ponsel mereka akan rata-rata. Tes tersebut tidak memasukkan poin-poin di mana ponsel tersebut unggul. Contoh lainnya Bayangkan uji performa untuk fotografi DxoMark tidak menyertakan fotografi dalam kondisi minim cahaya.Kemudian Google meluncurkan ponsel Pixel 3 dan Xiaomi Mi Mix 3 dengan fitur khusus pada fotografi malam hari. Apa yang Anda harapkan dari evaluasi mereka? Buruk tentu saja karena kekuatan dan pahala mereka tidak tercakup dalam ujian.

Apakah kriterianya dirahasiakan?

Sekarang pertanyaan rumit yang terkenal adalah apakah kriteria tes dirahasiakan? Tentu saja tidak, ini bukan rahasia, tetapi dinyatakan, seperti yang terlihat pada gambar DxoMark di atas, tetapi yang penting adalah publik tidak membaca - tetapi mungkin sebagian besar orang yang membuka artikel tidak menjangkau titik ini untuk membacanya - misalnya ketika Anda bertanya kepada seseorang tentang kamera iPhone atau Note 9 dan dia memberi tahu Anda bahwa evaluasinya adalah seperti itu Di DxoMark, tetapi atas dasar apa evaluasi ini terjadi. Adakah yang berpikir untuk membaca rincian evaluasi? Misalnya, evaluasi iPhone XS Max datang dalam 3560 kata, yaitu 2-3 kali panjang artikel berita di pinggir, dan lebih dari 3 kali artikel kami. Laporan yang sangat rinci, yang akan Anda temukan, menunjukkan bahwa cacat kamera itu dan itu dan kelebihannya seperti itu, tetapi kenyataannya 99% tidak akan tertarik untuk membaca laporan, tetapi akan puas dengan angka akhirnya. Inilah musibahnya! Nomor, rincian tes dan kriteria diumumkan, tetapi publik tertarik dengan nomor akhir wasit. Dengan demikian, kesalahan dan penilaian yang tidak tepat dapat terjadi.

Bagaimana aplikasi kinerja membodohi kita

Mari kita menjauh dari Apple dan melihat laporan DxoMark pada Note 9 dari Samsung dan Mi Mix 3 dari Xiaomi, dan kita akan menemukan bahwa kedua ponsel mendapat poin 103. Apakah ini berarti keduanya identik? Tentu saja bukan hasilnya.Ini adalah rata-rata angkanya, tetapi ada perbedaan besar dalam detailnya.Misalnya, dalam pembulatan, Xiaomi mendapat 53 poin, Samsung 66 poin, dan Xiaomi unggul dalam warna 87 poin dibandingkan 81 untuk Samsung, dan sebagainya, namun hasil akhirnya, kedua ponsel tersebut mendapat 103 poin. Jadi mungkin saja Anda memegang dua ponsel, mengambil gambar, dan melihat standar Anda, "dan Anda tertarik untuk memperkirakan, misalnya," jadi Anda mengatakan bahwa Samsung mengutuk laporan tersebut dan mengatakan bagaimana itu setara antara Xiaomi dan Samsung, dan kebalikannya terjadi di poin lain.

Sebagai contoh terakhir, tes yang sama mengatakan bahwa peringkat Note 9 adalah 103 poin, dan peringkat Google Pixel 2 adalah 98 poin ... Tetapi secara internal, dalam perekaman video, ponsel Samsung mendapat 94 poin, dan Google 96 poin, yang mana adalah ponsel Google terendah yang mengungguli ponsel lain yang lebih tinggi dalam bidang tertentu. Berikut adalah dua gambar evaluasi Samsung Note 9 dan Xiaomi Mix 3, dan tampak bagi Anda bahwa keduanya adalah evaluasi akhir yang sama, tetapi keduanya berbeda di hampir semua hasil terperinci.

Gambar rating Samsung Note 9

Tangkapan layar dari ulasan Xiaomi Mix 3

Singkatnya, aplikasi kinerja mengukur kinerja rata-rata Anda, jadi Anda mungkin membeli telepon dan melihat hasil yang bagus untuk uji kinerja "keseluruhan" dan akan terkejut bahwa itu tidak memenuhi standar yang disyaratkan; Entah karena manfaat yang Anda pedulikan tidak tercakup dalam tes, atau karena Anda melihat jumlah totalnya, bukan detailnya.

Poin lain adalah bahwa perusahaan sekarang mulai memperkenalkan prosesor dengan bagian khusus dari kecerdasan buatan. Tes kinerja tidak mengukur masalah ini, tetapi mengukur kecepatan, dan karenanya, sebuah tes dapat memberi tahu Anda bahwa prosesor X lebih baik daripada Y, sementara pada saat yang sama prosesor Y berkecepatan lebih rendah ternyata mendukung fungsi kecerdasan buatan lebih baik. daripada X dan karenanya lebih baik dan lebih efisien dalam penggunaan aktual.

Mengapa kita harus mengejar tes kinerja

Anda mungkin merasa aneh karena dari awal artikel kami mengatakan bahwa aplikasi tidak netral dan mengeluarkan angka rata-rata untuk kinerja, dan tidak ada yang peduli dengan detailnya dan telah mengambil keputusan yang salah atas dasar itu, dan kemudian Anda menemukan kami mengatakan bahwa kami harus terus mengikuti tes kinerja. Yang benar adalah bahwa aplikasi kinerja, seperti yang disebutkan di atas, mungkin tidak sepenuhnya diungkapkan, tetapi netral. Artinya, dalam standar yang ditetapkan setiap hari, apa pun perangkatnya. Dengan ini, kita bisa mengetahui evolusi perusahaan yang sama. Misalnya, Samsung S9 menyertakan perangkat keras yang kuat, antarmuka operasi Samsung "tugas berat", dan layar berkualitas tinggi. Dan ponsel S10 atau X berikutnya akan datang dari perusahaan yang sama dengan antarmuka yang sama atau versi yang lebih baru, oleh karena itu, jika kami menemukan bahwa uji kinerja menunjukkan peningkatan, ini berarti peningkatan yang nyata karena ini adalah perusahaan yang sama. Jika kita melihat perusahaan pesaing, jika kita menemukan bahwa sebuah telepon mendapat 260 ribu poin, yang terakhir 250 dan yang ketiga adalah 270, dan ketiga perangkat ini berasal dari perusahaan yang berbeda, maka kinerjanya akan sering mendekati dan perbedaan sebenarnya sedikit. , dan ini disebabkan oleh kualitas layar dan antarmuka sistem. Tetapi jika Anda menemukan ponsel lain yang muncul di 340, maka pasti lebih cepat dari mereka, karena perbedaan besar ini berasal dari perubahan nyata dan bukan antarmuka atau layar.

Anda juga dapat mempelajari penerapan teknologinya sendiri, misalnya, prosesor Kirin 980 dibandingkan dengan Kirin 970 dan prosesor Snapdragon 845 dibandingkan dengan 855 "tidak dikeluarkan" dan prosesor A11 dengan A12 dan seterusnya.

Kesimpulan

Aplikasi pengujian kinerja penting karena memberi tahu kami tentang sejauh mana pengembangan dalam kinerja, tetapi tidak boleh menipu kami dan merupakan satu-satunya kriteria penilaian, terutama angka akhir. Anda harus menunggu detailnya dan bagaimana ponsel atau komputer ini mendapat evaluasi serta kelebihan dan kekurangannya; Dan ingatlah bahwa hasil yang mendekati sering kali tidak terlihat, tetapi jika ada perbedaan besar, perbedaan ini sering kali nyata dan nyata dalam penggunaannya.

Apakah Anda mengandalkan hasil uji kinerja untuk menilai perangkat sebelum membelinya? Atau apakah Anda memiliki kriteria khusus yang dapat Anda bagikan dengan kami di komentar?

Sumber:

DxOMark

Artikel terkait