最近最著名的技术新闻之一是发现Oppo加入了对他们的设备进行性能测试的公司,而在一个月前,有消息称华为伪造了其著名的麒麟970处理器的性能结果,并且华为表示打算这是因为性能测试具有欺骗性,并且不能以真实的方式进行测试,这可能会给他们的设备带来不正确的印象。 那么,这些性能测试是什么,它们能否给出真实有效的结果? 如果结果不正确,那么为什么制造商会如此强调它,而不是通过宣布优势或价格来欺骗呢?


在检测到任何新处理器之后,我们发现首先要关注的是该处理器将在Geekbench的结果中实现多少,我们等待手机在Antutu中对其进行评估,以及何时发布图形卡时我们会考虑其结果。 3DMark和DXOMark中的相机等。 这些公司只是众多专门从事硬件和设备性能测试的公司的样本,不仅在iOS和Android上,而且还扩展到计算机,PassMark是其中最著名的公司之一。 在我们一起思考这些公司和应用程序的重要性之前,让我们先弄清楚它们为什么存在。


您为什么找到性能测试

当我们告诉您有一辆配备200 hp发动机和220 hp发动机的汽车时,这是否意味着秒速更快? 当然不是,因为前者可能很轻或设计得更加动态,所以您可以在速度上胜过后者,因此速度由加速度的标准(即每秒公里数)判断为从零到100公里。 在技​​术领域中也会发生同样的事情,因为制造处理器的技术不同,因此从最快的速度进行判断变得很困难,而从整体上比较设备的速度则变得更加困难。 设备的速度取决于处理器,内存的速度,存储容量以及此处理器运行的硬件,因此您可能会放置更强大的处理器和更快的内存,但其余的硬件(例如屏幕)却很暴力和消耗会导致性能下降。

>

因此,性能基准测试应用似乎为我们提供了类似于汽车零公里至100公里加速的基准


性能测试如何工作

指定的公司通过设置特定的测试标准来进行性能测试,例如,DxoMark选择变焦,自动对焦,噪点,色彩,闪光强度,稳定度和其他因素的标准来判断摄像机,因为它在图片中添加了9个因素,视频中的7个。 然后,它开始测试设备,并根据它们是否符合我设定的标准对它们进行排名。 在测试图形卡,运行游戏以及对图像和其他事物进行调整并衡量图形卡提供这些功能的效率的应用程序中,情况也是如此。 简而言之,公司会设定某些测试标准,然后根据这些标准进行安排。


为什么绩效申请不公平?

在华为关于欺骗性能应用程序的秘密的评论中,他们说这是不公平的,并且没有透露真相,所以他们欺骗了它。 实际上,华为官员所说的是部分正确的,因为申请不公平,但它们是中立的,区别很大。 想象一下我的手机能够完成10个工作,然后一家公司决定进行测试并为7个工作中的10个设定自己的标准,而公司根据这7个工作的表现以中立的方式进行排名,但请想象一下一家公司在位置8、9和10上的表现非常优越,而那些没有被性能测试覆盖的公司,而其他7个公司的性能却是平均的,那么结果就是他们的手机将是平均的。 测试不包括手机的优势。 再举一个例子,假设摄影DxoMark的性能测试不包括弱光摄影,那么Google推出了具有夜间摄影特殊功能的Pixel 3手机和Xiaomi Mi Mix 3。 您期望他们的评价是什么? 当然不好,因为测试没有涵盖他们的优点和优点。


标准是机密的吗?

现在著名的棘手问题是测试标准是秘密的吗? 当然,不,这不是秘密,而是像在DxoMark的上图中所显示的那样被声明,但是重要的一点是公众不阅读-而是,打开这篇文章的大多数人没有看到这一点很重要-例如,当您向某人询问有关iPhone或Note 9相机的信息时,他告诉您DxoMark中是如此,但是此评估是基于什么进行的。 有没有人想阅读评估详细信息? 例如,对iPhone XS Max的评估用了3560个单词,即,新闻文章的边际长度为2-3倍,是我们文章的3倍以上。 您会找到一份非常详细的报告,它显示了相机的缺陷以及其本身的缺陷,但实际上99%的人对阅读报告不感兴趣,但会对最终数量感到满意。 这是灾难! 公布了号码,测试细节和标准,但公众对最终裁判的数字感兴趣。 因此,可能发生错误和不正确的判断。


性能应用如何欺骗我们

让我们离开苹果,看看三星在我的Note 9和小米的Mi Mix 3上的DxoMark报告,我们会发现这两款手机都获得了103分,这是否意味着它们是相同的? 当然,不是结果,这是数字的平均值,但细节上却有很大差异,例如,在四舍五入中,小米得到53分,三星得到66分,而小米在色彩方面则胜于87分,而81分三星等产品,但两款手机的最终结果均为103分。 因此,可能会发生以下情况:您拿着两部手机,拍照并查看您的标准,“例如,您对近似值感兴趣”,并说三星对报告进行了诅咒,并指出小米和三星之间的关系如何,反之亦然。发生在其他方面。

最后一个例子是,相同的测试表明Note 9的得分为103分,Google Pixel 2的得分为98分……但是在内部,在视频拍摄中,三星手机获得94分,而Google则为96分,是特定领域中最低的Google手机,胜过其他手机。 这是三星Note 9和Xiaomi Mix 3评估的两张图片,在您看来它们是相同的最终评估,但几乎所有详细结果都不同。

三星Note 9评级的图片

小米Mix 3评论的屏幕截图

简而言之,性能应用程序可衡量您的平均性能,因此您可能会购买一部电话,并在“总体”性能测试中看到不错的结果,并且惊讶于它没有达到要求的标准可能是因为您所关心的好处未包含在测试中,或者是您查看了总数而不是详细信息。

另一点是,公司现在开始引入带有人工智能专用部分的处理器。 性能测试不是衡量问题,而是衡量速度,因此,测试可能会告诉您X处理器比Y更好,同时较低速度的Y处理器实际上支持人工智能的功能更好。比X更好,因此在实际使用中更好,更有效。


我们为什么要进行性能测试

也许您会感到奇怪,因为从本文开始我们就说这些应用程序不是中立的,并且发布了性能的平均数,而且没人关心细节,并根据它们做出了错误的决定,然后您发现我们说我们必须继续遵循性能测试。 实际上,如上所述,性能应用程序可能无法完全表达,但它是中立的。 也就是说,在按日期设置的标准中,无论使用哪种设备。 这样,我们就可以知道同一家公司的发展。 例如,三星S9包括功能强大的硬件,“重型”三星操作界面和高品质的屏幕。 而且下一款S10或X手机将来自同一接口或更新版本的同一家公司,因此,如果我们发现性能测试显示有所改进,则意味着真正的改进,因为它是同一公司。 如果我们看一下竞争公司,如果我们发现一部手机获得260万分,最后250分,第三分是270分,并且这三款设备来自不同的公司,那么它们的性能通常会很接近,实际差异很少,这是由屏幕质量和系统界面引起的。 但是,如果您发现另一部手机的价格为340,则肯定比它们快,因为这些较大的差异来自于真正的变化,而不是界面和屏幕。

您还可以知道技术本身的应用,例如,与麒麟980和Snapdragon 970处理器相比,麒麟845处理器,与“未发布”的855和带有A11的A12处理器相比,等等。


结论

性能测试应用程序很重要,因为它们可以告诉我们性能发展的程度,但是它们不应欺骗我们,并且是判断的唯一标准,尤其是最终数量。 您必须等待详细信息,这款手机或计算机如何获得评估以及它的优缺点。 请记住,接近的结果通常是难以察觉的,但是如果存在巨大差异,则这些差异在使用中通常是真实且有形的。

在购买设备之前,您是否依靠性能测试结果来判断设备? 还是您有可以在评论中与我们分享的特殊条件?

相片:

DxOMark

相关文章