اختبارات الأداء؛ هل لها فائدة حقيقيه؟

من أشهر الأخبار التقنية مؤخراً هو اكتشاف إنضمام شركة Oppo للشركات التي تزيف اختبارات الأداء لأجهزتها وقبلها بشهر كان خبر تزيف شركة هواوي لنتائج أداء معالجها Kirin 970 الشهير وعلقت هواوي أنها تعمدت هذا لأن اختبارات الأداء خادعة ولا تختبر الهاتف بالشكل الحقيقي مما قد يعطي انطباع غير صحيح عن أجهزتهم. فما هى اختبارات الأداء هذه وهل تعطي نتيحة حقيقية وفعليه؟ وإذا كانت نتائجها غير حقيقية فلماذا يوليها الصانعون كل هذا التركيز سواء بإعلان التفوق أو السعر للخداع؟

بعد الكشف عن أي معالج جديد نجد الاهتمام الأول يكون كم سيحقق المعالج في نتائج Geekbench وننتظر الهاتف لنرة تقييمه في Antutu وعند الإعلان عن كارت رسوميات نفكر في نتائجه على 3DMark والكاميرات في DXOMark وهكذا. وهذه الشركات هي عينة فقط من شركات كثيرة متخصصة في اختبارات الأداء للأجهزة والعتاد وهذا ليست فقط على iOS وأندرويد بل يمتد الأمر ليشمل الحواسب أيضاً ولعل أحد أشهر الشركات فيها PassMark. وقبل أن نفكر سوياً مدى أهمية هذه الشركات والتطبيقات دعونا نتعرف على سبب وجودها من الأساس.

لماذا وجدت اختبارات الأداء

عندما نخبرك بأن هناك سيارة محركها بقوة 200 حصان وأخرى محركها 220 حصان فهل هذا يعني أن الثانية أسرع؟ بالطبع لا فربما تكون الأولى خفيفة للغاية أو مصممه بشكل أكثير ديناميكية فتستطيع التفوق على الثانية في السرعة لذا يتم الحكم على السرعة بمعيار التسارع أي كم ثانية لتصل من صفر إلى 100 كم. الأمر نفسه يحدث في عالم التقنية فبسبب وجود تقنيات مختلفة لتصنيع المعالجات فالحكم من الأسرع يصبح صعباً بل والأمر يزداد صعوبه عند مقارنة سرعة الجهاز ككل. فسرعة الجهاز تعتمد على المعالج وسرعة الذاكرة والسعة التخزينية وكذلك العتاد الذي يقوم هذا المعالج بتشغيله لذا قد تضع معالج أقوى وذاكرة أسرع لكن العتاد المتبقي مثل الشاشة عنيفة الاستهلاك فتسبب انخفاض في الأداء.

>

كيف تعمل اختبارات الأداء

تقوم الشركات المعينة بإجراء اختبارات الأداء بوضع معايير معينة لاختبارهم فمثلاً شركة DxoMark تختار معايير التقريب Zoom والتركيز التلقائي والضوضاء Noise والألوان وقوة الفلاش والتثبيت وغيرها من العوامل للحكم على الكاميرات وهى تضع 9 عوامل في الصور و 7 في الفيديوهات. ثم تبدأ في اختبار الأجهزة وترتيبها حسب مطابقتها للمعايير التي وضعتها. والأمر نفسه مع التطبيقات التي تختبر كارت الرسوميات فهى تقوم بتشغيل لعبة وكذلك التعديلات على الصور وغيرها من الأمور وقياس كفاءة كارت الرسوميات في تقديم هذه الوظائف. باختصار الشركة تضع معايير معينة للاختبار ثم ترتيب على أساسها.

لماذا تطبيقات الأداء ليست عادلة؟

في تعليق هواوي على سر خداعهم لتطبيقات الأداء قالوا بأنها ليست عادله ولا تظهر الحقيقة لذا قاموا بخداعها؛ والحقيقة أن ما قاله مسئول شركة هواوي صحيح جزئياً فالتطبيقات ليست عادلة لكنها حياديه وشتان الفارق. فتخيل معي أن الهاتف قادر على القيام بـ 10 وظائف ثم تقرر شركة إجراء اختبارات وتضع المعايير الخاصة بها 7 وظائف من الـ 10 وترتب الشركات بناء على هذه أداء هذه الوظائف الـ 7 بشكل حيادي لكن تخيل أن هناك شركة متفوقة للغاية في الوظيفة 8 و 9 و 10 والذين لا يشملهم اختبار الأداء بينما أداءهم متوسط في الـ 7 الآخرين فالنتيجة هى أن هاتفهم سيكون متوسط. فالاختبار لم يشمل النقاط التي يتفوق فيها الهاتف. مثال آخر تخيل ان اختبار الأداء للتصوير DxoMark لا يشمل التصوير في الإضاءة الضعيفة ثم تطلق جوجل هاتف بيكسل 3 وشاومي Mi mix 3 بمزايا خاصة في التصوير الليلي. ماذا تتوقع أن يكون تقيمهم؟ سيء بالطبع لأن ميزتهم ونقطة القوة الخاصة بهم غير مشمولة في الاختبار.

وهل المعايير سرية؟

الآن السؤال المخادع الشهير وهو هل معايير الاختبار سرية؟ بالطبع لا ليست سرية بل معلنه كما يظهر في الصور بأعلى الخاصة بـ DxoMark لكن النقطة المهمة هى أن العوام لا يقرأون -بل ربما لم يصل معظم من فتح المقال لهذه النقطة لقراءتها- فمثلاً عندما تسأل شخص عن كاميرا الآي فون أو نوت 9 فيخبرك بأن تقييمها كذا في DxoMark لكن على أي أساس أتى هذا التقييم. هل فكر أحد بقراءة تفاصيل التقييم؟ مثلاً تقييم الآي فون XS Max جاء في 3560 كلمة أي 2-3 أضعاف طول مقال أخبار على الهامش و أكثر من 3 أضعاف مقالنا هذا. تقرير تفصيلي للغاية وستجده يوضح أن عيوب الكاميرا كذا ومزاياها كذا لكن في الحقيقة لن يهتم 99% بقراءة التقارير بل سيكتفي بالرقم النهائي. وهنا الكارثة! الأرقام وتفاصيل الاختبارات والمعايير معلنه لكن العوام يهتمون بالرقم النهائي للحكم. وبناء على ذلك قد يحدث الخطأ والحكم الغير صحيح.

كيف تخدعنا تطبيقات الأداء

لنبتعد عن أبل وننظر لتقرير DxoMark عن هاتفي Note 9 من سامسونج و Mi Mix 3 من شاومي وسنجد أن كلا الهاتفين حصل على 103 نقطة فهل هذا يعني أنهم متطابقين؟ بالطبع لا النتيجة هذه هى لمتوسط الأرقام بل وهناك فروقات بالتفاصيل ضخمة فمثلاً في التقريب تحصل شاومي على 53 نقطة بينما سامسونج 66 نقطة وتتفوق شاومي في الألوان 87 نقطة مقابل 81 لسامسونج وهكذا لكن المحصلة النهائية كلا الهاتفين حصل على 103 نقطة. لذا قد يصادف أن تمسك بهاتفين وتلتقط صور وتنظر بمعاييرك أنت “وتهتم مثلاً بالتقريب” فتقول أن سامسونج وتسب التقرير وتقول كيف يساوي بين شاومي وسامسونج ويحدث العكس في نقاط أخرى.

ومثال أخير فنفس الاختبارات تقول أن تقييم نوت 9 هو 103 نقطة وتقييم جوجل بيكسل 2 هو 98 نقطة… لكن داخلياً في تصوير الفيديو يحصل هاتف سامسونج على 94 نقطة وجوجل على 96 أي هاتف جوجل الاقل في التقييم يتفوق على هاتف آخر أعلى في مجال محدد. وإليك صورتين لتقييم سامسونج نوت 9 وشاومي ميكس 3 ويظهر لك أنهم نفس التقييم النهائي لكنهم مختلفين في كل النتائج التفصيلية تقريباً

صورة لتقييم سامسونج نوت 9

صورة لتقييم شاومي Mix 3

باختصار تطبيقات الأداء تقيس لك متوسط الأداء لذا قد تشتري هاتف وترى نتائج رائعة لاختبار الأداء “الإجمالي” وتفاجئ بأنه ليس بالمستوى المطلوب؛ إما لأن المزايا التي تهمك لا يشملها الاختبار أو لأنك نظرت للرقم الإجمالي وليس التفاصيل.

نقطة أخرى وهى أنه حالياً بدأت الشركات في تقديم معالجات مخصص بها جزء للذكاء الصناعي. اختبارات الأداء لا تقيس هذا الأمر بل تقيس السرعة وبناء عليه قد يخبرك اختبار أن معالج X أفضل من Y في حين بالوقت نفسه المعالج Y الأقل سرعة في الحقيقة يدعم وظائف الذكاء الصناعي أفضل من X وبناء عليه يكون في الاستخدام الفعلي أفضل وأكثر كفاءة.

لماذا يجب أن نتابع اختبارات الأداء

ربما تشعر بالغرابة لأننا من بداية المقال نقول أن التطبيقات غير حياديه وتصدر أرقام متوسطه للأداء ولا أحد يهتم بالتفاصيل وقد تبني قرار خاطئ على أساسها ثم تجدنا نقول أن علينا مواصلة متابعة اختبارات الأداء. الحقيقة أن تطبيق الأداء كما ذكرنا في أعلى قد لا يعبر بالشكل الكامل لكنه محايد. أي في المعايير التي وضعها يوم بالترتيب مهما كان الجهاز. وبهذا نستطيع معرفة التطور لنفس الشركة. فمثلاً هاتف سامسونج S9 يضم عتاد قوي وواجهة تشغيل سامسونج “الثقيلة على العتاد” وشاشة فائقة الجودة. وهاتف S10 أو X القادم سوف يأتي من نفس الشركة وبنفس الواجهه أو نسخة أحدث منها وبناء على ذلك فإذا وجدنا أن اختبار الأداء يوضح تحسن فهذا يعني تحسن حقيقي لأنه نفس الشركة. وإذا نظرنا للشركات المتنافسه فإذا وجدنا أن هاتف يحصل على 260 ألف نقطة وآخر 250 وثالث 270 وهذه الأجهزة الثلاث من شركات مختلفة فغالباً سيكون أداءهم متقارب والفروقات الفعلية قليلة وسببها جودة الشاشة وواجهة النظام. لكن إن وجدت هاتف آخر يظهر بـ 340 ألف فبالتأكد هو أسرع منهم فالفروقات الكبيرة هذه تكون نابعه من تغير حقيقي وليس واجهة وشاشة.

أيضاً يمكنك معرفة التطبيق للتقنية نفسها فمثلاً معالج Kirin 980 مقارنة مع kirin 970 ومعالج سناب دراجون 845 مقارنة مع 855 “لم يصدر” ومعالج A11 مع A12 وهكذا.

الخلاصة

تطبيقات اختبار الأداء هامة لأنها تخبرنا عن مدى التطور في الأداء لكن يجب ألا تخدعنا وتكون هى معيار الحكم الوحيد وخاصة الرقم النهائي؛ لابد أن تنتظر للتفاصيل وكيف حصل هذا الهاتف أو الحاسب على التقييم ونقاط القوة والضعف فيه؛ وتذكر أن النتائج القريبة غالباً غير محسوسة لكن إن كان هناك فروقات ضخمة فغالباً تكون هذه الفروقات حقيقة ومحسوسة في الاستخدام.

المصدر:

DxOMark