Penanda aras Huawei menghasilkan ujian peribadi vs awam dengan kuasa SoC yang dimanipulasi.
Beberapa minggu yang lalu kami membuat liputan Huawei menggunakan kamera DSLR profesional dalam iklan mengenai kemampuan selfie mereka, dan nampaknya mereka tidak dapat berhenti mencari kaedah untuk mencuba dan memperdaya pengguna - kali ini, tanda aras yang mereka manipulasi.
Tanda aras adalah popular dan ( sampai sekarang?) cara yang sah untuk menunjukkan prestasi peranti - sama ada CPU, GPU, atau penanda aras prestasi sistem. Tanda aras utama adalah memberi pengguna hasil yang tepat mengenai bagaimana prestasi peranti dalam keadaan tertekan.
Sayangnya, nampaknya Huawei telah memasukkan 'mekanisme pengesanan penanda aras' dalam beberapa peranti terbaru mereka. Apa yang sebenarnya dilakukan oleh mekanisme ini adalah mendorong SoC ke had kuasa yang lebih tinggi dan ruang kepala termal ketika mengesan bahawa ia ditanda aras dalam aplikasi tertentu - dengan itu, menghasilkan skor prestasi yang jauh lebih tinggi daripada yang biasanya pengguna gunakan dalam penggunaan harian. Ini bukan sahaja tidak jujur, malah berbahaya untuk jangka hayat SoC, dan boleh memanaskan peranti dengan cepat dan mengurangkan jangka hayat baterinya.
Pertahanan Huawei terhadap amalan ini dapat disimpulkan sebagai, “ orang lain juga melakukannya! ' - dan sayangnya, mereka betul. Penipuan penanda aras sama sekali bukan perkara baru - ia berleluasa dalam dunia PC sedekad yang lalu, dan juga telah lama berlaku di lokasi bergerak.
Pelbagai peranti dihapuskan dari 3DMark untuk memanipulasi penanda aras.
Varian Exynos Samsung Galaxy S4 terperangkap dalam melakukan praktik penipuan penanda aras yang serupa, dan para editor untuk laman web kajian mudah alih AnandTech menemui sebilangan besar vendor telefon pintar lain yang memanipulasi data penanda aras juga. Ini menyebabkan sejumlah peranti, seperti Galaxy S4, Galaxy Note 3, HTC One, dan banyak lagi yang lain dihapuskan dari pangkalan data 3DMark.
Walaupun kebanyakan pengeluar menghentikan tingkah laku itu setelah dipanggil, beberapa yang terus berlanjutan - sebagai contoh, OnePlus terus menipu dalam penanda aras popular seperti GeekBench, walaupun nampaknya telah menghentikan amalan ini sejak OnePlus 5T - yang sebenarnya merupakan alat yang hebat dan sangat popular di komuniti modding dan development, jadi mungkin OnePlus merasakan mereka tidak memerlukan untuk memanipulasi data penanda aras.
Sayangnya, nampaknya Huawei memilih dari mana vendor peranti lain berhenti, kerana ada laporan yang disahkan mengenai Huawei yang memanipulasi penanda aras dengan peranti termasuk Huawei P20, Huawei P20 Pro, dan Honor Play. Pada dasarnya, prestasi Huawei P20 telah merosot jika dibandingkan dengan Huawei Mate 10 Pro - dan pada masa itu, Huawei mengatakan itu adalah ' masalah firmware '- kebohongan yang terang-terangan, kerana ia sebenarnya disebabkan oleh mekanisme pengesanan penanda aras yang disebutkan di atas, yang mencetuskan had kuasa yang sangat unggul untuk SoC.
Ini tidak hanya buruk bagi SoC itu sendiri, kerana kecekapan keseluruhan SoC menurun apabila ini dilakukan, kerana SoC didorong baik di luar tetingkap operasi biasa ( bayangkan overclocking CPU anda setinggi yang boleh dilakukan tanpa minyak termal) . Walau bagaimanapun, ini juga buruk bagi pasar sendiri.
Untuk satu, ini menjadikan SoC kelihatan buruk, seolah-olah keperluan agar data penanda aras dimanipulasi agar dapat dijual. Kedua, menimbulkan keraguan di pasar telefon pintar China - yang sudah penuh dengan tiruan, klon, dan praktik teduh. Tambahan pula, tingkah laku penanda aras Huawei mungkin yang paling mengerikan untuk dilihat, kerana memang ada besar-besaran perbezaan hasil prestasi dengan mekanisme pengesanan penanda aras dihidupkan berbanding saat ia mati. Begitu banyak, itu AnandTech menyatakan bahawa perbezaan hasil penanda aras yang tersedia untuk umum, dan ujian dalaman mereka sendiri, adalah ' sungguh mengejutkan ”.
Huawei telah menjawabnya, dan seperti yang kami katakan sebelumnya, respons mereka pada dasarnya adalah ' orang lain juga melakukannya ' Apa yang mereka katakan secara harfiah ( petikan dari Dr. Wang Chenglu, Presiden Perisian di Kumpulan Perniagaan Pengguna Huawei) adalah ' yang lain melakukan perkara yang sama, mendapat markah tinggi, dan Huawei tidak boleh berdiam diri. Huawei ingin bersama-sama dengan yang lain di China untuk mencari penanda aras pengesahan terbaik untuk pengalaman pengguna. '
Wang juga menunjukkan pengeluar lain dengan jumlah penanda aras yang mengelirukan, dan menyebut pengeluar telefon pintar popular yang tidak disebutkan namanya di China sebagai penyebab terbesar. Menurut Dr. Wang, kecurangan penanda aras telah menjadi 'kebiasaan di China,' dan sementara Huawei ingin 'membuka' kepada pengguna, mereka menghadapi masalah ketika pesaing 'terus mencatat skor yang tidak realistik.' Huawei sedang berusaha menghadapi persaingan utama China, suatu tugas yang nampaknya sukar apabila pembuat peranti lain menghasilkan angka skor yang tidak realistik.
Ringkasnya, Huawei
- Mengaku mereka memanipulasi nombor tanda aras
- Mengakui semua orang di pasar telefon China melakukannya
- Tidak mempunyai rancangan untuk berhenti kerana # 2.
Mana mungkin ada orang kepercayaan pasar telefon China selepas barang seperti ini? Bagaimanapun, Huawei membuat pernyataan bahawa syarikat itu akan ' memastikan data penanda aras masa depan disahkan secara bebas oleh pihak ketiga ”.
Huawei menghantar respons penuh kepada XDA:
'Huawei selalu mengutamakan pengalaman pengguna daripada mengejar skor penanda aras yang tinggi - terutamanya kerana tidak ada hubungan langsung antara penanda aras telefon pintar dan pengalaman pengguna. Telefon pintar Huawei menggunakan teknologi canggih seperti AI untuk mengoptimumkan prestasi perkakasan, termasuk CPU, GPU dan NPU.
Apabila seseorang melancarkan aplikasi fotografi atau memainkan permainan intensif grafik, perisian pintar Huawei mencipta pengalaman pengguna yang lancar dan stabil dengan menggunakan keupayaan penuh perkakasan, sambil menguruskan suhu dan kecekapan kuasa peranti secara serentak. Untuk aplikasi yang tidak sehebat daya seperti melayari web, ia hanya akan memperuntukkan sumber daya yang diperlukan untuk menyampaikan prestasi yang diperlukan.
Dalam senario penanda aras biasa, setelah perisian Huawei mengenali aplikasi penanda aras, ia menyesuaikan diri dengan cerdas dengan 'Performance Mode' dan memberikan prestasi yang optimum. Huawei berencana untuk memberi pengguna akses ke 'Performance Mode' sehingga mereka dapat menggunakan kekuatan maksimum perangkat mereka bila diperlukan.
Huawei - sebagai peneraju industri - bersedia bekerjasama dengan rakan kongsi untuk mencari standard penanda aras terbaik yang dapat menilai pengalaman pengguna dengan tepat. '
Walau apa pun, benar tanda aras berlari oleh AnandTech menguji Huawei P20, P20 Pro, dan Honor Play - dan semua peranti mempunyai prestasi yang serupa, kerana semuanya berkongsi HiSilicon Kirin 970 SoC yang sama - tetapi prestasi sebenar setiap peranti dibatasi oleh had termal, kerana setiap peranti mempunyai reka bentuk casis dan penyejukan yang berbeza. Huawei P20 Pro mempunyai termal yang terbaik, sehingga berkinerja lebih baik dalam keadaan prestasi sebenarnya.
Penyunting dari AnandTech , Andrei Frumusanu, menyatakan seperti berikut:
'Di masa lalu kita melihat vendor benar-benar menaikkan frekuensi SoC, atau menguncinya ke keadaan maksimum, meningkatkan prestasi melebihi yang biasanya tersedia untuk aplikasi generik. Apa yang Huawei lakukan adalah meningkatkan skor penanda aras dengan mendapatkannya dari arah lain - aplikasi penanda aras adalah satu-satunya kes penggunaan di mana SoC benar-benar melakukan dengan kelajuan yang diiklankan. Sementara itu, setiap aplikasi dunia nyata lain ditentukan pada tahap yang signifikan di bawah keadaan itu kerana keterbatasan terma perkakasan. Apa yang akhirnya kita lihat dengan prestasi yang tidak terkendali mungkin merupakan bentuk 'benar' dari SoC yang tidak terkawal, walaupun ini benar-benar akademik jika dibandingkan dengan apa yang sebenarnya dialami pengguna. '
Grafik mereka menunjukkan bahawa telefon bimbit terbaru Huawei sudah mencapai 3.5-4.4W dalam keadaan prestasi sebenarnya, sementara 3.5W TDP adalah jumlah maksimum yang dapat dikekalkan. Sebaliknya, telefon bimbit menjadi overdrive dengan TDP ketika melakukan penanda aras yang tersedia untuk umum, dengan angka kuasa melebihi 6W dan memuncak pada 8.5W. Seperti yang dinyatakan oleh AnandTech, angka-angka ini dengan cepat memicu pemberitahuan overheating pada perangkat, menandakan ketidakcocokan had termal dengan harapan perisian.
Apa yang dapat diambil dari keadaan ini adalah bahawa angka prestasi sebenarnya tidak stabil kerana bergantung pada suhu telefon. Huawei tidak menghalang GPU mencapai keadaan frekuensi GPU puncaknya. Tingkah laku lalai sebenarnya adalah 'mekanisme pendikit terma yang keras [...] yang akan berusaha mengekalkan tahap suhu SoC yang lebih rendah dan penggunaan kuasa secara keseluruhan.'
Mod normal telefon boleh mencapai angka penggunaan kuasa puncak yang sama semasa penanda aras GPU dengan yang diposting oleh varian yang tidak dibongkar. Walau bagaimanapun, angka-angka ini dengan cepat turun dengan ketara, dan AnandTech menyatakan bahawa telefon bimbit turun menjadi 2.2W dalam beberapa kes, yang mempunyai kesan mengurangkan prestasi dengan ketara.
Penerbitan tersebut menyatakan bahawa tingkah laku curang penanda aras nampaknya baru diperkenalkan pada peranti tahun ini. Telefon seperti Huawei Mate 9 dan Huawei P10 tidak terjejas, dan nampaknya hanya EMUI 8.0 dan peranti baru yang terjejas. AnandTech juga diberitahu oleh Huawei bahawa ini adalah 'semata-mata implementasi perisian,' yang menyokong penemuan penerbitan tersebut.
AnandTech mencatatkan angka sebenar prestasi GPU untuk telefon bimbit Kirin 970 yang terjejas, dan kesimpulannya ialah Huawei jauh di belakang pesaingnya dalam prestasi dan kecekapan GPU .
Penerbitan itu juga memuatkan grafik perbandingan kuasa untuk peranti Huawei yang berkuasa Kirin 970 dan Kirin 960. Grafik menunjukkan bahawa penyesuaian pendikit kuasa Huawei sebenarnya lebih baik untuk pengalaman pengguna kerana ia dapat mengurangkan masalah penggunaan tenaga yang lebih tinggi. Ujian AnandTech terhadap Kirin 960 menunjukkan bahawa ia memiliki 'ciri-ciri daya GPU yang mengerikan,' sementara perangkat bertenaga Kirin 970 memiliki mekanisme pendikit yang baru untuk menurunkan penggunaan daya dan suhu.
AnandTech juga menyebut bahawa dasar pendikit baru masuk akal ketika mempertimbangkan hakikat bahawa kedua-dua Kirin 960 dan Kirin 970 menunjukkan daya tarikan yang jauh di atas tahap lestari mereka untuk faktor bentuk masing-masing.
Walaupun Huawei tidak semestinya melakukan sesuatu yang salah dengan memperkenalkan mekanisme pendikit, mereka sudah pasti memasuki tahap kecurangan dengan pengecualian aplikasi penanda aras yang popular melalui senarai putih, yang disebut sebagai penipuan penanda aras dalam kes ini.
UL yang memperoleh Futuremark, syarikat di belakang PCMark dan 3DMark, telah menghapus Huawei P20, Huawei P20 Pro, Huawei Nova 3, dan Honor Play dari 3DMark.
Syarikat itu telah mengesahkan penipuan penanda aras pada Huawei P20 Pro, Huawei Nova 3, dan Honor Play. Berdasarkan pengujian dan pelaporan AnandTech, ia juga telah menghapus Huawei P20 standard. Pengguna tidak lagi dapat melihat hasil penanda aras telefon yang terjejas kerana syarikat itu tidak mahu menjadi tuan rumah skor penanda aras yang ditipu.
Syarikat itu mendapati bahawa skor dari aplikasi 3DMark awam meningkat hingga 47% lebih tinggi daripada skor dari aplikasi peribadi (yang tidak tersedia untuk orang ramai), walaupun ujiannya serupa.
Dalam pengumuman itu, UL menambahkan bahawa gembira melihat Huawei berkomitmen untuk menerapkan pendekatan yang lebih telus di masa depan. Pandangan UL adalah bahawa mod prestasi pilihan yang dapat ditetapkan oleh pengguna dibenarkan berdasarkan peraturan semasa asalkan mereka dilumpuhkan secara lalai. Syarikat menyatakan: 'Peranti mesti menjalankan penanda aras seolah-olah itu adalah aplikasi lain.'
Kesimpulannya, semua penanda aras prestasi Huawei GPU yang diambil menggunakan tanda aras yang tersedia untuk umum tidak boleh dianggap sebagai gambaran prestasi sebenar.
Huawei menghubungi UL untuk membincangkan amalan terbaik untuk ujian penanda aras, dan mengeluarkan pernyataan:
'Huawei dan UL (pencipta 3DMark) telah mengadakan perbincangan menyeluruh mengenai amalan penanda aras minggu ini, dan telah mencapai persetujuan positif mengenai langkah-langkah berikutnya dalam bekerjasama.
Dalam perbincangan itu, Huawei menjelaskan bahawa telefon pintarnya menggunakan mekanisme penjadualan sumber pintar buatan. Oleh kerana senario yang berbeza mempunyai keperluan sumber yang berbeza, telefon bimbit Huawei terbaru memanfaatkan teknologi inovatif seperti kecerdasan buatan untuk mengoptimumkan peruntukan sumber dengan cara agar perkakasan dapat menunjukkan kemampuannya sepenuhnya, sambil memenuhi permintaan pengguna di semua senario.
UL memahami maksud pendekatan Huawei, tetapi menentang memaksa penggunaan 'Performance Mode' secara lalai ketika aplikasi penanda aras dikesan oleh perangkat. Peraturan UL menghendaki peranti menjalankan penanda aras seolah-olah aplikasi lain.
Huawei menghormati hak pengguna untuk memilih apa yang harus dilakukan dengan peranti mereka. Oleh itu, Huawei akan memberi pengguna akses terbuka ke 'Performance Mode' di EMUI 9.0, sehingga pengguna dapat memilih kapan menggunakan kekuatan maksimum perangkat mereka.
Huawei dan UL juga telah membincangkan metodologi ujian penanda aras umum pada umumnya. UL dan Huawei ingin berpartisipasi dalam gerakan industri untuk mengembangkan piawaian penanda aras yang paling memenuhi keperluan pengeluar, akhbar, dan pengguna.
Untuk mengelakkan kekeliruan mengenai keputusan penanda aras semasa, setelah perbincangan, UL dan Huawei telah menghapus sementara skor penanda aras dari pelbagai peranti Huawei, dan akan mengaktifkannya semula setelah Huawei memberi semua pengguna telefon bimbit Huawei akses ke Mode Prestasi. '
Teg Huawei
