本文由騰訊數位獨家發布
手機廠商在跑分測試上面作弊已經不是什麽新聞了。早在2013年，科技網站Anandtech就曾經發文指出，跑分作弊已經是行業內的普遍現象，大部分廠商都會讓手機在運行跑分軟體時提升熱量和性能限制。而現在，華為的作弊行為又被抓了個正著。
由來已久的跑分作弊傳統
在2013年，Anandtech曾經報導了三星Exynos處理器版Galaxy S4的跑分作弊行為。一石激起千層浪，隨著調查的深入，他們發現幾乎所有手機廠商都或多或少地存在跑分作弊問題。
不管對於廠商還是用戶而言，跑分作弊都可謂百害而無一利。被發現作弊的設備會對品牌聲譽造成影響，用戶也不再會信任該廠商提供的任何跑分數據，甚至是評測者也會被誤導。
所幸的是，自那一次的風波之後，廠商們的作弊行為已經收斂了許多。自2013年之後的許多年裡，市面上的大部分設備在性能表現上面都基本符合各自的跑分成績。
不經意的發現
Anandtech此次的發現其實也是在不經意間所取得的。他們原本打算研究華為的GPU Turbo功能，但在測試期間卻發現了華為在跑分上面的貓膩。
在常規的手機對比分析當中，Anandtech通常會進行額外的性能測試。而在對榮耀Play進行性能測試期間，他們發現了一些奇怪的結果。和配備相同處理器（麒麟970）的P20相比，這款手機的跑分成績要差很多，這顯得非常奇怪。
在P20的評測當中，Anandtech指出這款手機的性能相比Mate 10有所退步。不過鑒於Mate 10也遇到過類似的問題——隨後通過韌體更新解決——這個現象並未引起他們的重視。
而經過這一次的重新測試，華為和榮耀的作弊行為就顯得昭然若揭了：較新的設備會帶有一個跑分軟體檢測機制，當檢測到跑分軟體運行時，系統會提高處理器的性能限制，同時對發熱也更加寬容（更不容易降頻）。結果就是，在運行特定的白名單應用時，這款設備所取得的分數要遠高於同類型的非白名單應用。但這種行為更加耗電，因此會犧牲能效和續航。
由於設備在單獨一項跑分測試當中取得了更高的分數，廠商自然就可以將其當作很好的宣傳材料。但對於購買了該設備的用戶而言，這項跑分成績是不真實也無意義的。由於處理器會超負荷運轉，這會讓設備的能效大幅降低。這樣做雖然能夠取得更高的跑分成績，但實際上卻讓處理器在實際使用中的表現變得更糟糕。
以下就是榮耀Play在開啟和關閉跑分檢測模式時的差別：
由於Anandtech使用的是定製版本的跑分軟體，因此他們可以根據需要開啟或關閉這種監測機制，而設備在兩種模式之間的性能差距達到了讓人震驚的地步（詳見下文）。
華為的回應
在上周的IFA展上，Anandtech就此問題接觸了華為，並得到了對方的若乾回應。
在與華為消費者BG軟體工程部總裁王成錄博士的會面當中，Anandtech以非訪談的形式與王博士討論了多個話題。王博士表示，他並不認為這些跑分是測試智能手機整體表現的最佳方式，他個人認為這些跑分已經偏離了實際使用，單獨一項跑分成績並不能反映產品的完整體驗。
Anandtech介紹了自己與多家跑分軟體公司——比如Kishonti（GFXBench）和Futuremark（3DMark）等——的合作，稱他們想要幫助引導這些公司更好的呈現跑分測試。而在遊戲測試當中引入一個跑分模式並不能解決這些跑分測試原本就存在的歪曲用戶體驗的問題，特別是因為處理器在此時的能效會受到影響。坦白講，想讓跑分更好地反映用戶體驗，就必須讓設備在標準性能範圍下運行，而不能對遊戲區別對待。
華為表示，他們已經與業內合作夥伴聯手進行了一年多的測試，來尋找最接近用戶體驗的最佳測試方式。他們指出，以通話品質為例，全球都有一個標準化的測試方式，測試結果能夠被行業所認可，所有廠商也都在朝著一個客觀的結果而努力。但在遊戲測試上面，王博士表示：“其他人都在做相同的測試，並獲得高分，華為不能保持沉默。”
他指出，目前的情況已經比過去好得多了，華為“想要和其他中國同行一同尋找最佳的用戶體驗驗證方式”。他還指出，“在Android生態系統，其他廠商給出的跑分數字也有誤導之嫌”。王博士提到了一家熱門國產手機品牌，稱他們是最大的罪魁禍首，讓跑分作弊“在中國成為司空見慣的事”。華為想要向消費者開誠布公，但由於競爭對手一直在公布不真實的跑分數字，他們很難做到這一點。
華為最後指出，他們想要直面國內的巨大競爭，但因為其他廠商總是把“不真實的”跑分成績放在第一位，這變得非常困難。他們認為，跑分的標準化是未來需要推進的工作，這樣才能創造一個公平競爭的環境，他們也希望媒體能夠幫助實現這一點。但在這個過渡期，我們看到華為也把不真實的跑分成績看得很重要。
對此，Anandtech認為華為在這個問題上需要成為長官者，而不是去隨波逐流。Anandtech所使用的跑分軟體（GFXBench）很容易理解，是“標準化的”，也盡可能地接近實際使用。但也有的跑分軟體是他們不會去使用的（安兔兔），因為它們毫無意義。Anandtech所使用的SPEC等其他一些相當標準化的跑分軟體，來評估處理器和設備。
Anandtech和華為的討論隨後轉移到了官方跑分可信度下滑的問題上面。雖然這些在發布會上公布的跑分原本就可信度成疑，但現在我們完全沒有理由再去關注它們了，因為我們不知道哪些分數是在跑分優化模式下得出的。
華為對此的回應是，他們將確保未來展示的跑分數據會由第三方機構獨立驗證。
Anandtech的看法
雖然沒有明說，但華為基本上已經承認了自己的行為，並指出他們這樣做主要是因為某家國產手機廠商。
雖然這種說法是可以理解的，華為想要以其人之道還治其人之身，用對手的伎倆去打敗對方，但在這場競爭當中，每個人都是輸家。對於華為這種體量的企業，品牌形象是至關重要的，以跑分作弊去誤導消費者的行為肯定會引發後果。
華為有關標準化跑分的觀點也並不新鮮，早在上古時期的PC領域我們就聽到過這種呼籲，隨後ARM也在討論相同的問題。不過後來的情況有所改善：跑分軟體公司與遊戲開發者建立了聯繫，去開發能夠反映真實使用情況的跑分工具，但他們同時也想要推動極限。
和PC領域相比，移動領域唯一欠缺的是能夠正確輸出數據的遊戲內跑分模式，而這必須是開發商長官的。任何在移動設備上進行幀數測試的方式都需要用到額外的軟體，後者又需要root權限，可華為最近關閉了自家手機root的能力。不過華為表示，他們在未來將會面向注冊開發者重新提供root權限。
總的來說，華為敢於承認自己的行為是件好事，但他們給出的理由並不可信。利用這種所謂跑分模式的最佳方式是讓它成為一個可選功能，而非自動開啟的，目前已經有國產手機廠商這樣做了。如果華為想要挑戰蘋果和三星的市場地位，他們需要成為領頭者。
原始跑分數字
在介紹更多細節之前，我們先看看這種行為對跑分測試得分有多大影響。這裡頭的關鍵在於開啟和關閉跑分模式的差異。Anandtech所使用的移動GPU測試套件包括Futuremark的3DMark和Kishonti的GFXBench。
目前的分析僅限於P20和新發布的Honor Play，Mate 10很有可能也有類似的行為——Anandtech的另一位還編輯確認榮耀10存在作弊行為。這也就是說，今年發布的幾乎所有麒麟970機型可能都會受到影響
以下就是華為P20 Pro、P20和榮耀Play三款手機在跑分模式（作弊）和正常情況下（真實性能）在相同跑分軟體當中所取得的分數對比。Anandtech所使用的非白名單應用是由跑分軟體公司所提供的，無法被手機所檢測到，也沒有公開發布。
可以看出，兩者之間存在明顯差異——三款手機在內部版本跑分軟體中的得分要明顯低於公開版本。在高性能模式下，所有三款手機的性能表現基本相同。由於它們使用的處理器是相同的，這並不讓人意外。但是，這卻與手機的實際性能形成鮮明對比，由於三款手機的內部設計和散熱設計有所不同（發熱限制不同），它們的實際性能表現是存在很大差異的。因此，機身太空最大（售價也最高）的P20 Pro在常規模式下的得分最高。
提高功率和熱限制
華為的跑分作弊方式實際上是有所不同的。在過去，手機廠商一般會真正提高處理器的主頻，或者將其鎖定在最高狀態，從而實現高於普通應用的性能。
而華為使用了另一種方式來提高跑分成績——它們的處理器只有在運行跑分軟體時才能達到宣傳的速度。由於硬體的熱限制，處理器在運行其他所有應用程式時都會被降頻。因此，我們看到的未降頻性能才是處理器的真實性能，但這和用戶實際的體驗完全不同。
為了演示兩種不同降頻模式之間的行為，我測試了最新榮耀Play的性能。下面是這款手機在兩種模式下運行功率的對比。
這裡的差異達到了令人震驚的程度，在“真實性能”狀態下，處理器的功率達到3.5-4.4W。相比之下，手機在跑分作弊模式下的功率大幅提升，超過了6W，有的甚至達到8.5W。在3D電池測試中，如此的功率會很快觸發設備上的“過熱”通知，表明熱限制肯定超出軟體預期的範圍。
這也就是說，這款手機的“真實性能”數據實際上並不穩定——它們在很大程度上取決於設備的溫度（大多數手機來說都是如此）。華為/榮耀實際上並沒有阻止GPU達到其峰值頻率狀態：相反，設備的默認行為是一種非常苛刻的熱量限制機制，它會嘗試去保持顯著降低的SoC溫度水準和整體功耗。
最終結果是，在手機的正常模式下，這些測試期間的峰值功耗可以達到和非降頻狀態相同的水準。但這些數字很快就會急劇下降，在某些情況下甚至會降至2.2W，從而大大降低設備性能。
新的性能對比
由於Anandtech所使用的是內部版本的跑分軟體，他們過去對使用麒麟970的設備所進行的性能測試基本上是正確的。但也有一個例外，那就是他們使用的3DMark並不是內部版本的。因此，他們這一次對P20 Pro、P20和榮耀Play三款手機進行了重新測試，並將其與其他熱門機型放在一起進行了對比。
從結果可以明顯看出，麒麟960和麒麟970在性能和能效上面幾乎落後於一同測試的所有競爭對手。而這正是華為想要通過麒麟980和GPU Turbo解決的問題。
市場現狀和競爭壓力
從某種程度上看，麒麟970設備的行為並不出人意料。華為和榮耀的降頻調整對於實際用戶體驗是具有積極意義的，因為這樣能夠將手機的功耗限制在合理的範圍內，而不是瘋狂耗電。很顯然，華為的開發人員認為高功耗並不是件好事，因此他們引入了新的降頻機制來保持溫度和耗電被合理控制。
雖然引入新的降頻機制是件好事，但通過白名單對部分跑分軟體解除限制就不同了。在麒麟950時代，Anandtech就和海思的經歷討論過GPU性能的話題。在當時，海思的處理器在GPU性能上面是落後於競爭對手的，但其功耗總是在可持續的熱範圍之內——約3.5W左右。
如果對比系統總功率，我們可以看到華為在這些年裡所取得大進步：
麒麟960的GPU性能和低效率是對市場壓力以及用戶負面評論的直接回應。這並不能全都怪華為。Mate 8和它的麒麟950在熱管理和持續性能上的表現堪稱一流，雖然GPU性能較弱。但對於普通用戶而言，他們只會關心這款手機的跑分是高是低。由此可以看出，廠商的確關心用戶的需要，並且會聽取用戶反饋，但最終的回應方式可能會出人意料。
華為和他們的未來
華為在上周五發布的麒麟980，這也是新旗艦Mate 20系列會使用的全新處理器。這款處理器的主要特色是使用了全新的7nm工藝製作，並且GPU方面提升明顯。華為表示，這款芯片的能效提升幅度高達178%。如果這款芯片的實際表現符合官方宣傳，那這表明華為又再次重視其了能效。
但是，已經有人開始批評起了麒麟980的GPU性能，稱其在峰值性能上面沒能超過高通去年發布的驍龍845。可這並不重要，因為這款芯片的能效有了大幅度的提升，因此實際使用時所提供的持續性能表現應該會更好。畢竟相比峰值性能，持續性能對於日常使用而言是更為重要的。
榮耀Play：遊戲手機？還是更多的行銷噱頭？
為了擬補GPU性能的缺失，華為推出的GPU Turbo。雖然這項功能的確有效，但軟體能做的畢竟有限。在榮耀Play這些產品身上，華為實際上誇大了這項功能的好處。
不管是對GPU Turbo的誇張宣傳，還是跑分上的作弊行為，原因都是相同的：華為目前的移動芯片在圖形性能和能效性上是大幅落後的。目前，高通的GPU架構在能效性方面擁有重大優勢，這也讓它能夠達到更高的性能表現。
因此，榮耀試圖將榮耀Play定位為一款遊戲手機，在性能和體驗宣傳上面用詞大膽。考慮到這款手機所使用的處理器在遊戲性能上面是同時代產品中最差的，榮耀的宣傳策略的確很大膽。
雖然榮耀Play本身是一款優秀的手機，但它顯然算不上是遊戲手機。不管怎麽說，我們希望未來能夠看到更加負責任和真誠的產品行銷，因為這款手機的行銷材料實在是差極了。
香港九龍灣馬來街興發大廈15樓D室