Бенчмаркът на Huawei дава резултати в частни срещу публични тестове с манипулирана SoC мощност.
Преди няколко седмици покрихме Huawei използва професионална DSLR камера в реклама за техните селфи възможности и изглежда просто не могат да спрат да намират начини да опитат да подмамят потребителите - този път тестовете, които те манипулират.
Бенчмарковете са популярни и (( досега?) легитимен начин за демонстриране на производителността на дадено устройство - независимо дали неговите показатели за производителност на процесора, графичния процесор или системата. Целият смисъл на бенчмарковете е да дадат на потребителите точен резултат от това как устройствата се представят под стрес.
За съжаление изглежда, че Huawei е включила „механизъм за откриване на бенчмарк“ в някои от най-новите си устройства. Това, което този механизъм по същество прави, е да насочи SoC към много по-висока граница на мощност и топлинна височина, когато открие, че той е сравнителен в определени приложения - което води до много по-високи резултати, отколкото потребителите обикновено получават при ежедневна употреба. Това е не само нечестно, негово опасно за продължителността на живота на SoC и може много бързо да прегрее устройство и да намали живота му на батерията.
Защитата на Huawei от тази практика може да се обобщи най-добре като „ всички останали също го правят! ' - и за съжаление всъщност са прави. Бенчмарк измамата изобщо не е нещо ново - той се разрастваше на компютърната сцена преди десетилетие и също беше в мобилната сцена от известно време.
Различни устройства, премахнати от 3DMark за манипулиране на бенчмарк.
Вариантът на Exynos на Samsung Galaxy S4 беше хванат да прави подобни практики за измама, а редакторите на сайта за мобилни прегледи AnandTech откри голям брой други доставчици на смартфони, които също манипулират бенчмарк данни. Това доведе до редица устройства, като Galaxy S4, Galaxy Note 3, HTC One и много други делистиран от базата данни 3DMark.
Въпреки че повечето производители прекратиха поведението си, след като бяха извикани, някои продължиха - например OnePlus продължи да изневерява в популярни бенчмарки като GeekBench, въпреки че очевидно спря практиката след OnePlus 5T - което всъщност е страхотно устройство и е много популярно в общността за модифициране и разработка, така че може би OnePlus смята, че не го правят трябва за манипулиране на бенчмарк данни.
За съжаление изглежда, че Huawei продължава там, където останалите доставчици на устройства са спрели, тъй като има потвърдени доклади за Huawei, които манипулират бенчмаркове с устройства, включително Huawei P20, Huawei P20 Pro и Honor Play. По принцип производителността на Huawei P20 се е понижила в сравнение с Huawei Mate 10 Pro - и по това време Huawei каза, че е „ проблем с фърмуера ”- откровена лъжа, тъй като всъщност се дължи на гореспоменатия механизъм за откриване на бенчмарк, който задейства значително по-добро ограничение на мощността за SoC.
Това не само е лошо за самия SoC, тъй като общата ефективност на SoC намалява, когато това се прави, тъй като SoC се натиска добре навън на нормалния си работен прозорец ( представете си, че овърклоквате процесора си толкова високо, колкото може да стигне, без никаква термопаста) . Това обаче е лошо и за пазар себе си.
От една страна, това прави SoC да изглежда зле, сякаш е така нужди за да бъдат манипулирани данните за еталон, за да си струва да бъдат продадени. Второ, това поставя под съмнение китайския пазар на смартфони - който вече е изобилствал от имитации, клонинги и сенчести практики. Освен това поведението на бенчмарк на Huawei е може би най-възхитителното, което се вижда досега, тъй като наистина съществува масивна разлика в резултатите от производителността с включен механизъм за откриване на бенчмарк в сравнение с това, когато е изключен. Толкова, това AnandTech отбеляза, че разликите в публично достъпните резултати от бенчмарка и техните собствени вътрешни тестове са „ абсолютно изумително ”.
Huawei реагира на това, че е открит и както казахме по-рано, отговорът им беше основно „ всички останали също го правят ”. Това, което те буквално казаха ( цитат от д-р Уанг Ченглу, президент на софтуера в Consumer Business Group на Huawei) беше ' други правят същото, получават високи резултати и Huawei не може да мълчи. Huawei иска да се събере заедно с други в Китай, за да намери най-добрия еталон за проверка за потребителския опит. “
Д-р Уанг посочи и други производители с подвеждащи референтни номера и посочи неназован популярен производител на смартфони в Китай като най-големия виновник. Според д-р Уанг измамите с бенчмарковете са се превърнали в „обичайна практика в Китай“ и докато Huawei иска да се „отвори“ за потребителите, те имат проблеми, когато конкурентите „непрекъснато публикуват нереални резултати“. Huawei се опитва да се изправи срещу голямата си китайска конкуренция, задача, която изглежда е затруднена, когато други производители на устройства произвеждат нереалистични резултати.
За да обобщим, Huawei
- Признава, че манипулират референтни номера
- Признава, че всички останали на китайския пазар на телефони го правят
- Не планира да спира заради # 2.
Как може някой Доверие китайският пазар на телефони след подобни неща? Във всеки случай Huawei направи изявление, че компанията ще „ гарантира, че бъдещите референтни данни се проверяват независимо от трети страни ”.
Huawei изпрати пълен отговор на XDA:
„Huawei винаги дава приоритет на потребителското изживяване, вместо да преследва високи показатели - особено след като няма пряка връзка между сравнителните показатели на смартфоните и потребителския опит. Смартфоните на Huawei използват усъвършенствани технологии като AI, за да оптимизират работата на хардуера, включително процесора, графичния процесор и NPU.
Когато някой стартира приложение за фотография или играе графично интензивна игра, интелигентният софтуер на Huawei създава гладко и стабилно потребителско изживяване, като прилага пълните възможности на хардуера, като същевременно управлява температурата и енергийната ефективност на устройството. За приложения, които не са толкова енергоемки като сърфирането в мрежата, той ще разпредели само ресурсите, необходими за осигуряване на необходимата производителност.
В нормални сценарии на бенчмаркинг, след като софтуерът на Huawei разпознае приложение за бенчмаркинг, той интелигентно се адаптира към „Performance Mode“ и осигурява оптимална производителност. Huawei планира да предостави на потребителите достъп до „Performance Mode“, за да могат да използват максималната мощност на устройството си, когато имат нужда.
Huawei - като лидер в бранша - е готова да работи с партньори, за да намери най-добрите стандарти за сравнителен анализ, които могат точно да оценят потребителското изживяване. “
Във всеки случай, вярно бенчмаркове, избягани от AnandTech тества Huawei P20, P20 Pro и Honor Play - и всички устройства се изпълняват по подобен начин, тъй като всички те споделят един и същ HiSilicon Kirin 970 SoC - но реалната производителност на всяко устройство е ограничена от термичните граници, тъй като всяко устройство има различен дизайн на шасито и охлаждането. Huawei P20 Pro има най-добрите термични характеристики, така че се представя по-добре в истинско състояние на производителност.
Редакторът на AnandTech , Андрей Фрумусану, каза следното:
„В миналото сме виждали доставчици всъщност да повишават честотите на SoC или да ги заключват до максималните им състояния, повишавайки производителността над това, което обикновено е достъпно за общите приложения. Това, което Huawei вместо това прави, е да повиши резултатите от бенчмарка, като го постигне от другата посока - приложенията за бенчмаркинг са единствените случаи на използване, при които SoC действително се справя със своите обявени скорости. Междувременно всяко друго приложение в реалния свят е ограничено в значителна степен под това състояние поради топлинните ограничения на хардуера. Това, което в крайна сметка виждаме с непроменена производителност, е може би „истинската“ форма на неограничен SoC, въпреки че това е напълно академично в сравнение с това, което потребителите всъщност изпитват. “
Техните графики показват, че най-новите телефони на Huawei вече достигат 3.5-4.4W в реалното си състояние на производителност, докато 3.5W TDP е максималното количество, което може да се поддържа. От друга страна, телефонът прекалява с TDP, когато изпълнява публично достъпните бенчмаркове, като стойностите на мощността надхвърлят 6W и достигат максимум от 8,5W. Както отбелязва AnandTech, тези цифри бързо задействат известие за прегряване на устройството, което означава несъответствие на термичните граници със софтуерните очаквания.
Това, което може да се вземе от тази ситуация, е, че истинските показатели за производителност не са стабилни, тъй като зависят от температурата на телефона. Huawei не блокира GPU да достигне пиковото си честотно състояние. Поведението по подразбиране всъщност е „суров терморегулиращ механизъм [...], който ще се опита да поддържа значително по-ниски нива на температурата на SoC и обща консумация на енергия“.
Нормалният режим на телефоните може да достигне същите стойности на пикова консумация на енергия по време на бенчмарковете на GPU като тези, публикувани от неразрешените варианти. Тези цифри обаче бързо се връщат значително назад и AnandTech отбелязва, че в някои случаи телефонът намалява до 2.2W, което води до значително намаляване на производителността.
Изданието посочва, че поведението за измама на бенчмарка изглежда е въведено само в устройствата тази година. Телефони като Huawei Mate 9 и Huawei P10 не са засегнати и изглежда, че са засегнати само EMUI 8.0 и по-нови устройства. Huand също каза, че това е „чисто софтуерна реализация“, което потвърждава констатациите на публикацията.
AnandTech публикува истински данни за производителността на графичния процесор за засегнатите телефони с Kirin 970 и заключението е, че Huawei е значително зад своите конкуренти както по производителност на графичния процесор, така и по ефективност .
Публикацията публикува и графики за сравнение на мощността на устройствата Huawei Kirin 970 и Kirin 960. Графиките показват, че корекциите за регулиране на мощността на Huawei всъщност са по-добри за потребителското изживяване, тъй като намаляват проблема с по-високата консумация на енергия. Тестването на Kirin 960 от AnandTech показа, че той има „ужасни характеристики на мощността на графичния процесор“, докато устройствата с Kirin 970 имат нов строг механизъм за регулиране, за да намалят консумацията на енергия и температурите.
AnandTech също спомена, че новата политика на регулиране има смисъл, когато се има предвид фактът, че и Kirin 960, и Kirin 970 показват тегления на мощност, които са много над техните устойчиви нива за съответните им фактори.
Въпреки че Huawei не е направил непременно нещо лошо, като е въвел нов механизъм за регулиране, те със сигурност са преминали прага на измама чрез изключването на популярни бенчмарк приложения чрез бял списък, което в този случай се нарича измама на бенчмарк.
UL, която придоби Futuremark, компанията, която стои зад PCMark и 3DMark, делистира Huawei P20, Huawei P20 Pro, Huawei Nova 3 и Honor Play от 3DMark.
Компанията е проверила измамни показатели за Huawei P20 Pro, Huawei Nova 3 и Honor Play. Въз основа на тестването и отчитането на AnandTech, той също премахна стандартния Huawei P20. Потребителите вече няма да могат да виждат бенчмарк резултатите на засегнатите телефони, тъй като компанията не желае да хоства измамени бенчмарк резултати.
Компанията установи, че резултатите от публичното приложение 3DMark са с до 47% по-високи от резултатите от частното приложение (което не е достъпно за обществеността), въпреки факта, че тестовете са идентични.
В съобщението UL добави, че е щастлив да види, че Huawei се ангажира да възприеме по-прозрачен подход в бъдеще. Виждането на UL е, че незадължителните режими на изпълнение, които могат да бъдат зададени от потребителя, са разрешени съгласно настоящите му правила, стига да са деактивирани по подразбиране. Компанията заявява: „Устройството трябва да изпълнява бенчмарка, сякаш е друго приложение.“
В заключение, всички бенчмаркове за производителност на графичния процесор на Huawei, които са взети с помощта на публично достъпни бенчмаркове, не трябва да се приемат като представяне на действителната производителност.
Huawei се свърза с UL, за да обсъди най-добрите практики за тестване на бенчмарк, и публикува изявление:
„Huawei и UL (създатели на 3DMark) проведоха всеобхватни дискусии относно бенчмаркинг практиките тази седмица и постигнаха положително съгласие относно следващите стъпки в съвместната работа.
В дискусията Huawei обясни, че нейните смартфони използват изкуствен интелигентен механизъм за планиране на ресурси. Тъй като различните сценарии имат различни нужди от ресурси, най-новите телефони на Huawei използват иновативни технологии като изкуствен интелект, за да оптимизират разпределението на ресурсите по начин, така че хардуерът да може да демонстрира своите възможности в пълна степен, като същевременно изпълнява изискванията на потребителите във всички сценарии.
UL разбира намерението на подхода на Huawei, но се противопоставя на принудителното използване на „Performance Mode“ по подразбиране, когато устройството открие приложение за сравнителен анализ. Правилата на UL изискват устройство да изпълнява бенчмарка, сякаш е друго приложение.
Huawei зачита правото на потребителите да избират какво да правят с техните устройства. Следователно Huawei ще предостави на потребителите отворен достъп до „Режим на производителност“ в EMUI 9.0, така че потребителят да може да избере кога да използва максималната мощност на своето устройство.
Huawei и UL също обсъдиха текущите общи методи за тестване на бенчмарк като цяло. UL и Huawei биха искали да участват в индустриално движение за разработване на стандарти за сравнение, които най-добре обслужват нуждите на производителите, пресата и потребителите.
За да се предотврати объркване около текущите резултати от бенчмаркинга, след дискусия UL и Huawei временно премахнаха бенчмарк резултатите от редица устройства на Huawei и ще ги възстановят, след като Huawei предостави на всички потребители на телефони на Huawei достъп до режима на изпълнение. “
Етикети Huawei
