Standard Performance Evaluation Corporation (SPEC) a anunțat invalidarea a peste 2600 benchmark-uri folosite de Intel pentru promovarea diverselor modele de procesoare vândute consumatorilor retail și nu numai.
Nu că ar fi luat cineva prea mult în serios benchmark-uri oficiale publicate de companii precum Intel sau Nvidia, dar rivalul AMD pare că a luat-o puțin cam mult pe „arătură” cu benchmark-urile, umflarea rezultatelor riscând să știrbească reputația companiei nu doar în ochii consumatorilor retail, dar și a celor din piața foarte contestată a sistemelor server și centre de date.
Dezvoltatorul popularului benchmark SPEC CPU 2017, una dintre puținele suite de teste comprehensive la care pot apela pentru o informare corectă inclusiv clienții din segmentul profesional, a anunțat invalidarea a peste 2600 dintre testele publicate de Intel pentru procesoare Xeon, folosind edițiile pentru anii 2022 și 2023 ale suitei de testare.
Potrivit investigației publicate de SPEC, Intel a folosit compilatoare care ”care îmbunătățesc în mod specific performanța benchmark-urilor 523.xalancbmk_r / 623.xalancbmk_s folosind cunoștințe a priori despre codul SPEC și setul de date, pentru a efectua o transformare care are aplicabilitate restrânsă”. În termeni simpli, SPEC acuză Intel că a optimizat compilatorul special pentru benchmark-ul său, ceea ce înseamnă că rezultatele nu au indicat performanțele de care utilizatorii finali ar beneficia în lumea reală. Compilatorul personalizat al Intel ar fi putut umfla rezultatele relevante ale testului SPEC cu până la 9%.
Versiunile puțin mai noi ale compilatoarelor utilizate în cele mai recente procesoare industriale Xeon, seria Emerald Rapids de a 5-a generație, nu folosesc aceste presupuse optimizări. Cert este că optimizările cu pricina vizează mai degrabă influențarea așteptărilor pentru clienții business, cum sunt cei din domeniul industrial, educațional și cercetare, benchmark-urile astfel „optimizate” fiind mai puțin relevante pentru consumatorii retail. Ce-i drept, SPEC Benchmark nici nu este intenționat pentru consumatorii de rând. Dar asta nu înseamnă că Intel nu a optimizat alte benchmark-uri relevante acestui segment de piață, fără ca nimeni să descopere „schema” bazată pe intervenții la cel mai înalt nivel asupra compilatoarelor folosite la asamblarea finală a aplicațiilor respective.
Merită precizat că respectivul compilator este furnizat de Intel, din rolul de producător al modelelor respective de procesoare. Dezvoltatorii de aplicații care îl folosesc nu au nici o modalitate ușoară pentru a afla dacă respectivul compilator a suferit intervenții menite să altereze performanțele unei aplicații anume.
