De benchmark voor grote AI-computers, MLPerf, is erg positief over Nvidia en Google. MLPerf is een serie tests met als doel om vast te stellen wie het beste in huis heeft om kunstmatige intelligentie-taken uit te voeren. Het gaat zowel om software als hardware.
Nvidia’s chip, de A100, blijkt de beste te zijn als het gaat om diverse machine learning-taken, zoals het opzetten van een neuraal netwerk. Nvidia scoort ook het beste wanneer het gaat om systemen die commercieel beschikbaar zijn. Op het gebied van onderzoeksprojecten komt de Tensor Processing Unit van Google het beste uit de test.
BERT neuraal network
Nvidia had maar 49 seconden nodig om een versie van een BERT neuraal netwerk op te zetten (met 2.048 A100-chips). Google’s machine had daar aanzienlijk meer tijd voor nodig: het kostte de 16 Tensor Processing Units die Google commercieel beschikbaar heeft ongeveer 57 minuten om die taak te volbrengen. Gaat het echter om een onderzoeksproject van Google waarin 4.096 van die chips worden gebruikt, dan heeft de IT-grootmacht maar 23 seconden nodig om BERT te trainen.
Er waren meerdere gegadigden die meededen aan de test. Intel heeft speciale Xeon-processoren, die nu nog niet commercieel beschikbaar zijn maar wel in de nabije toekomst. Intel was echter niet op tijd om mee te kunnen doen aan de grote benchmark. Huawei was ook van de partij met zijn Ascend 910-chip, daarvan zijn nog geen definitieve scores beschikbaar.
MLPerf benchmark
In de wereld van kunstmatige intelligentie is de tweede fase het moment waarop die getrainde netwerken worden gebruikt om real-time voorspellingen te doen. Hierop wordt normaliter ook getest, maar de resultaten hiervan verschijnen mede door COVID-19 later dit jaar.
Er is ook kritiek op de benchmark. Vooral concurrenten Cerebras Systems en Graphcore verwerpen het. Ze doen niet mee omdat ze menen dat de manier waarop de test is opgebouwd niet representatief is voor het echte werk, zo schrijft ZDNet. Volgens beide bedrijven is de test daardoor niet waar klanten geïnteresseerd in zijn: die hebben liever dat ze zich bezighouden met het echte werk, in plaats van een wedstrijd.