Wat is Benchmark?

Representatief programma dat onder vaste omstandigheden wordt uitgevoerd om de prestaties van computers of programma's te vergelijken. Het is belangrijk er een te kiezen die dicht bij het werkelijke gebruik ligt.

Japanse benaming: ベンチマーク

“Benchmark” komt voor in 3 oefenvragen uit 1 onderwerpen, bijv. Prestatiemeting en profiling.

Vakgebied: Prestatiemeting en profiling

Nu oefenen: vragen over Benchmark

Welke beschrijving van een standaardbenchmark zoals SPEC CPU is juist?

  1. AEen groot aantal programma’s op basis van echte toepassingen wordt volgens vaste regels uitgevoerd, en de prestaties worden uitgedrukt als een waarde die de verhouding tot een referentiecomputer samenvat
  2. BEr wordt alleen gemeten hoe vaak één optelling kan worden uitgevoerd
  3. CDe fabrikant mag de benchmarkresultaten vrij bepalen
Antwoord en toelichting tonen

Antwoord: A. Een groot aantal programma’s op basis van echte toepassingen wordt volgens vaste regels uitgevoerd, en de prestaties worden uitgedrukt als een waarde die de verhouding tot een referentiecomputer samenvat

SPEC CPU is een benchmark die bestaat uit een groot aantal programma’s op basis van echte toepassingen, zoals compilers, compressie en natuurkundige simulaties. Per programma wordt de verhouding bepaald tussen de uitvoeringstijd en de tijd van een referentiecomputer, en deze verhoudingen worden met het meetkundig gemiddelde samengevat tot één waarde. Er gelden ook regels voor compilerinstellingen en uitvoeringswijze, en de resultaten worden samen met de gedetailleerde voorwaarden gepubliceerd.

Wat wordt met de STREAM-benchmark hoofdzakelijk gemeten?

  1. ADe maximale drijvendekomma-rekensnelheid van de CPU
  2. BDe geheugenbandbreedte die in de praktijk wordt behaald bij bewerkingen als kopiëren en optellen van grote arrays
  3. CDe opslagcapaciteit
Antwoord en toelichting tonen

Antwoord: B. De geheugenbandbreedte die in de praktijk wordt behaald bij bewerkingen als kopiëren en optellen van grote arrays

STREAM is een benchmark die op grote arrays die niet in de cache passen vier eenvoudige bewerkingen uitvoert (kopiëren, vermenigvuldigen met een constante, optellen en de combinatie daarvan) en meet hoeveel bytes per seconde kunnen worden gelezen en geschreven. Omdat er vrijwel niet wordt gerekend, wordt het resultaat bepaald door de geheugenbandbreedte. Het resultaat geeft, vergeleken met de theoretische waarde uit de catalogus, een indicatie van hoeveel bandbreedte werkelijk beschikbaar is, en wordt ook gebruikt voor de helling van de schuine lijn in het roofline-model.

“Benchmark” in de toelichting

Vragen met “Benchmark” (3)

  1. Welke beschrijving van een standaardbenchmark zoals SPEC CPU is juist?
  2. Wat wordt met de STREAM-benchmark hoofdzakelijk gemeten?
  3. Wat is het juiste doel van het bij elke wijziging automatisch uitvoeren en vastleggen van benchmarks bij softwareontwikkeling?

Verwante termen

SPEC CPU Meetkundig gemiddelde STREAM-benchmark Roofline-model CPI CPU-tijd Doorvoer (throughput) Flame graph Harmonisch gemiddelde Microbenchmark

Naar de woordenlijst