Advertisement

Benchmarking: Status, Kritik und Aussichten

  • Reinhold Weicker
Conference paper
Part of the Informatik-Fachberichte book series (INFORMATIK, volume 286)

Zusammenfassung

Zunächst werden heute übliche Industrie-Standards im Benchmarking kurz charakterisiert (MIPS, MFLOPS, Whetstone, Dhrystone, Linpack). Dann werden neuere Initiativen von Herstellern oder Anwendern besprochen, die sich um die Zusammenstellung von größeren, repräsentativen Programmen als Benchmarks bemühen (SPEC, TPC, Perfect, u.a.). Vor allem am Beispiel SPEC werden sowohl positive Punkte als auch Probleme solcher Benchmark-Sammlungen besprochen. Abschließend werden Fragestellungen genannt, mit denen das Benchmarking Untersuchungsgegenstand för wissenschaftliche Arbeiten werden könnte.

Schlüsselwörter

Performance Measurement Benchmark MIPS MFLOPS Whetstone Dhrystone Linpack SPEC TPC Perfect 

Preview

Unable to display preview. Download preview PDF.

Unable to display preview. Download preview PDF.

Literatur

  1. [1]
    Anon. et al: A Measure of Transaction Processing Power Datamation 31,7 (April 1985), 112–118Google Scholar
  2. [2]
    Benchmarks Tribunix (Zeitschrift der AFUU), Dossier Special No. 2, März 1991, 168 S.Google Scholar
  3. [3]
    M. Berry et al.:The Perfect Club Benchmarks: Effective Performance Evaluation of Supercomputers International Journal of Supercomputer Applications 3,3 (1989), 5–40CrossRefGoogle Scholar
  4. [4]
    Robert F. Cmelik, Shing I. Kong, David R. Ditzel, Edmund J. Kelly: An Analysis of MIPS and SPARC Instruction Set Utilization on the SPEC Benchmarks 4th International Conference on Architectural Support for Programming Languages and Operating Systems (ASPLOS IV), = SIGPLAN Notices 26,4 (April 1991), 290–302Google Scholar
  5. [5]
    H.J Curnow und B.A. Wichmann: A Synthetic Benchmark The Computer Journal 19,1 (1976), 43–49CrossRefGoogle Scholar
  6. [6]
    DIN Normentwurf 66 237: Messung und Bewertung der Leistung von DV-Systemen März 1990, 23 S.Google Scholar
  7. [7]
    Kaivalya Dixit: The SPECulations SunTech Journal 4,1 (Jan. 1991), 53–65Google Scholar
  8. [8]
    Kaivalya Dixit: The SPEC Benchmarks Suite, Release 1 - What is it? SPEC Newsletter 2,3 (Sommer 1990), 3–4Google Scholar
  9. [9]
    Jack J. Dongarra: The Unpack Benchmark. An Explanation In: Evaluating Supercomputers, Ed. Aad J. Van der Steen, Chapman and Hall, London 1990, 1–21Google Scholar
  10. [10]
     S. Krishna Dronamraju und Asif Naseem: System Level Benchmarking & SPEC SDM Release 1 Suite Kurzbeitrag zur Tagung „Messung, Modellierung und Bewertung von Rechensystemen”, Sept. 1991Google Scholar
  11. [11]
    Armin Friedli et al.: A European Supercomputer Benchmark Effort Supercomputer 6,6 (Nov. 1989), 14–17Google Scholar
  12. [12]
    Richard P. Gabriel:Performance and Evaluation of LISP SystemsThe MIT Press, Cambridge/MA 1985, 285 S.Google Scholar
  13. [13]
    John L. Hennessy und David A. Patterson:Computer Architecture: A Quantitative Approach Morgan Kaufmann, San Mateo/CA, 1990Google Scholar
  14. [14]
    Ken J. McDonell: Taking Performance Evaluation out of the „stone“Age Proceeding Summer Usenix Conference, Phoenix/AZ, June 1987, 407–417Google Scholar
  15. [15]
    F.H. McMahon:The Livermore Fortran Kernels Test of the Numerical Performance Range In: Performance Evaluation of Supercomputers, Ed. J.L Martin, North-Holland, Amsterdam 1988,143–186Google Scholar
  16. [16]
    Dionisios N. Pnevmatikos und Mark D. Hill: Cache Performance of the Integer SPEC Benchmarks on a RISC Computer Architecture News 18,2 (Juni 1990), 53–68Google Scholar
  17. [17]
    Carl Ponder: An Analytical Look at Linear Performance Models Lawrence Livermore Nat. Lab., Technical Report UCRL-JC-106105, Sept. 1990, 35 S.Google Scholar
  18. [18]
    H. Reza Taheri: An Analysis of the Neal Nelson Bussiness Benchmark (TM) Performance Evaluation Review 18,3 (November 1990), 13–18CrossRefGoogle Scholar
  19. [19]
    Reinhold P. Weicker:Dhrystone: A Synthetic Systems Programming Benchmark Communication of the ACM 27,10 (Okt. 1984), 1013–1030CrossRefGoogle Scholar
  20. [20]
    Reinhold P. Weicker:An Overview of Common BenchmarksComputer (IEEE) 23,12 (Dez. 1990), 65–75Google Scholar

Copyright information

© Springer-Verlag Berlin Heidelberg 1991

Authors and Affiliations

  • Reinhold Weicker
    • 1
  1. 1.Siemens Nixdorf Informationssysteme AG, STM OS 32München 83Deutschland

Personalised recommendations