Advertisement

Application-Oriented Evaluation of the SDM Reference Model: Framework, Instantiation and Initial Findings

  • Tilo Böhmann
  • Michael Schermann
  • Helmut Krcmar

Abstract

Reference models have become fundamental tools in Information Systems research owing to the associated claim of reusing existing knowledge and getting faster and better solutions by adapting reference models instead of modeling and developing them individually. While the advantages are widely stated they are currently not reflected in documented acceptance and usage of reference models in practice. This calls for empirical substantiation of the claims of reference models. This paper summarizes a framework for the application-oriented evaluation of reference models and instantiates the framework for a reference model for Service Data Management (SDM). We argue that the claim of a reference model should be evaluated in three distinct stages of a reference model supply chain: reference modeling, solution design, and business transformation. Based on these stages, we propose a detailed evaluation plan using the Goal-Question-Metric approach and present first evaluation results, which have already led to improvements of the reference model. The paper is intended as stimulus for discussing viable approaches to empirically support research on reference modeling.

Keywords

Supply Chain Reference Model Solution Design Ence Model Service Engineer 
These keywords were added by machine and not by the authors. This process is experimental and the keywords may be updated as the learning algorithm improves.

Preview

Unable to display preview. Download preview PDF.

Unable to display preview. Download preview PDF.

References

  1. [BaCR02]
    Basili, V. R.; Caldiera, G.; Rombach, H. D.: The Goal Question Metric Paradigm. In: Marchiniak J. J. (ed.): Encyclopedia of Software Engineering. New York 2002, pp. 578–583.Google Scholar
  2. [BDKK02]
    Becker, J.; Delfmann, P.; Knackstedt, R.; Kuropka, D.: Konfigurative Referenzmodellierung. In: Becker, J.; Knackstedt, R. (eds.): Wissensmanagement mit Referenzmodellen. Konzepte für die Anwendungssystem-und Organisationsgestaltung. Heidelberg 2002 pp. 25–144.Google Scholar
  3. [BeSc04]
    Becker, J.; Schütte, R.: Handelsinformationssysteme. 2nd edition, Frankfurt am Main 2004.Google Scholar
  4. [Böhm04]
    Böhmann, T.: Modularisierung von IT-Dienstleistungen — Eine Methode für das Service Engineering. Wiesbaden 2004.Google Scholar
  5. [BöKr04a]
    Böhmann, T.; Krcmar, H.: Servicedatenmanagement für modulare Dienstleistungen. In: Luczak, H. (ed.): Betriebliche Tertiarisierung: Der ganzheitliche Wandel vom Produktionsbetrieb zum dienstleistenden Problemlöser. Wiesbaden 2004.Google Scholar
  6. [BöKr04b]
    Böhmann, T.; Krcmar, H.: Grundlagen und Entwicklungstrends im ITServicemanagement. HMD — Praxis der Wirtschaftsinformatik (2004) 237, pp. 7–21.Google Scholar
  7. [BöKr05]
    Böhmann, T.; Krcmar, H.: Einfach besser? Zur Anwendbarkeit des industriellen Komplexitätsmanagements auf variantenreiche IT-Dienstleistungen. In: Ferstl, O. K.; Sinz, E. J.; Eckert, S.; Isselhorst, T. (eds.): Wirtschaftsinformatik 2005: eEconomy, eGovernment, eSociety. Bamberg 2005, pp. 449–468.Google Scholar
  8. [BöSK07]
    Böhmann, T.; Schermann, M.; Krcmar, H.: Reference Model Evaluation: Towards an Application-Oriented Approach. Forthcoming in: Fettke, P.; Loos, P. (eds.): Reference Modeling for Business Systems Analysis. Hershey et al. 2007.Google Scholar
  9. [BrBu04]
    vom Brocke, J.; Buddendick, C.: Organisationsformen in der Referenzmodellierung: Forschungsbedarf und Gestaltungsempfehlungen auf Basis der Transaktionskostentheorie. Witschaftsinformatik 46 (2004) 5, pp. 341–352.Google Scholar
  10. [BuMe01]
    Bullinger, H.-J.; Meiren, T.: Service Engineering. In: Bruhn, M.; Meffert, H. (eds.): Handbuch Dienstleistungsmanagement. Wiesbaden 2001, pp. 149–175.Google Scholar
  11. [Burr00]
    Burr, W.: Modularisierung, Leistungstiefengestaltung und Systembündelung bei technischen Dienstleistungen: Ansätze zu einer ökonomischen Fundierung des Service Engineerings in Dienstleistungsunternehmen. Stuttgart 2000.Google Scholar
  12. [BWFK04]
    Böhmann, T.; Winkler, T.; Fogl, F.; Krcmar, H.: Servicedatenmanagement für IT-Dienstleistungen: Ansatzpunkte für ein fachkonzeptionelles Referenzmodell. In: Becker, J.; Delfmann, P. (eds.): Referenzmodellierung: Grundlagen, Techniken und domänenbezogene Anwendung. Heidelberg 2004, pp. 99–124.Google Scholar
  13. [DiHL96]
    Differding, C.; Hoisl, B.; Lott, C. M.: Technology Package for the Goal Question Metric Paradigm. Kaiserslautern 1996.Google Scholar
  14. [FäAu03]
    Fähnrich, K.-P.; Auer, S.: Product Models in Service Engineering. In: Proceedings of the 17th International Conference on Production and Research 2003. Blacksburg 2003.Google Scholar
  15. [Fähn98]
    Fähnrich, K.-P.: Service Engineering: Perspektiven einer noch jungen Fachdisziplin. Information Management & Consulting 13 (1998) 8, pp. 37–39.Google Scholar
  16. [FeLo03a]
    Fettke, P.; Loos, P.: Multiperspective Evaluation of Reference Models — Towards a Framework. In: International Workshop on Conceptual Modeling Quality (IWCMQ’03). Chicago 2003.Google Scholar
  17. [FeLo03b]
    Fettke, P; Loos, P.: Ontological evaluation of reference models using the Bunge-Wand-Weber-model. In: Proceedings of the 9th Americas Conference on Information Systems 2003. Tampa 2003.Google Scholar
  18. [FeLo04a]
    Fettke, P.; Loos, P.: Referenzmodellierungsforschung. Wirtschaftsinformatik 46 (2004) 5, pp. 331–340.Google Scholar
  19. [FeLo04b]
    Fettke, P.; Loos, P.: Systematische Erhebung von Referenzmodellen — Ergebnisse einer Voruntersuchung. In: Loos, P. (ed.): Working Papers of the Research Group Information Systems & Management. Mainz 2004.Google Scholar
  20. [Fish97]
    Fisher, M. L.: What is the right supply chain for your product? Harvard Business Review 75 (1997) 2, p. 105.Google Scholar
  21. [Fran98]
    Frank, U.: Die Evaluation von Artefakten: Eine zentrale Herausforderung der Wirtschaftsinformatik. In: Workshop Evaluation und Evaluationsforschung in der Wirtschaftsinformatik. Linz 1998.Google Scholar
  22. [FWBK05]
    Fogl, F.; Winkler, T.; Böhmann, T.; Krcmar, H.: MoSES — Baukastensystem für modulare Dienstleistungen. In: Hermann, T.; Krcmar, H.; Kleinbeck, U. (eds.): Konzepte für das Service Engineering — Modularisierung, Prozessgestaltung und Produktivitätsmanagement. Heidelberg 2005, pp. 85–100.Google Scholar
  23. [HeHä00]
    Heinrich, L. J.; Häntschel, I. (eds.): Evaluation und Evaluationsforschung in der Wirtschaftsinformatik. Munich 2000.Google Scholar
  24. [Hein02]
    Heinrich, L. J.: Bedeutung von Evaluation und Evaluationsforschung in der Wirtschaftsinformatik. In: Heinrich, L. J.; Häntschel, I. (eds.): Evaluation und Evaluationsforschung in der Wirtschaftsinformatik. Munich 2002, pp. 7–22.Google Scholar
  25. [HMPR04]
    Hevner, A. R.; March, S. T.; Park, J.; Ram, S.: Design Science in Information Systems Research. MIS Quarterly, 28 (2004) 1, pp. 75–105.Google Scholar
  26. [HoKe97]
    Houdek, F.; Kempter, H.: Quality patterns — an approach to packaging software engineering experience. SIGSOFT Software Engineering Notes 22 (1997) 3, p. 81–88.Google Scholar
  27. [Krom01]
    Kromrey, H.: Evaluation — ein vielschichtiges Konzept: Begriff und Methodik von Evaluierung und Evaluationsforschung, Empfehlungen für die Praxis. Sozialwissenschaften und Berufspraxis 24 (2001) 2, pp. 105–131.Google Scholar
  28. [LoFe05]
    Loos, P.; Fettke, P.: Referenzmodellierung — Entwicklungsstand und Perspektiven. Information Management & Consulting 20 (2005) Sonderausgabe — 30 Jahre Wirtschaftsinformatik Saarbrücken — Arbeitsmarkt-und Innovationsmotor für Deutschland, pp. 21–26.Google Scholar
  29. [Love04]
    Love, A.; Implementation Evaluation: In: Wholey, S.; Hatry, H. P.; Newcomer, K. E. (eds.): Handbook of practical program evaluation, J 2004. San Francisco 2004. pp. 63–97.Google Scholar
  30. [MiZh00]
    Misic, V. B.; Zhao, J. L.: Evaluating the Quality of Reference Models. In: Leander, A. H. F.; Liddle, S. W.; Storey, V. C. (eds.): Conceptual Modeling — ER 2000: 19th International Conference on Conceptual Modeling. Lecture Notes in Computer Science. Berlin et al. 2000. pp. 484–498.Google Scholar
  31. [Mohr82]
    Mohr, L. B.: Explaining Organizational Behavior: The Limits and Possibilities of Theory and Research. San Francisco 1982.Google Scholar
  32. [OMG03]
    Object Management Group: OMG Unified Modeling Language Specification Version 1.5. 2003.Google Scholar
  33. [Reek00]
    van Reeken, A. J.: Informationssysteme als Evaluationsobjekt: Einführung und Grundlegung. In: Heinrich, L. J.; Häntschel, I. (eds.): Evaluation und Evaluationsforschung in der Wirtschaftsinformatik. Munich 2002, pp. 49–58.Google Scholar
  34. [RoSc97]
    Rosemann, M.; Schütte, R.: Grundsätze ordnungsmäßiger Referenzmodellierung. In: Becker, J.; Rosemann, M.; Schütte, R. (eds.): Entwicklungsstand und Entwicklungsperspektiven der Referenzmodellierung. Institut für Wirtschaftsinformatik der Westfälischen Wilhems-Universität Münster: Münster 1997, pp. 16–33.Google Scholar
  35. [ScRo98]
    Schütte, R.; Rotthowe, T.: The Guidelines of Modeling — An Approach to Enhance the Quality in Information Models. In: Ling, T. W.; Ram, S.; Lee, M. L. (eds.): Proceedings of the 17th International Conference on Conceptual Modeling (ER 1998). Singapore 1998, p. 240–254.Google Scholar
  36. [ScSW02]
    Scheer, A.-W.; Seel, C.; Wilhelm, G.: Entwicklungsstand in der Referenzmodellierung. Industrie Management 18 (2002) 1, pp. 9–12.Google Scholar
  37. [Wang00]
    von Wangenheim, C.G., et al., Zielorientiertes Messen und Bewerten zur Software-Qualitätsverbesserung — Eine Kosten/Nutzen-Analyse. In: Heinrich, L. J.; Häntschel, I. (eds.): Evaluation und Evaluationsforschung in der Wirtschaftsinformatik. Munich 2002, pp. 253–266.Google Scholar
  38. [Wild00]
    Wildemann, H. (ed.): Supply Chain Management. Munich 2000.Google Scholar
  39. [WoJR90]
    Womack, J. P.; Jones, D. T.; Roos, D.: The Machine that Changed the World. New York 1990.Google Scholar

Copyright information

© Physica-Verlag Heidelberg 2007

Authors and Affiliations

  • Tilo Böhmann
    • 1
  • Michael Schermann
    • 1
  • Helmut Krcmar
    • 1
  1. 1.Department of Information SystemsMunich University of TechnologyGarchingGermany

Personalised recommendations