Advertisement

Between Scientific Standards and Claims to Efficiency: Expert Interviews in Programme Evaluation

  • Angela Wroblewski
  • Andrea Leitner
Part of the Research Methods Series book series (REMES)

Abstract

In the past 20 years evaluation has been established in the German-speaking area as an integral part of social policy, particularly in connection with the development and implementation of social policy programmes. This development was strongly influenced by EU policy, specifically by the “open method of coordination” and the precept to evaluate all programmes co-financed by EU money. In most European countries this resulted in a boost to professionalization, which had already set in decades earlier in the USA1 In the meantime, in the field of evaluation of social policy programmes a state-of-the-art has developed in the German-speaking area that does receive Anglo-American research but which simultaneously foregrounds participatory and responsive practices as antithesis to quantitatively oriented effect analysis.

Keywords

Evaluation Research Sage Publication Expert Interview Labour Market Policy Evaluation Practice 
These keywords were added by machine and not by the authors. This process is experimental and the keywords may be updated as the learning algorithm improves.

Preview

Unable to display preview. Download preview PDF.

Unable to display preview. Download preview PDF.

Further readings

  1. Gubrium, J. and Holstein J. (eds) (2002) Handbook of Interview Research: Context and Methodology (Thousand Oaks, CA: Sage Publications).Google Scholar
  2. Patton, M. Q. (2002) Qualitative Research & Evaluation Methods, 3rd edn (Thousand Oaks, CA: Sage Publications).Google Scholar
  3. Yin, R. K. (2003) Case Study Research. Design and Methods, 3rd edn (Thousand Oaks, CA: Sage Publications).Google Scholar

References

  1. Beywl, W. (1988) Zur Weiterentwicklung der Evaluationsmethodologie. Grundlegung, Konzeption und Anwendung eines Modells der responsiven Evaluation (Frankfurt am Main, Bern and New York: Verlag Peter Lang).Google Scholar
  2. Brinkmann, C., Deeke, A. and Völkel, B. (eds) (1995) “Expert Inneninterviews in der Arbeitsmarktforschung” in Beiträge zur Arbeitsmarkt-und Berufsforschung 191 (Nürnberg: Institut für Arbeitsmarkt-und Berufsforschung).Google Scholar
  3. Deeke, A. (1995) “Experteninterviews — ein methodologisches und forschungspraktisches Problem” in Brinkmann, C., Deeke, A. and Völkel, B. (eds) Experteninterviews in der Arbeitsmarktforschung. Diskussionsbeiträge zu methodischen Fragen und praktischen Erfahrungen. Beiträge zur Arbeitsmarkt-und Berufsforschung Nr. 191 (Nürnberg: Bundesanstalt für Arbeit), pp. 7–22.Google Scholar
  4. Esser, H. (1986) “Können Befragte lügen? Zum Konzept des ‘wahren Wertes’ im Rahmen der handlungstheoretischen Erklärung von Situationseinflüssen bei der Befragung” in Kölner Zeitschrift für Soziologie und Sozialpsychologie 38/2, 314–36.Google Scholar
  5. Flick, U. (2006) “Interviews in der qualitativen Evaluationsforschung” in Flick, U. (ed.) Qualitative Evaluationsforschung. Konzepte, Methoden, Umsetzungen (Reinbek bei Hamburg: Rowohlt Taschenbuch Verlag), pp. 214–32.Google Scholar
  6. Goffman, E. (1967) Interaction Ritual (Chicago: Aldine Publishing Company).Google Scholar
  7. Heckman, J. J. and Smith, J. A. (1996) “Experimental and Nonexperimental Evaluation” in Schmid, G., O’Reilly, J. and Schömann, K. (eds) International Handbook of Labour Market Policy and Evaluation (Cheltenham: Edward Elgar), pp. 37–88.Google Scholar
  8. Lamnek, S. (1995) Qualitative Sozialforschung, Bd. 1: Methodologie, 3rd edn (Weinheim: Beltz).Google Scholar
  9. Lassnigg, L. (1997) “Evaluation: Aufdecken, Zudecken, oder was sonst…” in Zilian, H. G. and Flecker, J. (eds) Pathologien und Paradoxien der Arbeitswelt (Vienna: Forum Sozialforschung), 227–62.Google Scholar
  10. Lassnigg, L., Leitner, A., Steiner, P. M. and Wroblewski, A. (1999) Unterstützung beim Wiedereinstieg, Möglichkeiten und Wirkungen frauenspezifischer Maßnahmen (Vienna: AMS Österreich).Google Scholar
  11. Lassnigg, L., Leitner, A., Unger, M. and Wroblewski, A. (2000) Zukunftsmodell Qualifizierungsverbund — Evaluierung des Qualifizierungsverbundes Triestingtal (Vienna: AMS Österreich).Google Scholar
  12. Lassnigg, L., Leitner, A., Wroblewski, A., Steiner, M., Steiner, P. M., Mayer, K., Schmid, G. and Schömann, K. (2000) Evaluationsschema für Maßnahmen der aktiven Arbeitsmarktpolitik in Wien (Vienna: Institute for Advanced Studies).Google Scholar
  13. Leitner, A. (1994) “Rationalität im Alltagshandeln. Über den Erklärungswert der Rational Choice-Theorie für systematische Antwortverzerrungen im Interview” in Sociological Series No. 5 (Vienna: Institute for Advanced Studies).Google Scholar
  14. Leitner, A. (2007) Frauenförderung im Wandel. Gender Mainstreaming in der österreichischen Arbeitsmarktpolitik (Frankfurt am Main: Campus Verlag).Google Scholar
  15. Leitner, A. and Wagner, E. (2008) Evaluation der Implacementstiftung Pflegeberufe (Vienna: Institute for Advanced Studies).Google Scholar
  16. Leitner, A. and Wroblewski, A. (2001) Aktive Arbeitsmarktpolitik im Brennpunkt V: Chancen für Wiedereinsteigerinnen mit längeren Berufsunterbrechungen (Vienna: AMS Österreich).Google Scholar
  17. Lutz, H., Mahringer, H. and Pöschl, A. (2005) Evaluierung Europäischer Sozialfonds 2000–2006. Ziel 3. Österreich (Vienna: WIFO).Google Scholar
  18. OECD (1991) Evaluating Labour Market and Social Programmes: The State of a Complex Art (Paris: OECD).Google Scholar
  19. Patton, M. Q. (1997) Utilization-Focused Evaluation, 3rd edn (Thousand Oaks, London and New Delhi: SAGE Publications).Google Scholar
  20. Reinecke, J. (1991) Interviewer-und Befragtenverhalten: Theoretische Ansätze und methodische Konzepte (Opladen: estdeutscher Verlag).Google Scholar
  21. Rossi, P. H., Freeman, H. E. and Lipsey, M. W. (2004) Evaluation: A Systematic Approach, 6th edn (Thousand Oaks, London and New Delhi: SAGE Publications).Google Scholar
  22. Sanders, J. R. (ed.) (1999) Handbuch der Evaluationsstandards. Die Standards des “Joint Committee on Standards for Educational Evaluation” (Wiesbaden: Verlag für Sozialwissenschaften).Google Scholar
  23. Schmid, G., O’Reilly, J. and Schömann, K. (eds) (1996) International Handbook of Labour Market Policy and Evaluation (Cheltenham and Brookfield: Edward Elgar Publishing Company).CrossRefGoogle Scholar
  24. Shadish, W. R., Cook, T. D. and Campbell, D. T. (2001) Experimental and Quasi-Experimental Designs for Generalized Causal Interference (Boston and New York: Houghton Mifflin Company).Google Scholar
  25. Shadish, W. R., Cook, T. D. and Levition, L. (1991) Foundations of Program Evaluation. Theories of Practice (Newbury Park, London and New Delhi: SAGE Publications).Google Scholar
  26. Steiner, P. M., Wroblewski, A. and Cook, T. D. (2009) “Randomized Experiments and Quasi-Experimental Designs in Educational Research” in Ryan, K. and Cousins, B. (eds) International Handbook of Educational Evaluation (Thousand Oaks, London and New Delhi: SAGE Publications), pp. 75–95.Google Scholar
  27. Steinert, H. (1984) “Das Interview als soziale Interaktion” in Meulemann, H. and Reuband, K. H. (eds) Soziale Realität im Interview. Empirische Analysen methodischer Probleme (Frankfurt am Main: Campus Verlag), pp. 17–59.Google Scholar
  28. Stuff lebeam, D. L., Madaus, G. F. and Kellaghan, T. (2000) Evaluation models. Viewpoints on Educational and Human Services Evaluation, 2nd edn (Bosten, Dordrecht and London: Kluwer Academic Publishers).Google Scholar
  29. Voelzkow, H. (1995) “ ‘Iterative Experteninterviews’: Forschungspraktische Erfahrungen mit einem Erhebungsinstrument” in Brinkmann, C., Deeke, A. and Völkel, B. (eds) Experteninterviews in der Arbeitsmarktforschung. Diskussionsbeiträge zu methodischen Fragen und praktischen Erfahrungen. Beiträge zur Arbeitsmarkt-und Berufsforschung Nr. 191 (Nürnberg: Bundesanstalt für Arbeit), pp. 51–8.Google Scholar
  30. Wilensky, H. L. (1985) “Nothing Fails Like Success: the Evaluation-Research Industry and Labour Market Policy” in Industrial Relations 24/1, 1–19.Google Scholar
  31. Williams, J. (1989) “A numerically developed taxonomy of evaluation theory and practice” in Evaluation Review 13/1, 18–31.Google Scholar
  32. Wroblewski, A., Leitner, A., Gindl, M., Pellert, A. and Woitech, B. (2007) “Wirkungsanalyse frauenfördernder Maßnahmen des bm:bwk” in BMBWK (ed.) Materialien zur Förderung von Frauen in der Wissenschaft, 21 (Vienna: erlag Österreich).Google Scholar
  33. Wroblewski, A., Leitner, A. and Osterhaus, I. (2007) IBEA — Integrative Berufsorientierung: Evaluation der Maßnahmen und Ergebnisse des Moduls 3 (Vienna: Karl-Kummer-Institut).Google Scholar
  34. Wroblewski, A., Vogtenhuber, S. (2006) Studienbedingungen an Wiener Universitäten (Vienna: Austrian Chamber for Employees), http://www.equi.at/dateien/studienbedingungen.pdf, date accessed 8 June 2008.Google Scholar

Copyright information

© Angela Wroblewski and Andrea Leitner 2009

Authors and Affiliations

  • Angela Wroblewski
  • Andrea Leitner

There are no affiliations available

Personalised recommendations