Blogartikel

Autorin: Claudia Buir und Katharina Fischer 

Für nicht wenige Menschen zählt es fast schon ein klein wenig zur Routine und inzwischen bewerten wir tatsächlich nahezu alles: Wir verfassen Kurzrezensionen zu Büchern und Filmen, haben (natürlich prä-Corona) Sterne für das Essen und die Gastlichkeit unseres Hotels am Urlaubsort vergeben und ein Daumenhoch- oder Daumenrunter-Symbol für Produkte von der Tagescreme bis zur 19-Zoll-Felge. Dabei legen wir natürlich unsere ganz eigenen, individuellen Erfahrungen und Kenntnisstände als Maßstab für den empfunden (Nicht-)Erfüllungsgrad unserer Erwartungen zugrunde – ganz so, wie dies eben alle anderen Bewerter*innen auch tun. Oftmals übersehen wir dabei, dass wir gar nicht ganz genau wissenob die vorgegebenen Kriterien, die unsere Bewertung leiten sollenexplizit festgelegt wurden (und falls dies so ist: Auf welcher Grundlage oder theoretischen Annahmen beruhen diese dann?), ob sie auch einer intersubjektiven Prüfung standhalten würden oder inwiefern bestimmte Bewertungsstandards auch tatsächlich mit einzelnen Evaluationskriterien korrespondieren (bspw. generiert ein Daumenhoch oder Daumenrunter mit Blick auf Aussagen zum Nutzen des Erhebungsobjekts tatsächlich die relevanten Infos oder wäre es nicht nützlicher zu wissen, wie viele Prozentpunkte Daumenhoch oder Daumenrunter? …und ab welcher Ausprägung eines Kriteriums wird dann eigentlich von einem positiveund/oder ausreichenden und/oder negativen Ergebnis gesprochen?). Letztendlich können wir nicht einmal mit Sicherheit sagenwer vermittels welcher Methoden den Wert (Nützlichkeit) des Evaluationsobjekts bestimmt, ob das Ergebnis der Entscheidungsfindung dienlich ist und ob unsere Rückmeldung überhaupt durch den Wunschadressaten rezipiert werden wird. 

Und auch im professionellen Umfeld der Hochschule nehmen wir im Rahmen summativer oder formativer Evaluationen1 regelmäßig an Befragungen zu den unterschiedlichsten Evaluationsgegenständen teil (Beispiele hierfür sind u.a. die Studieneingangsbefragungen, die Absolventenbefragungen, die Lehrveranstaltungsbewertungen und Akkreditierungen), indem wir unsere Meinungen, Einschätzungen und Bewertungen je nach Erhebungsverfahren (z.B. Gruppen- und Einzelinterviews oder Fragebögen) diskutieren, ankreuzen und/oder wir das, was uns zum vorliegenden Sachverhalt wichtig erscheint und schon immer mal gesagt werden sollte, in den entsprechenden Freitextfeldern verschriftlichen. 

Dass die im ersten Abschnitt skizzierte Art der Bewertung, die man wohl vorsichtig als eher willkürlich und laienhaft bezeichnen kann, ganz erheblich abweicht von einer wissenschaftlichen Evaluation, deren Ziel es ist, die Qualität von Studium und Lehre unter Einsatz verschiedener Verfahren zu sichernzu bewerten und weiter zu entwickeln, verrät auch die folgende Definition, nach der man unter einer wissenschaftlichen Evaluation gemeinhin „…die systematische Analyse und empirische Untersuchung von Konzepten, Bedingungen, Prozessen und Wirkungen zielgerichteter Aktivitäten zum Zwecke ihrer Bewertung und Modifikation...“ (Rindermann, 2001) versteht 

Folgende Aspekte sind hier zentralDie Informationsgewinnung („zielgerichtete Aktivitäten“) zu einem klar definierten Evaluationsgegenstand oder Evaluationsobjekt hat selbstredend streng nach empirischen (sozial)wissenschaftlichen Methoden zu erfolgen, wobei „zum Zwecke ihrer Bewertung“ systematische (vergleichende) Verfahren von einer hierfür besonders befähigten Person zum Einsatz gebracht werden, sodass der tatsächliche Nutzen des Evaluationsobjekts bestimmt und auf der Grundlage der Ergebnisse eine (evidenzbasierte) Entscheidung getroffen werden kann.  

 Warum sind Bewertungsverfahren und Evaluationen an Hochschulen eigentlich so wichtig? …und warum wird überhaupt so viel evaluiert? 

Das Wissenschafts- und Hochschulsystem ist seit vielen Jahren bildungspolitischen Reformprozessen ausgesetzt. Als prominente Beispiele seien die Einführung neuer Governance-Modelle (deren Effekte unter dem Begriff des „New Public Managements“ firmieren) genanntdie Hochschulen zunehmend marktwirtschaftlichen Wettbewerbsbedingungen aussetzen sowie der Bologna-Reformprozess, mit dem das Ziel verfolgt wird, eine größtmögliche Transparenz und Vergleichbarkeit von Hochschulabschlüssen auf nationaler wie auch auf EU-Ebene zu schaffen, indem bspw. der dreizyklische Aufbau der Hochschulbildung in Qualifikationsrahmen nicht nur definiert, sondern darüber hinaus auch festgeschrieben wird.  

Die Konsequenzen dieser Reformen sind Gegenstand einer emotional geführten Debatte, haben sie doch letztlich zu einer Verschärfung hochschulischer Problemlagen beigetragen2Aufgrund dieser Bewegungen rücken Fragen nach den individuellen wie auch den gesellschaftlichen Erträgen (also nach der Effektivität und Effizienz) von Hochschulbildung in den Blickpunkt – und somit in verstärktem Maße eben auch Fragen nach der Qualität von (Hochschul-)BildungHieraus entwickelte sich das sogenannte „Qualitätssicherungsparadigma“, unter dem seit 1998 die Qualitätssicherung von Studium und Lehre in den Landeshochschulgesetzen fest verankert ist (Großmann, 2016).  

Um insbesondere den negativen Reformfolgen entgegensteuern aber natürlich auch, um Positives weiter entwickeln zu können, sind empirisch fundierte Kenntnisse zu den Bedingungen, zur Entwicklung und Gestaltung sowie zu den Wirkungen akademischer Lehr-Lernprozesse unabdingbar - allerdings (noch) nicht hinreichend verfügbar (vgl. hierzu Zlatkin-Troitschanskaia, 2016).3  

Neben den bereits relativ umfassend vorliegenden Erkenntnissen aus „Studentischen Lehrveranstaltungsbewertungen“, dem an Hochschulen am häufigsten eingesetzten Instrument zur Sicherung, Bewertung und Entwicklung der Qualität von Studium und Lehre4 - bietet vor allem die Kompetenzforschung einen erfolgversprechenden Zugang zu ebendiesem dringend benötigten Grundlagen- bzw. Orientierungswissen 

Die validereliable und vor allem möglichst objektive Erhebung und Messung5 studentischer Kompetenzen, wie sie im Laufe der Hochschulbildung erworben werden, stellen hierfür den Ausgangspunkt dar. Noten und Zertifikate, so das Ergebnis zweier umfassender systematischer und international ausgerichteter Sachstandanalysen zur Kompetenzforschung aus den Jahren 2009 und 2016erfüllen diese Voraussetzungen nicht bzw. nur unzureichendDer Grund hierfür liegt in den großen Differenzen in der Standardisierung sowie in der Praxis (also der Durchführung) von Leistungsüberprüfungen zwischen einzelnen Hochschulen, sodass deren Vergleichbarkeit bereits auf nationaler Ebene unmöglich ist (siehe hierzu Zlatkin-Troitschanskaia, 2010 und Zlatkin-Troitschanskaia, 2016). Und auch die zwar national und international relativ weit verbreiteten Leistungsbeurteilungen auf der Basis studentischer Selbsteinschätzung (mit Blick auf deren jeweils aktuelle Studiensituation werden Studierende bspw. in Studienverlaufsanalysen6 um die Angabe ihrer Noten-Entwicklung gebeten sowie um die Einschätzung ihres Kompetenzgewinns als Indikatoren für den individuellen Studienerfolg7)sind für die Kompetenzdebatte kaum fruchtbar zu machen, weil sie das Kriterium der Objektivität nicht erfülle(können) 

Resümierend lassen die beiden lesenswerten Reviews erkennen, dass hinsichtlich der Modellierung sowie der validenobjektiven und reliablen Erfassung akademisch vermittelter Kompetenzen noch immer erhebliche Forschungsdefizite bestehen.  

…aber was genau hat das alles mit unserem Führungsethik-Seminar zu tun? 

Für das Evaluations-Team des Forschungsprojekts „Führungsethik als Ethik in den Wissenschaften“ ist es ein besonderes Anliegen (in Ergänzung zu den weiteren Projektzielen, die man hier auf unserer Website und in den Blogbeiträgen der einzelnen Projektstandorte finden kann), einen Beitrag zum Erkenntnisgewinn (vor allem) auf der Ebene der Kompetenzmodellierung und -messung zu leisten. Ausgangspunkt waren und sind für uns folgende forschungsleitende Fragen: 

  1. Welche führungsethisch relevanten Kompetenzen gibt es überhaupt, 
  2. welche der identifizierten Kompetenzen fokussieren auf die kognitive Fähigkeit erlerntes domänenspezifischen Wissen selbstständig und in unterschiedlichen Schwierigkeitsgraden anwenden zu können, sodass die festgelegten Lernziele, die entlang Bloomschen-Taxonomiestufen (Krathwohl, 2002) entwickelt wurden,  erreicht werden und  
  3. welche der identifizierten Kompetenzen fokussieren auf nicht-kognitive Fähigkeiten und Persönlichkeitsvariablen der teilnehmenden Studierenden sowie die sich anschließende Frage  
  4. durch (welche) konkrete theoretische Modellierung und Operationalisierung  
  5. ein inhaltsrepräsentatives, situational operationalisiertes und somit möglichst realtitätsnahe führungsethisch relevante Entscheidungs- und Handlungskontexte abbildendes Messinstrument ausgestaltet sein sollte, mit welchem wir 
  6. die Verlaufsentwicklung der Kompetenzen erfassen können? 

Somit geht das Evaluationskonzept unserer explorativen Untersuchung weit über eine „reguläre“ Lehrveranstaltungsbewertung hinaus und beinhaltet neben dieser ein Instrumenzur Erhebung kognitiver und nicht-kognitiver Kompetenzfacetten in einem Pre-Post-Testdesign sowie eine kleine Interviewstudie.  

Unsere (eher summativ ausgerichtete Projekt-)Evaluation unterscheidet sich somit nicht nur aufgrund ihres Komplexitätsgrades erheblich von den bislang „üblichen“ Bewertungsverfahren und -instrumenten, die entweder ausschließlich auf die studentische Selbsteinschätzung bezüglich der Kompetenzveränderungen fokussieren (und damit, wie zuvor kurz beschrieben, nicht zu den objektiven Messverfahren gezählt werden können) oder auf Erkenntnisse aus Lehrveranstaltungsbewertungen 

Auch mit Blick auf die Dimensionalität des Kompetenzkonstrukts wollen wir einen relativ innovativen Weg beschreitenStanden bislang vor allem die Erhebung produktbezogener Lernergebnisse („cognitive achievement outcomes“), die Wissen und Wissenstrukturen umfassen und deren Veränderung/Entwicklung in Form von Wissenstests/Prüfungen überprüft werden können sowie die Erhebung prozessbezogener Lernergebnisse („cognitive skills outcomes“) i.S.v. Orientierungs-, Wahrnehmungs-, Lern-, Abstraktions- und Erinnerungsvermögen, Problemlösefähigkeiten, Kritisches Denken usw. im Vordergrund der Kompetenzforschung, wollen wir uns dem bislang kaum erforschten Feld der Modellierung und Erfassung der nicht-kognitiven Kompetenzdimension widmen, der im Kontext führungsethisch relevanter Entscheidungssituationen eine ganz besondere Bedeutung zukommt  

dazu aber mehr in unserer Publikation zur Messung führungsethischer Kompetenzen am Ende der Projektlaufzeit! 

Literatur:

  • Großmann, D., Wolbring, T. (Hrsg.) 2016. Evaluation von Studium und Lehre – Grundlagen, methodische Herausforderungen und Lösungsansätze. Wiesbaden: Springer VS  Krathwohl, David R. 2002. A revision of Bloom’s taxonomy: An overview. Theory into Practice 41(4): 212–218.
  • Rindermann, H. (2001). Evaluation. In: Wenninger, G. (Hrsg.) Lexikon der Psychologie. Spektrum  Akademischer Verlag, Heidelberg.
  • Zlatkin-Troitschanskaia, O., & Kuhn, C. (2010). Messung akademisch vermittelter Fertigkeiten und Kenntnisse von Studierenden bzw. Hochschulabsolventen – Analyse zum Forschungsstand. Johannes Gutenberg-Universität Mainz: Arbeitspapiere Wirtschafts- pädagogik, 56. http://www.kompetenzen-im-hochschulsektor.de/Illustrationen/gr_Nr.56. pdf. Zugegriffen: 20.03.2015.  
  • Zlatkin-Troitschanskaia, O., Pant, H. A., Kuhn, C., Toepper, M., Lautenbach, C.,  (2016). Messung akademisch vermittelter Fertigkeiten und Kenntnisse von Studierenden und Hochschulabsolventen – Ein Überblick zum nationalen und internationalen Forschungsstand. Wiesbaden: Springer VS 
  • https://www.zq.uni-mainz.de/evaluation/ (23.03.2021) 
  • https://www.zq.uni-mainz.de/studienverlaufsanalysen/ (23.03.2021) 
Vertiefende Literaturtipps: