Evaluationen

Seit Anfang 2009 finden regelmäßig Befragungen zu den PIKAS-Fortbildungsveranstaltungen statt. Die erste Phase der Lehrerfortbildungs-Evaluation konnte dabei schon abgeschlossen werden und führte bereits zu den im folgenden Abschnitt beschriebenen Ergebnissen. Eine Evaluation ist notwendig, da die Materialentwicklung im Rahmen von PIKAS nicht nur für die Nutzung in den Kontakt- und Kooperationsschulen durchgeführt wird, sondern auch einen möglichst nachhaltigen Impuls zur systemweiten Implementation der Lehrplaninnovation leisten soll. Denn PIKAS dient dazu, Schulen mit Material für die Weiterentwicklung des Mathematikunterrichts zu unterstützen. Um das Material und unser Angebot an die Bedürfnisse möglichst vieler Schulen anpassen zu können, führen wir seit Ende 2014 regelmäßig Befragungen in unseren Fortbildungen durch. Das Ziel dieser Befragung ist also die Weiterentwicklung des Fortbildungsprogramms. Damit wir die Bedingungen des Lernens für die Lehrkräfte auch zukünftig so gut wie möglich gestalten können, hängt die Aussagekraft unserer Befragungsergebnisse sehr stark davon ab, dass sich möglichst viele interessierte Lehrerinnen und Lehrer aus den PIKAS-Fortbildungen beteiligen.

Befragungsergebnisse 2009-2014

Das Projekt PIKAS und insbesondere das Teilprojekt AS (Allgemeine Schulentwicklung) beobachtet und evaluiert den Mathematikunterricht in Grundschulen hinsichtlich der Förderung inhalts- und prozessbezogener Kompetenzen. Die Diskussion um kompetenzorientierten Unterricht kam mit dem neuen Lehrplan 2008 auf. Hübner (2013) setze es sich zum Ziel, die Wirkungen von diesem mithilfe von Selbstaussagen von über 1500 Lehrerinnen und Lehrern zu untersuchen sowie Faktoren herauszustellen, die nach Einschätzung von Lehrkräften zur Umsetzung dessen beitragen. Die Untersuchung ergab, dass der neue Lehrplan bereits nach zwei Jahren zu einer Veränderung des Unterrichts im Fach Mathematik beitrug. Insgesamt stieg der zeitliche Anteil offenen Unterrichts und kooperativer Lernformen stark an und auch die Bedeutung prozessbezogener Kompetenzen rückte in den Fokus des Mathematikunterrichts. So werden Kompetenzen wie das Erkennen von Zusammenhängen und die Beschreibung der eigenen Vorgehensweise als regelmäßig geförderte Arbeitsweisen genannt. Die Auswirkung des Lehrplans beeinflussen dabei nicht nur direkt den Unterricht, sondern auch Ziele der einzelnen Schulen sowie die Kooperation zwischen Lehrkräften. Die leicht feststellbare Veränderung im Mathematikunterricht kann dabei positiv bewertet werden, da Innovationen wie der Lehrplan 2008 eine darstellt, je nach Größe der Veränderung zwischen bis zu drei und acht Jahren brauchen, um umgesetzt zu werden (Bormann et al. 2003; Hall & Hord 2000). Als förderlich für die Umsetzung angesehen wird von Seiten der Lehrkräfte eine gute Vorbereitung auf die Vermittlung der Lerninhalte. Fühlen sich Lehrerinnen und Lehrer unterstützt, Arbeitsweisen zur Förderung prozessorientierter Kompetenzen anzuwenden, so findet man diese im Unterricht häufiger vor. Zudem konnte festgestellt werden, dass die Einstellungen der Lehrpersonen einen wesentlichen Faktor bei der Umsetzung von Innovationen ausmachen. Lehrerinnen und Lehrer, die Veränderungen positiv gegenüberstehen, nahmen den Lehrplan 2008 eher an und setzten dementsprechend dessen Inhalte in ihrem Unterricht häufiger ein.

Befragung seit 2014

Im Mittelpunkt des seit 2014 eingesetztem Befragungskonzeptes steht neben der Zufriedenheit der Teilnehmerinnen und Teilnehmer mit den Veranstaltungen selbst, auch der Lerntransfer, also die Umsetzung der Fortbildungsinhalte in die Schulpraxis der Teilnehmenden. ‚Lerntransfer‘ lässt sich nicht nur durch eine einzelne Befragung erfassen. Deswegen bedarf es ein an die Fortbildungsbedingungen angepasstes Befragungskonzept, welches eine ‚Kontextbefragung‘, ‚Zwischenbefragungen‘ sowie eine ‚Abschlussbefragung‘ beinhaltet. Diese finden jeweils zu drei unterschiedlichen Erhebungszeitpunkten statt (s. Abb. 1).

Über die ‚Kontextbefragung‘ soll herausgefunden werden vor welchem Hintergrund die Teilnehmenden in das Projekt einsteigen. Mit dem Begriff ‚Kontext‘ sind Erwartungen an die Lehrerfortbildung, Bedeutung von Fortbildungen, Vorwissen zu PIKAS, Fortbildungsmotivation sowie Kooperationsaktivitäten der Teilnehmerinnen und Teilnehmer gemeint. Insbesondere sind diese Informationen für die Betrachtung der Daten, die wir im weiteren Verlauf erheben, wichtig.

Die ‚Transferbefragungen‘ wird im Verlauf der Fortbildung erhoben. ‚Transferphase‘ ist der Zeitabschnitt, der zwischen zwei Arbeitstreffen liegt, in dem das Erlernte in der Schulpraxis erprobt wird. Dabei interessiert uns, wie die teilnehmenden Lehrpersonen den letzten von ihnen besuchten Arbeitskreis empfunden haben, wie gut ihnen die Umsetzung der Inhalte in die Praxis gelingt und welche Auswirkung ihr neu erworbenes Wissen auf Ihr Umfeld hat.

In der ‚Abschlussbefragung‘ befragen wir die Lehrpersonen zu ihren veranstaltungsübergreifenden Eindrücken. Uns interessiert, wie sie die gesamte Fortbildungsreihe bewerten, wie sie ihren eigenen Lernerfolg sowie die Auswirkung der gesamten Fortbildung auf ihren Unterrichtsalltag einschätzen.

Durch die Nutzung der Daten über wissenschaftliche Forschungszwecke und Weiterentwicklung des Projektes hinaus, haben die Lehrpersonen durch die Evaluation außerdem die Möglichkeit, ihre Aktivitäten und ihren Lernerfolg gezielt zu reflektieren. Das wiederum ist förderlich für ihre individuellen Lernprozesse und Förderung des Lerntransfers.

Erste Ergebnisse zur Befragung zum UHeMag-Projekt  (Teilprojekt von PIKAS)

Seit Anfang 2015 fanden regelmäßige Befragungen des UHeMag-Projekts im Kontext des Projekt PIKAS „Prozessbezogene und Inhaltsbezogene Kompetenzen mit Anregung fachbezogener Schulentwicklung“ statt. Die Evaluation des Fortbildungsprogramms ist an den vier Ebenen Reaktion, Lernerfolg, Verhalten sowie Auswirkung ausgerichtet (Kirckpatrick & Kirckpatrick, 2006). Neben 30 befragten Lehrpersonen in Thüringen, wurden auch 75 Lehrkräfte in NRW befragt. Thüringen macht dabei einen Anteil von 28 Prozent aus. Die Erhebung verfolgte dabei einen subjektiven Messzugang, über die subjektive Einschätzung zum Wissen der Teilnehmenden selbst. Dabei wurde davon ausgegangen, dass sie in der Lage sind, über ihr Wissen zu reflektieren, so wie es nachweislich überwiegend bei Teilnehmenden von Evaluationsstudien, die im beruflichen Kontext stattfinden, der Fall ist (Clasen, 2009, p. 15). Dazu gab es drei Erhebungen, zu denen jeweils ein unterschiedlicher Fragebogen eingesetzt wurde. Für jeden Fragebogen wurde ein persönlicher Identifikationscode zu generiert, so dass sich die Fragebögen zusammenfügen und Befragungsprofile bilden ließen. Ein Befragungsprofil bestand aus drei vollständigen Befragungen, die einem Identifikationscode zugeordnet werden konnte. Somit war die Teilnahme an der Evaluation dann erfolgreich, wenn eine Lehrperson an allen drei Befragungen teilnahm. Nur dann werden die erhobenen Daten als gültig bewertet und in der Auswertung berücksichtigt.
Um den Erfolg von Lehrerfortbildungen zu beurteilen, werden häufig Daten zu Reaktionen der Lehrpersonen, ihre Akzeptanz und Zufriedenheit mit der Maßnahme herangezogen (Lipowsky, 2010a, p. 4), denn grundsätzlich begünstigt die Erfüllung solcher Erwartungen den Fortbildungserfolg, da Lehrpersonen dadurch eher bereit sind, mit Ausdauer und Engagement teilzunehmen, wenn die Teilnahme an einer Fortbildung eine Erleichterung für berufliche Herausforderungen darstellt (Lipowsky, 2010b, p. 41; 2014, p. 399). Allerdings bilden diese Faktoren noch keine hinreichende Aussagekraft für erfolgreiches Lernen im Fortbildungskontext (Lipowsky, 2010b, p. 42). Es lässt sich also nicht automatisch aufgrund der Akzeptanz und Zufriedenheit der Teilnehmenden mit der Fortbildungsmaßnahme, von einem höheren Lernerfolg der Lehrpersonen ausgehen (Lipowsky, 2010a, p. 4). Deswegen wurde neben der Teilnehmerzufriedenheit, auch die Einschätzung des eigenen Lernerfolgs, die Beurteilung des eigenen Transferprozesses in die Praxis sowie Kooperationsaktivitäten vor und nach der Fortbildung erhoben.
Die Stichrobe. Im Rahmen der Begleitevaluation des UHeMag-Projekts in Thüringen wurden insgesamt 30 Befragungsprofile als gültig bewertet und in der Auswertung berücksichtigt. Zusammen mit denen in NRW, konnten bisher 105 gültige Befragungen erhoben werden. Dabei macht Thüringen einen Anteil von 28 Prozent aus. Die meisten befragten Lehrpersonen aus Thüringen sind zwischen 30 und 59 Jahren, wobei die Alterspanne 40 bis 49, 50 Prozent der Befragten ausmacht. 56 Prozent der Befragten (n=17) arbeiten länger als 5 Jahre im Schuldienst, 40 Prozent (n=12) ein bis fünf Jahre und lediglich eine Person ist gerade erst neu in den Schuldienst eingetreten.
Fortbildungszufriedenheit. Wie zufrieden die Teilnehmenden mit der Lehrerfortbildung waren, wurde zum einen in Bezug auf die gesamte Maßnahme und in Bezug auf die Arbeitskreise erfragt. Insgesamt gaben die Teilnehmenden (n=105) eine hohe Zufriedenheit mit der Fortbildung an (M=3,07 bis M=3,43 [vierstufige Skala: 4=trifft zu – 1=trifft nicht zu]). Am Besten hat ihnen gefallen, dass sie im Rahmen der gesamten Veranstaltung, zur aktiven Mitarbeit motiviert wurden. Dabei gab es keinen signifikanten Unterschied zwischen den Angaben der Teilnehmenden aus Thüringen und denen aus NRW.
Die Bewertung der Arbeitskreise. Um die Zufriedenheit mit den Arbeitskreisen zu bewerten, sollten die Teilnehmenden den Umsetzungserfolg der Veranstaltung einschätzen. Dabei lagen die Ergebnisse aus Thüringen alle im mittleren bis hohen Bereich (M=3,13 bis M=3,53 [vierstufige Skala: 4=trifft zu – 1=trifft nicht zu]). Als besonders positiv (>M=3,50) wurde wahrgenommen, dass im Rahmen der Veranstaltungen Bezüge zwischen Theorie und Praxis hergestellt wurden (M=3,53/ SD=.57) und sich die bearbeiteten Inhalte sinnvoll aufeinander bezogen (M=3,53/ SD=.57). Außerdem gaben die Teilnehmenden an, dass sie sich zutrauten, die behandelten Inhalte auch in ihrem eigenen Unterricht umzusetzen (M=3,53/ SD=.63).
Einschätzung des Lernerfolgs. Auch ihren Lernerfolg schätzten die Teilnehmenden aus Thüringen überwiegend positiv ein [vierstufige Skala: 4=trifft zu – 1=trifft nicht zu]. So sind die Mittelwerte zwischen M=2,83 und M=3,23 zu verorten. Die Teilnehmenden hatten beispielsweise das Gefühl, dass sie in der Fortbildung etwas Sinnvolles und Wichtiges gelernt haben (M= 3,23 SD=.57) und sie dazu angeregt wurden, die Lern- (M= 3,20 SD=.61) und Verstehensprozesse (M= 3,14 SD=.64) der Schülerinnen und Schüler zu verstehen.
Einschätzung des Transfererfolgs. Ergebnisse aus der Wissenschaft zeigen, dass es eine positiven Einfluss auf die Fortbildungsmotivation nimmt, wenn die Teilnehmenden selbst erleben, dass sie ihr unterrichtliches Handeln verändern können (Lipowsky, 2013, p. 3). Aus diesem Grund wurden die Teilnehmenden aus Thüringen zu ihrem Lerntransfererfolg befragt. Die Fragen bezogen sich dabei zum einen darauf inwieweit sie motiviert sind, die gelernten Inhalte auch in ihrem eigenen Unterricht zu erproben, wie zum Beispiel ob die Fortbildung sie dazu angeregt hat, ihre Produktivität zu erhöhen, oder ob sie sich nach den Arbeitskreisen darauf gefreut haben, das Erlernte im Unterricht zu erproben. Zum anderen wurde aber auch nach den Transfervoraussetzung der Arbeitskreises gefragt, wie zum Beispiel, ob die im Arbeitskreis verwendeten Beispiele dabei unterstützten, wie sie das Gelernte im Unterricht umsetzen können. Die Ergebnisse zeigen, dass die Teilnehmenden grundsätzlich sehr motiviert waren, die Fortbildungsinhalte in ihren beruflichen Alltag zu integrieren (M=2,61 und M= 3,24 [vierstufige Skala: 4=trifft zu – 1=trifft nicht zu]). Positiv waren auch die Werte, bei den Fragen ausgeprägt, ob sie motiviert sind, das was sie neu gelernt haben, bei der Arbeit anzuwenden (M=3,24 SD=.73). Der Wert, ob sie es kaum erwarten konnten, nach den Arbeitskreisen wieder zur Arbeit zu gehen und das Erlernte auszuprobieren lag hingegen bei M=2,93/SD=.69. Auch die Ergebnisse zu den Fragen nach den Transfervoraussetzungen der Arbeitskreise sind erfreulich (M=3,13 bis M=3,30 [vierstufige Skala: 4=trifft zu – 1=trifft nicht zu]). So gaben die Teilnehmenden beispielsweise an, dass die Beispiele, welche die Moderatorinnen und Moderatoren verwendeten, sie dabei unterstützten, ihr Gelerntes bei der Arbeit anzuwenden (M=3,30 SD=.65), oder dass die Art und Weise, wie die Fortbildungsinhalte vermittelt wurden, ihnen Vertrauen gegeben haben, das Gelernte umzusetzen (M=3,43 SD=.50).
Signifikante Zusammenhänge mit der Einschätzung des Lernerfolgs. Zur Überprüfung, inwieweit die Konzeption der Fortbildungsmaßnahme einen Einfluss auf die Einschätzung des Lernerfolgs der Teilnehmenden hat, wurde untersucht, ob diese in einem signifikanten Zusammenhang mit weiteren Faktoren steht. Dabei weisen die Daten Zusammenhänge zwischen verschiedenen Dimensionen des Fortbildungs- und Lern- bzw. Lerntransfererfolgs auf. Dabei stützt sich die Überlegung dieses Vorgehens an wissenschaftlich nachweislichen Befunden, dass zwischen der Einschätzung der Nützlichkeit und Relevanz einer Fortbildung einerseits und zwischen der Einschätzung des Lernerfolgs andererseits, ein Zusammenhang besteht (Lipowsky, 2010b, p. 42). Auch die Ergebnisse dieser Befragung können dies bestätigen, so zeigen die Ergebnisse, dass die Einschätzung des Lernerfolgs auch mit anderen Einschätzungen korreliert.

• der Fortbildungszufriedenheit allgemein (r=.581),
• Erfüllung der Wünsche/Erwartungen an die Fortbildung (r=569),
• der Lerntransfermotivation (r=.481) und
• der Transfervoraussetzung (r=.412)

Die Ergebnisse zeigen, dass je positiver die Angaben der Teilnehmenden, desto höher die Einschätzung des eigenen Lernerfolgs ist. So weisen Fortbildungszufriedenheit und die Erfüllung der Wünsche und Erwartungen an die Fortbildung einen hohen Zusammenhang auf (r>.500), während Lerntransfermotivation und Transfervoraussetzung einen mittleren bis hohen Zusammenhang aufweisen (r=>.300).
Kooperationsaktivität vor und nach der Fortbildung. Die Zusammenarbeit zwischen Lehrpersonen, gilt schon lange als Erfolgsindikator für Schul- und Unterrichtsentwicklung (Bonsen & Frey, 2014; Bonsen & Hübner, 2012; Fußangel & Gräsel, 2012). Aus diesem Grund, sollte Fortbildung Teilnehmende auch dazu anregen, systematisch zusammenarbeiten. Die Teilnehmenden wurden daher befragt, ob sie seit der Teilnahme an der Fortbildung, häufiger Formen der Zusammenarbeit wahrnehmen, als vorher. Zunächst weisen die Ergebnisse aus Thüringen dabei einen mittelmäßigen bis hohen Wert auf (M=2,70/ SD=.952 [vierstufige Skala: 4=trifft zu – 1=trifft nicht zu]). Vor dem Hintergrund der Bedeutsamkeit der Zusammenarbeit, bedarf dieses Ergebnis, jedoch einer genaueren Betrachtung. So zeigt eine Analyse der einzelnen Daten, dass 19 Personen (64%) der Teilnehmenden angaben, öfter an Formen der Kooperation teilzunehmen als vorher und 11 Personen (36%), dass sich in der Häufigkeit der Zusammenarbeit durch die Fortbildung nicht viel bis nichts verändert hat. Zieht man Daten, die vor der Fortbildung erhoben wurden hinzu, so zeigt sich, dass diejenigen, die angaben, dass sich nicht viel bis nichts an ihrer Kooperation mit anderen Lehrpersonen geändert hat,  schon vor der Fortbildung aktiv in Formen der Zusammenarbeit eingebunden waren (M=3,64/SD=.79 und M=4,5/SD=.79 [sechsstufige Skala: 1=Nie; 2=ein Mal im Jahr; 3=mehrere Male pro Jahr; 4=jeden Monat, 5=jede Woche, 6=jeden Tag). Dementsprechend lässt das Ergebnis zur Kooperationsaktivität nach der Fortbildung eine neue Interpretation zu, nämlich, dass die Fortbildung dazu beigetragen hat, dass Lehrkräfte, die zuvor weniger in Formen von Kooperation eingebunden waren, nach der Fortbildung mehr mit anderen Lehrpersonen zusammenarbeiten. Hingegen hat sich bei den Lehrkräften, die schon vorher eine hohe Kooperationsaktivität aufwiesen, höchstens eine leichte Veränderung ergeben, die in diesem Fall jedoch nicht als negativ zu bewerten ist.
Motivation zur Arbeit in Professionellen Lerngemeinschaften nach der Fortbildung. Die Zusammenarbeit zwischen den Lehrkräften, sollte zusätzlich durch die Bildung von Arbeitskreisen gestärkt werden. Diese sollten dazu dienen, innerhalb der Fortbildung und stellvertretend für professionelle Lerngemeinschaften außerhalb von Fortbildung zusammenarbeiten. Das Ziel war, die Lehrkräfte dafür zu sensibilisieren und zu trainieren, wie sie effektiv voneinander profitieren können, wenn sie auch nach der Fortbildung in professionellen Lerngemeinschaften zusammenzuarbeiten. Dazu wurden unterschiedliche Materialien zur Verfügung gestellt, die sie bei der Bildung sowie systematischen Zusammenarbeit dieser Kooperationsform, unterstützen sollen. Um den Fortbildungserfolg zu beurteilen, wurde daher auch danach gefragt, ob die Teilnehmenden sich vorstellen können, auch zukünftig, über die Fortbildung hinaus, in Professionellen Lerngemeinschaften mit anderen Kolleginnen und Kollegen zu kooperieren (M=3,57/SD=.568 [vierstufige Skala: 4=trifft zu – 1=trifft nicht zu]). Fast alle Lehrpersonen gaben an, dass sie diese Art der Zusammenarbeit auch zukünftig für ihren beruflichen Alltag nutzen möchten.
Fazit. Die ersten Ergebnisse zur Evaluation der Fortbildungsmaßnahme zeigen im Hinblick auf die Konzeption der Fortbildung Wirkung. Sie zeigen, dass sich die wissenschaftliche und praxisorientierte Basis der Fortbildung dazu geführt hat, dass die Teilnehmenden die Fortbildung nicht nur grundsätzlich als positiv wahrgenommen haben, sondern auch, dass die Fortbildung bei ihnen zu einem Lernerfolg geführt und sie zur Zusammenarbeit angeregt hat.
 
 
 
Literatur
Bonsen, M., & Frey, K. A. (2014). Lehrerkooperation als Grundlage für Lehrerprofessionalisierung. In R. Arnold & T. Prescher (Eds.), Schulentwicklung systemisch Gestalten. Wege zu einem lebensdigen und nachhaltigen Lernen in Schule und Unterricht (pp. 165-181). Köln: Carl Link.
Bonsen, M., & Hübner, C. (2012). Unterrichtsentwicklung in professionellen Lerngemeinschaften. In K.-O. Bauer & N. Logemann (Eds.), Effektive Bildung. Zur Wirksamkeit und Effizienz pädagogischer Prozesse (pp. 55-76). Münster: Waxmann.
Clasen, H. (2009). Die Messung von Lernerfolg: Eine grundsätzliche Aufgabe der Evaluation von Lehr- bzw. Trainingsinterventionen (Dissertation). Verfügbar unter  http://d-nb.info/1008623563/34 [09.08.2016].
Fußangel, K., & Gräsel, C. (2012). Lehrerkooperation aus der Sicht der Bildungsforschung. In B. Elisabeth, T.-S. Idel, & H. Ullrich (Eds.), Kollegialität und Kooperation in der Schule. Theoretische Konzepte und empirische Befunde (pp. 29-40). Wiesbaden: Springer.
Kirckpatrick, D. L., & Kirckpatrick, J. D. (2006). Evaluating Training Programs. The Four Levels (Third edition ed.). San Francisco: Barett-Koehler.
Lipowsky, F. (2010a). Die Wirksamkeit von Lehrer/innenfortbildung. Berufliches Lernen von Lehrerinnen/Lehrern im Rahmen von Weiterbildungsangeboten. news&science. Begabtenförderung und Begabungsforschung, 25 (2), 4-8.
Lipowsky, F. (2010b). Lernen im Beruf – Empirische Befunde zur Wirksamkeit von Lehrerfortbildung. In F. Müller, A. Eichenberger, M. Lüders, & J. Mayr (Eds.), Lehrerinnen und Lehrer lernen - Konzepte und Befunde zur Lehrerfortbildung (pp. 51–70). Münster: Waxmann.
Lipowsky, F. (2013). Lehrerfortbildung neu und weiter denken. Vortrag auf der AFB-Expertentagung zum Thema: "Die Reform der Lehrerbildung in Hessen aus der Sicht der Wissenschaft" [18.07.2016].
Lipowsky, F. (2014). Theoretische Perspektiven und empirische Befunde zur Wirksamkeit von Lehrerfort- und Weiterbildung. In E. Terhart, H. Bennewitz, & M. Rothland (Eds.), Handbuch der Forschung zum Lehrerberuf (pp. 511–541). Münster: Waxmann.