Hinweise zur Anwendung

Zielfelder, Prüffragen und Indikatoren

Für jedes der 12 Zielfelder gibt es 2 bis 3 Prüffragen, deren Beantwortung klären soll, inwiefern die zu evaluierende Innovation oder Maßnahme (I/M) einen Beitrag zum jeweiligen Ziel leistet. Dabei deckt jede Prüffrage einen zentralen Aspekt oder Teilbereich des jeweiligen Zielfeldes ab.

Für jede Prüffrage wiederum gibt es eine Reihe von Indikatoren, die geeignet sind, einen positiven bzw. negativen Effekt der I/M auf den jeweiligen Aspekt oder Teilbereich des Zielfeldes anzuzeigen. Sie sind untereinander nicht unbedingt trennscharf, sondern so ausgewählt und formuliert, dass der/die Anwender/in möglichst viele Facetten und potenzielle Wirkungsfelder des Aspekts/Teilbereichs in den Blick bekommt und damit die Betrachtung des Aspekts/Teil­bereichs möglichst umfassend und ganzheitlich erfolgen kann.

Insgesamt umfasst das Tool 12 Ziele, 32 Prüffragen (2 bis 3 pro Ziel) und 154 Indikatoren (zwischen 10 und 20 pro Ziel).

Bewertung

Bei der Anwendung des Tools auf eine konkrete I/M ist eine Bewertung auf allen 3 Ebenen vorzunehmen, also auf Indikator-, Prüffragen- und Zielebene. Dieses Scoring beruht auf einer farblich codierten Bewertungsskala.

Zu beachten ist, dass es sich um eine qualitative Bewertung handelt. Das heißt, dass die einzelnen Bewertungen nicht miteinander verrechnet werden können oder sich gegenseitig aufheben. Dementsprechend gibt es auch keinen sich mathematisch ergebenden, zusammenfassenden Gesamtwert. Bei einer ambivalenten Bewertung, die ebenfalls auf allen 3 Ebenen möglich ist, sind im Zweifelsfall 2 Farben zu vergeben.

Quellen-/Datenlage

Da es für die Evaluation einer I/M entscheidend sein kann, ob sich die Bewertung auf eine klare empirische Evidenzlage beispielsweise in Form eines Cochrane-Reviews stützen kann oder ob sie eher – aus Mangel an belastbaren Daten – aus dem subjektiven Erfahrungsschatz oder gar dem Bauchgefühl heraus getroffen werden muss, ist für die Ziel- und Prüffragenebene zusätzlich eine Bewertung der Quellen- bzw. Datenlage vorgesehen. Dazu werden die hier angezeigten Icons verwendet.

Wenn die Quellen-/Datenlage als schlecht eingestuft wird, kann das in vielen Fällen als Hinweis darauf gewertet werden, dass an dieser Stelle Forschungsbedarf besteht.

Ex ante oder ex post?

Die Anwendung des Tools ist in zweierlei Hinsicht möglich:

• als vorausschauende Evaluation (ex ante) im Sinne einer auf die Zukunft bezogenen Abschätzung der Folgen einer bestimmten Innovation oder Maßnahme für die 12 Zielfelder;
• als rückblickende Evaluation (ex post) im Sinne einer Beurteilung der empirisch bereits sichtbaren Folgen einer bestimmten Innovation oder Maßnahme für die 12 Zielfelder.

Definition der I/M

Bevor Sie mit der Anwendung beginnen, ist es wichtig, dass Sie die konkrete Innovation bzw. Maßnahme (I/M), die Sie mit Hilfe des Tools analysieren wollen, klar definieren. In vielen Fällen ist es außerdem sinnvoll zu überlegen, was genau die Vergleichsfolie für die Situation mit eingeführter/umgesetzter I/M ist.

Unterbrechen und löschen

Sie können die Anwendung jederzeit unterbrechen und mit Hilfe des Zugangscodes zu einem anderen Zeitpunkt fortsetzen bzw. bearbeiten. Außerdem können Sie alle Daten Ihrer Bewertung jederzeit vollständig und endgültig löschen.

Drucken und anderen zeigen

Um Ihre ZEIG-Analyse ausdrucken oder anderen zuschicken zu können, haben Sie zudem jederzeit die Möglichkeit, einen vollständigen Bericht in Form eines PDF-Dokuments zu erstellen. Der Bericht enthält die ZEIG-Ergebnisübersicht sowie alle Details Ihrer Bewertungen inklusive Ihrer Notizen. Wenn Sie davon nicht alles ausdrucken oder weitergeben wollen, lässt sich dies problemlos über einen selektiven Ausdruck oder ein Zuschneiden des PDF-Dokuments steuern.

Aufwand und Bearbeitungstiefe

Beachten Sie, dass eine ZEIG-Anwendung mit extrem unterschiedlichem Aufwand erfolgen kann. Sie ist einerseits „quick & dirty“ möglich, also in ungefähr 1 bis 2 Stunden, wenn Sie immer sofort eine Bewertung vornehmen, ohne groß zu überlegen oder Informationen einzuholen und ohne die Bewertung transparent zu begründen. Als ein erster, den weiteren Analyseprozess vorbereitender Schritt kann dies durch­aus sinnvoll sein. Die Qualität und Brauchbarkeit der Evaluation hängt in diesem Fall aber stark von Ihrer Expertise und Kompetenz ab. Andererseits kann eine einzelne Anwendung mehrere hoch qualifizierte Personen über Wochen und Monate in Anspruch nehmen, wenn zu allen relevanten Zielfeldern Informationen eingeholt, gegebenenfalls sogar neue Daten erhoben und analysiert, Bewertungen untereinander diskutiert und begründet werden. Ein solches Vorgehen schafft besonders günstige Voraussetzungen für eine robuste, belastbare und für Dritte nachvollziehbare Evaluation.

Subjektivität und Nachvollziehbarkeit

Allerdings wird selbst bei größtmöglicher Bearbeitungstiefe, Sorgfalt und Gewissenhaftigkeit die Anwendung des Tools immer ein subjektives Moment haben. Dadurch dass bei vielen Indikatoren und Prüffragen letztlich komplexe Sachverhalte in eine sechsstufige Bewertungsskala übersetzt werden müssen und schließlich auch noch eine zusammenfassende Bewertung für jedes Zielfeld vorzunehmen ist, lässt sich dies gar nicht vermeiden. Umso wertvoller ist die Funktion des Tools, diese Übersetzungen, Gewichtungen und Bewertungen für Sie und andere transparent und nachvollziehbar zu machen.

1. Setzen Sie sich mit den 12 Zielen einzeln auseinander (Reihenfolge ist beliebig) und bearbeiten Sie die 2 bis 3 Prüffragen (gedanklich) getrennt voneinander.
2. Die bei den Prüffragen aufgeführten Indikatoren weisen durch die in Klammern gesetzten Adjektive in die Richtung, für die ein positiver Einfluss bzw. positive Effekte angenommen werden können. Wenn Sie auf das gehen, das sich hinter den meisten Indikatoren befindet, werden Ihnen zusätzlich Beispiele oder Erläuterungen angezeigt.
3. Wann immer Ihnen ein Indikator relevant erscheint, klicken Sie auf ihn und halten Ihre Notizen und Überlegungen im Eingabefeld fest. Sollten Sie bei einem Indikator eine bestimmte Veränderung durch die I/M annehmen, markieren Sie ihn entsprechend der ZEIG-Bewertungsskala. Wird ein Aspekt von den Indikatoren nicht abgedeckt, versuchen Sie ihn unter den am nächsten liegenden Indikator zu subsumieren – der Aspekt sollte jedenfalls nicht unberücksichtigt bleiben, nur weil die Indikatoren ihn nicht abzudecken scheinen.
4. Haben Sie alle Indikatoren einer Prüffrage gedanklich geprüft, nehmen Sie das Scoring für die jeweilige Prüffrage vor. Benutzen Sie dafür die ZEIG-Bewertungsskala. Halten Sie auch hier Ihre Überlegungen oder Ihre Begründung für Ihre Einschätzung (im Notizen-Eingabefeld) fest.
5. Treffen Sie anschließend eine Auswahl mit Blick auf die Quellen- bzw. Datenlage, auf der Ihre Einschätzung beruht.
6. Beachten Sie, dass bei den Prüffragen und Indikatoren womöglich unterschiedliche Akteure betroffen sein oder unterschiedliche Vergleichsmaßstäbe herangezogen werden können oder verschiedene Zeithorizonte (kurzfristig/langfristig) zu berücksichtigen sind. Dafür gibt es kein standardisiertes oder standardisierbares Vorgehen. Machen Sie gegebenenfalls die daraus folgenden unterschiedlichen Bewertungen mit Hilfe Ihrer Notizen transparent. In manchen Fällen kann eine Abwägung der unterschiedlichen Effekte und eine Zusammenfassung („im Endeffekt / unterm Strich“) sinnvoll sein; in anderen Fällen ist es entscheidend, die ambivalenten Effekte so stehen zu lassen und bis auf die Ebene der ZEIG-Ergebnisübersicht sichtbar zu halten.
7. Sollte die Bewertung einer Prüffrage nicht einheitlich, sondern ambivalent ausfallen, vergeben Sie eine 2. Bewertung. Gleiches gilt für das Scoring des Zielfeldes. Auf diese Weise bleibt eine ambivalente Bewertung auch im Gesamtergebnis sichtbar.
8. Haben Sie alle 2 bis 3 Prüffragen des jeweiligen Ziels bearbeitet, nehmen Sie eine zusammenfassende Einschätzung für das Zielfeld vor. Verwenden Sie dafür erneut die ZEIG-Bewertungsskala. Halten Sie auch hier Ihre Überlegungen oder Ihre Begründung für Ihre Einschätzung (im Notizen-Eingabefeld) fest. Beachten Sie, dass diese zusammenfassende Einschätzung für eine etwaige Diskussion mit anderen essentiell ist. Geben Sie außerdem noch eine zusammenfassende Bewertung der Quellen- bzw. Datenlage für die Gesamteinschätzung des Ziels an.
9. Wenden Sie Tool und Scoring nicht zu formalistisch an. Letztlich handelt es sich hier um eine qualitativ und oftmals auch subjektiv gefärbte Evaluation, die durch das Tool allerdings transparent gemacht wird. Das heißt insbesondere: „Verrechnen“ Sie nicht einfach verschiedene Bewertungen miteinander und überlegen Sie auf jeder Ebene (Indikatoren – Prüffragen – Ziel) neu, ob sich ein relevanter Einfluss/Effekt beobachten lässt. Ob 3 mit „blass grün“ bewertete Indikatoren auch zu einer mit „blass grün“ bewerteten Prüffrage und dies dann zu einem mit „blass grün“ oder aber zu einem mit „grau“ bewerteten Zielfeld führt, ist kein Automatismus, sondern sollte von Fall zu Fall entschieden und entsprechend inhaltlich begründet werden.
10. Die Bewertung jedes Zielfelds (und jeder Prüffrage) wird Ihnen automatisch in der ZEIG-Ergebnisübersicht angezeigt. Nach Bewertung aller 12 Zielfelder sehen Sie hier das Gesamtergebnis Ihrer Evaluation.

ZEIG-Online bietet Ihnen die Möglichkeit, eine Innovation oder Maßnahme (I/M) durch eine Gruppe bewerten zu lassen. Für eine solche Gruppenbewertung werden in der ZEIG-Ergebnisübersicht die Einzelbewertungen von beliebig vielen Mitgliedern einer Gruppe automatisch zusammengeführt. Damit wird unmittelbar sichtbar, bei welchen Zielfeldern und Prüffragen die Gruppenmitglieder in ihrer Bewertung übereinstimmen und wo die Bewertungen auseinandergehen.

Vorgehen Gruppenbewertung

1. Bestimmen Sie einen Gruppenleiter.
2. Wenn sich die Gruppe auf die zu bewertende I/M verständigt hat, startet der Gruppenleiter eine neue Bewertung und überträgt die ausgewählte I/M ins entsprechende Eingabefeld.
3. In seinen Einstellungen findet der Gruppenleiter den Gruppencode. Diesen teilt er allen Gruppenmitgliedern mit.
4. Alle Gruppenmitglieder können nun – unter Verwendung des Gruppencodes – der Gruppe beitreten und beginnen, die I/M zu bewerten (Einzelbewertung). Die Gruppenmitglieder sehen in ihrer ZEIG-Ergebnisübersicht nur die Ergebnisse ihrer eigenen Bewertung, nicht aber die der anderen Gruppenmitglieder (um ungewollte Beeinflussungen zu vermeiden).
5. Der Gruppenleiter kann in seinen Einstellungen entscheiden, ob seine eigene Bewertung in die der Gruppe einfließen soll oder nicht. Nur er kann die ZEIG-Ergebnisübersicht der Gruppenbewertung sehen (die Notizen der Gruppenmitglieder werden nicht angezeigt). Dieses Gruppenergebnis kann er allen Gruppenmitgliedern zugänglich machen, indem er einen Bericht erstellt (PDF-Dokument). Wie alle Nutzer/innen kann er die ZEIG-Ergebnisübersicht seiner eigenen Einzelbewertung ebenfalls sehen und bearbeiten. Auf die Einzelbewertungen der anderen Gruppenmitglieder hat er keinen Zugriff.

Interpretation der Gruppenergebnisse

Bitte beachten Sie bei der Interpretation der ZEIG-Ergebnisübersicht im Gruppenmodus:

• Wenn ein Zielfeld oder ein Teilbereich eine einzige Farbe der ZEIG-Bewertungsskala trägt, bedeutet das: Alle Gruppenmitglieder haben die gleiche Bewertung vorgenommen. Bei mehreren Farben werden diese den Bewertungen der Gruppenmitglieder entsprechend proportional angezeigt (Sonderfall: bei einer ambivalenten Bewertung zählen beide Angaben eines Gruppenmitglieds jeweils als vollwertige Bewertungen, also genauso viel wie zwei eindeutige Bewertungen von zwei Gruppenmitgliedern).
• Wenn bei einem Zielfeld die Quellen-/Datenlage mit „gut/belastbar“, „schlecht/nicht belastbar“ oder „nicht relevant/anwendbar“ angezeigt wird, bedeutet das: Alle Gruppenmitglieder, die hier eine Angabe gemacht haben, sind sich bei der Einschätzung der Quellen-/Datenlage einig. Wenn sie mit „nicht angegeben“ angezeigt wird, hat niemand eine Angabe gemacht. Wenn sie mit „teils-teils“ angezeigt wird, waren sich die Gruppenmitglieder entweder alle in eben dieser Einschätzung einig oder aber sie haben unterschiedliche Angaben gemacht.