Warum sind validierte Fragebögen wichtig?

Die Ergebnisse eines 360-Grad-Feedbacks haben in der Regel gravierende finanzielle und menschliche Folgen für die persönliche und berufliche Entwicklung der Führungskräfte und für das Unternehmen. Ein Einschätzung (Diagnose) muss also „belastbar“ sein. Und das geht nur mit validierten Fragebögen.

Was ist Validität bei der Einschätzung von Kompetenzen? Es ist der Nachweis, dass bestimmte Verhaltensweisen (Aktionen) ein angestrebtes Ergebnis tatsächlich bewirken. Ein Beispiel ist die Frage, was eine Führungskraft in der Praxis konkret tun muss, um eine vertrauensvolle Beziehung zu seinen Mitarbeitern oder Kunden herzustellen oder um als Vorbild wahrgenommen zu werden?

Für einen solchen Nachweis ist eine ausreichend große Stichprobe von Befragten notwendig. Nur so kann man sicherstellen, dass Kompetenzen wie zum Beispiel „Vertrauensvolle Beziehungen herstellen“ oder „Vorbild sein“ in der Praxis etwas bewirken und nicht einfach nur „nice to have“ sind.

Eines der häufigsten Probleme besteht darin, dass ein Fragebogen zwar dafür gedacht ist, eine Kompetenz zu messen - tatsächlich gibt er aber Auskunft über die Beliebtheit einer Führungskraft. Ohne Validierung fällt dieser Unterschied oft gar nicht auf.

Viele Firmen, darunter auch DAX-Konzerne haben wegen fehlender Gütekriterien des Fragebogens (neben der Validität kommen noch die Reliabilität und Objektivität hinzu) mehr Schaden als Nutzen angerichtet. Um die Gütekriterien zu erfüllen, ist eine angemessene Stichprobe mit Vergleichsdaten als Benchmark notwendig. Was sagt eine gute Bewertung aus, wenn interne oder externe Konkurrenten bei einer Kompetenz wesentlich besser abschneiden? Ein Beispiel für einen validierten Fragebogen für Führungskompetenzen mit Angabe der Gütekriterien ist weiter unten aufgeführt.

Wird das 360-Grad-feedback zur Verbesserung der Management- und Führungskompetenzen eingesetzt, muss der Fragebogen "messbares" und veränderbares Verhalten erheben. Beispiele sind Kommunikations-, Team-, Entscheidungs- oder Konfliktverhalten. Ansonsten erzeugt man Frust. Geht es dagegen um Auswahlentscheidungen, muss man zusätzlich Persönlichkeitsmerkmale, Wertorientierungen und Motive einbeziehen. Diese nur schwer veränderbaren Merkmale sind für das zukünftige Verhalten einer Führungskraft oder eines Potenzialträgers extrem wichtig. Ein Grundsatz der Führungskräfteentwicklung besagt, die Führungsqualität und -kultur seien zu 80 Prozent ein Auswahl- und zu 20 Prozent ein Schulungsproblem.

Sowohl für die Einschätzung der Eignung (Auswahlproblem) als auch für die Einschätzung des Führungsverhaltens sind validierte Fragebögen notwendig – und beide Aspekte müssen sorgfältig voneinander getrennt werden.

Beispiele für verschiedene Fragebögen und Angaben zu ihren Gütekriterien finden Sie in unserem Management-Test-Center (Link und Angaben zur Validität und Reliabilität). Außerdem empfehlen wir das Merkblatt: "Qualität von Befragungen und Interviews" (pdf download).

Die Einschätzung der Management- und Führungskompetenzen in einem 360-Grad-Feedback liefert in der Regel ein Stärken-Schwächen-Profil dieser Fähigkeiten. Das Profil ist nur dann aussagekräftig, wenn man es mit den Profilen ähnlicher Zielgruppen vergleicht. Beispielsweise besagt eine hohe Ausprägung der Vorbildfunktion oder der unternehmerischen Haltung nicht viel, wenn die Benchmarks wesentlich höhere Werte aufweisen. Die Vergleichsdaten stammen aus der Validierungsstudie (Normierung).

Aus unserem Forschungsprojekt mit einer Stichprobe von inzwischen rund 30.000 Teilnehmern können wir Vergleichsdaten für die verschiedensten Zielgruppen als Benchmark generieren. Ein Beispiel wäre ein Profil der Führungskompetenzen von Ingenieuren in mittelständischen Unternehmen mit mindestens 5 Jahren disziplinarischer Führungserfahrung in der Altersklasse von 30 bis 40 Jahren.

Den meisten Kompetenzen, die wir im 360-Grad-Feedback einsetzen, liegt die Kriteriumsvalidität zugrunde. Es ist der Zusammenhang (Korrelation) zwischen einzelnen Kompetenzen und dem Erfolgsindex. Dieser besteht im Wesentlichen aus Persönlichkeitsmerkmalen herausragender Unternehmerpersönlichkeiten. Einzelheiten dazu findet man auf der Seite "Publikationen" (siehe auch das folgende Beispiel).

 

Beispiel: Gütekriterien für unseren Fragebogen zur Einschätzung von Führungskompetenzen

  • Reliabilität: Die Interne Konsistenz liegt zwischen α = .81 (Unternehmerische Haltung) und α = .88 (Ergebnisorientierung). Die Gesamtskala (42 Items) weist einen Wert für Cronbachs α von .969 auf. Die Trennschärfenanalyse ergab Werte von mindestens 0.5 für alle Items.
  • Validität: Als Außenkriterium (Kriteriumsvalidität) wurde die Korrelation mit dem Erfolgsindex (Persönlichkeitsmerkmale überdurchschnittlich erfolgreicher Unternehmer nach Csíkszentmihályi ermittelt. Sie erreichte einen Wert von .73). Zusätzlich durchgeführte Faktorenanalysen bestätigten eine gute konstruktvalidität. Die Items wiesen eine Faktorladung von mindestens .84 auf ihre jeweiligen Sub-Skalen auf.
  • Normen: Die Normierungsstichprobe umfasst insgesamt n = 14.348 Personen aus verschiedenen Bereichen und Funktionen mit verschiedenen demographischen Merkmalen. Dieser Stichprobenumfang erlaubt es, zahlreiche zielgruppenspezifische Normwerte zu ermitteln.

Eine Kurzform zum Ausprobieren finden Sie unter "Führungskompetenzen".

 

Unternehmensspezifischer validierter Fragebogen

Unser Institut verfügt über einen großen Pool validierter Management- und Führungskompetenzen, die in gewissen Grenzen an die Besonderheiten eines Unternehmens angepasst werden können. Manche Kunden wollen einen eigenen Fragebogen entwickeln und validieren. Falls Sie das beabsichtigen, nehmen Sie bitte Kontakt mit uns auf. Wir stellen Ihnen gern unsere Erfahrungen mit der Validierung zur Verfügung.