magnolia psychometrics sucht nach Partnerschaften im Rahmen einer Pilotphase zur Testung unseres neuen KI-Modells Lunaria. Als erstes kommerzielles Modell liefert Lunaria genauere Vorhersagen und ermöglicht dank erklärbarer künstlicher Intelligenz fundiertere Entscheidungen bei der Entwicklung von Fragebögen und Tests.
Lunaria schätzt allein anhand des Wortlauts, wie stark die Antworten auf zwei Items (d. h. Fragen oder Aussagen eines Fragebogens) miteinander korrelieren. Aus denselben Texten sagt das Modell auch Korrelationen zwischen Skalen und deren Reliabilität vorher (d. h. ihre Messgenauigkeit, ausgedrückt als Cronbachs α).
Anwendungsfälle
Mit Lunaria lassen sich empirische Fragen beantworten, ohne Daten zu erheben. Die Vorhersagen des Modells weichen im Mittel etwa so stark von den beobachteten Korrelationen ab, wie es bei einer Befragung von 71 Teilnehmenden allein durch den Stichprobenfehler zu erwarten ist (d. h. durch die zufällige Schwankung, der jede Stichprobe unterliegt). Statt 71 Personen zu befragen, erhalten Sie die Antwort sofort und zu einem Bruchteil der Kosten. Vor wichtigen Entscheidungen empfehlen wir dennoch, die Ergebnisse mit empirischen Daten abzusichern.
Dieselben Vorhersagen helfen auch bei der Entwicklung von Fragebögen und Tests. Das Modell erkennt Items, die schlecht zu ihrer Skala passen oder ein anderes Item nur wiederholen, und Skalen, die unter verschiedenen Namen dasselbe messen. Zudem lassen sich Kurzformen erstellen, die eine angestrebte Reliabilität erreichen.
Validierung
Lunaria wurde anhand von Befragungsdaten getestet, die nicht im Trainingsdatensatz des Modells enthalten waren, und mit mehreren anderen Modellen verglichen. Berichtet wird hier der Vergleich mit einem der bislang führenden Modelle, dem SurveyBot3000.[1] Über 30.008 Itempaare hinweg korrelieren Lunarias Vorhersagen zu r = .79 mit den beobachteten Korrelationen, die von SurveyBot3000 dagegen zu r = .57 (Abbildung 1).
Erklärbare Merkmale
Bisherige KI-Modelle sagen lediglich die Stärke der Korrelation vorher. Im Kontrast dazu schätzt Lunaria die Korrelation nicht nur genauer, sondern erklärt auch, warum zwei Items oder Skalen korrelieren. Dazu zerlegt das Modell jede Vorhersage in Gruppen von Merkmalen: Konstruktausrichtung, allgemeine Ähnlichkeit, Antwortstatistiken, Einschätzungen des Wortlauts, inhaltliche Kategorien und sprachliche Merkmale. Abbildung 2 zeigt eine Auswahl davon für zwei Items zum Wahlverhalten.
Beide Items betreffen das Wahlverhalten, jedoch von entgegengesetzten Seiten des politischen Spektrums. Item A beschreibt eine dauerhafte Gewohnheit, Item B eine einzelne Handlung. Entsprechend stuft Lunaria A als stabile Eigenschaft und B als vorübergehenden Zustand ein, B zudem als konkreter. Dabei versucht Lunaria, zwei Fragen auseinanderzuhalten, die in einer einzelnen Korrelation zusammenfallen. Die Konstruktausrichtung gibt an, ob zwei Items dasselbe Konstrukt erfassen (d. h. die Eigenschaft oder Einstellung, die gemessen werden soll) und ob sie es gleich- oder gegenläufig erfassen. Die vorhergesagte Korrelation gibt an, wie stark die Antworten zusammenhängen. Zwei Items können also klar auf dasselbe Konstrukt ausgerichtet sein und dennoch nur mäßig korrelieren.
Pilotphase
Lunaria v0 befindet sich in der Betaphase. Wir suchen Organisationen, die psychologische Tests oder Fragebögen entwickeln oder pflegen und das Modell an eigenen Items erproben möchten. Pilotpartner erhalten für etwa drei Monate frühzeitigen Zugang mit großzügigen Abfragelimits und gestalten das Modell mit ihrem Feedback mit.
Lunarias Vorhersagen empirischer Korrelationen und Reliabilitäten sind gründlich geprüft und robust. Einige der erklärbaren Merkmale sind dagegen noch experimentell, und das Feedback aus der Pilotphase hilft, sie weiterzuentwickeln.
Die Anmeldung ist bis Ende Februar 2027 möglich. Für eine Teilnahme hinterlassen Sie gerne unten Ihre Kontaktdaten.