Wir haben KI-Wartungstools getestet. Hier ist, was wir gefunden haben.

Nach mehr als einem Jahr der Covid-19-Pandemie suchen Millionen Menschen in den USA nach Jobs. KI-basierte Bewerbungssoftware soll Arbeitgebern helfen, Bewerbungen zu sichten, um die besten Leute für den Job zu finden. Auf diese Technologie spezialisierte Unternehmen haben während der Pandemie eine Zunahme ihrer Aktivitäten gemeldet.

Doch mit der steigenden Nachfrage nach diesen Technologien steigen auch die Fragen nach ihrer Genauigkeit und Zuverlässigkeit. In der neuesten Folge des Podcasts „In Machines We Trust“ von MIT Technology Review haben wir Software von zwei Unternehmen getestet, die sich auf KI-Bewerbungsgespräche spezialisiert haben. Mein Interview und Seltsame Sache. Und wir haben Variationen in den Vorhersagen und Job-Match-Scores gefunden, die Bedenken darüber aufkommen lassen, was genau diese Algorithmen bewerten.

Lerne dich kennen

MyInterview misst die Merkmale, die im Big Five-Persönlichkeitstest berücksichtigt werden, einer psychometrischen Bewertung, die häufig im Einstellungsprozess verwendet wird. Zu diesen Merkmalen gehören Offenheit, Bewusstsein, Extrovertiertheit, Freundlichkeit und emotionale Stabilität. Curious Thing misst auch Persönlichkeitsmerkmale, aber anstelle der Big Five werden Bewerber nach anderen Metriken wie Demut und Belastbarkeit bewertet.

HILKE SCHELLMANN

Die Algorithmen analysieren die Antworten der Kandidaten, um Persönlichkeitsmerkmale zu bestimmen. MyInterview erstellt auch Scores, die angeben, wie gut ein Kandidat mit den Eigenschaften übereinstimmt, die von den Einstellungsmanagern als ideal für die Stelle identifiziert wurden.

Um unsere Tests abzuschließen, richten wir zunächst die Software ein. Wir haben auf MyInterview und Curious Thing eine gefälschte Stellenausschreibung für einen Büroadministrator / Forscher online gestellt. Als nächstes haben wir unseren idealen Kandidaten erstellt, indem wir Persönlichkeitsmerkmale ausgewählt haben, die das System erfordert.

Auf MyInterview haben wir Merkmale wie die Liebe zum Detail ausgewählt und nach Wichtigkeit geordnet. Wir haben auch Interviewfragen ausgewählt, die auf dem Bildschirm angezeigt werden, während der Kandidat die Videoantworten aufzeichnet. Auf Curious Thing haben wir Eigenschaften wie Demut, Anpassungsfähigkeit und Belastbarkeit ausgewählt.

Eine von uns, Hilke, hat sich dann auf die Stelle beworben und für die Stelle auf MyInterview und Curious Thing interviewt.

Unser Kandidat hatte ein Telefoninterview mit Curious Thing. Sie absolvierte zunächst ein reguläres Bewerbungsgespräch und erhielt 8,5 von 9 Punkten für ihre Englischkenntnisse. In einem zweiten Aufsatz stellte die automatisierte Interviewerin die gleichen Fragen und beantwortete sie jeweils, indem sie den Wikipedia-Eintrag für Psychometrie auf Deutsch las.

Trotzdem gab ihm Curious Thing 6 von 9 Punkten für seine Englischkenntnisse. Sie beendete das Interview erneut und erhielt dieselbe Punktzahl.

HILKE SCHELLMANN

Unser Kandidat wandte sich an MyInterview und wiederholte die Erfahrung. Sie las denselben Wikipedia-Eintrag laut auf Deutsch vor. Der Algorithmus lieferte nicht nur eine Persönlichkeitsbewertung, sondern sagte auch voraus, dass unsere Kandidatin 73 % der gefälschten Stelle erfüllen würde, was sie in der oberen Hälfte aller Kandidaten platzierte, bei denen wir uns bewerben wollten.