Forschenden des Karlsruher Instituts für Technologie (KIT) und der Universität Duisburg Essen ist es gelungen, mithilfe computergestützter neuronaler Netzwerke affektive Zustände anhand der Körpersprache von Tennisspielerinnen und -spielern während des Spiels präzise zu identifizieren. Erstmals wurde dazu ein auf Künstlicher Intelligenz (KI) basierendes Modell mit Daten aus echten Wettbewerbsszenen trainiert. Die in der Fachzeitschrift Knowledge-Based Systems veröffentlichte Studie zeigt, dass KI Körpersprache und Emotionen ähnlich genau bewerten kann wie ein Mensch, sie verweist aber auch auf ethische Aspekte. (DOI: 10.1016/j.knosys.2024.111856)

Für die Studie „Erkennung emotionaler Zustände aus dem expressiven Verhalten von Tennisspielerinnen und -spielern mithilfe konvolutionaler neuronaler Netze“ haben Forschende aus Sportwissenschaft, Softwareentwicklung sowie Informatik des KIT und der Universität Duisburg Essen ein spezielles KI-Modell entwickelt. Mit computergestützten Programmen zur Mustererkennung analysierten sie Videoaufnahmen von Tennisspielerinnen und -spielern während echter Wettkämpfe.

68,9 Prozent Trefferquote

„Unser Modell erkennt affektive Zustände mit einer Genauigkeit von bis zu 68,9 Prozent. Das ist sowohl mit der Bewertung durch menschliche Beobachtende als auch mit früheren automatisierten Methoden vergleichbar und diesen teilweise sogar überlegen“, erklärt Studienleiter Professor Darko Jekauc vom Institut für Sport und Sportwissenschaft (IfSS) des KIT.

Ein wichtiges Alleinstellungsmerkmal der Studie ist, dass das Projektteam das KI-System nicht anhand simulierter oder gestellter Situationen, sondern mit realen Szenen trainierte. Dazu nahmen die Forschenden in einem festgelegten Setting Videosequenzen von 15 Tennisspielerinnen und -spielern auf. Im Fokus stand die Körpersprache bei einem Punktverlust oder einem Punktgewinn. Auf den Videos waren Spielerinnen und Spieler mit sogenannten Cues zu sehen, also mit Hinweisreizen wie gesenktem Kopf, jubelnd in die Luft geworfenen Armen, hängendem Schläger oder Unterschieden in der Gehgeschwindigkeit, anhand derer der affektive Zustand der Spielerinnen und Spieler identifiziert werden konnte.

Gefüttert mit diesen Daten lernte die KI die körpersprachlichen Signale unterschiedlichen affektiven Reaktionen zuzuordnen und zu erkennen, ob ein Punkt gewonnen (positive Körpersprache) oder verloren (negative Körpersprache) wurde. „Das Training in natürlichen Kontexten bedeutet einen wesentlichen Fortschritt hinsichtlich der Erkennung echter emotionaler Zustände und ermöglicht Vorhersagen in realen Szenarien“, erklärt Jekauc.

Mensch und Maschine erkennen negative Emotionen besser als positive

Die Forschungsarbeit zeigt nicht nur, dass KI-Algorithmen in Zukunft menschliche Beobachtende in der Emotionserkennung übertreffen könnten. Die Auswertung hat einen weiteren interessanten Aspekt zutage gefördert: Sowohl die KI als auch Menschen sind besser darin, negative Emotionen zu erkennen. „Das liegt möglicherweise daran, dass diese durch ihre deutlicheren Ausdrucksformen einfacher zu identifizieren sind“, erklärt Jekauc. „Psychologische Theorien deuten darauf hin, dass Menschen evolutionär mehr darauf eingestellt sind, negative emotionale Ausdrücke wahrzunehmen. Etwa, weil es für den sozialen Zusammenhang entscheidend ist, Konflikte rechtzeitig zu entschärfen.“

Vor Anwendung: Klärung ethischer Aspekte notwendig

Die Studie sieht für eine realitätstaugliche Emotionserkennung zahlreiche Einsatzfelder im Sport, von der Optimierung von Trainingsmethoden, Teamdynamiken und der Leistungssteigerung bis zur Burn-out-Prävention. Zudem könnten weitere Bereiche von einer zuverlässigen Früherkennung emotionaler Zustände profitieren, etwa im Gesundheitswesen, in Bildungseinrichtungen, in der Kundenbetreuung und im Bereich der Automobilsicherheit.

„Obwohl diese Technologie perspektivisch erhebliche Vorteile bietet, müssen die damit verbundenen potenziellen Risiken berücksichtigt werden, insbesondere in Bezug auf Privatsphäre und Datenmissbrauch“, betont Jekauc. „Unsere Studie hat sich streng an vorhandenen ethischen Richtlinien und Datenschutzbestimmungen orientiert. Auch mit Blick auf künftige Anwendungen einer solchen Technologie in der Praxis ist es unabdingbar, ethische und rechtliche Fragen vorab zu klären.“

Originalpublikation

Darko Jekauc, Diana Burkart, Julian Fritsch, Marc Hesenius, Ole Meyer, Saquib Sarfraz,
Rainer Stiefelhagen: Recognizing affective states from the expressive behavior of tennis players using convolutional neural networks. Knowledge-Based Systems, Vol. 295, 2024. DOI: 10.1016/j.knosys.2024.111856

Als „Die Forschungsuniversität in der Helmholtz-Gemeinschaft“ schafft und vermittelt das KIT Wissen für Gesellschaft und Umwelt. Ziel ist es, zu den globalen Herausforderungen maßgebliche Beiträge in den Feldern Energie, Mobilität und Information zu leisten. Dazu arbeiten rund 10 000 Mitarbeiterinnen und Mitarbeiter auf einer breiten disziplinären Basis in Natur-, Ingenieur-, Wirtschafts- sowie Geistes- und Sozialwissenschaften zusammen. Seine 22 800 Studierenden bereitet das KIT durch ein forschungsorientiertes universitäres Studium auf verantwortungsvolle Aufgaben in Gesellschaft, Wirtschaft und Wissenschaft vor. Die Innovationstätigkeit am KIT schlägt die Brücke zwischen Erkenntnis und Anwendung zum gesellschaftlichen Nutzen, wirtschaftlichen Wohlstand und Erhalt unserer natürlichen Lebensgrundlagen. Das KIT ist eine der deutschen Exzellenzuniversitäten.