Algorithmic governance of care

Künstliche Intelligenz (KI) findet zunehmend Verbreitung im Gesundheits- und Pflegebereich und verspricht mehr Effizienz, verbesserte Sicherheit und eine bessere Unterstützung für Pflegekräfte. Aber wie funktionieren diese Technologien in der Praxis und welche Auswirkungen haben sie auf Pflegebeziehungen, Arbeitsabläufe und das Leben älterer Menschen? Das ALGOCARE-Projekt hat sich zum Ziel gesetzt, diese Fragen zu beantworten, indem es KI-Systeme untersucht, die bereits in österreichischen und internationalen Langzeitpflegeeinrichtungen im Einsatz sind.

Anstatt von technischen Modellen oder Laborbedingungen auszugehen, verfolgte ALGOCARE einen innovativen Ansatz: Wir gingen direkt in Pflegeheime und beobachteten KI „in Aktion“. Unser Team führte 40 Interviews mit Pflegekräften, Managern, Bewohnern, Entwicklern und anderen Interessengruppen durch und verbrachte über 80 Stunden mit teilnehmender Beobachtung – wir begleiteten das Pflegepersonal während der Tag- und Nachtschichten, machten Feldnotizen und dokumentierten die alltäglichen Interaktionen mit KI-Tools.

Wir untersuchten drei Arten von KI-Technologien:

• Sturzerkennungssensoren – 3D-Sensoren, die Bewegungsmuster wie Stürze erkennen.
• Soziale Roboter – humanoide oder tierähnliche Roboter mit Sprach- und Gesichtserkennung.
• KI-basierte Schmerzerkennung – zur Unterstützung bei nicht verbal kommunizierbaren Schmerzen.

Unsere Forschung ergab, dass diese Technologien niemals „nur technische Hilfsmittel” sind. Sie werden von sozialen, wirtschaftlichen und institutionellen Kontexten geprägt – und prägen diese wiederum. Das Schmerzerkennungssystem beispielsweise wurde zwar als fortschrittliche KI vermarktet, funktionierte aber eher wie ein digitaler Fragebogen. Es standardisierte die täglichen Schmerzbewertungen, ersetzte flexiblere Kontrollen und trug zur Effizienz in der Pflege bei. Allerdings verstärkte es auch die Vorstellung von Bewohnern als passive Empfänger von Pflege, warf ethische Fragen hinsichtlich der Einwilligung auf und stützte sich auf die vermeintliche Neutralität der Technologie, um Entscheidungen zu legitimieren.

Eine wichtige Erkenntnis ist, dass Erklärbarkeit – in der KI-Forschung oft als technisches Ziel diskutiert – für Menschen, die in der Pflege arbeiten oder Pflege erhalten, nur dann von Bedeutung ist, wenn sie aus einer breiteren soziotechnischen Perspektive betrachtet wird. In der Langzeitpflege sind Vertrauenswürdigkeit, Teilhabe und die alltäglichen Realitäten der Pflegearbeit wichtiger als rein technische Transparenz.

ALGOCARE erweiterte auch das Verständnis von „Bias” in der KI. Bias entsteht nicht nur aus Daten oder Algorithmen, sondern ist in das gesamte soziotechnische „Gefüge” der Pflege eingebettet: die Beziehungen zwischen Menschen, Institutionen, Technologien und sogar den physischen Räumen, in denen Pflege stattfindet. Das Erkennen dieser Komplexität ist unerlässlich für die Entwicklung einer KI, die Würde, Autonomie und sinnvolle menschliche Interaktion in Pflegeeinrichtungen wirklich unterstützt.

Durch die interdisziplinäre Zusammenarbeit zwischen Sozialwissenschaftlern, Informatikern und Partnern aus dem Gesundheitswesen entwickelte ALGOCARE neue Wege, KI in realen Kontexten zu untersuchen. Die Erkenntnisse des Projekts tragen zu internationalen Debatten darüber bei, wie eine menschenzentrierte, ethisch fundierte KI geschaffen werden kann – und wie sichergestellt werden kann, dass neue Technologien im Bereich Alter und Pflege unter Einbeziehung und Berücksichtigung der Bedürfnisse älterer Menschen entwickelt und umgesetzt werden.