Künstliche Intelligenz in der Psychotherapie Chancen – Grenzen – Verantwortung Seminar: Maschinenethik, Juli 2026 Referentinnen: Laura Kohlstadt, Anastasia Luna Seel, Paula Tremper Leitfrage Kann Künstliche Intelligenz therapeutische Verantwortung übernehmen? Problemstellung Psychische Erkrankungen nehmen weltweit kontinuierlich zu, während gleichzeitig ein erheblicher Mangel an psychotherapeutischen Versorgungsangeboten besteht. Dadurch entstehen lange Wartezeiten und eine wachsende Versorgungslücke. Large Language Models (LLMs) bieten durch ihre ständige Verfügbarkeit und niedrigen Zugangshürden die Möglichkeit, psychotherapeutische Prozesse zu unterstützen. Gleichzeitig wirft ihr Einsatz grundlegende maschinenethische Fragen auf: Können KI-Systeme Verantwortung übernehmen? Welche Grenzen ergeben sich aus fehlender Empathie, algorithmischen Fehlentscheidungen und ungeklärten Verantwortlichkeiten? Wissenschaftliche Perspektiven Die beiden Seminarpaper untersuchen dieselbe Fragestellung aus unterschiedlichen Perspektiven. Ohu et al. (2025) verfolgen einen normativen Ansatz und beschäftigen sich mit der Frage, unter welchen ethischen und regulatorischen Voraussetzungen KI in der Psychotherapie eingesetzt werden darf. Das Paper entwickelt einen theoretischen Rahmen für einen verantwortungsvollen KI-Einsatz. Weber et al. (2026) verfolgen einen empirischen Ansatz und untersuchen anhand realer Gesprächsdaten, wie zuverlässig Large Language Models psychische Krisen und Suizidgefahr erkennen können. Erst die Kombination beider Arbeiten ermöglicht eine umfassende maschinenethische Bewertung. Ohu et al. (2025) Public Health Risk Management, Policy, and Ethical Imperatives in the Use of AI Tools for Mental Health Therapy Ziel Das Paper entwickelt einen ethischen und regulatorischen Rahmen für den verantwortungsvollen Einsatz von Large Language Models in der Psychotherapie. Zentrale Erkenntnisse LLMs können den Zugang zu psychologischer Unterstützung verbessern und therapeutische Prozesse sinnvoll ergänzen. Dennoch besitzen sie weder Bewusstsein noch echte Empathie oder moralische Urteilsfähigkeit. Empathische Antworten beruhen ausschließlich auf der statistischen Analyse sprachlicher Muster und stellen daher lediglich eine simulierte Empathie dar. Darüber hinaus weisen die Autoren auf Risiken wie Halluzinationen, algorithmischen Bias, Datenschutzprobleme und ungeklärte Verantwortlichkeiten hin. Therapeutische Verantwortung darf deshalb nicht an KI-Systeme delegiert werden. Als Lösungsansatz entwickeln die Autoren das LLM Therapy Governance Model , das Human Oversight, Transparenz, Datenschutz, klinische Validierung, kulturelle Anpassung und regulatorische Kontrolle als zentrale Voraussetzungen eines verantwortungsvollen KI-Einsatzes beschreibt. Kernaussage: KI soll therapeutische Fachkräfte unterstützen ( Augmented Intelligence ), jedoch niemals ersetzen. Weber et al. (2026) Suicide- and Crisis-Risk Detection Using Large Language Models in Mental-Health Chatbots Ziel Die Studie untersucht, ob Large Language Models psychische Krisen und Suizidgefahr zuverlässig erkennen können. Studiendesign Die Autoren analysierten 3.608 reale Gespräche des Mental-Health-Chatbots Sonia . Daraus wurden 200 kritische Gesprächsausschnitte ausgewählt und von fünf klinischen Expertinnen und Experten unabhängig bewertet. Die Mehrheitsentscheidung diente als Referenz für die Bewertung des KI-Systems. Alle Modelle verwendeten dasselbe GPT-5-Modell . Es erfolgte kein zusätzliches Training oder Fine-Tuning . Ausschließlich die System-Prompts wurden verändert. Dadurch entstanden fünf Sensitivitätsstufen: • Extreme Low • Low • Medium • High • Extreme High Ergebnisse Mit steigender Sensitivität erkannte das Modell zunehmend mehr Krisensituationen. Gleichzeitig nahm jedoch auch die Zahl der Fehlalarme zu. Ein False Positive beschreibt einen Fehlalarm, bei dem eine Krise erkannt wird, obwohl keine akute Gefährdung besteht. Ein False Negative liegt vor, wenn eine tatsächliche Krise übersehen wird. Bei der höchsten Sensitivitätsstufe wurden 100 % aller Krisen erkannt , allerdings um den Preis einer deutlich höheren Anzahl an False Positives. Die Studie zeigt damit den grundlegenden Zielkon fl ikt zwischen maximaler Sicherheit und einer steigenden Anzahl unnötiger Warnmeldungen. Kernaussage: LLMs können psychische Krisen mit hoher Genauigkeit erkennen und therapeutische Fachkräfte sinnvoll unterstützen, ersetzen jedoch keine menschliche Verantwortung. Vergleich der beiden Paper Schlüsselbegri ff e • Large Language Model (LLM): KI-System zur Verarbeitung und Generierung natürlicher Sprache auf Basis großer Textmengen. • Mental-Health Chatbot: Dialogbasiertes KI-System zur psychologischen Unterstützung, das therapeutische Prozesse ergänzen, jedoch keine Therapie ersetzen kann. • Augmented Intelligence: Mensch-KI-Kooperationsmodell, bei dem KI den Menschen unterstützt, die Verantwortung jedoch beim Menschen verbleibt. Ohu et al. (2025) Weber et al. (2026) Normatives Perspective Paper Empirische Forschungsstudie Fokus auf Ethik und Verantwortung Fokus auf technische Leistungsfähigkeit Fragt: Was darf KI? Fragt: Was kann KI? Entwickelt einen Governance- Rahmen Testet die Krisenerkennung anhand realer Daten Mensch bleibt verantwortlich KI unterstützt die klinische Entscheidungs fi ndung • Ethics of Care: Ethischer Ansatz, der Fürsorge, Verantwortung und zwischenmenschliche Beziehungen als Grundlage moralischen Handelns versteht. • Human Oversight: Verp fl ichtende menschliche Kontrolle und Letztentscheidung über KI- gestützte Prozesse. • Halluzinationen: Sachlich falsche oder frei erfundene Inhalte, die von einem KI-System überzeugend formuliert werden. • Algorithmischer Bias: Systematische Verzerrungen, die durch Trainingsdaten oder Modellstrukturen entstehen und zu unfairen Entscheidungen führen können. • Suizid- und Krisenerkennung: Automatisierte Identi fi kation sprachlicher Hinweise auf psychische Krisen zur frühzeitigen Einleitung menschlicher Unterstützung. • False Positive: Fälschliche Erkennung einer Krise. • False Negative: Übersehen einer tatsächlich vorhandenen Krise. • LLM Therapy Governance Model: Von Ohu et al. entwickeltes Modell für einen ethisch verantwortbaren KI-Einsatz mit den Schwerpunkten Human Oversight, Transparenz, Datenschutz, klinische Validierung und Regulierung. • Simulierte Empathie: Sprachlich überzeugende Darstellung empathischer Reaktionen ohne tatsächliches emotionales Erleben. • Accountability: Zurechenbarkeit und Verantwortung für Entscheidungen und deren Folgen. Maschinenethische Einordnung Der Einsatz von KI in der Psychotherapie ist nicht nur eine technische, sondern vor allem eine ethische Herausforderung Zentrale Fragestellungen sind: • Verantwortung (Accountability) für KI-gestützte Entscheidungen • Grenzen maschineller Entscheidungsfähigkeit (Moral Agency) • Schutz sensibler Gesundheitsdaten und informationelle Selbstbestimmung Nach dem Konzept der Ethics of Care basiert Psychotherapie auf: • Vertrauen • Fürsorge • Empathie • langfristigen therapeutischen Beziehungen → Diese Form zwischenmenschlicher Verantwortung kann KI nicht übernehmen. Die Ergebnisse von Weber et al. zeigen, dass LLMs psychische Krisen mit hoher Genauigkeit erkennen und dadurch die Patientensicherheit verbessern können. Voraussetzung für einen verantwortungsvollen Einsatz ist eine kontinuierliche Human Oversight , sodass therapeutische Entscheidungen jederzeit von quali fi zierten Fachpersonen überprüft und verantwortet werden. Beide Paper sprechen sich für ein menschenzentriertes Kooperationsmodell (Augmented Intelligence) aus: • KI übernimmt analytische und unterstützende Aufgaben. • Der Mensch behält die Verantwortung , moralische Urteilsfähigkeit und die therapeutische Beziehung Fazit Die beiden Paper ergänzen sich komplementär: Ohu et al. beantworten die normative Frage, unter welchen ethischen Bedingungen KI eingesetzt werden darf , während Weber et al. empirisch untersuchen, wie leistungsfähig KI bei der Erkennung psychischer Krisen tatsächlich ist . Gemeinsam kommen beide Arbeiten zu dem Schluss, dass Large Language Models die psychotherapeutische Versorgung sinnvoll erweitern können, jedoch keine autonome therapeutische Verantwortung übernehmen dürfen. Die Zukunft liegt in einer verantwortungsvollen Mensch-KI-Kooperation , die technologische Innovation mit ethischer Verantwortung verbindet. Literatur • Ohu, et al. (2025). Public Health Risk Management, Policy, and Ethical Imperatives in the Use of AI Tools for Mental Health Therapy. • Weber, S., et al. (2026). Suicide- and Crisis-Risk Detection Using Large Language Models in Mental-Health Chatbots. .