Jörg Moldenhauer Automatische Erkennung von Zuständen in Anthropomatiksystemen Automatische Erkennung von Zuständen in Anthropomatik- systemen von Jörg Moldenhauer Universitätsverlag Karlsruhe 2006 Print on Demand ISBN-13: 978-3-86644-068-5 ISBN-10: 3-86644-068-5 Impressum Universitätsverlag Karlsruhe c/o Universitätsbibliothek Straße am Forum 2 D-76131 Karlsruhe www.uvka.de Dieses Werk ist unter folgender Creative Commons-Lizenz lizenziert: http://creativecommons.org/licenses/by-nc-nd/2.0/de/ Dissertation, Universität Karlsruhe (TH) Fakultät für Informatik, 2005 Automatische Erkennung von Zuständen in Anthropomatiksystemen Zur Erlangung des akademischen Grades eines Doktors der Ingenieurwissenschaften der Fakultät für Informatik der Universität Fridericiana zu Karlsruhe (TH) genehmigte Dissertation von Jörg Moldenhauer aus Karlsruhe Tag der mündlichen Prüfung: 20. Dezember 2005 Erster Gutachter: Prof. Dr. Rüdiger Dillmann Zweiter Gutachter: Prof. Dr. Jürgen Beyerer Danksagung An dieser Stelle möchte ich mich bei all denjenigen bedanken, die zum Gelingen meiner Arbeit beigetragen haben. Mein erster Dank gilt meinem Doktorvater Professor Dr. Tho- mas Beth, der mir am IAKS die Arbeit an spannenden Projekten ermöglicht hat und der mir in gemeinsamen Gesprächen und Seminaren neue Sichtweisen zur Lösung von wissen- schaftlichen Aufgabenstellungen gegeben hat. Leider ist Professor Beth zu früh verstorben, um meine Arbeit bis zum Ende zu begleiten. Mein besonderer Dank richtet sich deshalb an Professor Dr. Rüdiger Dillmann, der nach dem Tode von Professor Beth die Betreuung meiner Promotion übernommen hat und der durch die gemeinsamen Projekte ebenfalls großen Einfluss auf meine Arbeit hatte. Mein weiterer Dank gilt Professor Dr. Jürgen Beyerer für die spontane Übernahme des Korreferats zu meiner Dissertation. Mein Dank geht auch an die Kollegen am IAKS für die vielen anregenden Diskussionen, die wir nicht nur beim gemeinsamen Kuchenessen hatten. Besonders zu erwähnen sind Matthias Hahn, der mit mir die Stellung der „Mediziner“ gehalten hat, und Ingo Boes- nach, mit dessen eifriger Zusammenarbeit VAMOS zum Laufen gebracht werden konnte. Herzlich möchte ich mich auch bei meinem ehemaligen Kollegen Dr. Martin Haimerl da- für bedanken, dass er mir durch die enge Zusammenarbeit den Weg zur Anthropomatik geebnet hat. Neben den vielen Kollegen, mit denen ich in den zahlreichen Projekten der vergangenen Jahre zusammenarbeiten konnte, bedanke ich mich bei Andreas Fischer und Thorsten Stein vom IfSS und Regine Becher vom ITEC für die freundschaftliche Zusam- menarbeit im SFB 588. Das gilt auch für Professor Dr. Veit Wank, der mir das wichtigste Know-How zur Biomechanik und Bewegungsmessung vermittelt hat. Aus den Medizinpro- jekten bedanke ich mich bei PD Dr. Uwe Spetzger von der Neurochirurgie im Städtischen Klinikum Karlsruhe für die Durchführung und Erläuterung der Bohrversuche und bei Professor Dr. Ulrich Mende von der Radiologischen Universitätsklinik Heidelberg für die Bereitstellung und die umfassende Erklärung der radiologischen Ultraschallbilder. Bei allen meinen Freunden bedanke ich mich dafür, dass sie in den vergangenen Jahren zu mir gestanden haben und für die notwendige Ablenkung von der Arbeit gesorgt haben. Besonders bedanke ich mich bei Michael Feger, der mir durch das Korrekturlesen geholfen hat, und bei Dr. Dirk Heuzeroth, der mir jederzeit ein offenes Ohr für Probleme geschenkt hat. Meinen größten Dank richte ich abschließend an meine liebe Freundin Anja Dörich, die mir besonders in der nervenaufreibenden letzten Phase die notwendige Unterstützung und Aufmunterung für meine Arbeit gegeben hat, und an meine Eltern, die mir während des Studiums und der Promotion immer den erforderlichen Rückhalt gegeben haben. ix x Inhaltsverzeichnis 1 Einleitung 1 1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 Gliederung der Arbeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 Analyse von Anthropomatikdaten 5 2.1 Modellierung von Zeitreihen . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.2 Markov-Modelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.3 Hidden-Markov-Modelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.3.1 Diskrete Hidden-Markov-Modelle . . . . . . . . . . . . . . . . . . . 10 2.3.2 Kontinuierliche Hidden-Markov-Modelle . . . . . . . . . . . . . . . 10 2.3.3 Grundlegende Aufgaben und Algorithmen . . . . . . . . . . . . . . 11 2.3.4 Numerische Probleme beim Einsatz von HMMs . . . . . . . . . . . 20 2.4 Analyse von Bohrgeräuschen . . . . . . . . . . . . . . . . . . . . . . . . . . 21 2.4.1 Problemstellung und Forschungsstand . . . . . . . . . . . . . . . . . 21 2.4.2 Datenakquisition . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 2.4.3 Generierung von Audiomerkmalen . . . . . . . . . . . . . . . . . . . 24 2.4.4 Automatische Analyse von Bohrgeräuschen . . . . . . . . . . . . . . 27 2.4.5 Einsatz von HMMs . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 2.5 Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 3 Zustandserkennung mit Hidden-Markov-Modellen 39 3.1 Ableitung von Prozessinformationen . . . . . . . . . . . . . . . . . . . . . . 39 3.2 HMM-Strukturen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 3.3 Bestimmung von versteckten Zuständen . . . . . . . . . . . . . . . . . . . . 42 xi xii Inhaltsverzeichnis 3.4 Analyse medizinischer Ultraschallbilder . . . . . . . . . . . . . . . . . . . . 43 3.4.1 Physik des Schalls . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 3.4.2 Medizinische Ultraschallbilder . . . . . . . . . . . . . . . . . . . . . 49 3.4.3 Stand der Forschung . . . . . . . . . . . . . . . . . . . . . . . . . . 53 3.4.4 Modellierung mit Hidden-Markov-Modellen . . . . . . . . . . . . . . 54 3.4.5 Klassifikation von Bildspalten . . . . . . . . . . . . . . . . . . . . . 57 3.4.6 Rekonstruktion von Gewebeinformation aus Zuständen . . . . . . . 59 3.4.7 Stabilisierung der Zustände durch Merkmalsaufbereitung . . . . . . 61 3.5 Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 4 Merkmalsgenerierung und Modellkonstruktion 65 4.1 Problemstellung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 4.2 Stand der Forschung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 4.3 Methoden der Datenakquisition . . . . . . . . . . . . . . . . . . . . . . . . 68 4.3.1 Videobasierte Bewegungserfassung . . . . . . . . . . . . . . . . . . 69 4.3.2 Magnetisches Tracking . . . . . . . . . . . . . . . . . . . . . . . . . 71 4.3.3 Datenhandschuh . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 4.3.4 Weitere Verfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 4.4 Merkmale zur Beschreibung von Bewegungen . . . . . . . . . . . . . . . . . 76 4.4.1 Darstellung von Bewegungen durch Winkeltrajektorien . . . . . . . 77 4.4.2 Erweiterte Bewegungsmerkmale durch Wavelets . . . . . . . . . . . 78 4.4.3 Analyse und Bewertung von Merkmalstrajektorien . . . . . . . . . . 79 4.4.4 Bedeutung für Sport und Medizin . . . . . . . . . . . . . . . . . . . 84 4.5 Modelle zur Beschreibung von Bewegungen . . . . . . . . . . . . . . . . . . 86 4.5.1 Bewegungsdaten . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 4.5.2 Erkennung von Personen . . . . . . . . . . . . . . . . . . . . . . . . 89 4.5.3 Länge der Beobachtungssequenzen . . . . . . . . . . . . . . . . . . 91 4.5.4 Erkennung von Rahmenbedingungen . . . . . . . . . . . . . . . . . 92 4.5.5 Vergleich mit Elman-Netzen . . . . . . . . . . . . . . . . . . . . . . 93 4.5.6 Erkennung von Bewegungsphasen mittels Klassifikation . . . . . . . 95 4.6 Geeignete Strukturen und Parameter für HMMs . . . . . . . . . . . . . . . 101 4.7 Komposition von HMMs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 4.7.1 Der einfache Kompositionsalgorithmus . . . . . . . . . . . . . . . . 107 Inhaltsverzeichnis xiii 4.7.2 Erweiterungen für alternative Zustandsabfolgen . . . . . . . . . . . 109 4.7.3 Bewertung der Analyse mit zusammengesetzten HMMs . . . . . . . 111 4.8 Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116 5 Zustandserkennung in der Praxis 119 5.1 Eigenschaften von VAMOS . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 5.2 Aufbau und Architektur von VAMOS . . . . . . . . . . . . . . . . . . . . . 121 5.3 Analyse von Bewegungen in VAMOS . . . . . . . . . . . . . . . . . . . . . 123 5.3.1 Bereitstellung von Daten und Merkmalen . . . . . . . . . . . . . . . 124 5.3.2 Erkennung von Bewegungsphasen . . . . . . . . . . . . . . . . . . . 126 5.3.3 Einfache Synthese von Bewegungen . . . . . . . . . . . . . . . . . . 127 5.4 Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128 6 Zusammenfassung und Ausblick 131 A Wavelet-Transformation 135 A.1 Multiskalenanalyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 A.2 Dekomposition und Rekonstruktion . . . . . . . . . . . . . . . . . . . . . . 137 A.3 Wavelet-Basen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 A.3.1 Daubechies-Wavelets . . . . . . . . . . . . . . . . . . . . . . . . . . 139 A.3.2 Haar-Wavelets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141 A.4 Wavelets als Differentialoperator . . . . . . . . . . . . . . . . . . . . . . . . 141 B Neuronale Netze 143 B.1 Grundlegende Komponenten . . . . . . . . . . . . . . . . . . . . . . . . . . 143 B.2 Transferfunktionen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 B.3 Netzstrukturen und Klassifikation . . . . . . . . . . . . . . . . . . . . . . . 146 B.3.1 Ein- und Mehrschichtige Netze . . . . . . . . . . . . . . . . . . . . . 146 B.3.2 Einlernen der Netz-Parameter . . . . . . . . . . . . . . . . . . . . . 149 B.3.3 Rückgekoppelte Neuronale Netze . . . . . . . . . . . . . . . . . . . 151 B.3.4 Netze mit radialen Basisfunktionen . . . . . . . . . . . . . . . . . . 152 xiv Inhaltsverzeichnis C Support-Vector-Machines 155 C.1 Grundlagen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155 C.2 Verwendung von Kernen für SVMs . . . . . . . . . . . . . . . . . . . . . . 155 C.3 Bestimmung der Parameter zur Klassifikation . . . . . . . . . . . . . . . . 157 Abbildungsverzeichnis 159 Tabellenverzeichnis 163 Symbolverzeichnis 165 Abkürzungsverzeichnis 173 Literaturverzeichnis 175 Eigene Arbeiten 191 Index 195 Kapitel 1 Einleitung 1.1 Motivation Die Anthropomatik ist eine junge Forschungsrichtung, deren Zielsetzung es ist, die komple- xe Funktionsweise des Menschen zu verstehen und eine optimale Integration von Menschen und Prozessen in ihrer Umwelt zu schaffen. Hierbei sollen sich nicht die Menschen an die Prozesse anpassen, sondern es soll vielmehr eine Abstimmung der Prozesse hinsichtlich der Bedürfnisse des Menschen erfolgen. Neben vielen anderen Wissenschaften wie Psy- chologie, Soziologie, Bewegungs- und Sportwissenschaft, Neurowissenschaften, Biologie, Medizin, Mathematik, Kybernetik und Physik liefert vor allem die Informatik wesentliche Beiträge, um die Ziele der Anthropomatik zu erreichen. Die wichtigste Rolle spielen dabei nicht nur die Informationstheorie, sondern insbesondere auch die Bereiche wie Kognition, Kommunikation oder Robotik. Nicht umsonst lässt sich der Kunstbegriff Anthropomatik aus dem griechischen Wort anthropos für Mensch und der Wissenschaftsbezeichnung In- formatik ableiten. Zur Analyse eines anthropomatischen Systems, bei dem also der Mensch mit den übri- gen Systemkomponenten interagiert, ist von zentraler Bedeutung, wie sich Zustände in diesem System beschreiben lassen und wie diese auch automatisch mit dem Rechner er- kannt werden können. Hierzu müssen die komplexen Prozesse in diesem System modelliert werden. Die Probleme hierbei sind, dass keine genauen Beschreibungen der Prozesse und Messdaten existieren, und somit keine geeigneten Modellierungen gefunden werden kön- nen, dass direkte Prozessgrößen nicht direkt messbar sind und stattdessen mit Hilfe von indirekten Beobachtungen Rückschlüsse auf die Systemzustände gezogen werden müssen oder dass herkömmliche Modellierungsverfahren, wie z. B. Differentialgleichungen, aus Ef- fizienzgründen nicht für diese Zwecke herangezogen werden können. In dieser Arbeit werden stattdessen probabilistische Modelle untersucht, die eine Beschrei- bung komplexer dynamischer Systeme ermöglichen. Den Modellen ist gemein, dass sie ein Signal von direkt messbaren Größen erfassen und damit Rückschlüsse auf den zugrunde liegenden Prozess mit Hilfe stochastischer Methoden ermöglichen. Zu den mächtigsten Vertretern für diese Art der Modellierung gehören Hidden-Markov-Modelle. Das bekann- 1 2 Kapitel 1 Einleitung teste Anwendungsgebiet für diese Verfahren ist die Spracherkennung. Jedoch haben die Verfahren bereits auch in anderen Gebieten Verbreitung gefunden, z. B. bei der Analy- se von EEG-Signalen oder der Aufwertung von Genomdaten. In dieser Arbeit werden die Methoden zur Analyse von Anthropomatiksystemen eingesetzt. Dabei werden expli- zit die Zustände untersucht, die die Hidden-Markov-Modelle bei der Klassifikation einer anliegenden Beobachtungssequenz einnehmen. Neben der reinen Modellierung, d. h. der Identifikation geeigneter Modellstrukturen und Definition passender Modellparameter, ist auch die Auswahl und Generierung aussagekräftiger Merkmale entscheidend für die Leis- tungsfähigkeit der im Rahmen dieser Arbeit entstandenen Modelle. Als Beispiele für An- thropomatiksysteme dienen die Bewertung von Bohrgeräuschen, wie sie der Chirurg bei Bohrvorgängen bei Eingriffen an der Wirbelsäule wahrnimmt und zur Beurteilung des Bohrfortschrittes intuitiv nutzt, die visuelle Befundung von medizinischen Ultraschallbil- dern, die von Radiologen nur über langjährige Erfahrung und einem fundierten Wissen über die Anatomie und den Aufnahmeprozess durchgeführt werden kann, sowie die Analy- se von menschlichen Bewegungen, die insbesondere dann benötigt wird, wenn humanoide Roboter dem Menschen auch bei der Durchführung von Alltagstätigkeiten sinnvoll zur Hand gehen sollen. 1.2 Gliederung der Arbeit Im einführenden Kapitel 2 werden zunächst die Grundlagen für die automatische Erken- nung von Zuständen in Anthropomatiksystemen geschaffen. Dabei handelt es sich um die Beschreibung der allgemeinen Vorgehensweise bei der Modellierung und Analyse von kom- plexen Systemen, die Nutzung und Eigenschaften von Klassifikationsverfahren, sowie die Rolle geeigneter Merkmale für Erkennungsaufgaben. Im Detail wird auf Hidden-Markov- Modelle und deren Einsatz bei der Klassifikation von Zeitserien eingegangen. Am Beispiel der Analyse von Bohrgeräuschen in der Wirbelsäulenchirurgie wird die besondere Eig- nung von Hidden-Markov-Modellen für die Bewertung von Veränderungen in Zuständen von Anthropomatikdaten im Vergleich zu den verbreiteten Klassifikationsverfahren mit Neuronalen Netzen und Support-Vector-Machines gezeigt. Darauf aufbauend werden in Kapitel 3 die in dieser Arbeit entwickelten Methoden zur Analyse von Anthropomatiksystemen durch die Rekonstruktion und Untersuchung der versteckten Zustände in Hidden-Markov-Modellen vorgestellt. Die Vorgehensweise wird am Beispiel der Interpretation von medizinischen Ultraschall-Bildern mit Maßstäben und Zielsetzungen erläutert, die der Radiologe bei seiner Befundung einsetzt. In Kapitel 4 werden die entwickelten Analysemethoden ausführlich an mehreren Beispie- len zur Erkennung und Auswertung von menschlichen Bewegungen getestet und evaluiert. Insbesondere werden dabei auch neue Methoden zur Generierung geeigneter Merkmale für Beobachtungssequenzen bei Hidden-Markov-Modellen geschaffen und die Wahl von Struk- turen und Parametrisierungen der Modelle diskutiert. Aufbauend auf den Erkenntnissen wird ein Algorithmus zur automatischen Komposition von Hidden-Markov-Modelle ent- wickelt, mit dem sich komplexe Modelle auf Basis von elementaren Modellen für Schlüssel- 1.2 Gliederung der Arbeit 3 bewegungen erzeugen lassen. Im gleichen Zusammenhang wird die Effizienz entwickelter Modelle mit herkömmlichen Klassifikationsmethoden verglichen. Im anschließenden Kapitel 5 wird auf praktische Umsetzung der besprochenen Methoden und deren Anwendung in einer realen Applikation eingegangen. Die Implementierung erfolgt durch Integration von Software-Modulen in das Visualisierungs-, Analyse- und Modellierungs-Framework VAMOS, das zu einem großen Teil im Rahmen dieser Arbeit entstanden ist. Abschließend werden in Kapitel 6 die wichtigsten Aspekte und Ergebnisse der Arbeit zusammengefasst und ein Ausblick auf zukünftige Erweiterungen und Anwendungen der entwickelten Methoden zur Erkennung von Zuständen in Anthropomatiksystemen gege- ben. In den Anhängen A bis C werden zusätzlich Grundlagen zu Wavelets, Neuronalen Net- zen und Support-Vector-Machines angegeben, die nicht direkter Bestandteil dieser Arbeit sind, aber zur Entwicklung und Bewertung der Methoden benötigt werden. 4 Kapitel 1 Einleitung