New Methods to Improve Large-Scale Microscopy Image Analysis with Prior Knowledge and Uncertainty JohANNeS STeGMAIer Johannes Stegmaier New Methods to Improve Large-Scale Microscopy Image Analysis with Prior Knowledge and Uncertainty New Methods to Improve Large-Scale Microscopy Image Analysis with Prior Knowledge and Uncertainty by Johannes Stegmaier Print on Demand 2017 – Gedruckt auf FSC-zertifiziertem Papier ISBN 978-3-7315-0590-7 DOI 10.5445/KSP/1000060221 This document – excluding the cover, pictures and graphs – is licensed under the Creative Commons Attribution-Share Alike 3.0 DE License (CC BY-SA 3.0 DE): http://creativecommons.org/licenses/by-sa/3.0/de/ The cover page is licensed under the Creative Commons Attribution-No Derivatives 3.0 DE License (CC BY-ND 3.0 DE): http://creativecommons.org/licenses/by-nd/3.0/de/ Impressum Karlsruher Institut für Technologie (KIT) KIT Scientific Publishing Straße am Forum 2 D-76131 Karlsruhe KIT Scientific Publishing is a registered trademark of Karlsruhe Institute of Technology. Reprint using the book cover is not allowed. www.ksp.kit.edu Dissertation, Karlsruher Institut für Technologie (KIT) Fakultät für Maschinenbau Tag der mündlichen Prüfung: 3. Juni 2016 Hauptreferent: apl. Prof. Dr.-Ing. Ralf Mikut Korreferenten: Prof. Dr. Uwe Strähle, Prof. Dr. Jan G. Korvink Zusammenfassung J ̈ ungste Entwicklungen im Bereich der mehrdimensionalen Mikroskopie bieten ein großes Potential f ̈ ur die Beantwortung vielerlei Fragestellungen in wissen- schaftlichen Bereichen. Beispielsweise bieten neue Verfahren wie die zeitauf- gel ̈ oste 3D Konfokal- und Lichtscheibenmikroskopie oder die Transmissions- elektronenmikroskopie weitreichende M ̈ oglichkeiten im Bereich der Biologie, die von der ganzheitlichen Analyse embryonaler Entwicklung ̈ uber die Be- trachtung subzellul ̈ arer Prozesse bis hin zur Rekonstruktion von Verschaltun- gen im Nervensystem von Modellorganismen reichen. Die dabei routinem ̈ aßig anfallenden Datenmengen im Terabyte-Bereich k ̈ onnen allerdings nur unzu- reichend manuell ausgewertet werden und eine wichtige Komponente f ̈ ur die erfolgreiche Auswertung solcher bildbasierter Experimente ist daher ei- ne gr ̈ oßtm ̈ ogliche Anzahl von Analyseschritten durch Bildanalyseverfahren zu automatisieren. Bestehende Verfahren f ̈ ur die automatische Bildauswertung sind hierbei jedoch meist nicht unmittelbar auf die großen Datenmengen an- wendbar und die Analysen m ̈ ussen daher auf kleine Ausz ̈ uge der Daten be- schr ̈ ankt werden, falls die enormen Anforderungen an Rechenleistung und Verarbeitungszeit nicht gew ̈ ahrleistet werden k ̈ onnen. Zudem wird vorhande- nes a priori Wissen oft nur unzureichend in automatische Verfahren eingebettet und somit ein bedeutender Teil an Zusatzinformationen vernachl ̈ assigt, der zu einer verbesserten Ergebnisqualit ̈ at beitragen kann. Die Hauptbeitr ̈ age der vorliegenden Arbeit sind ein neues Konzept zur Ab- sch ̈ atzung und Weiterleitung von Unsicherheiten in Bildverarbeitungsketten sowie die Entwicklung neuer Segmentierungsverfahren, die f ̈ ur eine effizi- ente Analyse von 3D Mikroskopbildern im Terabyte-Bereich eingesetzt wer- den k ̈ onnen. Basierend auf unscharfen Mengen (engl. fuzzy sets) wurde zur Verf ̈ ugung stehendes Vorwissen systematisch in eine mathematische Repr ̈ asen- tation ̈ uberf ̈ uhrt, die anschließend f ̈ ur effiziente Datenselektion, eine Unsicher- heitsabsch ̈ atzung von automatisch extrahierten Daten sowie f ̈ ur die gezielte Verbesserung von Bildverarbeitungsoperatoren eingesetzt werden konnte. Um i Zusammenfassung den Bedarf an effizienten Bildverarbeitungsalgorithmen zu reduzieren wur- den drei neue Segmentierungsalgorithmen entwickelt, die sich f ̈ ur eine Ex- traktion von sph ̈ arischen, linienf ̈ ormigen und lokal planaren Objekten eignen. Die neuen Segmentierungsmethoden wurden dabei gezielt f ̈ ur den Einsatz in der automatisierten Analyse von großen 3D Bilddatens ̈ atzen optimiert, insbe- sondere durch die systematische Ausnutzung von vorhandenem a priori Wis- sen w ̈ ahrend der Algorithmenentwicklung und durch die Beschr ̈ ankung auf rechen- und speichereffiziente Teilkomponenten in der Implementierung. An- hand einer exemplarischen Bildverarbeitungskette wurde veranschaulicht, wie Unsicherheiten in bestehende Operatoren integriert werden und zur Verbesse- rung der Ergebnisqualit ̈ at beitragen k ̈ onnen. Um die Funktionalit ̈ at der vorge- stellten Verfahren zu validieren, wurden erweiterte oder zum Teil neu erstellte, simulierte Benchmarkdatens ̈ atze verwendet, die eine Vielzahl m ̈ oglicher Ein- satzszenarien systematisch abdecken. Die effizienten Implementierungen wer- den zum einen innerhalb der vorliegenden Arbeit vorgestellt und zum anderen als plattformunabh ̈ angige Open-Source Software zur allgemeinen Verf ̈ ugung bereitgestellt. Eine Reihe von Problemen im Bereich der Entwicklungsbiologie wurde mittels der theoretisch eingef ̈ uhrten Verfahren erfolgreich ausgewertet. So wurden die Methoden beispielsweise f ̈ ur eine automatisierte, quantitati- ve Analyse der Auswirkungen von bekannten und unbekannten Chemikalien auf die neuronale Entwicklung im R ̈ uckenmark von Zebrab ̈ arblingen, f ̈ ur die Detektion, Segmentierung und zeitliche Verfolgung von fluoreszenzmarkier- ten Zellkernen in Zebrab ̈ arblingsembryos sowie zur quantitativen Charakteri- sierung von Zellmorphologie ̈ anderungen in zeitaufgel ̈ osten 3D Mikroskopbil- dern von Fruchtfliegen-, Zebrab ̈ arblings- und Mausembryos eingesetzt. ii Abstract Recent developments in the area of multidimensional imaging techniques pro- vide powerful ways to examine various kinds of scientific questions. For in- stance, in biological applications, time-resolved 3D light-sheet microscopy and serial section electron microscopy provide unprecedented possibilities ranging from in toto analyses of embryonic development down to investigations of sub- cellular processes or reconstructions of the nervous system. The routinely pro- duced datasets in the terabyte-range, however, can hardly be analyzed manu- ally. Thus, the extensive use of image analysis-based automation is an essential key to the success of the performed imaging experiments. Existing algorithms for such analysis tasks are mostly not directly applicable to these large-scale datasets and either have to be confined to small excerpts of the data or require an immense amount of computation capacities and execution time. Moreover, available prior knowledge that could be exploited for advanced analyses is of- ten not sufficiently considered by automatic processing pipelines. The major contributions of the present thesis are a new concept for the estima- tion and propagation of uncertainty involved in image analysis operators and the development of new segmentation algorithms that are suitable for terabyte- scale analyses of 3D+t microscopy images. Based on fuzzy set theory, available a priori knowledge was transformed into a mathematical representation and extensively used to enhance the performance of processing operators by data filtering, uncertainty propagation and explicit exploitation of information un- certainty for result improvements. To target the need for efficient image analy- sis operators, three new segmentation algorithms were specifically developed to detect a generalized geometric class of objects, namely, spherical objects, line-like objects and locally plane-like objects. The developed pipelines were specifically tuned to be applicable to large-scale analyses, i.e. , only fast and memory efficient processing operators were used in the implementation. Us- ing an exemplary pipeline, it is demonstrated how a combination of both the iii Abstract fast algorithms and the proposed uncertainty framework could be used to fur- ther enhance the overall quality of the considered processing operators. All developed methods were thoroughly validated on existing and newly devel- oped simulated benchmarks, to be able to quantitatively assess their applica- bility to different imaging conditions. In addition, the efficient implementa- tions of all developed algorithms are presented and were made accessible to the community as platform independent open-source software tools. The new methods were successfully applied to multiple large-scale analyses of fluores- cence microscopy images in the field of developmental biology. In particular, the proposed pipelines were used to quantify the impact of both known and unknown chemical substances on the neuronal development in the spinal cord of zebrafish in 2D images. Furthermore, the developed methods were applied to time-resolved 3D images to detect, segment and track fluorescently labeled cellular nuclei of entire zebrafish embryos and to quantitatively characterize cell morphology dynamics using fluorescently labeled cellular membranes in 3D+t microscopy images of fruit fly, zebrafish and mouse embryos. iv Acknowledgements In the first place I want to thank Prof. Dr.-Ing. habil. Georg Bretthauer for the great opportunity to spend my time as a PhD student at the Institute for Ap- plied Computer Science (IAI) at the Karlsruhe Institute of Technology (KIT) and for his supervision of the thesis. Special thanks to my direct supervi- sor apl. Prof. Dr.-Ing. Ralf Mikut for the guidance, encouragement, construc- tive discussions and the continuous support throughout the entire time at the IAI. I deeply appreciate having had the chance to work freely and responsi- bly on a highly captivating project. I want to thank Prof. Dr. Uwe Str ̈ ahle and Prof. Dr. Jan G. Korvink for reviewing the thesis and Prof. Dr. Barbara Deml for heading the examination board. Thanks to all colleagues, Bachelor’s stu- dents and trainees at the IAI, especially, to R ̈ udiger Alshut, Thomas Antrit- ter, Andreas Bartschat, Dr. Christian Bauer, Wolfgang Doneit, Eduard H ̈ ubner, Arif ul Maula Khan, Jorge Angel Gonzalez Ordiano, Nico Peter, Willis Pinaud, Dr. Markus Reischl, Benjamin Schott, Manuel Traub, Michele Rene Tuga and Simon Waczowicz for the pleasant, cooperative and exciting working atmo- sphere in the group for biosignal analysis. Many thanks to all the collaboration partners from the Institute of Toxicology and Genetics (ITG) and the Institute for Applied Physics (APH), especially, for igniting my interest in developmen- tal biology. In particular I want to thank Dr. Thomas Dickmeis, Dr. Andrei Kobitski, Prof. Dr. G. Ulrich Nienhaus, Dr. Jens C. Otte, Dr. Sepand Rastegar, Dr. Maryam Shahid, Prof. Dr. Uwe Str ̈ ahle, Dr. Masanari Takamiya, Dr. Ben- jamin Weger, Dr. Meltem Weger and Dr. Lixin Yang for all the exciting projects I was allowed to contribute to during the time being at KIT. I really appreci- ate all the infrastructural support such as data storage management and clus- ter computing received by Serguei Bourov, Dr. Ariel Garc ́ ıa, Volker Hartmann, Dr. Rainer Stotzka, Jos van Wezel and all the persons behind the scenes that made the required large-scale analyses technically feasible. For the support, guidance and exciting advanced training courses I want to thank my thesis ad- visory committee (apl. Prof. Dr.-Ing. Ralf Mikut, Dr. Markus Reischl, Dr. Ute v Acknowledgements Schepers and Prof. Dr. Uwe Str ̈ ahle) and the BioInterfaces International Grad- uate School (BIF-IGS). Moreover, I’m grateful for the unique opportunity to do an inspiring internship at Howard Hughes Medical Institute’s Janelia Farm Research Campus (JFRC). For all their support and supervision during the in- ternship I want to thank Dr. Philipp J. Keller, Dr. Fernando Amat and the whole Keller Lab. For financial support during my time as a PhD student at KIT and during the internship at JFRC, I want to thank the Helmholtz Association in the program BioInterfaces, the Howard Hughes Medical Institute (HHMI) and the Karlsruhe House of Young Scientists (KHYS). For their contributions to the implementation and improvements of XPIWIT I want to thank Dr. Fernando Amat (fast GPU implementations), Andreas Bartschat (XML functionality, fil- ter implementations and pipeline workflow), Eduard H ̈ ubner (graphical user interface) and apl. Prof. Dr.-Ing. Ralf Mikut (Gait-CAD interface). Addition- ally, I want to thank R ̈ udiger Alshut, Andreas Bartschat, apl. Prof. Dr.-Ing. Ralf Mikut, Dr. Sebastian Pfeiffer, Dr. Markus Reischl and Karl W ̈ oll for their con- tributions to the IMVid and Tracking toolboxes. Last but not least, I want to cordially thank my girlfriend, family and friends for their continuous support and understanding when I was buried in thoughts once in a while. vi Contents Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . i Abstract . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii Acknowledgements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . v 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.1 Theoretical Background and Related Work . . . . . . . . . . . . . 3 1.1.1 Image Acquisition . . . . . . . . . . . . . . . . . . . . . . . 3 1.1.2 Image Analysis . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.1.3 Benchmarking . . . . . . . . . . . . . . . . . . . . . . . . . . 15 1.1.4 Prior Knowledge and Uncertainty . . . . . . . . . . . . . . 16 1.1.5 Available Software Solutions . . . . . . . . . . . . . . . . . 17 1.2 Open Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 1.3 Objectives and Thesis Outline . . . . . . . . . . . . . . . . . . . . . 20 2 Uncertainty Estimation and Propagation in Image Analysis Pipelines 23 2.1 The Image Analysis Pipeline Concept . . . . . . . . . . . . . . . . 24 2.2 Identification of Suitable Prior Knowledge . . . . . . . . . . . . . 25 2.3 Prior Knowledge-based Uncertainty Quantification . . . . . . . . 26 2.3.1 Quantifying Prior Knowledge using Fuzzy Set Membership Functions . . . . . . . . . . . . . . . . . . . . . 28 2.3.2 Combination of Fuzzy Set Membership Functions . . . . . 32 2.4 Uncertainty Propagation in Image Analysis Pipelines . . . . . . . 33 vii Contents 2.4.1 Uncertainty-based Object Rejection . . . . . . . . . . . . . 34 2.4.2 Extended Information Propagation to Compensate Operator Flaws . . . . . . . . . . . . . . . . . 35 2.4.3 Resolve Ambiguities using Propagated Uncertainty . . . . 36 2.4.4 Improved Processing Pipeline by Uncertainty Propagation 37 3 Efficient Segmentation in Multidimensional Image Data . . . . . . . 39 3.1 Seed Point Detection . . . . . . . . . . . . . . . . . . . . . . . . . . 41 3.1.1 Validation Benchmark . . . . . . . . . . . . . . . . . . . . . 42 3.1.2 Seed Detection using a Laplacian-of-Gaussian Maximum Projection . . . . . . . . . . . . . . . . . . . . . . 43 3.1.3 Seed Detection using Thresholding and Euclidean Distance Maps . . . . . . . . . . . . . . . . . . . 46 3.1.4 Validation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 3.1.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 3.2 Accurate Extraction and Comparison of Elongated Shapes in 2D Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 3.2.1 Validation Benchmark . . . . . . . . . . . . . . . . . . . . . 52 3.2.2 Algorithmic Design . . . . . . . . . . . . . . . . . . . . . . . 53 3.2.3 Validation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 3.2.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 3.3 Efficient Segmentation of Roundish Objects . . . . . . . . . . . . . 63 3.3.1 Validation Benchmark . . . . . . . . . . . . . . . . . . . . . 63 3.3.2 Algorithmic Design . . . . . . . . . . . . . . . . . . . . . . . 64 3.3.3 Validation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 3.3.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 viii Contents 3.4 Fast and Accurate Segmentation of Locally Plane-like Structures in 3D Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 3.4.1 Validation Benchmark . . . . . . . . . . . . . . . . . . . . . 74 3.4.2 Algorithmic Design . . . . . . . . . . . . . . . . . . . . . . . 76 3.4.3 Validation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 3.4.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 4 Enhancing Algorithms with Uncertainty Treatment . . . . . . . . . . 89 4.1 A New Comprehensive Validation Benchmark . . . . . . . . . . . 90 4.1.1 Simulation of Fluorescently Labeled Objects . . . . . . . . 92 4.1.2 Generating the Benchmark Images . . . . . . . . . . . . . . 93 4.1.3 Performance Assessment . . . . . . . . . . . . . . . . . . . 98 4.2 Seed Point Detection . . . . . . . . . . . . . . . . . . . . . . . . . . 101 4.2.1 Improved Detection and Fusion of Redundant 3D Seed Points . . . . . . . . . . . . . . . . . . . . . . . . . 101 4.2.2 Extending Seed Detection Algorithms by Uncertainty Handling . . . . . . . . . . . . . . . . . . . . . 102 4.2.3 Validation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104 4.3 Segmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 4.3.1 Extending Segmentation Algorithms with the Uncertainty Framework . . . . . . . . . . . . . . . . . . . . 110 4.3.2 Uncertainty Guided Segmentation Performance Improvement . . . . . . . . . . . . . . . . . . . . . . . . . . 112 4.3.3 Validation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114 4.4 Extended Multiview Information Fusion . . . . . . . . . . . . . . . 119 4.4.1 Uncertainty-based Fusion of Extracted Objects . . . . . . . 120 4.4.2 Validation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 ix Contents 4.5 Tracking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 4.5.1 Resolving Tracking Errors using Propagated Information . 126 4.5.2 Validation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127 4.6 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 5 New Implementations and Numerical Tools . . . . . . . . . . . . . . 133 5.1 XPIWIT - XML Pipeline Wizard for the Insight Toolkit . . . . . . . 133 5.1.1 XML Pipeline Creation . . . . . . . . . . . . . . . . . . . . . 134 5.1.2 Data Generation . . . . . . . . . . . . . . . . . . . . . . . . 136 5.1.3 Special Filters . . . . . . . . . . . . . . . . . . . . . . . . . . 136 5.1.4 Gait-CAD Compatibility . . . . . . . . . . . . . . . . . . . . 137 5.1.5 Graphical User Interface for Rapid Prototyping . . . . . . 137 5.1.6 Implementation Details . . . . . . . . . . . . . . . . . . . . 138 5.1.7 Comparison to Existing Software Solutions . . . . . . . . . 138 5.2 Extensions of the Open-Source MATLAB Toolbox Gait-CAD . . . 140 5.2.1 The ImVID Extension Package . . . . . . . . . . . . . . . . 140 5.2.2 The Tracking Extension Package . . . . . . . . . . . . . . . 141 5.2.3 The SpinalCord Extension Package . . . . . . . . . . . . . . 141 5.2.4 The Embryo3DT Extension Package . . . . . . . . . . . . . 142 5.2.5 The Benchmark Extension Package . . . . . . . . . . . . . . 143 5.2.6 Semi-Automatic Uncertainty-based Image Analysis . . . . 144 6 Automated Quantitative Analysis of Embryonic Development . . . 147 6.1 Automated Quantification of Neuronal Patterns in the Spinal Cord of Zebrafish . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147 6.1.1 Dataset Description . . . . . . . . . . . . . . . . . . . . . . . 148 6.1.2 Automated Image Analysis Framework . . . . . . . . . . . 149 x Contents 6.1.3 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 6.1.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 6.2 Analysis of Embryonic Development in 3D+T Microscopy Images 154 6.2.1 Dataset Description . . . . . . . . . . . . . . . . . . . . . . . 154 6.2.2 Automated Image Analysis Framework . . . . . . . . . . . 155 6.2.3 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161 6.2.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 6.3 Automated Segmentation of Fluorescently Labeled Membrane Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166 6.3.1 Dataset Description . . . . . . . . . . . . . . . . . . . . . . . 166 6.3.2 Automated Analysis Framework . . . . . . . . . . . . . . . 167 6.3.3 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167 6.3.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 7 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173 A Nomenclature and Symbols . . . . . . . . . . . . . . . . . . . . . . . . 179 B Infrastructure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189 B.1 Large Scale Data Facility for Data Storage and Processing . . . . . 189 B.2 Hadoop Streaming to Parallelize XPIWIT . . . . . . . . . . . . . . 190 C Performance Assessment . . . . . . . . . . . . . . . . . . . . . . . . . 195 C.1 Seed Point Detection . . . . . . . . . . . . . . . . . . . . . . . . . . 195 C.2 Segmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196 C.3 Tracking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202 C.4 Evaluation Platform . . . . . . . . . . . . . . . . . . . . . . . . . . . 203 D Benchmark Datasets and Parameters . . . . . . . . . . . . . . . . . . 205 xi Contents List of Figures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209 List of Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213 List of Listings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215 Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217 xii