Todd Pietila Januar 15, 2020

3D-Technologien wie Augmented Reality (AR), Virtual Reality (VR) und 3D-Druck liefern Ärzten weitaus mehr Informationen als 3D-Bilder auf 2D-Anzeigegeräten. Daher sind diese Tools so wertvoll für die chirurgische Planung an der University of California San Francisco (UCSF). An der UCSF gibt es eines der bedeutendsten akademischen Medizinzentren der Welt. Es stellt eine qualitativ hochwertige Versorgung in vielen Spezialgebieten bereit und unterstützt umfangreiche medizinische Forschungen und Innovationsbemühungen. 

In diesem Blog sprechen wir mit dem Kinderradiologen Dr. Jesse Courtier, der sich auf den Einsatz von Augmented Reality für die Forschung und Patientenversorgung an der UCSF spezialisiert hat.

 

Welche Motivation steckt hinter der Nutzung von 3D-Technologien (AR/VR, 3D-Druck) an der UCSF?

„Wir an der UCSF sind ein Referenzzentrum für sehr komplexe chirurgische Eingriffe in zahlreichen Spezialgebieten. In dieser Funktion ist der erforderliche Grad der chirurgischen Fallplanung besonders hoch. Die medizinische Bildgebung spielt bei dieser Planung eine entscheidende Rolle. Wir haben festgestellt, dass die 3D-Bildgebung den Chirurgen wichtige zusätzliche konzeptionelle Informationen für die Planung solcher komplexen Fälle liefert. Und zwar weit über das hinaus, was sich mit einer einfachen 3D-Rekonstruktion auf 2D-Anzeigegeräten erreichen lässt. Für mich als Kinderradiologen ist es persönlich besonders wichtig, komplexe Informationen aus den CTs und MRTs klar und verständlich an meine Chirurgenkollegen weitergeben zu können. 

3D-Technologien wie 3D-Druck und AR (mein persönlicher Schwerpunkt) sind leistungsstarke Technologien, um die Lücke zwischen der 2D-Welt der Radiologie und der realen 3D-Welt der Chirurgie zu schließen. Vom chirurgischen Standpunkt aus bietet sich zudem ein zusätzlicher willkommener Vorteil, wenn Methoden gefunden werden, um die kognitive Last insgesamt während dieser komplexen Fälle durch eine intelligente Planung zu verringern.“ 

 

Für welche Anwendungsbereiche nutzen Sie AR hauptsächlich?

„Natürlich gibt es zahlreiche Anwendungsmöglichkeiten für AR in ganz unterschiedlichen Bereichen. Wir haben allerdings bestimmte Spezialbereiche gefunden, die sich für die Planung mit AR besonders eignen. Spezialgebiete wie die Orthopädie, die Herz-Thorax-Chirurgie, die interventionelle Kardiologie, Lebertransplantationen und die Kinderchirurgie gehören zu den Bereichen mit besonderen Herausforderungen durch eine hohe visuell-räumliche Komplexität und umfangreiche anatomische Variationen in den jeweiligen Fällen. Ich habe an der UCSF in zahlreichen Fachgebieten mehr als 80 AR-Modelle erstellt. Ein paar spezielle Beispiele sind komplexe pädiatrische Ellbogenfrakturen, die Behebung von Fehlbildungen, große Lebertumore und ein sehr komplexer Fall einer angeborenen Herzerkrankung. 

Zudem erforschen wir mobile Anwendungen der AR-Technologie in kleinen Gruppensitzungen mit Medizinstudenten zum Thema Anatomie. Darüber hinaus haben wir mit der Untersuchung der Eignung von AR für die Patientenschulung bei angeborenen Herzerkrankungen begonnen. Wir freuen uns schon sehr darauf, das Potenzial für eine bessere Patientencompliance und insgesamt weniger Unsicherheiten zu untersuchen, wenn die Patienten ihren Zustand besser verstehen.“ 

 

Inwiefern kann AR den 3D-Druck ergänzen?

„Ich bin überzeugt, dass AR 3D-Druck ergänzt, da damit Rapid Prototyping und iterative Modellverbesserung auf wirtschaftliche und umweltfreundliche Weise möglich sind. Modelle können wiederholt getestet und im gesamten anatomischen Ausmaß betrachtet werden, ohne einigen Einschränkungen physischer Modelle (Gewicht, Dicke, Druckergröße, Kosten) zu unterliegen. Außerdem ist damit eine Zusammenarbeit aus der Entfernung möglich, da digitale 3D-Modelle mit Kollegen ausgetauscht werden können, ohne dass ein physisches Modell vorhanden sein muss.“  

 

Welche Software nutzen Sie zur Vorbereitung medizinischer Bilddaten?

„Meine ersten Schritte in der 3D-Welt habe ich mit Freeware und einfachen Anwendungen gemacht. In dem Maß, wie ich bei der Erstellung verschiedener Modelltypen an der USCF immer weiter voranschritt, wurde jedoch deutlich, dass anspruchsvollere Softwarelösungen nötig wurden. Ich brauchte eine Software, die stabil läuft, eine Vielzahl von Funktionen aufweist und mit Benutzerfreundlichkeit und Design der Benutzeroberfläche punkten kann. An der UCSF haben wir über das Center for Advanced 3D Imaging + (an dem ich stellvertretender Leiter bin) die Materialise Mimics Innovation Suite gekauft, und ich bin seither sehr beeindruckt von den Funktionen und Fähigkeiten. Aktuell optimiere ich die Daten für meine spezielle AR-App im letzten Schritt mit dem Programm Blender. Damit werden Farben, Schattierungseffekte Polygonzahl für die AR-Darstellung optimiert, um in unserer Microsoft HoloLens namens „Radha“ (‚Radiologie mit holografischer Augmentierung‘) angezeigt werden zu können.“

AR-Modelle ergänzen den 3D-Druck, indem sie eine Zusammenarbeit mit Kollegen aus der Entfernung ermöglichen, ohne dass physische Modelle vorhanden sein müssen.

Inwiefern hat die Software von Materialise Ihre Arbeit verbessert?

„Aktuell arbeiten wir mit meinen Kollegen am orthopädischen Traumainstitut ZSFGH an einer Auswertung von 3D-AR-Modellen zur Verbesserung der präoperativen Klassifizierung komplexer Hüftgelenkpfannenbrüche. Wir gehen davon aus, dass diese Modelle einen geringeren Grad an Variabilität bei der Klassifizierung von Brüchen zwischen verschiedenen Beobachtern verursachen. Das wiederum führt in solchen Fällen zu einem besser angepassten klinischen Management. Wir möchten untersuchen, wie sich 3D-AR-Modelle, die mit dem Wandstärkenanalyse-Tool von Mimics erzeugt wurden, nutzen lassen können, um die optimale Platzierung von Befestigungselementen auf Grundlage der Knochendicke zu ermitteln.“ 

 

Können Sie uns von einem bestimmten Fall oder Patienten berichten, auf den sich der Einsatz von AR besonders ausgewirkt hat?

„Wir hatten einen besonderen Patienten mit einer sehr komplexen angeborenen Herzerkrankung und abdominalen Fehlbildung, bei dem umfangreiche rekonstruktive Maßnahmen an Brust- und Bauchdecke erforderlich waren. Dieser Fall wurde gemeinsam von Chirurgen der pädiatrischen Chirurgie, der pädiatrischen Herz-Thorax-Chirurgie und der plastischen Chirurgie geplant. Ich habe den Fall segmentiert und ein vollständiges, maßstabsgetreues holografisches Modell einschließlich Hautoberfläche, Knochen, Herz, Lungen, Luftwege, Organe und Darm erstellt. Diese modellhafte Abbildung wäre mit allen anderen Verfahren extrem kostspielig und herausfordernd gewesen. Ich habe dann das Modell mit meinen chirurgischen Kollegen in unserer chirurgischen Planungskonferenz vor dem Eingriff genau studiert, und der Eingriff war erfolgreich!“ 

 

Wenn Sie in die Zukunft schauen: Was ist erforderlich, um ein weiteres Wachstum dieser Technologie in der Medizin zu unterstützen?

„Ich bin überzeugt, dass der kontinuierliche Wirknachweis der Augmented Reality auf klinische Ergebnisse wie Anästhesiedauer, Gesamtzeit im OP und Zeit unter Fluoroskopie entscheidend für eine umfassende Akzeptanz sein wird. Auch in der AR-Hardware und -Software sind kontinuierliche Innovationen erforderlich, um größere, komplexere Modelle zu ermöglichen, die keine rein statischen Darstellungen, sondern animierte Modelle sind, die auch physiologische Bewegungen wie Atmung und Herzschlag usw. abbilden. Dadurch erst werden eine wirklich realistische Simulation und Konzepterstellung für die Planung vor dem chirurgischen Eingriff möglich.“ 

Kontaktieren Sie uns, wenn Sie mehr darüber erfahren möchten, was die Mimics Innovation Suite für Sie tun kann.

Kontakt

Kategorien Industrien