HoloViz - fra 2D til 3D

​Det hele begynte med at Rahul Kumar, postdoktor ved Intervensjonssenteret (IVS), så en annonse for Microsofts HoloLens på nettet, noen såkalte mixed reality smartbriller. Dette ble han veldig fascinert av og tenkte at dette kunne ha mange nyttige bruksområder innen helse. Men brillene var ikke mulige å få tak i.

Ett år senere, i 2016, tok konsulentselskapet Sopra Steria kontakt med Ole Jakob Elle, leder av seksjon for medisinsk kybernetikk og bildebehandling ved IVS, og fortalte at de hadde fått tak i HoloLens-teknologien. De ønsket å bygge kompetanse på området og lurte på om Elle kjente til noe som kunne egne seg. Han fant ut at levermodellene de hadde jobbet med trolig ville det. Hele prosjektet ga dem et forsprang på det å jobbe med denne teknologien. Fire utviklere og en prosjektleder fra Sopra Steria satt på IVS i et halvt år og jobbet gratis med leverprosjektet.
- HoloLens er en teknologi med en sjelden wow-faktor innenfor helse. Vi har hatt flere ulike prosjekter på IVS finansiert fra både Helse Sør-øst og EU som har ledet frem til den anatomiske 3D-modellen som vi nå visualiserer i HoloLens.

- Vi skjønte ikke hva vi manglet før vi så det i dette prosjektet. Vi må bare takke Sopra Steria for å ta med seg HoloLens til oss og tenke på oss fra begynnelsen, sier Kumar. - Det er det tverrfaglige samarbeidet som gjør at dette fungerer så bra.
– Vi har hatt et veldig godt samarbeid med Sopra Steria. De ønsket å bygge kompetanse på området og det har vært stor egeninnsats fra dem, forteller Elle.

Henrik Brun, barnekardiolog og Gry Dahle, thoraxkirurg, er to av klinikerne som har jobbet mye med dette prosjektet.

Barnehjerter

- Prosjektet knyttet til barnehjertekirurgi startet ut med 3D-print som en metode for å lage ekte 3D-kart av hjertene til barn med kompliserte medfødte hjertefeil. Modellene brukes til å planlegge vanskelige reparasjoner av hjerter som har store feil ved fødsel. Hologrammene er en ny måte å visualisere de samme hjertemodellene på som byr på en del fordeler spesielt når det gjelder produksjonstid, deling og interaksjon. Vi bruker dem i møter der vi diskuterer strategi for tilgang til og reparasjon av hjertefeil hos barn. Vi har eksempler på barn der modellene har betydd mye for kirurgens valg av fremgangsmåte og gitt en økt sikkerhet i valgsituasjon for kirurgen og dermed økt trygghet for pasienten. Det kan tyde på at de setter oss i stand til å gjøre veldig avansert kirurgi på en tryggere måte, sier Henrik Brun.

- Hologrammene kan håndteres med sterile hansker på. Dette gjør det attraktivt å utvikle løsningen videre for bruk også i intervensjonslaboratoriet der man gjør implantasjoner i hjertet gjennom katetre via blodårene guidet av røntgengjennomlysning. En holografisk modell kan henge over pasienten og brukes av operatøren under prosedyren som et tilleggskart. Tenker man videre kan det være aktuelt å tracke instrumenter, så vi kan se selve prosedyren i hologrammet realtime.

- Vi jobber også med å utvikle virtuell kirurgi på hologrammene slik at kirurgen kan gjøre prosedyren på pasientens hologramhjerte før selve prosedyren, og skreddersy løsninger og implantater som pasienten skal ha, forklarer han.

Hjerteklaffer

- Prosjektet knyttet til voksenhjerte bygger på samme teknikk som for barnehjerte. Det er spesielt i planleggingen av operasjoner hos pasienter med unormal anatomi, som er operert tidligere og ved kateterklaffteknikk dette kan få en viktig rolle. Man kan på forhånd gjøre målinger og simulere implantasjon av hjerteklaffer. Fra 2009 har vi satt inn kateterbasert klaff i aortaklaffen og det er nå tilgjengelig flere ulike klaffer med ulike egenskaper, simulering av klaffeinnsettelse med holografi hjelper å finne den best egnede klaffen, man simulerer innsetting av klaff i pasientens hjerte på forhånd, forklarer Gry Dahle.

- Fra 2015 har vi satt inn kunstig klaff i mitralklaffen, via hjertespissen uten bruk av hjertelungemaskin. Det er viktig å finne riktig størrelse på klaffen og se at den ikke stenger av for blodstrømmen gjennom aortaklaffen. Vi beregner vinkler for dette og ved holografisimulering av implantert klaff ser vi dette veldig godt. Vi har tidligere benyttet CT-rekonstruksjon for dette og senere 3D-printing, men det er tidkrevende og vanskelig å gjøre om på en printet modell.

Lever

Bjørn Edwin, som jobbet med levermodellene, hadde egentlig lenge ønsket seg hologrammer å jobbe med, så for han passet dette perfekt. - Det gir bedre dybdeinformasjon om det vi ser. Det gjør planlegging av kirurgi enklere fordi kirurgene får mer eksakt informasjon med 3D og hologrammer, sier han, og legger til at lever- og hjerteprosjektene jobber på samme måte med planlegging og navigering.

Veien videre

IVS har fått forskningsmidler fra Helse sør-øst til HoloViz-prosjektet. – Det har vært helt avgjørende for at vi har kunnet jobbe med det vi gjør, sier Elle.

Første tanke med HoloLens og 3D-modellene var å bruke det til å planlegge operasjoner, i dag lager de en hel 3D-forestilling.
- Du kan lage den faktiske modellen der alle ser det samme. Eksempelvis kan flere kirurger sitte og planlegge en operasjon av et barnehjerte gjennom denne teknologien. Alle ser det samme og kan vri og vende på organet og se alt, for så å planlegge en komplisert operasjon i detalj, forklarer Elle.

For videreutvikling er det nyttig å få bredt teknologien ut i nye disipliner, og flere fagmiljøer har begynt å se på den.
HoloCare er utvidelsen og videreføringen av prosjektet. I et konsortium med Sunnaas, Ahus, og Østfold har IVS og Sopra Steria en felles ressurs plassert på Intervensjonssenteret for en videreføring av prosjektet. Prosjektet HoloCare bygger på kunnskapen fra de tidligere prosjektene med HoloLens og videreutvikler dem. Dette er åpent for andre som vil være med.

Fakta: HoloViz

Kort om prosjektet: Å gjøre medisinske bilder til hologrammer for å gjøre det lettere for kirurger å planlegge kompliserte operasjoner. Prosjektet startet opp i januar 2017 med lever, barnehjerte og hjerteventiler.
Prosjektledere: Ole Jakob Elle og Rahul Kumar, Intervensjonssenteret, Oslo universitetssykehus HF
Samarbeidspartnere: Sopra Steria, leverkirurg Bjørn Edwin, barnekardiolog Henrik Brun, thoraxkirurg Gry Dahle, og barnehjertekirurg Sigurd Birkeland.
Prosjektet vant Microsoft 2017 Global Health Innovation Award, Computerworlds E-helsepris 2017, samt 2.plass i Inven2s Idépris 2017.