"Learning from deep learning"

Hva kan vi lære av bedre prediksjoner?

DoMore KI-modellen har vist at dype nevrale nettverk kan gi svært treffsikre prognoser ved blant annet kolorektal kreft (CRC) og prostatakreft (PCa), kun basert på HE-fargede snitt. I Learning from deep learning-prosjektet undersøker vi:

• hvilke vevsstrukturer og celletyper som driver modellens vurderinger
• hvilke karakteristika som henger sammen med metastaser og langtidsoverlevelse
• hvordan denne informasjonen kan brukes på en mer transparent måte i klinikken

Dette gjør vi ved å kombinere biomarkørkartlegging, forklarbar kunstig intelligens og multimodal integrasjon.

Visualisering av den planlagte metoden for test- og valideringskohortene (kolorektalkreft).

Rutinemessig H&E-fargede vevssnitt, som synliggjør celler og vevsstrukturer, er brukt til å trene KI-modellen. I prosjektet avfarges disse snittene og farges på nytt med metoder som viser andre typer proteinuttrykk. Slik kan vi koble mønstrene modellen finner i H&E-bildet til biomarkører – målbare biologiske kjennetegn, som for eksempel bestemte proteiner eller vevsmønstre – som sier noe om diagnose, sykdomsforløp eller effekt av behandling.

Vi benytter romlig proteomikk (PhenoCycler-Fusion) og sekvensiell immunfarging for å kartlegge proteinutrykk i tumorvev og koble det til områder som DoMore-modellen vurderer som høy- eller lavrisiko. Ved hjelp av multiplex-baserte analyser kan detaljerte proteomprofiler studeres direkte i vevets romlige kontekst. Disse dataene integreres med morfologiske analyser og genomiske data, noe som gjør det mulig å undersøke hvordan vevsarkitektur, proteinuttrykk og genetiske endringer sammen bidrar til KI-baserte prognosemarkører

Forklarbar KI og multimodal integrasjon

Vi benytter metoder innen forklarbar kunstig intelligens for å identifisere hvilke vevsegenskaper KI-modellene legger vekt på. Gjennom analyser av varmekart, interne representasjoner i nevrale nettverk og oppmerksomhetsmekanismer fremhever vi vevsmønstre og mikromiljøer som er assosiert med ulik prognose.

Disse funnene integreres med biomarkørdata og genomiske analyser i multimodale modeller. Ved hjelp av cellesegmentering og klyngeanalyser studerer vi proteinuttrykk, celletype-sammensetning og romlig organisering på enkeltcellenivå, og undersøker hvordan molekylære og genetiske endringer gjenspeiles i vevsarkitekturen som KI-modellene bruker i sine prognosevurderinger

Mot mer forståelig AI i kreftprognostikk

Målet med Learning from Deep Learning-prosjektet er å gjøre vår KI-baserte prognosemodell biologisk forståelig og klinisk nyttig. Ved å koble modellens digitale markører til konkrete biologiske mekanismer og vevsmønstre vil prosjektet gi ny innsikt i hva KI faktisk måler i tumorvev og dermed legge grunnlag for mer presis risikostratifisering og fremtidig Ki-baser beslutningsstøtte i kreftbehandling.