Multimodales maschinelles Lernen in der Präzisionsgesundheit: Ein Überblick über den Umfang

npj Digital Medicine Band 5, Artikelnummer: 171 (2022) Diesen Artikel zitieren

18.000 Zugriffe

19 Zitate

47 Altmetrisch

Details zu den Metriken

Maschinelles Lernen wird häufig zur Bewältigung von Problemen im Gesundheitssektor eingesetzt, einschließlich der Nutzung zur klinischen Entscheidungsunterstützung. Seine Verwendung konzentrierte sich in der Vergangenheit auf einzelne modale Daten. Versuche, die Vorhersage zu verbessern und die multimodale Natur der Entscheidungsfindung klinischer Experten nachzuahmen, wurden im biomedizinischen Bereich des maschinellen Lernens durch die Zusammenführung unterschiedlicher Daten umgesetzt. Diese Überprüfung wurde durchgeführt, um die aktuellen Studien in diesem Bereich zusammenzufassen und Themen zu identifizieren, die für zukünftige Forschung geeignet sind. Wir haben diese Überprüfung in Übereinstimmung mit der PRISMA-Erweiterung für Scoping Reviews durchgeführt, um die multimodale Datenfusion im Gesundheitswesen zu charakterisieren. Von 2011 bis 2021 wurden Suchzeichenfolgen erstellt und in folgenden Datenbanken verwendet: PubMed, Google Scholar und IEEEXplore. Ein endgültiger Satz von 128 Artikeln wurde in die Analyse einbezogen. Die häufigsten Gesundheitsbereiche, die multimodale Methoden nutzen, waren Neurologie und Onkologie. Die frühe Fusion war die häufigste Strategie zur Datenzusammenführung. Bemerkenswert ist, dass sich die Vorhersageleistung bei Verwendung der Datenfusion verbesserte. In den Papieren fehlten klare klinische Einsatzstrategien, eine FDA-Zulassung und eine Analyse, wie der Einsatz multimodaler Ansätze aus verschiedenen Teilpopulationen Vorurteile und Ungleichheiten in der Gesundheitsversorgung verbessern kann. Diese Ergebnisse bieten eine Zusammenfassung der multimodalen Datenfusion in Bezug auf gesundheitliche Diagnose-/Prognoseprobleme. Nur wenige Arbeiten verglichen die Ergebnisse eines multimodalen Ansatzes mit einer unimodalen Vorhersage. Diejenigen, die dies taten, erzielten jedoch eine durchschnittliche Steigerung der Vorhersagegenauigkeit um 6,4 %. Multimodales maschinelles Lernen ist zwar in seinen Schätzungen robuster als unimodale Methoden, weist jedoch Nachteile in Bezug auf seine Skalierbarkeit und den zeitaufwändigen Charakter der Informationsverkettung auf.

Die Unterstützung klinischer Entscheidungen ist seit langem ein Ziel für diejenigen, die Algorithmen und maschinelles Lernen im Gesundheitsbereich implementieren1,2,3. Beispiele für algorithmische Entscheidungsunterstützung nutzen Labortestwerte, Bildgebungsprotokolle oder klinische Merkmale (Ergebnisse körperlicher Untersuchungen)4,5. Einige Gesundheitsdiagnosen können auf der Grundlage eines einzelnen Laborwerts oder eines einzelnen Schwellenwerts gestellt werden, beispielsweise bei Diabetes bei älteren Erwachsenen6. Andere Diagnosen basieren auf einer Konstellation der Anzeichen, Symptome, Laborwerte und/oder unterstützender Bildgebung und werden als klinische Diagnose bezeichnet. Häufig basieren diese klinischen Diagnosen auf additiven Bewertungssystemen, die eine Mischung positiver und negativer Merkmale vor der bestätigenden Kennzeichnung erfordern.

Der Modus Operandi einer klinischen Diagnose berücksichtigt möglicherweise nicht die relative Gewichtung dieser unterschiedlichen Dateneingaben und potenziell nichtlinearen Beziehungen, was die Grenzen der menschlichen Entscheidungsfähigkeit verdeutlicht. Die Stärke der algorithmischen Entscheidungsunterstützung besteht darin, dass sie dazu genutzt werden kann, solche Aufgaben zu entlasten, was im Idealfall zu einem erfolgreicheren Ergebnis führt. Das ist das Versprechen der Präzisionsmedizin. Präzisionsmedizin/Gesundheit zielt darauf ab, ein medizinisches Modell zu schaffen, das die Gesundheitsversorgung (Entscheidungen, Behandlungen, Praktiken usw.) individuell anpasst und entweder auf den Phänotyp eines Individuums oder eines Patienten zugeschnitten ist7. Dazu gehört die Verfolgung der Gesundheitsverläufe von Patienten im Längsschnitt8, häufig unter Einbeziehung von Genetik/Epigenetik9,10 und mathematischer Modellierung11, bei der Diagnosen und Behandlungen diese einzigartigen Informationen einbeziehen12. Vergleichen Sie dies mit einem „One-drug-fits-all“-Modell, bei dem es für jede Erkrankung eine einzige Behandlung gibt. Abbildung 1 veranschaulicht den Informationsfluss von Krankenhäusern/Pflegezentren, die unterschiedliche Daten generieren. Durch Computermodellierung und Informationsfusion ermöglichen interessante Ergebnisse wie Arzneimittel- und Behandlungsziele letztendlich eine bessere Entscheidungsfindung auf Patientenebene in diesen Pflegezentren. Dieses Phänomen hat ein Interesse an Fusionsstudien unter Verwendung von Gesundheitsdaten geweckt.

Informationen wandern in einem zyklischen Muster von Gesundheitszentren zu Information Commons, wo sie umgewandelt und algorithmische Modellierung durchgeführt werden können. Diese Algorithmen bieten Einblicke in viele verschiedene Gesundheitsergebnisse wie klinische Studien, Phänotypisierung, Arzneimittelentwicklung usw. Diese Erkenntnisse sollten an Gesundheitszentren und Ärzte zurückfließen, um eine möglichst effiziente, evidenzbasierte Medizin bereitzustellen.

Bemühungen zur Charakterisierung dieser Literatur wurden von Huang et al.13 durchgeführt, die eine systematische Überprüfung der Deep-Learning-Fusion von Bildgebungs- und EHR-Daten im Gesundheitswesen durchführten. Es war jedoch auf EHR- und Bilddaten- und Deep-Learning-Anwendungen beschränkt. Ein nachfolgender Übersichtsartikel enthielt einen Kommentar zu Omics und Bilddatenfusion14. Der Zweck dieser Studie besteht darin, den aktuellen Umfang dieses Forschungsbereichs hervorzuheben, ihn zusammenzufassen und Vorschläge zur Weiterentwicklung des Fachgebiets zu unterbreiten. Die aktuelle Studie ist hinsichtlich der Breite der verwendeten Protokolltypen für maschinelles Lernen umfassender und versucht, alle aktuellen Modalitäten (Informationstypen/Quellen) einzubeziehen.

Die Datenfusion basiert auf der Informationstheorie und ist der Mechanismus, durch den unterschiedliche Datenquellen zusammengeführt werden, um einen Informationszustand zu schaffen, der auf der Komplementarität der Quellen basiert15,16 (Kasten 1). Beim maschinellen Lernen wird erwartet, dass Datenfusionsbemühungen zu einer Verbesserung der Vorhersagekraft17,18 führen und daher zuverlässigere Ergebnisse in potenziell niedrigen Validitätseinstellungen liefern19. Die Datenfusion bietet den Vorteil, dass die Ergebnisse der Modellierung von Natur aus robuster werden, da sie sich auf eine Vielzahl von Informationsfaktoren statt auf einen einzelnen Typ stützen. Allerdings weist die Methodik der kombinatorischen Information Nachteile auf; Es erhöht die Komplexität bei der Spezifikation des Modells und verringert die Interpretierbarkeit der Ergebnisse19,20.

Daten aus verschiedenen Quellen und Dateiformaten sind selten einheitlich, und dies ist insbesondere bei klinischen Daten der Fall21. Beispielsweise können Datensätze unterschiedliche Namenskonventionen und Maßeinheiten haben oder unterschiedliche lokale Bevölkerungsverzerrungen darstellen. Es muss darauf geachtet werden, systematische Unterschiede zwischen Datensätzen zu suchen und zu korrigieren und ihren Grad an Interoperabilität zu bewerten. Beispielsweise haben Colubri et al. aggregierte Computertomographie- (CT) und PCR-Laborwerte durch Durchführung einer standortinternen Normalisierung. Dadurch wurde sichergestellt, dass die Werte standortübergreifend vergleichbar waren. Dabei haben sie mehrere potenziell informative klinische Variablen verworfen, da sie nicht alle in allen Datensätzen verfügbar waren22.

Es ist ein Gleichgewicht erforderlich, um die Zusammenarbeit ähnlicher Informationen zu ermöglichen (Harmonisierung) und die Wahrung der Datenreinheit (Informationskorrespondenz)23. Eine erfolgreiche Fusion nutzt Datenharmonisierungstechniken, die beides bei der Qualitätskontrolle des Integrationsprozesses gewährleisten. Die Harmonisierung klinischer Daten erfordert multidisziplinäre Forschung zwischen Medizin, Biologie und Informatik. Im klinischen Bereich der Herzinsuffizienz mit erhaltener Ejektionsfraktion (HFpEF) kam es zu neuartigen Anwendungen von Formulierungen mit multipler Tensorfaktorisierung, um die tiefen phänotypischen und transomischen Informationen zu integrieren24, und dies erstreckt sich auch auf andere Bereiche der Präzisionsmedizin25. Um die Portabilität von EHR-basierten Phänotypalgorithmen zu erhöhen, hat das Netzwerk Electronic Medical Records and Genomics (eMERGE) gemeinsame Datenmodelle (CDMs) und standardisierte Entwurfsmuster der Phänotypalgorithmuslogik übernommen, um EHR-Daten mit Genomdaten zu integrieren und Generalisierbarkeit und Skalierbarkeit zu ermöglichen26 ,27,28,29.

Es gibt drei Haupttypen der Datenfusion, die beim maschinellen Lernen verwendet werden; früh (Datenebene), mittelschwer (gemeinsam) und spät (Entscheidungsebene)30. Bei der frühen Fusion werden mehrere Datenquellen in denselben Informationsraum konvertiert. Dies führt häufig zu einer Vektorisierung oder numerischen Konvertierung aus einem alternativen Zustand, wie sie beispielsweise von Chen et al. durchgeführt wurde. über vektorisierte Pathologieberichte31. Medizinische Bilder verfügen über Eigenschaften, die auf der Grundlage von Flächen-, Volumen- und/oder Strukturberechnungen numerisch umgerechnet werden können32. Diese werden dann mit weiteren Messungen aus strukturierten Datenquellen verkettet und einem individuellen Klassifikator zugeführt. Kanonische Korrelationsanalyse33, nichtnegative Matrixfaktorisierung34,35, unabhängige Komponentenanalyse (ICA) und numerische Merkmalskonvertierungsmethoden existieren als gemeinsame Optionen, um alle Daten in denselben Merkmalsraum umzuwandeln36.

Die Zwischendatenfusion erfolgt als schrittweise Reihe von Modellen und bietet den größten Spielraum in der Modellarchitektur. Beispielsweise wurde von Zhou et al.37 ein dreistufiges Modell für tiefes neuronales Lernen und Fusion vorgeschlagen. Stufe 1 besteht aus der Merkmalsauswahl durch einen Soft-Max-Klassifikator für unabhängige Modalitäten. In den Stufen 2 und 3 werden diese ausgewählten Merkmale kombiniert, ein weiter verfeinerter Satz von Merkmalen erstellt und diese in ein Cox-nnet eingespeist, um eine gemeinsame Darstellung latenter Merkmale für die Alzheimer-Diagnose durchzuführen. Im Gegensatz zur frühen Fusion kombiniert die Zwischenfusion die Merkmale, die jeden Datentyp unterscheiden, um eine neue Darstellung zu erzeugen, die aussagekräftiger ist als die einzelnen Darstellungen, aus denen sie hervorgegangen ist.

Bei der späten Fusion werden typischerweise mehrere Modelle trainiert, wobei jedes Modell einer eingehenden Datenquelle entspricht. Dies ähnelt dem Ensemble-Lernen, das eine bessere Leistung gegenüber einzelnen Modellen bietet38. Ensemble-Methoden verwenden mehrere Lernalgorithmen (normalerweise auf denselben Datensatz angewendet), um eine bessere Vorhersageleistung zu erzielen, als dies mit jedem einzelnen Lernalgorithmus allein möglich wäre. Allerdings kann sich multimodales maschinelles Lernen-Ensemble hier auf Ensemble-Lernen innerhalb eines Datentyps oder über Datentypen hinweg beziehen. Diese nehmen symbolische Darstellungen als Quellen und kombinieren sie, um eine genauere Entscheidung zu erhalten39. Bayesianische Methoden werden typischerweise auf dieser Ebene40 eingesetzt, um einen Abstimmungsprozess zwischen den Modellsätzen zu einer globalen Entscheidung zu unterstützen. Im Rahmen der späten Fusion wurden Fortschritte bei der Durchführung von Multitasking-Deep-Learning erzielt41,42,43,44,45,46,47. Ein Schema für die drei Subtypen der Datenfusion ist in Abb. 2 dargestellt. Attribute in den Fusionstechniken sind in Tabelle 1 aufgeführt.

Die Informationsfusion kann auf vielfältige Weise erfolgen. Beim maschinellen Lernen wird die frühe, mittlere und späte Fusion dadurch charakterisiert, dass alle Informationen in ein einziges Modell fließen (früh), schrittweise, wobei Ausgaben eines Modells zu Eingaben für ein anderes werden (mittlere Version), und schließlich, wenn alle Eindeutige Datentypen werden einer separaten Modellierung unterzogen, wonach die Zusammenführung und/oder Abstimmung (spät) erfolgt.

Multimodales maschinelles Lernen: Der Bereich des maschinellen Lernens, der sich mit der Zusammenführung unterschiedlicher Datenquellen befasst, um die einzigartigen und komplementären Informationen in einem algorithmischen Rahmen zu nutzen.

Datenharmonisierung: Verwendung von maschinellem Lernen zur Vereinheitlichung verschiedener Datenquellen, um deren Qualität und Nutzung zu verbessern.

Multiview Machine Learning: ein anderer Begriff für multimodales maschinelles Lernen.

Datenfusion: die spezifischen Methoden zur Durchführung der Datenintegration für multimodales/multiviewendes maschinelles Lernen; Sie kommen in drei große Kategorien: früh, mittelschwer/gemeinsam und spät.

Die in Abb. 3 dargestellte Themenmodellierung zeigt die Kategorie, das untersuchte spezifische Gesundheitsproblem und den Modalitätstyp für die einbezogenen Studien. Diese wurden anschließend der Kategorie der Informationskombination zugeordnet, die zusammengeführt wurde, um Modelle für Vorhersage/Klassifizierung/Clustering zu erstellen (Tabelle 2). Dieses Diagramm sollte als Ressource für andere Forscher dienen, um Bereiche zu identifizieren, die weniger häufig vorkommen, wie z. B. Dermatologie48, Hämatologie49, Medikamente/Drogenprobleme wie Alkoholabhängigkeit, die möglicherweise neue Forschungshorizonte eröffnen50. Abbildung 4 identifiziert Kodierungsplattformen, Veröffentlichungstrend und -ort im Zeitverlauf, Autorenstandorte und Patientenkohorten der in dieser Überprüfung enthaltenen Arbeiten.

Auf die Neurologie und insbesondere Untersuchungen zur Alzheimer-Krankheit entfielen die meisten zu diesem Thema veröffentlichten Arbeiten (n = 22). Mit dem Ausbruch der COVID-19-Pandemie wurden diesem Thema mehrere primäre Forschungsartikel gewidmet, die über die Hierarchie der Atemwegs- oder Infektionskrankheiten erreicht werden können. Alle in dieser Übersicht erwähnten Arbeiten verwendeten bei der Zusammenführung ihrer Daten entweder zwei oder drei unterschiedliche Datenquellen, wobei insbesondere Bildgebung und EHR (n = 52) am weitesten verbreitet waren.

Eine Heatmap des Fusionstyps, aufgeschlüsselt nach den verwendeten Codierungsplattformen, durch Summieren der Anzahl der verwendeten Dokumente (diejenigen, die die verwendete Plattform erwähnten), wobei die Python-Plattform und die frühe Fusion am beliebtesten sind. Bemerkenswert ist, dass in 37 der Papiere eine Plattform nicht ausdrücklich erwähnt wurde. b Gesamtzahl der in den letzten 10 Jahren in diesem Bereich veröffentlichten Original-Forschungsarbeiten. c Kontinentale Aufschlüsselung der Autorenbeiträge (beachten Sie, dass einige Artikel Autoren aus mehreren Kontinenten haben). d Aufschlüsselung nach Publikationstyp (klinische/nichtklinische Zeitschrift). Weniger als die Hälfte (37,6 %) der Arbeiten wurden in einer Zeitschrift veröffentlicht, die sich an ein klinisches Publikum richtete. e Geschlechteraufschlüsselung der untersuchten Populationen. In den Arbeiten waren sowohl Männer als auch Frauen vertreten, der Grad der Repräsentation variierte jedoch innerhalb der einzelnen Studien.

Von den in den Arbeiten verwendeten Modellen berichteten 126/128 ausdrücklich über die Durchführung eines Validierungsverfahrens. Die am häufigsten durchgeführten Validierungsprozesse waren die N-fache Kreuzvalidierung (55)51,52, die Aufteilung des Zugtests (51), die Kreuzvalidierung „Eins auslassen“ (10) und der externe Datensatz (10). Eine Fülle von Techniken und Methoden des maschinellen Lernens wurde in und in den Artikeln dieser Rezension verwendet. Sie wurden in Tabelle 2 zusammengefasst und angegeben, in welchem ​​Fusionsschirm-Subtyp sie implementiert wurden.

Die meisten Arbeiten wurden unter Verwendung der frühen Fusion veröffentlicht. Die meisten davon wurden unter Verwendung medizinischer Bildgebung und EHR-Daten veröffentlicht34,36,48,53,56,57,60,62,63,64,68,71,73,75,85,86,87,88,90,92 ,93,94,95,96,98,100,104,111. Fast alle dieser Arbeiten führten eine Numerisierung von Bildmerkmalen durch und wandelten sie vor der Verarbeitung im Wesentlichen in strukturierte Daten um, zwei führten jedoch eine Matrixfaktorisierung durch34,36. Eine Kombination aus EHR- und Textdaten wurde in 15 Artikeln erwähnt31,54,69,72,79,80,81,91,99,102,106,112. Meng et al. erstellte ein bidirektionales Repräsentationslernmodell, das die latente Dirichlet-Zuordnung (LDA) für klinische Notizen nutzte112. Cohen et al. verwendeten Unigramme und Bigramme im Zusammenhang mit der Medikamenteneinnahme54. Zeng et al. verwendete Konzeptbezeichner aus Text als Eingabemerkmale81. Neun Arbeiten verwendeten eine frühe Fusion mit Bildgebungs-, EHR- und Genomdaten32,50,51,55,61,65,83,89,108. Doan et al. verkettete Komponenten, abgeleitet aus Bildern mit polygenen Risikobewertungen83. Lin et al. erstellte außerdem aggregierte Ergebnisse aus MRT, Gehirn-Rückenmarks-Flüssigkeit und genetischen Informationen und führte sie in einer einzigen zusammenhängenden extremen Lernmaschine zusammen, um leichte kognitive Beeinträchtigungen vorherzusagen55. Tremblay et al. verwendete nach der Normalisierung einen multivariaten adaptiven Regressions-Spline (MARS) und entfernte stark korrelierte Merkmale89. Zehn Veröffentlichungen führten eine Fusion mithilfe von Bildgebungs- und Genomdaten durch33,52,70,76,77,78,82,84,97,110. Drei davon generierten Korrelationsmatrizen als Merkmale, indem sie Bildgebungsparameter vektorisierten und sie mit Einzelnukleotidpolymorphismen (SNPs) korrelierten, bevor sie in das Modell eingespeist wurden33,70,78. Drei Arbeiten in dieser Kategorie verwendeten EHR und Zeitreihen58,74,101. Sowohl Hernandez als auch Cannière et al. implementierten ihre Methoden für Zwecke der Herzrehabilitation und nutzten die Leistungsfähigkeit von Support-Vektor-Maschinen (SVMs). Hernandez bewahrte jedoch Zeitreiheninformationen, indem er EKG-Daten in Tensoren zusammenfasste, die die dem Merkmalsraum innewohnenden strukturellen und zeitlichen Beziehungen bewahren74, während Cannière eine Dimensionsreduktion der Zeitreiheninformationen mithilfe von t-SNE-Diagrammen durchführte58. Zwei Arbeiten befassten sich mit der frühen Fusion mithilfe von Bildgebung und Zeitreihen67,103. Es gab zwei Veröffentlichungen, die EHR und genomische Informationen nutzten66.119. Luo et al. implementierten die hybride nicht-negative Matrixfaktorisierung (HNMF), um Kohärenz zwischen Phänotypen und Genotypen bei Patienten mit Bluthochdruck zu finden119. Ein Artikel nutzte die frühe Fusion mithilfe von Bild- und Textdaten105 und ein anderer nutzte EHR, Genomik, Transkriptomik und Versicherungsansprüche157.

Der Bereich Intermediate Fusion verzeichnete die zweithöchste Anzahl veröffentlichter Artikel. 14 verwendeten Bildgebungs- und EHR-Daten43,59,113,114,118,121,123,125,126,129,131,132,133,135,137. Zihni et al. führte die Ausgabe eines Multilayer Perceptron (MLP) zur Modellierung klinischer Daten und eines Convolutional Neural Network (CNN) zur Modellierung von Bildgebungsdaten in einer einzigen, vollständig verbundenen Endschicht zusammen, um einen Schlaganfall vorherzusagen135. Einen sehr ähnlichen Ansatz verfolgten Tang et al. der dreidimensionale CNNs verwendete und die Schichten in der letzten Schicht zusammenführte113. EHR- und Textdaten wurden in 11 Artikeln41,44,80,107,109,116,122,126,134,136,142 zusammengeführt. Davon nutzten sechs41,44,80,122,134,142 Long Term Short Term (LSTM)-Netzwerke, CNNs oder wissensgesteuerte CNNs160 bei der Zusammenführung von EHR und klinischen Notizen. Chowdhury et al. verwendeten graphische neuronale Netze und Autoencoder, um Meta-Einbettungen aus strukturierten Labortestergebnissen und klinischen Notizen zu lernen107,109. Pivovarov et al. lernten probabilistische Phänotypen aus klinischen Notizen und Daten zu Medikamenten/Laboraufträgen (EHR)136. Zwei Modelle verwenden jeweils LDA, wobei der Datentyp als eine Menge Elemente behandelt wird, um Kohärenz zwischen den beiden Modellen herzustellen und einzigartige Phänotypen zu identifizieren. Ye et al. und Shin et al. verwendeten Konzeptidentifikatoren über NLP bzw. Bag-of-Words-Techniken, bevor sie eine Vielzahl sekundärer Modelle testeten116,126. Im Allgemeinen können klinische Notizen ergänzende Informationen zu strukturierten EHR-Daten liefern, bei denen häufig die Verarbeitung natürlicher Sprache (NLP) erforderlich ist, um solche Informationen zu extrahieren161,162,163. Einige Studien wurden unter Verwendung von Bildgebung und Genomik veröffentlicht37,117,120. Hier wurde die Radiogenomik zur Diagnose von Aufmerksamkeitsdefizit-/Hyperaktivitätsstörung (ADHS), Glioblastom-Überleben bzw. Demenz eingesetzt. Polygene Risikoscores wurden von Yoo et al. mit MRT kombiniert. die ein Ensemble zufälliger Wälder für die ADHS-Diagnose verwendeten120. Zhou et al. fusionierte SNPs-Informationen mit MRT und Positronenemissionstomographie (PET) zur Demenzdiagnose, indem latente Darstellungen (d. h. Merkmale auf hoher Ebene) für jede Modalität unabhängig voneinander gelernt wurden. Anschließend wurde das Erlernen gemeinsamer latenter Merkmalsdarstellungen für jedes Paar von Modalitätskombinationen und anschließend das Erlernen der diagnostischen Bezeichnungen durch Fusionieren der erlernten gemeinsamen latenten Merkmalsdarstellungen aus der zweiten Stufe durchgeführt37. Wijethilake nutzte MRT und Genexpressionsprofilierung und führte eine rekursive Merkmalseliminierung vor der Zusammenführung in mehrere SVM-Modelle, lineare Regression und künstliche neuronale Netzwerke (ANN) durch. Das lineare Regressionsmodell übertraf die beiden anderen zusammengeführten Modelle und jede einzelne Modalität117. Wang et al. und Zhang et al. präsentierten ihre Arbeit bei der Zusammenführung von Bild- und Textinformationen45,46. Beide verwendeten LSTM zur Sprachmodellierung eines CNN, um Einbettungen zu generieren, die in einem Dual-Attention-Modell zusammengefügt wurden. Dies wird durch die Berechnung eines Kontextvektors erreicht, wobei die betreuten Informationen für jede Modalität erhalten bleiben, was zu gemeinsamem Lernen führt. Selten wurden Artikel veröffentlicht mit: Imaging/EHR/Text115, Genomic/Text49, Imaging/Time series127, Imaging/Text/Time series47, Imaging/EHR/Genomic130, Imaging/EHR/Time series124, EHR/Genomic128, EHR/Text/Time Serie42.

Eine viel kleinere Anzahl (n = 20) der Arbeiten verwendete Late Fusion. Sieben davon verwendeten Bildgebungs- und EHR-Datentypen138,139,144,150,151,154,164. Sowohl Xiong et al. und Yin et al. speiste die Ausgaben in ein CNN ein, um eine endgültige Gewichtung und Entscheidung zu ermöglichen150,151. Drei Artikel wurden mit einem trimodalen Ansatz veröffentlicht: Bildgebung, EHR und Genomik130,147,148. Xu et al. und Faris et al. veröffentlichte Artikel unter Verwendung von EHR- und Textdaten146,155. Faris et al. Verarbeitete klinische Notizen mithilfe von TF-IDF, Hashing-Vektorisierer und Dokumenteinbettungen in Verbindung mit binarisierten klinischen Daten155. Logistische Regression (LR), Random Forest (RF), Stochastic Gradient Descent Classifier (SGD Classifier) ​​und ein Multilayer Perceptron (MLP) wurden unabhängig voneinander auf beide Datensätze angewendet und die endgültigen Ergebnisse der beiden Modelle wurden mithilfe verschiedener Schemata kombiniert: Ranking , Summation und Multiplikation. Zwei Artikel wurden unter Verwendung von Bildgebung und Zeitreihen149,152 veröffentlicht, die beide CNNs verwendeten, einer mit Videoinformationen von Neugeborenen149 und der andere mit Röntgenaufnahmen des Brustkorbs152. Allerdings unterschieden sie sich in der Verarbeitung der Zeitreihendaten. Salekin verwendete ein bidirektionales CNN und Nishimori ein eindimensionales CNN. Weitaus weniger Artikel wurden mit Imaging/EHR/Text153, EHR/Genomic/Text145, Imaging/EHR, Time Series/141, Imaging/Genomic156, EHR/Genomic140 und Imaging/Text39 veröffentlicht.

In zwei Artikeln wurden mehrere Datenfusionsarchitekturen durchgeführt158,159. Huang et al. schuf sieben verschiedene Fusionsarchitekturen. Dazu gehörten frühe, gemeinsame und späte Fusion. Die Architektur mit der besten Leistung war die späte elastische Durchschnittsfusion zur Diagnose von Lungenembolien mithilfe von Computertomographie und EHR-Daten159. Ihre Late Elastic Average Fusion nutzte ein ElasticNet (lineare Regression mit kombinierten L1- und L2-Priors, die als Regularisierer fungieren) für EHR-Variablen. El-Sappagh et al. führten eine frühe und späte Fusion durch, um ein interpretierbares Alzheimer-Diagnose- und Progressionserkennungsmodell zu erstellen158. Ihr leistungsstärkstes Modell war eines, das instanzbasierte Erklärungen des Random-Forest-Klassifikators mithilfe der Feature-Attribution von SHapley Additive exPlanations (SHAP) implementierte. Trotz der Verwendung klinischer, genomischer und bildgebender Daten erwies sich die Mini-Mental-State-Prüfung als das einflussreichste Merkmal.

Die Datenfusion kann dazu beitragen, die Geschlechterrepräsentation anzugehen und die Probleme der Bevölkerungsvielfalt (einschließlich Minderheitenbevölkerungen) in der Gesundheitsmodellierung zu erhöhen, indem ein repräsentativerer Datensatz erstellt wird, wenn ein Datentyp mehr von einem Geschlecht und ein anderer Datentyp mehr von dem anderen Geschlecht enthält. Diese gegenseitige Kompensationsfähigkeit der Verwendung verschiedener Datensätze würde auch für rassische oder ethnische Unterschiede gelten.

Weniger als die Hälfte (37,6 %) der Arbeiten wurden in einer Zeitschrift veröffentlicht, die sich an ein klinisches Publikum richtete. Keines der in die endgültige Studienkohorte einbezogenen Papiere hatte Werkzeuge für den klinischen Einsatz entwickelt, die von der FDA zugelassen waren. Aufgrund der steigenden Zahl von Veröffentlichungen in diesem Bereich besteht ein wachsender und globaler Bedarf und ein wachsendes Interesse an der Charakterisierung dieser Ergebnisse.

Kehren wir zu unseren Forschungsfragen zurück, die wir zu Beginn dieser Arbeit dargelegt haben, und kommen zu Tabelle 3.

In den in dieser Rezension enthaltenen Artikeln wurden viele Probleme angesprochen. Die am häufigsten gemeldeten Einschränkungen waren Kohorten von einem einzigen Standort, kleine Stichprobengrößen, retrospektive Daten, unausgeglichene Stichproben, Umgang mit fehlenden Daten, Feature-Engineering, Kontrolle von Störfaktoren und Interpretation der verwendeten Modelle. Die Proben wurden meist in einem einzelnen Krankenhaus oder akademischen medizinischen Zentrum erstellt148. Kleine Stichprobengrößen führen oft zu einer schlechten Modellanpassung und Generalisierbarkeit. Die mittlere Anzahl der in den Studien gemeldeten Einzelpatienten betrug 658 mit einer Standardabweichung von 42.600. Dies deutet darauf hin, dass einige Studien zwar große und multizentrische Kohorten nutzen konnten, sehr viele jedoch nicht dazu in der Lage waren70,82,120,131.

Selten wurden maschinelle Lernuntersuchungen an prospektiven Daten durchgeführt, ein in diesem Bereich weit verbreitetes Problem84. Ungleichgewichte bei den Stichproben wurden oft ignoriert, was zu verzerrten Modellen und irreführenden Leistungsmetriken führte75,151. Fehlende Daten wurden in der Regel durch Weglassen von Daten oder Imputieren ignoriert. Wenn nicht angemessen damit umgegangen wird, können die Ergebnisse verfälscht werden68,106,173. In weiteren Studien müssen Häufigkeit und Art fehlender Daten erörtert werden174,175,176,177. Der Vergleich verschiedener Imputationsmethoden auf die Endergebnisse sollte Teil des Berichterstattungsprozesses sein178. Bei der Durchführung statistischer Analysen ignorierten Forscher in der Regel mögliche Störfaktoren wie Alter oder Geschlecht. Dies kann erhebliche Auswirkungen auf die Wirkung der Ergebnisse haben153. Solche möglichen Störeffekte sollten entweder vom Modell berücksichtigt werden179,180 oder zunächst angepasst werden, bevor Modellergebnisse gemeldet werden. Es müssen vernünftige Interpretationen des Modells und der Ergebnisse präsentiert werden, damit Kliniker die Ergebnisse für glaubwürdig halten und sie dann als Leitlinien für Behandlungen verwenden können. Allerdings haben sich die meisten Autoren nicht die Zeit genommen, die Modelle für das klinische Publikum zu interpretieren. Darüber hinaus wird untersucht, wie die Ergebnisse als Hilfsmittel zur klinischen Entscheidungsunterstützung dienen können. Unterschiedliche Modelltypen erfordern unterschiedliche Erklärungen129,130. Diese Einschränkungen werden dort hervorgehoben, wo sie in der Datenverarbeitungs- und Modellierungspipeline in Abb. 5 auftreten.

Einschränkungen bei der multimodalen Fusionsimplementierung werden nach ihrer Position im Arbeitsablauf geschichtet. Dazu gehören Probleme im Zusammenhang mit den zugrunde liegenden Daten, der aus diesen Daten resultierenden Modellierung und schließlich der Art und Weise, wie diese zurück in die Gesundheitssysteme übertragen werden, um eine translationale Entscheidungsunterstützung bereitzustellen.

Um dieses Gebiet voranzutreiben und zu erleichtern, haben wir mehrere Lücken für zukünftige Forschung auf diesem Gebiet aufgezeigt. Diese sind in Abb. 5 aufgeführt und untersucht. Medikamente/Arzneimittelthemen stellen einen unterrepräsentierten Bereich dar, da in diesem Bereich nur zwei Artikel veröffentlicht wurden50,66. Das Bewusstsein für die Auswirkungen von Arzneimittelwechselwirkungen ist ein schwieriges und wachsendes Problem181,182,183,184, insbesondere in der Geriatrie, was zur Entstehung der Beer-Kriterien führte185. Die Durchführung multimodalen maschinellen Lernens kann eine frühere Erkennung unerwünschter Ereignisse im Zusammenhang mit Medikamentenmissbrauch ermöglichen, der auf iatrogene Fehler, Nichteinhaltung oder Sucht zurückzuführen ist. Ähnliche Begründungen wie oben dargelegt könnten auf andere Bereiche angewendet werden, die als „untergesättigt“ gelten, wie etwa die Hämatologie mit nur einer Arbeit49 und die Nephrologie mit nur drei41,87,99.

Die Erweiterung der klinischen Entscheidungsfindung durch ML zur Verbesserung der klinischen Forschung und Ergebnisse hat positive Auswirkungen mit wirtschaftlichen, ethischen und moralischen Auswirkungen, da dadurch Leid verringert und Menschenleben gerettet werden können. Mehrere Studien haben nun darauf hingewiesen, dass, wenn die Daten, auf denen ein ML-Modell trainiert wird, verzerrt sind, dies häufig zu einer Verzerrung der Vorhersagen führt186,187. Durch die Sicherstellung repräsentativer Multisite-Daten werden Modellverzerrungen begrenzt. Wir befürworten außerdem die Schaffung von Open-Access-Pipelines/Bibliotheken, um die Datenkonvertierung zu beschleunigen und die Technologie breiter verfügbar zu machen188,189. Die Verbesserung der Genauigkeit auf Kosten komplexer und zeitaufwändiger Datentransformationen kann dazu führen, dass die durch einen multimodalen Ansatz gewonnene Vorhersagekraft durch diesen Front-End-Engpass zunichte gemacht wird, was bedeutet, dass Vorhersagen zeitlich nicht mehr relevant oder nützlich sind.

Während die Einbeziehung unterschiedlicher Daten scheinbar bessere Vorhersagen ermöglicht139, ist die Datenfusion im Gesundheitswesen mit zunehmendem Wissen über bestimmte Krankheiten ein sich entwickelndes Ziel, das eine proaktive Anpassung an die dynamische Landschaft erfordert190. Es gibt kein einzelnes ML-Modell mit allgegenwärtiger Anwendbarkeit. Beispielsweise wurde bei Protein-Protein-Wechselwirkungen gezeigt, dass die Verwendung des XGBoost-Ensemble-Algorithmus verrauschte Merkmale reduziert, die signifikanten Rohmerkmale beibehält und eine Überanpassung verhindert122. Ebenso bietet LightGBM191 die Vorteile einer schnelleren Trainingsgeschwindigkeit, einer höheren Effizienz, einer geringeren Speichernutzung und einer besseren Genauigkeit192 und hat andere Modelle durchweg übertroffen193,194. Graphische neuronale Netze können neue Verbindungen synthetisieren, die zur Entdeckung von Arzneimitteln/Targets führen122.

Ebenso sollten stets Modelle in Betracht gezogen werden, die eine Interpretierbarkeit ermöglichen. Beispielsweise wurde das Modell von Perotte et al.99 nicht mit herkömmlichen, einfacheren Klassifikatoren für maschinelles Lernen verglichen, und die Interpretation einer kollektiven Matrixfaktorisierung ist von Natur aus schwierig79. Vergleichen Sie dies mit der Arbeit von Fraccaro et al. deren Studie zur Makuladegeneration feststellte, dass ihre White-Box-Methoden ebenso gut funktionierten wie Black-Box-Methoden implementiert68.

Mit zunehmender Reife dieses Bereichs und der damit verbundenen Datensätze ist Arbeit erforderlich, um die Grundsätze des Datenmanagements anzugehen: Auffindbarkeit, Zugänglichkeit, Interoperabilität und Wiederverwendung digitaler Datensätze (FAIR)195. Dies erfordert Metadaten, die eindeutig/nicht identifizierbar und durchsuchbar sind, mit offenen oder föderierten Zugangspunkten (Auffindbarkeit/Zugänglichkeit), Daten, die umfassend geteilt werden (Interoperabilität) und schließlich Daten, die im Rahmen einer klaren Datennutzungsvereinbarung genaue und relevante Attribute enthalten /Lizenz (wiederverwendbar). Es ist unbedingt erforderlich, dass es eine klare Definition der Ergebnisse, eine Bewertung von Verzerrungen und die Interpretierbarkeit/Transparenz der Ergebnisse sowie die mit den Vorhersagen verbundenen Einschränkungen gibt196.

Von entscheidender Bedeutung für die Akzeptanz ist, dass die Vorhersagen patientenspezifisch und auf granularer Ebene umsetzbar sind197. Beispielsweise kann ein 30-Tage-Vorhersagealgorithmus für Wiederaufnahmen106, wenn er implementiert wird, das Ressourcenmanagement beeinflussen und zusätzliche Untersuchungen anstoßen, die die Zahl der wiedereingelieferten Patienten verringern können. Linden et al. entwickelte ein Deep Personalized LOngitudinal Convolutional RISk Model (DeepLORI), das in der Lage ist, Vorhersagen zu erstellen, die auf der Ebene einzelner Patienten interpretiert werden können122. Die Nutzung sowohl klinischer als auch empirisch fundierter Informationen zur Erstellung aussagekräftiger und nutzbarer Empfehlungen136 kann das Verständnis für Kliniker/Endbenutzer verbessern, indem sie sich auf bestehende Rahmenwerke bezieht. Ressourcen wie CRISP-ML bieten einen Rahmen für die Umsetzung von Anwendungsfällen in praktischere Anwendungen198, während Bemühungen, sich um Zulassungen der Lebensmittel- und Arzneimittelbehörde (FDA) als Werkzeug zu bewerben, zu einer zunehmenden Akzeptanz geführt werden.

Der Einsatz von Modellen mit Benutzeroberflächen, die die mit diesen Vorhersagen verbundenen Einschränkungen kommentieren196, wird es klinischen Entscheidungsträgern ermöglichen, entsprechende Schnittstellen zu nutzen und Änderungen umzusetzen. Die Umsetzung der oben genannten Aufgaben wird einzelne Bereiche dazu anregen, Empfehlungen für spätere Implementierungen in der realen Welt zu erstellen, die relevant und umsetzbar sind und über regionale/Subpopulationsunterschiede hinausgehen. Zu den Einschränkungen dieser Scoping-Überprüfung gehört, dass es sich nicht um eine systematische Überprüfung handelt. Daher ist es möglich, dass einige Titel, die hätten enthalten sein sollen, übersehen wurden. Da der Hauptzweck dieser Studie darin bestand, wissenschaftliche Arbeiten zum Thema multimodales maschinelles Lernen im Gesundheitswesen zu profilieren, wurde keine kritische Bewertung der individuellen methodischen Qualität der eingeschlossenen Studien durchgeführt. Es werden jedoch Kommentare zu den methodischen Einschränkungen abgegeben, die sich auf ihre Ergebnisse und ihre Behauptungen ausgewirkt haben könnten. Diese Überprüfung bietet umfassende Metadaten und Auswertungen über Gesundheitsbereiche hinweg, unabhängig von der Art des maschinellen Lernens oder den verwendeten Daten. Diese Arbeit dient sowohl als Zusammenfassung als auch als Sprungbrett für zukünftige Forschungen auf diesem Gebiet. Die Datenfusion im Gesundheitswesen ist ein wachsendes Feld von globalem Interesse. Die Themenbereiche Gesundheit, die im Vergleich zu anderen häufig vorkommen, waren Neurologie und Krebs, was dazu dient, Möglichkeiten für die weitere Erforschung wenig erforschter Themen (Hämatologie, Dermatologie) aufzuzeigen. Unimodales maschinelles Lernen steht grundsätzlich im Gegensatz zur aktuellen routinemäßigen klinischen Praxis, bei der bildgebende, klinische oder genomische Daten gemeinsam interpretiert werden, um eine genaue Diagnose zu ermöglichen, und erfordert weitere Arbeiten zur Benutzerfreundlichkeit und Implementierung. Insgesamt erscheint die Behauptung gerechtfertigt, dass die multimodale Datenfusion die Vorhersageleistung gegenüber unimodalen Ansätzen steigert (6,4 % mittlere Verbesserung der AUC) und gegebenenfalls gerechtfertigt ist. Multimodales maschinelles Lernen könnte ein Werkzeug sein, das in der Präzisionsmedizin eingesetzt wird, um den individuellen Gesundheitsfingerabdruck von Patienten in Untergruppen zu erweitern. Darüber hinaus plädieren wir für mehr Anstrengungen bei der Modellübersetzung und untersuchen die Notwendigkeiten, die dieses Ziel ermöglichen, da in unserem Review für keinen der Artikel eine FDA-Zulassung beantragt wurde.

Eine im Zusammenhang mit diesem Übersichtsartikel veröffentlichte Dashboard-Ressource ist verfügbar unter: https://multimodal-ml-health.herokuapp.com/. Dieses Dashboard wurde als interaktive Infografik-basierte Darstellung der wichtigsten in diesem Dokument vorgestellten Ergebnisse erstellt. Um zukünftige Arbeiten zu fördern, wurde ein Dropdown-Menü erstellt, um Forschern dabei zu helfen, die zugrunde liegende Datendatei mit Titeln basierend auf dem spezifischen übergreifenden Gesundheitsthema durch Auswahl zu filtern. Dies erleichtert das Auffinden relevanter Dokumente.

Einschlussvoraussetzungen waren: (a) ursprünglicher Forschungsartikel; (b) innerhalb der letzten 10 Jahre veröffentlicht (einschließlich der Jahre 2011–2021); (c) auf Englisch veröffentlicht; und (d) zum Thema multimodaler oder multi-viewer Einsatz von maschinellem Lernen im Gesundheitswesen für Diagnose- oder Prognoseanwendungen. „Multimodal“ oder „multi-view“ bedeutet für unseren Kontext, dass die verschiedenen Datenquellen nicht identisch waren Typ. Während beispielsweise eine Arbeit, die CT und MRT verwendet, als multimodale Bildgebung betrachtet werden kann; Nach unseren Kriterien würde es jedoch als unimodal gelten (dh nur die Bildgebung eingeschlossen). Ausschlüsse für die Zwecke dieser Überprüfung waren: (a) wissenschaftliche Artikel, die nicht auf Englisch veröffentlicht wurden; (b) Kommentare oder Leitartikel; oder (c) andere Übersichtsartikel. Papiere wurden auch ausgeschlossen, wenn die Daten nicht von Menschen stammten. Wir haben auch Arbeiten ausgeschlossen, bei denen die Fusion bereits in der Datengenerierungsphase erfolgte, wie z. B. räumliche Transkriptomik, die integrierte Gewebebildgebungs- und Transkriptomikdaten erzeugt199,200,201. Alle Beiträge wurden einer Zwei-Personen-Verifizierung unterzogen, um in das Manuskript aufgenommen zu werden.

Suchbegriffe wurden über Literaturrecherchen und Fachkenntnisse ermittelt. Zusätzliche Schlüsselwörter wurden auf der Grundlage von Matrizen zum gemeinsamen Vorkommen von Schlüsselwörtern identifiziert, die aus den Zusammenfassungen der zuvor enthaltenen Artikel erstellt wurden. Abbildung 6a zeigt die Suchzeichenfolgen, wobei eine einzelne Zeichenfolge ein Schlüsselwort aus jeder Spalte enthalten würde. Dies wurde für alle Kombinationen von Suchzeichenfolgen durchgeführt. Eine Übersicht über den Einschluss-/Ausschlussprozess ist in Abb. 6b dargestellt und folgt dem von der PRISMA-Erweiterung festgelegten Standard für Scoping-Reviews202.

ein gesundheitsbezogenes Schlüsselwort, multimodales Schlüsselwort, maschinelles Lernen bezogene Schlüsselwörter, |: oder. Beispielsweise wäre „Gesundheit + heterogene Daten + maschinelles Lernen“ einer der Suchbegriffe. b Überblick über den Studieneinschlussprozess. c Forschungsfragen gestellt.

Zu den aus den Artikeln gesammelten Informationen gehörten Titel, Erscheinungsjahr, FDA-Zulassung des Tools, ob es in einer klinischen Fachzeitschrift veröffentlicht wurde, Autorenzugehörigkeiten, Anzahl der Autoren, Standorte (Kontinente) und eine Zusammenfassung. Es wurden die angesprochenen Gesundheitsthemen sowie die umfassenderen medizinischen Themen, die die Krankheit umfassen, extrahiert. Beispielsweise wäre Lungenkrebs die konkrete Erkrankung, um die es sich handelt. Es ergibt sich gemäß unserer Klassifikation aus den Themen Krebs und Atemwege. Die Klassifizierung von Gesundheitsthemen wurde von einem Arzt überwacht und überprüft, um die Richtigkeit sicherzustellen. Da mehrere Gesundheitsthemen oft eine einzelne Gesundheitskrankheit umfassen, die in jedem Artikel behandelt wird, werden mehrere Artikel doppelt gezählt. Dies gilt, wenn von der rechten Seite des Sankey-Diagramms auf die spezifische Gesundheitskrankheit in der Mitte abgebildet wird.

Wir haben die Anzahl der verschiedenen Modalitäten und die verwendeten Unterteilungen (z. B. Text/Bild vs. EHR/Genom/Zeitreihe) aufgezeichnet und extrahiert. Das Ziel jeder Arbeit wurde zusammen mit dem Schlüsselwort (falls verfügbar) in einer Zusammenfassung von 1–2 Sätzen extrahiert. Die Patientencharakterisierung in den Studien erfolgte durch Ermittlung der Anzahl einzigartiger Patienten in der Kohorte und des Patientengeschlechts (d. h. Männer/Frauen/beide oder nicht erwähnt).

Zu den extrahierten Computerinformationen gehörten: (a) die bei der Datenverarbeitung/-analyse verwendeten Codierungsschnittstellen, (b) die Art des maschinellen Lernens, (c) die Datenzusammenführungstechnik (früh, mittel, spät) und (d) Arten des maschinellen Lernens verwendete Algorithmen. Für jede Arbeit wurden erfasst, ob eine Validierung durchgeführt wurde (ja/nein), die durchgeführten statistischen Tests, die Art der Validierung und die Ergebnismessungen. Die Bedeutung, Auswirkungen und Einschränkungen jedes Papiers wurden durch Überprüfung der in den Papieren genannten primären Ergebnisse und Einschränkungen ermittelt.

Weitere Informationen zum Forschungsdesign finden Sie in der mit diesem Artikel verlinkten Nature Research Reporting Summary.

Nils, BH & Sabine, S. Die Ethik der auf maschinellem Lernen basierenden klinischen Entscheidungsunterstützung: eine Analyse durch die Linse der Professionalisierungstheorie. BMC Med. Ethik 22, 112 (2021).

Sanchez-Pinto, LN, Luo, Y. & Churpek, MM Big Data und Datenwissenschaft in der Intensivpflege. Truhe 154, 1239–1248 (2018).

Artikel PubMed PubMed Central Google Scholar

Miotto, R., Wang, F., Wang, S., Jiang, X. & Dudley, JT Deep Learning für das Gesundheitswesen: Rückblick, Chancen und Herausforderungen. Kurzes Bioinform. 19, 1236–1246 (2017).

Timothy, JWD et al. Maschinelles Lernen der dreidimensionalen rechtsventrikulären Bewegung ermöglicht eine Vorhersage des Ergebnisses bei pulmonaler Hypertonie: Eine kardiale MR-Bildgebungsstudie. Radiologie 283, 381–390 (2017).

Artikel Google Scholar

Gigi, FS, Gregory, RH, Bradley, JN & Jun, D. Vorhersage des Brustkrebsrisikos mithilfe persönlicher Gesundheitsdaten und Modelle für maschinelles Lernen. PLoS One 14, e0226765 (2019).

Michael, F., Justin, BE-T. & Elizabeth, S. Klinische und öffentliche Auswirkungen der Leitlinien der endokrinen Gesellschaft von 2019 für die Diagnose von Diabetes bei älteren Erwachsenen. Diabetes Care 43, 1456–1461 (2020).

Artikel Google Scholar

Gambhir, SS, Ge, TJ, Vermesh, O. & Spitler, R. Auf dem Weg zur Präzisionsgesundheit. Wissenschaft. Übers. Med. 10, eaao3612 (2018).

Artikel PubMed PubMed Central Google Scholar

Schüssler-Fiorenza Rose, SM et al. Ein longitudinaler Big-Data-Ansatz für Präzisionsgesundheit. Nat. Med. 25, 792–804 (2019).

Artikel PubMed Google Scholar

Feero, WG Einführung in „Genomik und Präzisionsgesundheit“. JAMA 317, 1842–1843 (2017).

Artikel PubMed Google Scholar

Kellogg, RA, Dunn, J. & Snyder, MP Persönliche Omics für präzise Gesundheit. Zirkulation Res. 122, 1169–1171 (2018).

Artikel CAS PubMed Google Scholar

Thapa, C. & Camtepe, S. Präzisionsgesundheitsdaten: Anforderungen, Herausforderungen und bestehende Techniken für Datensicherheit und Datenschutz. Berechnen. Biol. Med. 129, 104130 (2021).

Artikel PubMed Google Scholar

Pranata, S. et al. Präzise Elemente, Definitionen und Strategien der Gesundheitsfürsorge für Patienten mit Diabetes: Eine Literaturübersicht. Int. J. Umgebung. Res. Öffentliche Gesundheit 18, 6535 (2021).

Artikel PubMed PubMed Central Google Scholar

Shih Cheng, H., Anuj, P., Saeed, S., Imon, B. & Matthew, PL Fusion von medizinischer Bildgebung und elektronischen Gesundheitsakten mithilfe von Deep Learning: Eine systematische Überprüfung und Implementierungsrichtlinien. npj Digital Med. 3, 136 (2020).

Weixian, H., Kaiwen, T., Jinlong, H., Ziye, Z. & Shoubin, D. Eine Übersicht über Fusionsmethoden für Omics- und Bilddaten. In IEEE/ACM Trans Comput Biol Bioinform (IEEE, 2022).

Federico, C. Ein Überblick über Datenfusionstechniken. Scientific World J. 2013, 704504 (2013).

Alan, NS, Christopher, LB und Franklin, EW Überarbeitungen des JDL-Datenfusionsmodells. Sens. Fusion.: Architekturen, Algorithmen, Anwendungen. III 3719, 430 (1999). Herausgeber = SPIE.

Google Scholar

Erik, M.-M.-R., Antonio, AA, Ramon, FB & Enrique, G.-C. Verbesserte Genauigkeit bei der Vorhersage der besten Sensorfusionsarchitektur für mehrere Domänen. Sensoren 21, 7007 (2021).

Ahmad, FS, Luo, Y., Wehbe, RM, Thomas, JD & Shah, SJ Fortschritte bei maschinellen Lernansätzen bei Herzinsuffizienz mit erhaltener Ejektionsfraktion. Klinik für Herzinsuffizienz. 18, 287–300 (2022).

Artikel PubMed Google Scholar

Erik, B. et al. Maschinelles Lernen/künstliche Intelligenz für die Fusion von Sensordaten – Chancen und Herausforderungen. In IEEE Aerospace and Electronic Systems Magazines Vol. 36, 80–93 (IEEE, 2021).

Li, Y., Wu, X., Yang, P., Jiang, G. & Luo, Y. Anwendungen des maschinellen Lernens in der Diagnose, Behandlung und Prognose von Lungenkrebs. Vorabdruck unter https://arxiv.org/abs/2203.02794 (2022).

Kohane, IS et al. Was jeder Leser über Studien mit Daten aus elektronischen Patientenakten wissen sollte, aber möglicherweise nicht zu fragen wagt. J. Med. Internet Res. 23, e22219 (2021).

Artikel PubMed PubMed Central Google Scholar

Andres, C. et al. Prognosemodelle für maschinelles Lernen aus dem Ebola-Ausbruch 2014–16: Herausforderungen bei der Datenharmonisierung, Validierungsstrategien und mHealth-Anwendungen. EClinicalMedicine 11, 54–64 (2019).

Artikel Google Scholar

Afshin, J., Jean Pierre, P. & Johanne, M.-P. Auf maschinellem Lernen basierende patientenspezifische Vorhersagemodelle für Knie-Arthrose. Nat. Rev. Rheumatol. 15, 49–60 (2019).

Artikel Google Scholar

Luo, Y., Ahmad, FS & Shah, SJ Tensorfaktorisierung für Präzisionsmedizin bei Herzinsuffizienz mit erhaltener Ejektionsfraktion. J. Cardiovasc. Übers. Res. 10, 305–312 (2017).

Luo, Y., Wang, F. & Szolovits, P. Tensorfaktorisierung in Richtung Präzisionsmedizin. Briefings Bioinform. 18, 511–514 (2016).

Rasmussen L. et al. Überlegungen zur Verbesserung der Portabilität elektronischer Patientenakten-basierter Phänotypalgorithmen. In Proceedings of 2019 AMIA Annual Symposium 2019 (2019).

Zhong, Y. et al. Charakterisierung von Entwurfsmustern von EHR-gesteuerten Phänotyp-Extraktionsalgorithmen. Im Jahr 2018 IEEE International Conference on Bioinformatics and Biomedicine (BIBM) 1143–1146 (IEEE, 2018).

Rasmussen, LV et al. Lösungen für unerwartete Herausforderungen bei der Integration genomischer Forschungsergebnisse in die EHR. ACI Open 4, e132–e5 (2020).

Artikel Google Scholar

Shang, N. et al. Arbeit für die Implementierung elektronischer Phänotypen sichtbar machen: Erkenntnisse aus dem eMERGE-Netzwerk. J. Biomed. Inf. 99, 103293 (2019).

Artikel Google Scholar

Dana, L., Tulay, A. & Christian, J. Multimodale Datenfusion: Ein Überblick über Methoden, Herausforderungen und Perspektiven. Proz. IEEE 103, 1449–1477 (2015).

Artikel Google Scholar

Wei, C., Yungui, H., Brendan, B. & Simon, L. Der Nutzen der Einbeziehung von Pathologieberichten zur Verbesserung der rechnerischen Identifizierung von Patienten. J. Pathol. Informieren. 7, 46 (2016).

Yubraj, G., Ramesh Kumar, L. & Goo Rak, K. Vorhersage und Klassifizierung der Alzheimer-Krankheit basierend auf kombinierten Merkmalen aus Apolipoprotein-E-Genotyp, Liquor, MR und FDG-PET-Bildgebungsbiomarkern. Vorderseite. Berechnen. Neurosci. 13, 72 (2019).

Xia An, B., Xi, H., Hao, W. & Yang, W. Multimodale Datenanalyse der Alzheimer-Krankheit basierend auf der Clusterung evolutionärer Zufallswälder. IEEE J. Biomed. Gesundheitsinformationen. 24, 2973–2983 (2020).

Artikel Google Scholar

Ariana, A. et al. Die nicht-negative Matrixfaktorisierung multimodaler MRT-, fMRT- und phänotypischer Daten zeigt unterschiedliche Veränderungen in Standardmodus-Subnetzwerken bei ADHS. Neuroimage 102, 207–219 (2014).

Artikel Google Scholar

Chao, G., Luo, Y. & Ding, W. Aktuelle Fortschritte bei der überwachten Dimensionsreduktion: Eine Umfrage. Mach. Lernen. Wissen. Extraktion 1, 341–358 (2019).

Artikel Google Scholar

Pillai, PSLTY Zusammenführung heterogener Daten zur Klassifizierung der Alzheimer-Krankheit. Zucht. Gesundheitstechnologie. Inf. 216, 731–735 (2015).

Google Scholar

Tao, Z., Kim Han, T., Xiaofeng, Z. & Dinggang, S. Effektives Lernen von Merkmalen und Fusion multimodaler Daten unter Verwendung eines stufenweisen tiefen neuronalen Netzwerks für die Demenzdiagnose. Summen. Brain Mapp. 40, 1001–1016 (2019).

Artikel Google Scholar

Robi, P. Ensemblebasierte Systeme in der Entscheidungsfindung. IEEE Circuits Syst. Mag. 6, 21–44 (2006).

Artikel Google Scholar

Francesco, C. & Marwa, M. Multimodales zeitliches maschinelles Lernen zur Erkennung bipolarer Störungen und Depressionen. Musteranalyse-Appl. 25, 493–504 (2021).

Durrant-Whyte, HF-Sensormodelle und Multisensor-Integration. Int. J. Roboter. Res. 7, 97–113 (1988).

Artikel Google Scholar

Xu, Z. et al. Identifizierung prädiktiver Subphänotypen einer akuten Nierenschädigung mithilfe strukturierter und unstrukturierter elektronischer Gesundheitsdaten mit Speichernetzwerken. J. Biomed. Informieren. 102, 103361 (2019).

Artikel Google Scholar

Dongdong, Z., Changchang, Y., Jucheng, Z., Xiaohui, Y. & Ping, Z. Kombination strukturierter und unstrukturierter Daten für Vorhersagemodelle: Ein Deep-Learning-Ansatz. BMC Med. Informieren. Entscheidung. Mak. 20, 280 (2020).

Shaker, E.-S., Tamer, A., Islam, SMR & Kyung Sup, K. Multimodales Multitask-Deep-Learning-Modell zur Erkennung des Fortschreitens der Alzheimer-Krankheit basierend auf Zeitreihendaten. Neurocomputing 412, 197–215 (2020).

Artikel Google Scholar

Haiyang, Y., Li, K. & Feng Qiang, X. Multimodales zeitlich-klinisches Notiznetzwerk zur Mortalitätsvorhersage. J. Biomed. Semantik 12, 3 (2021).

Zizhao, Z., Pingjun, C., Manish, S. & Lin, Y. TandemNet: Destillation von Wissen aus medizinischen Bildern unter Verwendung von Diagnoseberichten als optionale semantische Referenzen. Internationale Konferenz über medizinische Bildverarbeitung und computergestützte Intervention, 10435, 320–328 (Springer, Cham, 2017).

Xiaosong, W., Yifan, P., Le, L., Zhiyong, L. & Ronald, MS TieNet: Text-Bild-Einbettungsnetzwerk für die Klassifizierung und Berichterstattung häufiger Thoraxerkrankungen in Röntgenaufnahmen des Brustkorbs. In Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition 9049–9058 (IEEE Computer Society, 2018).

Syed Arbaaz, Q., Sriparna, S., Mohammed, H., Gael, D. & Erik, C. Multitasking-Darstellungslernen zur multimodalen Schätzung des Depressionsniveaus. IEEE Intell. Syst. 34, 45–52 (2019).

Artikel Google Scholar

Jordan, Y., William, Y. & Philipp, T. Multimodale Klassifizierung von Hautläsionen mithilfe von Deep Learning. Exp. Dermatol. 27, 1261–1267 (2018).

Artikel Google Scholar

Kai, Z et al. MLMDA: Ein maschineller Lernansatz zur Vorhersage und Validierung von MicroRNA-Krankheitsassoziationen durch Integration heterogener Informationsquellen. J. Übers. Med. 17, 260 (2019).

Sivan, K. et al. Vorhersage des Risikos für eine Alkoholabhängigkeit anhand von Längsschnittdaten mit multimodalen Biomarkern und Familienanamnese: Eine Studie zum maschinellen Lernen. Mol. Psychiatrie 26, 1133–1141 (2021).

Artikel Google Scholar

Mara Ten, K et al. MRT-Prädiktoren der Amyloidpathologie: Ergebnisse der EMIF-AD Multimodal Biomarker Discovery-Studie. Alzheimer Res. Dort. 10, 100 (2018).

Isamu, H. et al. Radiogenomik sagt die Expression von microRNA-1246 im Serum von Patienten mit Speiseröhrenkrebs voraus. Wissenschaft. Rep. 10, 2532 (2020).

Jesus, JC, Jianhua, Y. & Daniel, JM Verbesserung der Bildanalysetools durch Fusion quantitativer physiologischer Werte mit Bildmerkmalen. J. Digit Imaging 25, 550–557 (2012).

Artikel Google Scholar

Kevin Bretonnel, C. et al. Methodische Probleme bei der Vorhersage von Kandidaten für pädiatrische Epilepsiechirurgie durch Verarbeitung natürlicher Sprache und maschinelles Lernen. Biomed. Informieren. Einblicke 8, BII.S38308 (2016).

Artikel Google Scholar

Weiming, L. et al. Vorhersage der Konversion der Alzheimer-Krankheit von einer leichten kognitiven Beeinträchtigung mithilfe einer extrem lernenden maschinenbasierten Bewertungsmethode mit multimodalen Daten. Vorderseite. Alternde Neurowissenschaften. 12, 77 (2020).

Micah, C. et al. Vorhersage einer Rehospitalisierung innerhalb von 2 Jahren nach der ersten Aufnahme eines Patienten wegen einer Episode einer Major Depression: Ein multimodaler Ansatz des maschinellen Lernens. Übers. Psychiatrie 9, 285 (2019).

Jongin, K. & Boreom, L. Identifizierung der Alzheimer-Krankheit und leichter kognitiver Beeinträchtigungen mithilfe einer multimodalen, spärlichen hierarchischen Extremlernmaschine. Summen. Brain Mapp. 39, 3728–3741 (2018).

Artikel Google Scholar

Hélène De, C. et al. Tragbare Überwachung und interpretierbares maschinelles Lernen können den Fortschritt bei Patienten während der Herzrehabilitation objektiv verfolgen. Sensoren (Schweiz) 20, 1–15 (2020).

Google Scholar

Tamer, A., Shaker, E.-S. & Jose, MA Robuste Hybrid-Deep-Learning-Modelle zur Erkennung der Alzheimer-Progression. Wissensbasiertes System. 213, 106688 (2021).

Jeungchan, L. et al. Auf maschinellem Lernen basierende Vorhersage klinischer Schmerzen mithilfe multimodaler Bildgebung und autonomer Metriken. Schmerz 160, 550–560 (2019).

Artikel Google Scholar

Uttam, K., Goo Rak, K. & Horacio, R.-G. Eine effiziente Kombination aus sMRT, CSF, kognitivem Score und APOE ϵ 4-Biomarkern zur Klassifizierung von AD und MCI mithilfe einer Extreme-Learning-Maschine. Berechnen. Intel. Neurosci. 2020, 8015156 (2020).

Bo, C., Mingxia, L., Heung, IS, Dinggang, S. & Daoqiang, Z. Multimodales, vielfältig reguliertes Transferlernen für die MCI-Konvertierungsvorhersage. Verhalten bei der Bildgebung des Gehirns. 9, 913–926 (2015).

Artikel Google Scholar

Kevin, H., Ulrike, L., Markus, M. & Katja, BB. Trennung einer generalisierten Angststörung von einer schweren Depression anhand klinischer, hormoneller und struktureller MRT-Daten: Eine multimodale Studie zum maschinellen Lernen. Gehirnverhalten 7, e00633 (2017).

Fayao, L., Luping, Z., Chunhua, S. & Jianping, Y. Multiple-Kernel-Lernen im Primal für die multimodale Klassifizierung der Alzheimer-Krankheit. IEEE J. Biomed. Gesundheitsinformationen. 18, 984–990 (2014).

Artikel Google Scholar

Diego, C.-B. et al. Robuste Ensemble-Klassifizierungsmethode für I123-Ioflupan-SPECT-Bilder und mehrere heterogene Biomarker bei der Diagnose der Parkinson-Krankheit. Vorderseite. Neuroinform. 12, 53 (2018).

Yi, Z. et al. Vorhersage unerwünschter Arzneimittelwirkungen kombinierter Medikamente aus heterogenen pharmakologischen Datenbanken. BMC Bioinform. 19, 517 (2018).

Chin Po, C., Susan Shur Fen, G. & Chi Chun, L. Auf dem Weg zur Differentialdiagnose der Autismus-Spektrum-Störung unter Verwendung multimodaler Verhaltensbeschreibungen und exekutiver Funktionen. Berechnen. Rede Lang. 56, 17–35 (2019).

Artikel Google Scholar

Paolo, F. et al. Kombination klinischer Makulasymptome und Patientenmerkmale zur Diagnose der altersbedingten Makuladegeneration: Ein maschineller Lernansatz Retina. BMC Ophthalmol. 15, 10 (2015).

Benjamin, DW et al. Frühzeitige Identifizierung von Kandidaten für Epilepsieoperationen: Eine multizentrische Studie zum maschinellen Lernen. Acta Neurol. Scan. 144, 41–50 (2021).

Artikel Google Scholar

Xia An, B., Wenyan, Z., Lou, L. & Zhaoxu, X. Erkennung von Risikogenen und pathogenen Gehirnregionen bei EMCI mithilfe eines neuartigen GERF-Algorithmus, der auf Bildgebung des Gehirns und genetischen Daten basiert. IEEE J. Biomed. Gesundheitsinformationen. 25, 3019–3028 (2021).

Artikel Google Scholar

Prashanth, R., Sumantra Dutta, R., Pravat, KM & Shantanu, G. Hochpräzise Erkennung der Parkinson-Krankheit im Frühstadium durch multimodale Funktionen und maschinelles Lernen. Int. J. Med. Inf. 90, 13–21 (2016).

Artikel CAS Google Scholar

Ali, A.-M. et al. Maschinelles Lernen zur Lokalisierung der epileptogenen Zone im Temporallappen: Quantifizierung des Werts multimodaler klinischer Semiologie und bildgebender Konkordanz. Vorderseite. Digital Health 3, 559103 (2021).

Baiying, L. et al. Beurteilung der Leberfibrose bei chronischer Hepatitis B anhand multimodaler Daten. Neurocomputing 253, 169–176 (2017).

Artikel Google Scholar

Larry, H. et al. Multimodale tensorbasierte Methode zur integrativen und kontinuierlichen Patientenüberwachung während der postoperativen Herzversorgung. Artif. Intel. Med. 113, 102032 (2021).

Ivo, DD et al. Prädiktive Big-Data-Analyse: Eine Studie zur Parkinson-Krankheit unter Verwendung großer, komplexer, heterogener, inkongruenter, aus mehreren Quellen stammender und unvollständiger Beobachtungen. PLoS One 11, e0157077 (2016).

Eleftherios, T., Ioannis, S., Apostolos, HK & Kostas, M. Tiefe Radiotranskriptomik von nichtkleinzelligem Lungenkarzinom zur Beurteilung molekularer und histologischer Subtypen mit einer datengesteuerten Analyse. Diagnostik 11, 2383 (2021).

Hua, W. et al. Identifizierung krankheitsempfindlicher und quantitativ merkmalsrelevanter Biomarker aus mehrdimensionalen heterogenen bildgebenden Genetikdaten durch spärliches multimodales Multitasking-Lernen. Bioinformatik 28, i127–36 (2012).

Xia, B., Xi, H., Yiming, Med. Bild Anal. 67, 101830 (2021).

Vijay, H. et al. Vorhersage von Komplikationen in der Intensivpflege anhand heterogener klinischer Daten. IEEE Access 4, 7988–8001 (2016).

Artikel Google Scholar

Wang, H., Li, Y., Khan, SA & Luo, Y. Vorhersage des Fernrezidivs von Brustkrebs mithilfe der Verarbeitung natürlicher Sprache und eines wissensgesteuerten Faltungs-Neuronalen Netzwerks. Artif. Intel. Med. 110, 101977 (2020).

Artikel PubMed PubMed Central Google Scholar

Zeng, Z. et al. Identifizieren von Brustkrebs-Fernrezidiven aus elektronischen Gesundheitsakten mithilfe von maschinellem Lernen. J. Healthcare Inform. Res. 3, 283–299 (2019).

Kautzky, A. et al. Klassifizierung von ADHS und HC durch maschinelles Lernen anhand multimodaler serotonerger Daten. Übers. Psychiatrie 10, 104 (2020).

Nhat Trung, D. et al. Ausgeprägte multivariate morphologische Muster des Gehirns und ihr zusätzlicher prädiktiver Wert mit kognitiven und polygenen Risikoscores bei psychischen Störungen. NeuroImage: Clin. 15, 719–731 (2017).

Artikel Google Scholar

Niha, B. et al. Die radiogenomische Analyse des Hypoxie-Signalwegs ist prädiktiv für das Gesamtüberleben bei Glioblastomen. Wissenschaft. Rep. 8, 7 (2018).

Jan, CP et al. Die Kombination multimodaler Bildgebungs- und Behandlungsfunktionen verbessert die auf maschinellem Lernen basierende prognostische Beurteilung bei Patienten mit Glioblastoma multiforme. Krebsmed. 8, 128–136 (2019).

Artikel Google Scholar

Hao, Z. et al. Maschinelles Lernen deckt multimodale MRT-Muster auf, die den Isocitratdehydrogenase- und 1p/19q-Status bei diffusen niedrig- und hochgradigen Gliomen vorhersagen. J. Neurooncol 142, 299–307 (2019).

Artikel Google Scholar

Namyong, P. et al. Vorhersage einer akuten Nierenschädigung bei Krebspatienten anhand heterogener und unregelmäßiger Daten. PLoS One 13, e0199839 (2018).

Wei Liang, T., Chee Kong, C., Sim Heng, O. & Alvin Choong Meng, N. Ensemblebasierte Regressionsanalyse multimodaler medizinischer Daten für die Osteopeniediagnose. Expertensystem. Appl. 40, 811–819 (2013).

Artikel Google Scholar

Sébastien, T., Yasser, I.-M., José María, M.-P., Alan, CE & Louis De, B. Definieren einer multimodalen Signatur von Fernsport-Gehirnerschütterungen. EUR. J. Neurosci. 46, 1956–1967 (2017).

Artikel Google Scholar

Gianluca, B. et al. Multimodale prädiktive Modellierung des endovaskulären Behandlungsergebnisses bei akutem ischämischem Schlaganfall mittels maschinellem Lernen. Strich 51, 3541–3551 (2020).

Yiming, X. et al. Erklärbarer dynamischer multimodaler Variations-Autoencoder zur Vorhersage von Patienten mit Verdacht auf zentrale vorzeitige Pubertät. IEEE J. Biomed. Gesundheitsinformationen. 26, 1362–1373 (2021).

Alan, DK et al. Mischungsmodellrahmen für die Prognose traumatischer Hirnverletzungen unter Verwendung heterogener klinischer Daten und Ergebnisdaten. IEEE J. Biomed. Gesundheitsinformationen. 26, 1285–1296 (2021).

Casper, R. et al. Präoperative Risikostratifizierung bei Endometriumkarzinom (ENDORISK) durch ein Bayesianisches Netzwerkmodell: Eine Entwicklungs- und Validierungsstudie. PLoS Med. 17, e1003111 (2020)

Tommaso, G. et al. SARS-COV-2-Komorbiditätsnetzwerk und Ergebnisse bei Krankenhauspatienten in Crema, Italien. PLoS One 16, e0248498 (2021).

Huan, Q. et al. Maschinell lernende Radiomics zur Vorhersage eines frühen Wiederauftretens bei perihilärem Cholangiokarzinom nach kurativer Resektion. Leber Int. 41, 837–850 (2021).

Artikel Google Scholar

Ramon, C. et al. Risikobewertung der Alzheimer-Krankheit mithilfe groß angelegter Methoden des maschinellen Lernens. PLoS One 8, e77949 (2013).

Aleksei, T. et al. Multimodale, auf maschinellem Lernen basierende Vorhersage des Fortschreitens der Knie-Arthrose anhand einfacher Röntgenbilder und klinischer Daten. Wissenschaft. Rep. 9, 20038 (2019).

Michael, JD et al. Entwicklung und Validierung eines neuartigen automatisierten Gleason-Grades und eines molekularen Profils, das einen hochprädiktiven, auf einem Algorithmus basierenden Test für das Fortschreiten von Prostatakrebs definiert. Prostatakrebs Prostatadis. 21, 594–603 (2018).

Artikel Google Scholar

Perotte, A., Ranganath, R., Hirsch, JS, Blei, D. & Elhadad, N. Risikovorhersage für das Fortschreiten chronischer Nierenerkrankungen mithilfe heterogener elektronischer Gesundheitsdaten und Zeitreihenanalyse. Marmelade. Med. Inf. Assoc. 22, 872–880 (2015).

Artikel Google Scholar

Lei, Y., Yalin, W., Paul, MT, Vaibhav, AN & Jieping, Y. Multi-Source-Feature-Learning für die gemeinsame Analyse unvollständiger multipler heterogener Neuroimaging-Daten. Neuroimage 61, 622–632 (2012).

Artikel Google Scholar

Yanbo, X., Siddharth, B., Shriprasad, RD, Kevin, OM & Jimeng, S. RAIM: Wiederkehrendes aufmerksames und intensives Modell multimodaler Patientenüberwachungsdaten. In Proceedings of the ACM SIGKDD International Conference on Knowledge Discovery and Data Mining 2565–2573 (Association for Computing Machinery, 2018).

Yixue, H., Mohd, U., Jun, Y., Hossain, MS & Ahmed, G. Rekurrente multimodale Krankheitsrisikovorhersage auf Basis eines Faltungs-Neuronalen Netzwerks. Zukünftiger Gen. Computersystem. 92, 76–83 (2019).

Artikel Google Scholar

Shinichi, G., et al. Durch künstliche Intelligenz ermöglichte vollautomatische Erkennung von Herzamyloidose mithilfe von Elektrokardiogrammen und Echokardiogrammen. Nat. Komm. 12, 2726 (2021).

Rui, Y. et al. Umfangreicheres Fusionsnetzwerk zur Brustkrebsklassifizierung basierend auf multimodalen Daten. BMC Med. Informieren. Entscheidung. Mak. 21, 134 (2021).

Li, Y., Wang, H. & Luo, Y. Ein Vergleich vorab trainierter Seh- und Sprachmodelle für das multimodale Repräsentationslernen über medizinische Bilder und Berichte hinweg. 2020 IEEE Int. Konf. Bioinform. Biomedizin (BIBM) 2020 1999–2004 (2020).

Sara Bersche, G. et al. Ein maschinelles Lernmodell zur Vorhersage des Risikos von 30-tägigen Wiedereinweisungen bei Patienten mit Herzinsuffizienz: Eine retrospektive Analyse elektronischer Patientenakten. BMC Med. Informieren. Entscheidung. Mak. 18, 44 (2018).

Chowdhury, S., Zhang, C., Yu, PS & Luo, Y. Mixed Pooling Multi-View Attention Autoencoder für Repräsentationslernen im Gesundheitswesen. Vorabdruck unter https://arxiv.org/abs/1910.06456 (2019).

Ilan, S. et al. Ein unüberwachter Lernansatz zur Identifizierung neuartiger Gesundheits- und Krankheitssignaturen aus multimodalen Daten. Genommed. 12, 7 (2020).

Chowdhury, S., Zhang, C., Yu, PS & Luo, Y. Med2Meta: Lernen von Darstellungen medizinischer Konzepte mit Meta-Einbettungen. HEALTHINF 2020, 369–376 (2020).

Google Scholar

Subramanian V, Do MN, Syeda-Mahmood T. Multimodale Fusion von Bildgebung und Genomik zur Vorhersage des erneuten Auftretens von Lungenkrebs, IEEE 17. International Symposium on Biomedical Imaging (ISBI), 804–808, (2020).

Michele, D. et al. Kombination heterogener Datenquellen für die neuroimaging-basierte Diagnose: Neugewichtung und Auswahl des Wichtigen. Neuroimage 195, 215–231 (2019).

Artikel Google Scholar

Yiwen, M., William, S., Michael, KO & Corey, WA Bidirektionales Repräsentationslernen von Transformatoren unter Verwendung multimodaler elektronischer Gesundheitsdaten zur Vorhersage von Depressionen. IEEE J. Biomed. Gesundheitsinformationen. 25, 3121–3129 (2021).

Artikel Google Scholar

Xing, T. et al. Erarbeitung einer multimodalen MRT-basierten Radiomics-Signatur zur präoperativen Vorhersage des histologischen Subtyps bei Patienten mit nichtkleinzelligem Lungenkrebs. BioMed. Engineering Online 19, 5 (2020).

Kathleen, CF, Kristina Lundholm, F., Marie, E., Fredrik, Ö & Dimitrios, K. Vorhersage des MCI-Status aus multimodalen Sprachdaten mithilfe kaskadierter Klassifikatoren. Vorderseite. Alternde Neurowissenschaften. 11, 205 (2019).

Amir Hossein, Y. et al. Multimodale Analyse der psychischen Gesundheit in sozialen Medien. PLoS One 15, e0226248 (2020).

Ye, J., Yao, L., Shen, J., Janarthanam, R. & Luo, Y. Vorhersage der Mortalität bei kritisch kranken Patienten mit Diabetes mithilfe von maschinellem Lernen und klinischen Notizen. BMC Med Inf. Entscheidung. Mak. 20, 1–7 (2020).

CAS Google Scholar

Navodini, W., Mobarakol, I. & Hongliang, R. Radiogenomikmodell zur Vorhersage des Gesamtüberlebens von Glioblastomen. Med. Biol. Ing. Comput 58, 1767–1777 (2020).

Artikel Google Scholar

Solale, T. et al. Ein verteilter multimodaler Multitasking-Ansatz zur Vorhersage der Alzheimer-Krankheit in einer Längsschnittstudie. Neuroimage 206, 116317 (2020).

Luo, Y. et al. Integration des Hypertonie-Phänotyps und -Genotyps mit hybrider nicht-negativer Matrixfaktorisierung. Bioinformatik 35, 1395–403 (2019).

Artikel CAS PubMed Google Scholar

Jae Hyun, Y., Johanna Inhyang, K., Bung Nyun, K. & Bumseok, J. Erforschung charakteristischer Merkmale der Aufmerksamkeitsdefizit-/Hyperaktivitätsstörung: Erkenntnisse aus multimodaler MRT und genetischen Kandidatendaten. Verhalten bei der Bildgebung des Gehirns. 14, 2132–2147 (2020).

Artikel Google Scholar

Chao, T., Baoyu, L., Jun, L. & Zhigao, Z. Ein tiefgreifendes automatisiertes Modell zur Beurteilung des Skelettknochenalters mit heterogenem Funktionslernen. J. Med. Syst. 42, 249 (2018).

Cheng, C. et al. Verbesserung der Vorhersagegenauigkeit von Protein-Protein-Wechselwirkungen mithilfe der XGBoost-Merkmalsauswahl und des gestapelten Ensemble-Klassifikators. Berechnen. Biol. Med. 123 (2020).

Xueyi, Z. et al. Deep-Learning-Radiomics können den Status der axillären Lymphknoten bei Brustkrebs im Frühstadium vorhersagen. Nat. Komm. 11, 1236 (2020).

Juan Camilo, V.-C. et al. Multimodale Beurteilung der Parkinson-Krankheit: Ein Deep-Learning-Ansatz. IEEE J. Biomed. Gesundheitsinformationen. 23, 1618–1630 (2019).

Artikel Google Scholar

Ping, Z. et al. Deep-Learning-Radiomics zur Diskriminierungsumwandlung der Alzheimer-Krankheit bei Patienten mit leichter kognitiver Beeinträchtigung: Eine Studie basierend auf der 18F-FDG-PET-Bildgebung. Vorderseite. Alternde Neurowissenschaften. 13, (2021).

Shin, J., Li, Y. & Luo, Y. Frühzeitige Vorhersage der Mortalität in der Intensivpflege bei Sepsis-Patienten mithilfe strukturierter Merkmale und unstrukturierter klinischer Notizen. Im Jahr 2021 IEEE International Conference on Bioinformatics and Biomedicine (BIBM) 2885–2890 (IEEE, 2021).

Jayachitra, VP, Nivetha, S., Nivetha, R. & Harini, R. Ein kognitives IoT-basiertes Framework für die effektive Diagnose von COVID-19 mithilfe multimodaler Daten. Biomed. Signalverarbeitungssteuerung 70, 102960 (2021).

Thomas, L. et al. Eine erklärbare multimodale neuronale Netzwerkarchitektur zur Vorhersage von Epilepsie-Komorbiditäten basierend auf Verwaltungsschadensdaten. Vorderseite. Künstliche Intelligenz 4, 610197 (2021).

Alan Baronio, M., Carla Diniz Lopes, B. & Silvio Cesar, C. Computergestützte Diagnose von hepatozellulärem Karzinom durch Kombination von Bildgebung und strukturierten Gesundheitsdaten. Gesundheitsinformationen. Wissenschaft. Syst. 9, 20 (2021)

Janani, V., Li, T., Hamid Reza, H. & May, DW Multimodale Deep-Learning-Modelle zur Früherkennung des Alzheimer-Krankheitsstadiums. Wissenschaft. Rep. 11, 3254 (2021).

Cam Hao, H. et al. Bimodales Lernen über eine Trilogie von tiefen Netzwerken mit Skip-Verbindung zur Identifizierung des Risikoverlaufs bei diabetischer Retinopathie. Int. J. Med. Informieren. 132, 103926 (2019).

Yucheng, T. et al. Vorhersage des Ausbruchs von Typ-II-Diabetes mit Computertomographie und elektronischen Krankenakten. Vortrag. Notizen berechnen. Wissenschaft. 12445, 13–23 (2020).

Artikel Google Scholar

Rui, Y. et al. Integration multimodaler Daten zur Brustkrebsklassifizierung mithilfe einer hybriden Deep-Learning-Methode. Vortrag. Notizen Informatik. 11643, 460–469 (2019).

Artikel Google Scholar

Batuhan, B. & Mehmet, T. Verbesserung der Vorhersage klinischer Ergebnisse durch Faltung über medizinische Einheiten mit multimodalem Lernen. Artif. Intel. Med. 117, 102112 (2021).

Esra, Z. et al. Multimodale Fusionsstrategien zur Ergebnisvorhersage bei Schlaganfällen. In HEALTHINF 2020 – 13. Internationale Konferenz für Gesundheitsinformatik, Proceedings; Teil der 13. International Joint Conference on Biomedical Engineering Systems and Technologies, BIOSTEC 2020 421–428 (2020).

Rimma, P. et al. Lernen probabilistischer Phänotypen aus heterogenen EHR-Daten. J. Biomed. Informieren. 58, 156–165 (2015).

Artikel Google Scholar

Leon, MA et al. Modellierung longitudinaler bildgebender Biomarker mit parametrischem Bayes'schen Multitask-Lernen. Summen. Brain Mapp. 40, 3982–4000 (2019).

Artikel Google Scholar

Paris Alexandros, L. et al. Heterogenität und Klassifizierung kürzlich aufgetretener Psychosen und Depressionen: Ein multimodaler Ansatz des maschinellen Lernens. Schizophr. Stier. 47, 1130–1140 (2021).

Artikel Google Scholar

Nikolaos, K. et al. Vorhersagemodelle funktioneller Ergebnisse für Personen im klinischen Hochrisikozustand für Psychosen oder mit kürzlich aufgetretener Depression: Eine multimodale, standortübergreifende Analyse des maschinellen Lernens. JAMA Psychiatry 75, 1156–1172 (2018).

Artikel Google Scholar

Dongdong, S., Minghui, W. & Ao, L. Ein multimodales tiefes neuronales Netzwerk zur Vorhersage der Prognose von Brustkrebs beim Menschen durch Integration mehrdimensionaler Daten. IEEE/ACM-Trans. Computerbiol. Bioinform. 16, 841–850 (2019).

Artikel Google Scholar

Karen, SA et al. Ein Rahmen für maschinelles Lernen zur robusten und zuverlässigen Vorhersage des kurz- und langfristigen Ansprechens auf die Behandlung bei anfänglich antipsychotikanaiven Schizophreniepatienten auf der Grundlage multimodaler neuropsychiatrischer Daten. Translationale Psychiatrie 10, 276 (2020).

Sun, M. et al. Frühzeitige Vorhersage einer akuten Nierenschädigung in der Intensivpflege anhand klinischer Notizen und strukturierter multivariater physiologischer Messungen. Zucht. Gesundheitstechnologie. Inf. 264, 368–372 (2019).

Google Scholar

Dennis, SR, Simuni, T. & Luo, Y. Ein Vorhersagemodell für die Parkinson-Krankheit enthüllt Kandidatengensätze für den Progressionssubtyp. 2020 IEEE Int. Konf. Bioinforma. Biomedizin (BIBM) 2020, 417–420 (2020).

Ming, X. et al. Präzise Unterscheidung von COVID-19, anderen Virusinfektionen und gesunden Personen mithilfe multimodaler Merkmale durch spätes Fusionslernen. J. Med. Internet Res. 23 (2021).

Min, C., Yixue, H., Kai, H., Lin, W. & Lu, W. Krankheitsvorhersage durch maschinelles Lernen anhand von Big Data aus Gesundheitsgemeinschaften. IEEE Access 5, 8869–8879 (2017).

Artikel Google Scholar

Keyang, X. et al. Multimodales maschinelles Lernen für automatisierte ICD-Codierung. Proz. Mach. Lernen. Res. 106, 1–17 (2019).

Google Scholar

Liuqing, Y. et al. Deep-Learning-basierte multimodale Verlaufsmodellierung für die Alzheimer-Krankheit. Stat. Biopharma. Res. 13, 337–343 (2021).

Artikel Google Scholar

Peng, L. et al. Eine radiogenomische Signatur zur Vorhersage des klinischen Ergebnisses eines Blasen-Urothelkarzinoms. EUR. Radio. 30, 547–557 (2020).

Artikel Google Scholar

Md Sirajus, S. et al. Multimodaler räumlich-zeitlicher Deep-Learning-Ansatz zur Beurteilung postoperativer Schmerzen bei Neugeborenen. Berechnen. Biol. Med. 129, 104150 (2021).

Jian, X. et al. Multimodales maschinelles Lernen unter Verwendung von Gesichtsfeldern und peripapillären zirkulären OCT-Scans zur Erkennung glaukomatöser Optikusneuropathie. Ophthalmologie 129, 171–180 (2021).

Google Scholar

Dai, Y., Yiqi, Z., Yang, W., Wenpu, Z. & Xiaoming, H. Hilfsdiagnose heterogener Daten der Parkinson-Krankheit basierend auf einem verbesserten neuronalen Faltungsnetzwerk. Multimed. Werkzeuge Appl. 79, 24199–24224 (2020).

Artikel Google Scholar

Makoto, N. et al. Analyse zusätzlicher Pfade mithilfe eines multimodalen Deep-Learning-Modells. Wissenschaft. Rep. 11, 8045 (2021).

Wenhuan, Z., Anupam, G. & Daniel, HH Über die Anwendung fortschrittlicher Methoden des maschinellen Lernens zur Analyse erweiterter, multimodaler Daten von mit Covid-19 infizierten Personen. Berechnung 9, 1–15 (2021).

Google Scholar

Jeremy, AT, Kit, ML & Marta, IG Mehrdimensionale Vorhersagen psychotischer Symptome durch maschinelles Lernen. Summen. Brain Mapp. 41, 5151–5163 (2020).

Artikel Google Scholar

Hossam, F., Maria, H., Mohammad, F., Haya, E. & Alaa, A. Ein intelligentes multimodales medizinisches Diagnosesystem basierend auf medizinischen Fragen von Patienten und strukturierten Symptomen für die Telemedizin. Informieren. Med. Freigeschaltet 23, 100513 (2021).

Md Ashad, A. et al. Eine Kernel-Maschinenmethode zur Erkennung von Interaktionen höherer Ordnung in multimodalen Datensätzen: Anwendung auf Schizophrenie. J. Neurosci. Methoden 309, 161–174 (2018).

Artikel Google Scholar

Luo, Y. et al. Ein mehrdimensionaler Präzisionsmedizinansatz identifiziert einen Autismus-Subtyp, der durch Dyslipidämie gekennzeichnet ist. Nat. Med. 26, 1375–1379 (2020).

Artikel CAS PubMed Google Scholar

Shaker, E.-S., Jose, MA, Islam, SMR, Ahmad, MS, Kyung Sup, K. Ein mehrschichtiges multimodales Erkennungs- und Vorhersagemodell basierend auf erklärbarer künstlicher Intelligenz für die Alzheimer-Krankheit. Wissenschaft. Rep. 11, 2660 (2021).

Shih Cheng, H., Anuj, P., Roham, Z., Imon, B. & Matthew, PL Multimodale Fusion mit tiefen neuronalen Netzen zur Nutzung von CT-Bildgebung und elektronischer Gesundheitsakte: Eine Fallstudie zur Erkennung von Lungenembolien. Wissenschaft. Rep. 10, 22147 (2020).

Yao, L., Mao, C. & Luo, Y. Klinische Textklassifizierung mit regelbasierten Funktionen und wissensgesteuerten Faltungs-Neuronalen Netzen. BMC Med. Inf. Entscheidung. Mak. 19, 71 (2019).

Artikel CAS Google Scholar

Velupillai, S. et al. Verwendung der klinischen Verarbeitung natürlicher Sprache für die Forschung zu Gesundheitsergebnissen: Überblick und umsetzbare Vorschläge für zukünftige Fortschritte. J. Biomed. Inf. 88, 11–19 (2018).

Artikel Google Scholar

Luo, Y., Uzuner, Ö. & Szolovits, P. Überbrückung von Semantik und Syntax mit Graphalgorithmen – Stand der Technik beim Extrahieren biomedizinischer Beziehungen. Knapp. Bioinform. 18, 160–178 (2016).

Artikel PubMed PubMed Central Google Scholar

Zeng, Z., Deng, Y., Li, X., Naumann, T. & Luo, Y. Verarbeitung natürlicher Sprache für EHR-basierte rechnerische Phänotypisierung. IEEE/ACM-Trans. Computerbiol. Bioinform. 16, 139–153 (2018).

Artikel PubMed PubMed Central Google Scholar

Nikolaos, K. et al. Multimodale Arbeitsabläufe für maschinelles Lernen zur Vorhersage von Psychosen bei Patienten mit klinischen Hochrisikosyndromen und kürzlich aufgetretener Depression. JAMA Psychiatry 78, 195–209 (2021).

Artikel Google Scholar

Petersen, RC et al. Neuroimaging-Initiative zur Alzheimer-Krankheit (ADNI): Klinische Charakterisierung. Neurology 74, 201–209 (2010).

Artikel PubMed PubMed Central Google Scholar

Weinstein, JN et al. Das Krebsgenomatlas-Pan-Krebsanalyseprojekt. Nat. Genet. 45, 1113 (2013).

Artikel PubMed PubMed Central Google Scholar

Christopher, JK, Alan, K., Mustafa, S., Greg, C. & Dominic, K. Schlüsselherausforderungen für die Erzielung klinischer Wirkung mit künstlicher Intelligenz. BMC Med. 17, 195 (2019).

Michael, AM et al. Ergebnisse des 2016 International Skin Imaging Collaboration International Symposium on Biomedical Imaging Challenge: Vergleich der Genauigkeit von Computeralgorithmen mit Dermatologen für die Diagnose von Melanomen anhand dermatoskopischer Bilder. Marmelade. Acad. Dermatol. 78, 270–7.e1 (2018).

Artikel Google Scholar

Jannin, PGC & Gibaud, B. Medizinische Anwendungen der NDT-Datenfusion (Springer, 2001).

Guang, Y., Qinghao, Y. & Jun, Inf. Fusion 77, 29–52 (2022).

Artikel Google Scholar

Zhang, Z. & Sejdić, E., Radiologische Bilder und maschinelles Lernen: Trends, Perspektiven und Aussichten. Berechnen. Biol. Med. 108, 354–370 (2019).

David, L., Enrico, C., Jessica, C., Parina, S. & Farah, M. Wie maschinelles Lernen eingebettet ist, um die Entscheidungsfindung von Ärzten zu unterstützen: Eine Analyse von FDA-zugelassenen Medizinprodukten. BMJ Health Care Inform. 28, e100301 (2021).

Luo, Y., Szolovits, P., Dighe, AS & Baron, JM Verwenden von maschinellem Lernen zur Vorhersage von Labortestergebnissen. Bin. J. Clin. Pathol. 145, 778–788 (2016).

Artikel PubMed Google Scholar

Thakur, S., Choudhary, J. & Singh, DP Systems 435–443 (Springer, 2021).

Luo, Y., Szolovits, P., Dighe, AS & Baron, JM 3D-MICE: Integration von Querschnitts- und Längsimputation für klinische Längsschnittdaten mit mehreren Analyten. Marmelade. Med. Informieren. Assoc. (JAMIA) 25, 645–653 (2017).

Artikel Google Scholar

Xue, Y., Klabjan, D. & Luo, Y. Mischungsbasiertes Multiple-Imputationsmodell für klinische Daten mit zeitlicher Dimension. 2019 IEEE International Conference on Big Data (Big Data) 2019 245–252 (IEEE, 2019).

Cao, W. et al. Briten: Bidirektionale wiederkehrende Rmputation für Zeitreihen. NeurIPS, 31 (2018).

Luo, Y. Bewertung des Stands der Technik bei der Imputation fehlender Daten für klinische Daten. Knapp. Bioinform. 23, bbab489 (2022).

Artikel PubMed Google Scholar

Zhao, Q., Adeli, E. & Pohl, KM Training konfunderfreier Deep-Learning-Modelle für medizinische Anwendungen. Nat. Komm. 11, 1–9 (2020).

Artikel Google Scholar

Luo, Y. & Mao, C. ScanMap: Überwachte verwirrungsbewusste nicht-negative Matrixfaktorisierung für die Modellierung polygener Risiken. In der Konferenz „Maschinelles Lernen für das Gesundheitswesen“; 2020: PMLR 27–45 (2020).

Kalavathy, R. & Suresh, RM Pharmakovigilanz aus elektronischen Krankenakten zur Meldung unerwünschter Ereignisse. J. Chem. Pharm. Wissenschaft. 2015, 188–191 (2015).

Google Scholar

Luo, Y. et al. Verarbeitung natürlicher Sprache für die EHR-basierte Pharmakovigilanz: Eine strukturierte Übersicht. Arzneimittelsicherheit. https://doi.org/10.1007/s40264-017-0558-6 (2017).

Segura Bedmar, I., Martínez, P. & Herrero Zazo, M. Semeval-2013 Aufgabe 9: Extraktion von Arzneimittel-Arzneimittel-Wechselwirkungen aus biomedizinischen Texten (ddiextraction 2013). 2013: Verein für Computerlinguistik (2013).

Hammann, F. & Drewe, J. Data Mining für potenzielle unerwünschte Arzneimittelwechselwirkungen. Expertenmeinung. Arzneimittel-Metabol. Toxicol. 10, 665–671 (2014).

Artikel CAS PubMed Google Scholar

Donna, MF et al. Die American Geriatrics Society hat 2019 die AGS-Bierkriterien für den potenziell unangemessenen Medikamentengebrauch bei älteren Erwachsenen aktualisiert. Marmelade. Geriatr. Soc. 67, 674–694 (2019).

Google Scholar

Obermeyer, Z., Powers, B., Vogeli, C. & Mullainathan, S. Analyse rassistischer Vorurteile in einem Algorithmus zur Verwaltung der Gesundheit der Bevölkerung. Wissenschaft 366, 447–53. (2019).

Artikel CAS PubMed Google Scholar

Wang, H. et al. Einsatz von maschinellem Lernen zur Integration sozioverhaltensbezogener Faktoren in die Vorhersage des kardiovaskulären Mortalitätsrisikos. Zucht. Gesundheitstechnologie. Inf. 264, 433–437 (2019).

Google Scholar

Christof, E. Open-Source-Software in der Industrie. IEEE Softw. 25, 52–53 (2008).

Artikel Google Scholar

Robert, MS Warum Open-Source-Software entwickeln? Die Rolle von immateriellen Vorteilen, monetären Belohnungen und der Art der Open-Source-Lizenz. Oxf. Rev. Economic Policy 23, 605–619 (2007).

Artikel Google Scholar

Luo, Y., Wunderink, RG & Lloyd-Jones, D. Proaktives vs. reaktives maschinelles Lernen im Gesundheitswesen: Lehren aus der COVID-19-Pandemie. JAMA 327, 623–624 (2022).

Artikel CAS PubMed Google Scholar

Ke, G. et al. LightGBM: Ein hocheffizienter Entscheidungsbaum zur Gradientenverstärkung. Adv. Neuronale Inf. Prozesssystem 30 (2017).

Derara Duba, R., Taye Girma, D., Achim, I. & Worku Gachena, N. Diagnose von Diabetes mellitus mittels Gradient Boosting Machine (Lightgbm). Diagnostik 11, 1714 (2021).

Xiaolei, S., Mingxi, L. & Zeqian, S. Ein neuartiges Prognosemodell für Kryptowährungspreistrends basierend auf LightGBM. Finanzen Res. Lette. 32, 101084 (2020).

Artikel Google Scholar

Dongzi, J., Yiqin, L., Jiancheng, Q., Zhe, C. & Zhongshu, M. SwiftIDS: Echtzeit-Intrusion-Detection-System basierend auf LightGBM und parallelem Intrusion-Detection-Mechanismus. Berechnen. Sicher. 97, 101984 (2020).

Artikel Google Scholar

Wilkinson, MD et al. Die FAIR-Leitprinzipien für wissenschaftliches Datenmanagement und -verwaltung. Natur 3, 160018 (2016).

Google Scholar

Weissler, EH, et al. Die Rolle des maschinellen Lernens in der klinischen Forschung: Die Zukunft der Evidenzgenerierung verändern. Versuche 22, 537 (2021).

Pratik, S. et al. Künstliche Intelligenz und maschinelles Lernen in der klinischen Entwicklung: Eine translationale Perspektive. npj Digital Med. 2, 69 (2019).

Inna, K. & Simeon, S. Interpretierbarkeit maschineller Lernlösungen im öffentlichen Gesundheitswesen: Der CRISP-ML-Ansatz. Vorderseite. Big Data 4, 660206 (2021).

Marx, V. Methode des Jahres: Ortsaufgelöste Transkriptomik. Nat. Methoden 18, 9–14 (2021).

Artikel CAS PubMed Google Scholar

Zeng, Z., Li, Y., Li, Y. & Luo, Y. Statistische und maschinelle Lernmethoden für die räumlich aufgelöste Transkriptomik-Datenanalyse. Genombiol. 23, 1–23. (2022).

Artikel Google Scholar

Longo, SK, Guo, MG, Ji, AL & Khavari, PA Integration von Einzelzell- und räumlicher Transkriptomik zur Aufklärung der interzellulären Gewebedynamik. Nat. Rev. Genet. 22, 627–644 (2021).

Artikel CAS PubMed Google Scholar

PRISMA-Erweiterung für Scoping Reviews (PRISMA-ScR): Checkliste und Erläuterung. Ann. Praktikant. Med. 169 467–473 (2018).

Referenzen herunterladen

Die Studie wird teilweise durch die NIH-Zuschüsse U01TR003528 und R01LM013337 an YL und AG073323 an FC unterstützt

Abteilung für Präventivmedizin, Northwestern University, Chicago, 60201, IL, USA

Adrienne Kline, Hanyin Wang, Yikuan Li, Saya Dennis, Meghan Hutch und Yuan Luo

Abteilung für Bevölkerungsgesundheitswissenschaften, Cornell University, New York, 10065, NY, USA

Zhenxing Xu & Fei Wang

Cleveland Clinic Lerner College of Medicine, Case Western Reserve University, Cleveland, 44195, OH, USA

Feixiong Cheng

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

AK leitete den Überprüfungsprozess, führte die Datenextraktion durch, führte die Berechnungsanalyse, die Zahlengenerierung, das Schreiben und die Dashboard-Erstellung durch. HW, YL, SD und MH führten die Datenextraktion durch. ZX synthetisierte die Einschränkungen der Studien. FW und FC führten Korrekturlesen und Inhaltskuratierung durch. YL konzipierte die Überprüfung, überwachte den Überprüfungsprozess und sorgte für das notwendige Feedback, das Korrekturlesen und die Inhaltskuratierung.

Korrespondenz mit Yuan Luo.

Die Autoren geben an, dass keine Interessenkonflikte bestehen.

Anmerkung des Herausgebers Springer Nature bleibt hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten neutral.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht durch gesetzliche Vorschriften zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Kline, A., Wang, H., Li, Y. et al. Multimodales maschinelles Lernen in der Präzisionsgesundheit: Ein Überblick über den Umfang. npj Ziffer. Med. 5, 171 (2022). https://doi.org/10.1038/s41746-022-00712-8

Zitat herunterladen

Eingegangen: 20. Juni 2022

Angenommen: 14. Oktober 2022

Veröffentlicht: 07. November 2022

DOI: https://doi.org/10.1038/s41746-022-00712-8

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein Link zum Teilen verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt

npj Digitale Medizin (2023)