Information

Können fMRT- und EEG-Signale aus NEF-Modellen generiert werden?

Können fMRT- und EEG-Signale aus NEF-Modellen generiert werden?

Die grundlegende Funktion des NEF besteht darin, die Außenwelt auf Neuronen abzubilden, indem die Feuerungsraten der Neuronen verwendet werden. Es unterstützt auch verschiedene Neuronenmodelle. Wurden diese Auslöseraten schon einmal verwendet, um EEG- und fMRI-Signale zu erzeugen, um experimentelle Daten zu replizieren? Wenn das so ist, wie?


Das Replizieren des fMRT-Signals wurde erstmals in der Tower of Hanoi-Aufgabe verwendet, wie in Abschnitt 5.8 von "How to build a Brain" zu sehen ist:

Es gibt starke Hinweise darauf, dass die dendritische Verarbeitung, die durch die Verwendung von Neurotransmittern angetrieben wird, das BOLD-Signal unterschreibt (Logothetis & Wandell, 2004). Es ist dieses BOLD-Signal, das tatsächlich von MRT-Geräten gemessen wird. Folglich misst die MRT die Neurotransmitter-Nutzung, nicht die neuronale Aktivität (d. h. das Aufstocken von Neuronen) in einem Gehirnbereich. Die Verwendung von Neurotransmittern wird tatsächlich durch Neuronen bestimmt, die in den gemessenen Bereich projizieren, nicht durch die Neuronen in dem Bereich selbst. Hier sagen wir fMRT-Daten vorher, indem wir die Neurotransmitter-Nutzung im Modell filtern. Dieser Filter wird durch ein festes Modell bestimmt, wie Neurotransmitter-Fluktuationen Energie verbrauchen und das auf dem Blutverbrauch basierende BOLD-Signal erzeugen.

Auch die Replikation von EEG-Signalen wäre möglich. Sie müssten nur das Potenzial jedes Neurons als Ergebnis seiner Aktivitäten herausfinden und dann das resultierende Signal durch einen Kopfhautfilter leiten.


EEG-Reaktionen auf emotionale Videos können Big-Five-Persönlichkeitsmerkmale quantitativ vorhersagen

Jüngste Fortschritte in der Informationstechnologie haben die Möglichkeit aufgezeigt, die Persönlichkeit einer Person automatisch zu beurteilen. In der vorliegenden Studie wurde eine EEG-basierte Persönlichkeitsbewertungsmethode zur quantitativen Bewertung der Big Five-Persönlichkeit von Menschen vorgeschlagen und implementiert. EEG-Daten wurden von 66 Teilnehmern gesammelt, während sie insgesamt 28 Videoclips sahen, die 9 typische Emotionskategorien von Belustigung, Freude, Inspiration, Zärtlichkeit, Wut, Ekel, Angst, Traurigkeit und Neutralität abdeckten. Regressionsanalysen wurden durchgeführt, um die Big-Five-Persönlichkeitsmerkmals-Scores der Teilnehmer anhand der EEG-Reaktionen auf diese emotionalen Videoclips vorherzusagen. Ein verschachteltes Leave-One-Out-Kreuzvalidierungsverfahren wurde mit einer spärlichen Merkmalsauswahlstrategie verwendet, um die Out-of-Sample-Persönlichkeitsbewertungsleistung zu bewerten. Die etablierten EEG-basierten Regressionsmodelle konnten die von den Teilnehmern selbst berichteten Persönlichkeitsmerkmals-Scores effektiv vorhersagen. Die Vorhersagegenauigkeiten, gemessen als Korrelationen zwischen den EEG-vorhergesagten Persönlichkeitsmerkmals-Scores und den selbst berichteten Scores, betrugen 0,71, 0,72, 0,86, 0,71 bzw. 0,82 für Verträglichkeit, Gewissenhaftigkeit, Neurotizismus, Offenheit und Extraversion. Eine Reihe von Tests sowohl aus der Perspektive der internen als auch der externen Validität zeigte weiterhin eine gute Reliabilität der erhaltenen Ergebnisse. Diese Ergebnisse legen die vorgeschlagene Methode als vielversprechende Alternative zu herkömmlichen Persönlichkeitsfragebögen nahe.


Alle relevanten Daten sind in der Veröffentlichung und den Begleitinformationen enthalten.

Einführung

Verschiedene Studien haben mittels EEG-fMRT-Koregistrierung die Hirnnetzwerke im Zusammenhang mit generalisierten Spike-and-Wave-Entladungen (GSWD) bei Patienten mit idiopathischer generalisierter Epilepsie (IGE) untersucht. Diese Studien zeigten ein weit verbreitetes GSWD-bezogenes neuronales Netzwerk, das den Thalamus und Regionen des Standardmodus-Netzwerks umfasst. In dieser Studie haben wir untersucht, welche Hirnregionen entscheidend an der Beendigung von Absencen-Anfällen (AS) bei einer Gruppe von IGE-Patienten.

Methoden

Achtzehn Patienten (6 männliches Durchschnittsalter 25 Jahre) mit AS wurden in die EEG-fMRT-Studie eingeschlossen. Funktionsdaten wurden bei 3T mit kontinuierlicher simultaner Video-EEG-Aufzeichnung erfasst. Die ereignisbezogene Analyse wurde mit der SPM8-Software unter Verwendung der folgenden Regressoren durchgeführt: (1) GSWD-Beginn und -Dauer (2) GSWD-Offset. Die Daten wurden auf Einzelsubjekt- und auf Gruppenebene mit einer Random-Effect-Analyse der zweiten Ebene analysiert.

Ergebnisse

Ein Mittelwert von 17 Ereignissen für den Patienten wurde aufgezeichnet (mittlere Dauer von 4,2 Sekunden). Eine Analyse auf Gruppenebene in Bezug auf den Beginn der GSWD in Bezug auf die Ruhe bestätigte frühere Ergebnisse, die eine Aktivierung des Thalamus und eine Deaktivierung des Präcuneus/posterioren Cingulums zeigten. Bei GSWD-Terminierung beobachteten wir eine Abnahme des BOLD-Signals über den bilateralen dorsolateralen frontalen Kortex in Bezug auf die Grundlinie (und in Bezug auf den GSWD-Beginn). Der Kontrast-GSWD-Offset gegenüber dem Onset zeigte eine BOLD-Signalerhöhung über der präcuneus-posterioren cingulären Region auf beiden Seiten. Parametrische Korrelationen zwischen elektroklinischen Variablen und dem BOLD-Signal bei GSWD-Offset zeigten keine signifikanten Effekte.

Abschluss

Die Rolle der verminderten neuralen Aktivität des lateralen präfrontalen Kortex bei der GSWD-Terminierung verdient zukünftige Untersuchungen, um festzustellen, ob sie eine Rolle bei der Förderung des Entladungs-Offsets sowie bei der Bestimmung der kognitiven Defizite spielt, die bei Patienten mit AS häufig vorhanden sind. Das erhöhte BOLD-Signal am präcunealen/posterioren cingulären Kortex könnte die Erholung der neuralen Aktivität in Regionen widerspiegeln, die während der Spike-and-Wave-Aktivität “suspendiert” sind, wie zuvor angenommen.


Einführung

Die Verarbeitung einfacher Reize und Aufgaben erzeugt im Gehirn räumlich und zeitlich umfangreiche ereignisbezogene neuronale Antworten. Zum Beispiel induziert die auditive Zielerkennung eine hämodynamische Aktivierung in etwa vierzig kortikalen, subkortikalen und zerebellären Regionen (Kiehl, et al., 2005), was die Ergebnisse aus intrakraniellen Aufzeichnungen ergänzt (Baudena, et al., 1995 Halgren, et al., 1995a Halgren et al., 1995b). Diese neuronalen Massenreaktionen können skalen- und modalitätsübergreifend aus Einzelaufzeichnungen, intrakranieller und Kopfhaut-Elektrophysiologie sowie metabolischen und hämodynamischen Signalen beobachtet werden, aber keine einzelne Technik bietet einen ausreichenden Überblick über das volle zeitliche, räumliche und funktionelle Ausmaß dieser Reaktionen. Die Sichtbarkeit kann mit Techniken verbessert werden, die Daten über verschiedene Neuroimaging-Modalitäten integrieren (Debener, et al., 2006 Hopfinger, et al., 2005 Horwitz, et al., 2002 Makeig, 2002). Bei gleichzeitigen EEG-fMRT-Aufnahmen kann man die zeitliche Auflösung der Kopfhautpotentiale um die räumliche Präzision der fMRT ergänzen. Dies kann beispielsweise durch das Auffinden von Korrelationen zwischen Single-Trial-Modulation zu einer ausgewählten Latenzzeit im ereignisbezogenen EEG und Aktivierung im fMRT-Volumen mittels univariater massenunivariater Voxel-by-Voxel-Analyse erfolgen (Benar, et al., 2007 Debener, et al., 2005b Eichele, et al., 2005). Implizit in diesem Ansatz ist die kritische Annahme, dass die Kopfhaut-EEG-Daten eines ausgewählten Kanals und der Latenz die fMRI-Aktivierung in einzelnen Voxeln vorhersagen können (Friston et al., 1995 Friston, 2005b). Dies wird durch die Sampling-Eigenschaften der Aufnahmen und die Art und Weise, wie fMRI-Zeitreihendaten üblicherweise analysiert werden, auferlegt. Obwohl diese Annahme eine praktikable Lösung für die ‘Integration-by-Prediction’ darstellt, ist sie für viele der Proben aus beiden Modalitäten nicht unbedingt physiologisch plausibel. Der Grund dafür ist, dass ein hervorstechendes Ereignis mehrere, gleichzeitig aktive, sich regional überlappende und funktionell trennbare Reaktionen induzieren kann, die zu einer bestehenden neuronalen Hintergrundaktivität beitragen, mit anderen Worten, ereignisbezogene Prozesse werden im Gehirn räumlich und zeitlich gemischt. Das Kopfhaut-EEG tastet eine volumengeleitete, räumlich degradierte Version der Reaktionen ab, wobei das Potenzial an jedem Ort und die Latenz als eine Mischung mehrerer unabhängiger Zeitverläufe betrachtet werden können, die von großskaligen synchronen Feldpotenzialen herrühren (Makeig et al., 2004a .). Onton et al., 2006). In ähnlicher Weise ermöglicht die neurovaskuläre Transformation der verteilten neuronalen Aktivität in hämodynamische Signale (Lauritzen, et al., 2003 Logothetis, 2003) den Nachweis von Reaktionen, die vom Sauerstoffgehalt im Blut abhängig sind (BOLD, Ogawa, et al., 1990), die zeitlich und räumlich abgebaut sind über das fMRT-Volumen gemischt (Calhoun et al., 2006a McKeown, et al., 2003).

Dieser physiologische raumzeitliche Mischprozess schafft Situationen, in denen die Vorhersage der fMRT-Aktivität durch EEG-Merkmale mit der Tatsache zu kämpfen hat, dass weder der Prädiktor noch die Antwortvariablen wahrscheinlich eine einzige Variabilitätsquelle darstellen. Beispielsweise versagt die Punkt-zu-Punkt-Korrelation zwischen den beiden Datenmischungen, wenn die Trial-to-Trial-Modulation im EEG unterschiedliche Beiträge von mehreren funktionsrelevanten räumlich getrennten Quellen erhält, so dass keine einzelne regionale fMRT-Antwort das vorhergesagte Signal repräsentiert. Dies gilt auch für den Fall, dass das EEG-Merkmal eine einzelne Quelle erfasst, die fMRT-Aktivität an entsprechenden Orten jedoch in der Verbreitung anderer, nicht verwandter Quellen verborgen ist, was zu einer Unterschätzung der räumlichen Ausdehnung der Reaktion führt. Obwohl die Entrauschung und Einbeziehung parametrischer Modulationen in das Stimulusparadigma (Eichele et al., 2005) und die zeitliche Entmischung des EEG (Debener et al., 2005b) Teile des Problems lösen und einer verfeinerten raumzeitlichen Kartierung Platz machen noch Verbesserungsbedarf besteht bei den Analysewerkzeugen zur Integration gleichzeitiger Aufzeichnungen (vgl. Debener, et al., 2006). Eine solche Verbesserung besteht darin, beide Modalitäten auf der Ebene der Einzelversuche parallel zu entmischen, was sich natürlich aus den jüngsten Arbeiten (Calhoun et al., 2006c Debener et al., 2005b Eichele et al., 2005) und der Begründung ergibt oben ausgelegt.

Den obigen Argumenten folgend, entwickeln wir einen Analyserahmen für Gruppendaten, der eine unabhängige Komponentenanalyse von Infomax (ICA, Bell et al., 1995 Lee et al., 1999 für einen Überblick siehe Stone, 2002) verwendet, um eine Reihe von statistischen unabhängige Karten aus dem fMRI (sICA) und unabhängige Zeitverläufe aus dem EEG (tICA) getrennt und gleichen diese Komponenten über Modalitäten hinweg durch Korrelieren ihrer Trial-to-Trial-Modulation ab. ICA wurde entwickelt, um lineare Mischprobleme ähnlich dem 𠆌ocktailpartyproblem’ anzugehen, bei dem viele Leute gleichzeitig sprechen und mehrere Mikrofone unterschiedliche Mischungen der Sprecherstimmen aufnehmen (Bell et al., 1995). Der hier verwendete Algorithmus versucht, gemischte Signale durch Maximierung der Informationsübertragung zwischen ihnen in maximal unabhängige Quellen zu trennen. ICA hat allgemeine Anwendbarkeit auf normalverteilte zweidimensionale Mischungen, und in Bezug auf psychophysiologische Daten wurde sie zur Zerlegung von gemittelten ERPs (Makeig et al., 1997), Einzelversuchs-EEG (Makeig et al., 2004b Onton et al.) verwendet ., 2006), fMRT (Calhoun, et al., 2006a) und EEG-fMRT (Calhoun, et al., 2006c Debener, et al., 2005b Feige, et al., 2005). ICA kann für die EEG-fMRT-Integration verwendet werden unter der Annahme, dass die verschiedenen Aufnahmemodalitäten Merkmale aus demselben Quellensatz getreu abtasten, ausgedrückt in der Kovariation zwischen einzelnen Studien (Debener et al., 2005b) oder Probanden (Calhoun et al., 2006c).

Im Gegensatz zu univariaten Methoden wie dem allgemeinen linearen Modell ist ICA von Natur aus nicht geeignet, Ergebnisse aus einer Gruppe von Probanden zu verallgemeinern. Es gibt zwei Strategien, um das Abgleichen unabhängiger Komponenten zwischen Individuen zu ermöglichen: Eine besteht darin, einzelne ICs über Fächer hinweg mit Clustering-Techniken zu kombinieren (Esposito et al., 2005 Onton et al., 2006). Ein anderer Ansatz besteht darin, aggregierte Daten mit Beobachtungen aller Probanden zu erstellen, einen einzelnen Satz von ICs zu schätzen und diese dann in den Einzeldaten rückzurekonstruieren (Calhoun et al., 2001 Schmithorst et al., 2004). Wir haben die letztgenannte Strategie für die temporale ICA-Analyse des Gruppen-EEG gewählt, da sie Komponenten, die konsistent in der Population ausgedrückt werden, direkt schätzt und die geringste Benutzerinteraktion erfordert und einfach mit dem bestehenden Rahmen für die Gruppen-ICA von fMRI-Daten (Calhoun , et al., 2001).

Zusammenfassend sind mögliche Wege für die EEG-fMRT-Integration die Vorhersage beider Modalitäten, ein massenunivariater Rahmen, der alle Voxel-Zeitreihen im fMRT testet, sowie Kanäle und Zeitpunkte im EEG unter Verwendung einer vordefinierten Modellfunktion, wie dies bei fMRT üblich ist Zeitreihenanalyse (dies ist jedoch unseres Wissens noch nicht realisiert worden). Eine andere Möglichkeit besteht darin, die fMRT-Daten mit den gemessenen EEG-Einzelversuchsamplituden vorherzusagen, unter der Annahme, dass einige EEG-Zeitpunkte und -Kanäle funktionelle Prozesse in einigen Voxeln ohne große Überlappung darstellen, was eine Punkt-zu-Punkt-Korrelation zwischen Mischungen darstellt (Benar et al., 2007 Eichele et al., 2005). Eine dritte Lösung besteht darin, das EEG zu entmischen und die fMRT-Mischung mit der Modulation einer zeitlich unabhängigen Komponente vorherzusagen (Debener, et al., 2005b Feige, et al., 2005). Die hier entwickelte Methode entmischt beide Modalitäten getrennt und gleicht zeitliche ICs im EEG mit räumlichen ICs im fMRT ab.

Die Nützlichkeit dieser Methode wird in zuvor veröffentlichten Daten demonstriert, die in einem auditiven Sonderling mit unterschiedlichem Grad an Zielvorhersagbarkeit gesammelt wurden. Die parametrische Modulation induzierte unterschiedliche EEG-korrelierte fMRT-Aktivierungsmuster bei den Latenzen von P2, N2 und P3 (Eichele, et al., 2005, siehe auch Jongsma, et al., 2006). Wir haben diese Daten mit der offenen Suchfrage erneut analysiert, ob die systematische EEG-fMRT-Kovariation in unserer vorherigen Analyse übersehen wurde und ob sie durch parallele ICA wiederhergestellt werden könnte. Ein wahrscheinlicher Kandidat für einen solchen Fehltreffer ist die auditive Onset-Reaktion und die nachfolgenden Low-Level-Orientierungs-/Change-Detektionsprozesse. Obwohl es im N1-ERP (Naatanen et al., 1987 Woods, 1995) und in der bilateralen temporalen fMRT-Aktivierung (Kiehl et al., 2005 Liebenthal, et al., 2003 Linden et al., 1999) exprimiert wird, ist dies Prozess belegte keine signifikante Korrelation zwischen den Modalitäten (vgl. Eichele, et al., 2005).


Materialen und Methoden

Themen.

Achtzehn Personen nahmen gegen Bezahlung an dem Experiment teil. Alle Probanden gaben ihr Einverständnis. Die Daten von drei Probanden wurden wegen restlicher kardioballistischer Artefakte in den EEG-Daten verworfen, die durch den Vergleich von in der früheren Literatur gut untersuchten mittelfrontalen EEG-Signalen (fehlerbezogene Negativität und Theta-Power-Verstärkung) mit zuvor berichteten Daten bestimmt wurden. Probanden wurden eliminiert, wenn das Artefakt in diesen Daten eindeutig vorhanden war (und beachten Sie, dass dieses Signal während des Feedback-Ergebnisses beobachtet wird und daher unabhängig von den Daten ist, die wir während des Auswahlzeitraums in dieser Studie analysieren). Die SyncBox funktionierte bei mindestens zwei dieser drei Probanden nicht, was zu einem schlechten MRT-Artefakt und kardioballistischen Artefakten führte.

Von den 15 untersuchten Probanden waren 9 männliche und 6 weibliche Probanden im Alter von 18 bis 28 Jahren. Alle Probanden waren Rechtshänder, mit normalem oder korrigiertem Sehvermögen, waren englische Muttersprachler und wurden auf die Verwendung von psychiatrischen und neurologischen Medikamenten und Erkrankungen sowie auf Kontraindikationen für MRT untersucht.

Reize.

Stimuli bestanden aus drei Bildern von leicht benennbaren Objekten (Elefant, Sonnenbrille und Tomate), die jeweils 40 Mal präsentiert wurden. Alle Bilder wurden auf schwarzem Hintergrund präsentiert.

Verfahren.

Das Aufgabendesign wurde von Haruno und Kawato (2006) übernommen. Die Probanden sahen sich die drei Bilder 120 Mal (je 40 Mal) an. Für jedes Bild mussten die Probanden eine Antwort auswählen und lernen, welche mit größerer Wahrscheinlichkeit richtig war. Die Belohnungswahrscheinlichkeiten waren für jedes Bild unterschiedlich, wobei die statistisch korrekte Antwort bei 85% der Versuche für ein Bild belohnt wurde und die andere Antwort bei den verbleibenden 15% der Versuche belohnt wurde. Die Kontingenzen für die anderen Bilder waren 75:25 und 65:35, wodurch unterschiedliche Belohnungswahrscheinlichkeits-/Wertunterschiede induziert wurden.

Die Versuche umfassten eine Grünfixierung (+) mit variabler Dauer (500–3500 ms) gefolgt von einem Bild. Jedes Bild wurde für 1000 ms präsentiert. Die Antworten der Teilnehmer wurden während des Scannens unter Verwendung einer MRT-sicheren Schaltflächenbox vorgenommen. Mit Zeige- und kleinen Finger der rechten Hand reagierten die Probanden mit der linken oder rechten Taste. Antworten, die nach dem Display-Offset gemacht wurden, wurden als Nicht-Antwort-Versuche gezählt. Nach ihrer Antwort erhielten die Probanden visuelles Feedback, das angab, ob ihre Entscheidung „richtig“ (positiv) oder „falsch“ (negativ) war. Feedback wurde für 500 ms präsentiert.

Wir haben festgestellt, dass die Anzahl der Studien ausreichend ist, da wir in früheren Arbeiten festgestellt haben, dass 20–30 Studien pro Erkrankung für EEG und fMRT ausreichend sind, was den Konventionen und früheren Schätzungen eines angemessenen Signal-Rausch-Verhältnisses entspricht (Luck, 2005). und wir waren in der Lage, frühere Theta-Ergebnisse im mittleren Frontalbereich zu replizieren, obwohl die Artefaktentfernung in Kombination mit fMRT erforderlich war. Darüber hinaus ist die hierarchische Bayessche Parameterschätzungstechnik, die wir für das Drift-Diffusions-Modell (DDM) verwendet haben, besonders geeignet, um die statistische Stärke zu erhöhen, wenn die Anzahl der Versuche gering ist, indem die Ähnlichkeit verschiedener Probanden genutzt wird. Wir haben zuvor gezeigt, dass DDM-Parameter, einschließlich der regressiven Effekte von Studie-zu-Studie-Variationen der Hirnaktivität auf Entscheidungsparameter, mit hierarchischem DDM (HDDM) für diese Studienzählungen zuverlässig geschätzt werden, während andere Methoden lauter sind (Wiecki et al. , 2013).

Die Reihenfolge der Versuche und die Dauer der gejitterten Intertrial-Intervalle innerhalb eines Blocks wurden durch Optimierung der Effizienz der Design-Matrix bestimmt, um eine Schätzung der ereignisbezogenen MRT-Reaktion zu ermöglichen (Dale, 1999). Bild- und Antwortzuordnungen, gepaart mit jeder Belohnungswahrscheinlichkeitsbedingung, wurden zwischen den Probanden ausbalanciert. Das Ausbalancieren war so, dass jedes Bild und jede linke oder rechte richtige Antwort (mit gleicher Wahrscheinlichkeit bei allen Probanden) den 65-, 75- und 85-%-Bedingungen zugeordnet wurde. Beispielsweise könnte für eine Versuchsperson das Elefantenbild der 85%-Bedingung zugeordnet werden und die linke Antwort war richtig, aber dasselbe Bild würde einer anderen Belohnungswahrscheinlichkeit und/oder dem richtigen Tastendruck für eine andere Versuchsperson zugeordnet werden.

FMRT-Aufzeichnung und -Vorverarbeitung.

Vollhirnbilder wurden mit einem Siemens 3 T TIM Trio MRT-System mit einer 12-Kanal-Kopfspule aufgenommen. Zur anatomischen Visualisierung wurde ein hochauflösendes T1-gewichtetes 3D-Multi-Echo-MPRAGE-Bild aufgenommen. fMRT-Daten wurden in einem Lauf von 130 Volumenaufnahmen unter Verwendung einer Gradientenecho-Echo-Planar-Pulssequenz (TR = 2 s, TE = 28 ms, 33 axiale Schichten, 3 × 3 × 3 mm, Flipwinkel = 90) erfasst. Die Kopfpolsterung wurde verwendet, um die Bewegung einzuschränken. Stimuli wurden auf eine Rückprojektionswand projiziert und über einen an der Kopfspule angebrachten Schrägspiegel für den Teilnehmer sichtbar gemacht.

fMRT wurde mit SPM8 (Wellcome Department of Cognitive Neurology, London) vorverarbeitet. Die Datenqualität wurde zunächst auf Bewegungen und Artefakte überprüft. Funktionale Daten wurden für das Schichtaufnahme-Timing korrigiert, indem Schichten neu abgetastet wurden, um der ersten Schicht zu entsprechen, bewegungskorrigiert über alle Durchläufe funktionale und strukturelle Bilder wurden auf den stereotaktischen MNI-Raum unter Verwendung einer affinen Transformation mit 12 Parametern zusammen mit einer nichtlinearen Transformation unter Verwendung eines Kosinus-Basissatzes normalisiert. und räumlich geglättet mit 8 mm voller Breite bei halbmaximalem isotropem Gauß'schen Kernel.

Extrahieren der ROI BOLD-Aktivität eines einzelnen Versuchs.

In dieser Studie wollten wir die mutmaßlichen Rollen von Prä-SMA, STN und Caudat bei der Regulierung von Entscheidungsparametern beim Reinforcement Learning testen. Als solche wählten wir a priori ROIs, ließen jedoch zu, dass die Grenzen dieser durch die univariate Aktivität eingeschränkt wurden. Um die RL-DDM-Parameter mit der Gehirnaktivität in Beziehung zu setzen, wurden ROIs definiert und Schätzungen ihrer hämodynamischen Reaktion erhalten. Die Definitionen der ROIs waren in Bezug auf nachfolgende Hypothesentests und Modellanpassungen unverzerrt. Die STN wurde unter Verwendung einer Wahrscheinlichkeitskarte von Forstmann et al. (2012). Alle Voxel mit einer Wahrscheinlichkeit ungleich null wurden verwendet, was zu einer kleinen Maske um STN herum führte. Die zusammengestellte Karte aus mehreren Studien finden Sie unter http://www.nitrc.org/projects/atag. Der Prä-SMA-Kortex wurde basierend auf der univariaten Aktivität bis zum Einsetzen des Stimulus definiert, was Aktivierungen ergab, die denen in der Literatur zur konfliktinduzierten Verlangsamung beschriebenen ziemlich nahe kamen (Aron et al., 2007). Aus jedem ROI wurde mit der MarsBaR-Toolbox (Brett et al., 2002) ein mittlerer Zeitverlauf extrahiert und dann linear detrendiert. Die für das GLM verwendete hämodynamische Reaktionsfunktion (HRF) wurde aus einem endlichen Impulsantwort (FIR)-Modell jedes ROI abgeleitet. Beginnend mit der Prä-SMA, definiert durch die Aktivität während des Reizbeginns, beobachteten wir einen Peak bei etwa TR = 2 (4 s). Da der ROI basierend auf dem Beginn des Stimulus definiert wurde, war er in Bezug auf unsere Interessenbedingungen neutral. Somit besteht ein geringes Risiko der Zirkularität bei der Verwendung dieser Peak-Timing-Informationen, um Korrelationen mit Theta usw. zu testen. Wir haben dann dieselben Peak-Messwerte für andere ROIs (STN und Caudate) verwendet. Diese Informationen wurden auf zwei Arten verwendet. (1) ROI-Analyse: Die für die DDM-Modellanpassung extrahierten Daten (STN, caudat und pre-SMA) waren die prozentuale Signaländerung 2 TRs nach Stimulusbeginn für den räumlich gemittelten Zeitverlauf dieser ROI. (2) Whole-Brain-Analyse: In den Whole-Brain-GLMs haben wir die kanonische Funktion (Mischung von Gammafunktionen) verwendet, jedoch mit Parametrisierung (d. h. einem Peak von 4 s), die durch die FIR-Modelle informiert wurde.

EEG-Aufzeichnung und -Vorverarbeitung.

Das EEG wurde mit einem 64-Kanal-MRT-kompatiblen Brain Vision-System mit einer SyncBox (Brain Products) aufgezeichnet. Das EEG wurde kontinuierlich mit Hardwarefiltern von 1 bis 250 Hz, einer Abtastrate von 5000 Hz und einer Online-Cz-Referenz aufgezeichnet. Die SyncBox synchronisiert die Taktausgabe des MR-Scanners mit der EEG-Erfassung, wodurch die Entfernung von MR-Gradientenartefakten aus dem EEG-Signal verbessert wird. Das EKG wurde mit einer Elektrode am unteren linken Rücken aufgezeichnet, um kardioballistische Artefakte zu entfernen. Einzelne Sensoren wurden eingestellt, bis die Impedanzen <25 kΩ betrugen. Vor der weiteren Verarbeitung wurden MRT-Gradientenartefakte und kardioballistische Artefakte unter Verwendung der im Brain Vision Analyzer (Brain Products) implementierten Durchschnittsartefakt-Subtraktionsmethode (Allen et al., 2000, 1998) entfernt. MR-Gradientenartefakte wurden unter Verwendung eines gleitenden Durchschnittsfensters von 15 Intervallen entfernt, gefolgt von einem Downsampling auf 250 Hz, und dann um die Cues herum (–1000 bis 2000 ms) epochiert. Kardioballistische Artefakte wurden entfernt, indem zuerst R-Peaks im EKG-Kanal erkannt wurden, gefolgt von einem gleitenden Durchschnittsfenster von 21 Artefakten. Nach Entfernung von MR-Gradienten und kardioballistischen Artefakten wurde das EEG mit EEGLAB weiter vorverarbeitet (Delorme und Makeig, 2004). EEG-Daten wurden vom Beginn bis zum Offset des Scannerlaufs ausgewählt. Einzelne Kanäle wurden versuchsweise durch einen sphärischen Spline-Algorithmus ersetzt (Srinivasan et al., 1996). Das EEG wurde in Bezug auf eine Scheitelpunktreferenz (Cz) gemessen. Eine unabhängige Komponentenanalyse wurde verwendet, um restliche MR- und kardioballistische Artefakte, Augenblinzeln und Augenbewegungsartefakte zu entfernen.

Der EEG-Zeitverlauf wurde auf Stromquellendichte transformiert (CSD Kayser und Tenke, 2006). CSD berechnet die zweite räumliche Ableitung der Spannung zwischen nahegelegenen Elektrodenstellen und fungiert als referenzfreier räumlicher Filter. Die CSD-Transformation hebt lokale elektrische Aktivitäten auf Kosten einer Verminderung der Darstellung distaler Aktivitäten (Volumenleitung) hervor. Die Verringerung von Volumenleitungseffekten durch CSD-Transformation kann subtile lokale Dynamiken aufdecken. Die Einzelversuchs-EEG-Leistung wurde unter Verwendung der Hilbert-Transformation an diesen CSD-Daten berechnet, die im Theta-Frequenzband von 4 bis 8 Hz für den Kanal FCz gefiltert wurden. Jede Probe im EEG-Zeitverlauf war z-bewertet und Ausreißer (z > 4,5) wurden durch die durchschnittliche EEG-Leistung ersetzt. Eine kleine Anzahl von Studien (4%) wurde aufgrund von unbrauchbarem EEG entfernt.

Zeit-Frequenz-Berechnungen wurden mit benutzerdefinierten MATLAB-Routinen berechnet (Cavanagh et al., 2013). Für zustandsspezifische Aktivitäten wurden Zeit-Frequenz-Messungen durch Multiplizieren des schnellen FFT-Leistungsspektrums von Einzelversuchs-EEG-Daten mit dem FFT-Leistungsspektrum eines Satzes komplexer Morlet-Wavelets (definiert als komplexe Sinuswelle mit Gauß-Fenster): e ichtf eT 2 /2xσ 2 wo T ist an der Zeit, F ist die Frequenz (die in 50 logarithmisch beabstandeten Schritten von 1 auf 50 Hz erhöht wird) und definiert die Breite (oder „Zyklen“) jedes Frequenzbandes, eingestellt gemäß 4/(2πF) und nehmen die inverse FFT. Das Endergebnis dieses Prozesses ist identisch mit der Signalfaltung im Zeitbereich und führte zu Schätzungen der Momentanleistung (der Größe des analytischen Signals), definiert als Z[T] (Leistungszeitreihe: P(T) = Real[z(T)] 2 + Bild[z(T)] 2 ). Jede Epoche wurde dann in der Länge geschnitten (–500 bis +1000 ms). Die Leistung wurde durch Umrechnung in eine dB-Skala normalisiert (10 * log10[Energie(T)/Energie(Grundlinie)]), was einen direkten Vergleich der Effekte über die Frequenzbänder hinweg ermöglicht. Die Grundlinie für jede Frequenz bestand aus der durchschnittlichen Leistung von 300 bis 200 ms vor dem Einsetzen der Hinweise.

Es wurde a priori angenommen, dass der reizgesteuerte Theta-Band-Power-Burst über mittelfrontale Stellen (4–8 Hz, 300–750 ms) der ROI ist, der an Konflikten und Kontrolle beteiligt ist.

Psychophysiologische Interaktionsmethoden.

Psychophysiologische Interaktionsanalyse (PPI) bezieht sich normalerweise auf eine Methode, bei der untersucht wird, wie eine psychologische Variable (z. Hier erweitern wir diese Analysemethode um EEG als einen weiteren physiologischen Indikator, um zu bestimmen, welche Gehirnregion, wie von BOLD bewertet, eine erhöhte Aktivität als Funktion von EEG frontalem Theta und Entscheidungskonflikt zeigt. Dies würde es uns ermöglichen zu bestimmen, ob es vermeintliche Downstream-Bereiche gibt, die auf frontale Theta-Signale reagieren, wenn der Konflikt zunimmt. Frühere elektrophysiologische Studien haben gezeigt, dass mittelfrontales Theta während eines Entscheidungskonflikts ursächlich für STN-Theta ist (Zavala et al., 2014). PPI-Analysen schlossen die folgenden Regressoren ein: Konflikt (Stimulus boxcar*conflict, wobei der Konflikt als hoch angesehen wird, da die Wertunterschiede zwischen den Wahloptionen gering sind Konflikt = −|Wertunterschied|) Regressor mit einer Dauer von 0,5 s, EEG-Theta-Power-Regressor und ein Interaktionsregressor (Konflikt*Theta-Power). Alle drei Regressoren wurden mit einer empirisch abgeleiteten HRF im Prä-SMA-Bereich (Spitze 4 s) gefaltet und die Theta-Regressoren wurden auf die TR-Abtastrate (0,5 Hz) heruntergerechnet. Sechs zusätzliche Kopfbewegungsregressoren wurden als Belästigungsregressoren modelliert. Regressoren wurden erstellt und mit HRF bei einer Abtastrate von 125 Hz gefaltet. Subjektspezifische Effekte für alle Bedingungen wurden unter Verwendung eines Fixed-Effect-Modells geschätzt, wobei niederfrequente Signale als Störfaktoren behandelt wurden. Die Effekte der Teilnehmer wurden dann einer Gruppenanalyse der zweiten Ebene unterzogen, wobei die Teilnehmer als zufälliger Effekt behandelt wurden, wobei eine Stichprobe verwendet wurde T Test gegen einen Kontrastwert von Null bei jedem Voxel.

Das DDM simuliert zwei alternative erzwungene Entscheidungen als einen lauten Prozess der Beweisanhäufung im Laufe der Zeit, bei dem sensorische Informationen eintreffen und der Agent auf der Grundlage von Aufgabenanweisungen und internen Faktoren wie Gedächtnis und Bewertung bestimmt, ob diese Informationen Beweise für die eine oder andere Wahloption liefern . Die Evidenz kann von Zeitpunkt zu Zeitpunkt variieren, basierend auf Rauschen im Stimulus oder Rauschen in neuronaler Repräsentation oder in Bezug auf verschiedene Optionen und deren Attribute. Die Akkumulationsrate wird durch den Parameter Driftrate bestimmt v, die von der Qualität der Stimulusinformationen beeinflusst wird: Höhere Driftraten sind mit schnelleren und genaueren Entscheidungen verbunden. Eine Auswahl wird ausgeführt, sobald Beweise eine kritische Entscheidungsschwelle überschreiten ein, ebenfalls ein freier Parameter in Bezug auf die Reaktionswarnung: Höhere Entscheidungsschwellen sind mit langsameren, aber genaueren Entscheidungen verbunden. Ein Nichtentscheidungszeitparameter (T) wird aus diesen Daten auch die Erfassungszeit für die Verarbeitung von Wahrnehmungsreizen vor der Evidenzakkumulation und die Zeit für die Ausführung einer motorischen Reaktion nach einer Auswahl geschätzt.

Hier haben wir getestet, ob das DDM ein gutes Modell für Wahlmöglichkeiten und RT-Verteilungen während einer Verstärkungslernaufgabe bietet, bei der sich die Evidenz für eine Wahloption gegenüber einer anderen mit dem Lernen durch Versuche entwickelt. Wir haben außerdem zwei kritische Annahmen getestet. Erstens, dass in dieser Einstellung die Driftrate proportional zur (entwickelnden) Wertdifferenz zwischen den beiden Auswahloptionen ist, die angeblich durch die Striatumaktivität vermittelt wird. Zweitens, dass die Entscheidungsschwelle als Funktion des Wahlkonflikts angepasst werden kann und dass diese Schwellenwertanpassung mit der Kommunikation vom dorsomedialen frontalen Kortex zum STN zusammenhängt.

Wir haben die hierarchische Bayessche Schätzung von DDM-Parametern verwendet, die den Kompromiss zwischen Zufalls- und Festeffektmodellen individueller Unterschiede optimiert, sodass Anpassungen an einzelne Probanden durch die Gruppenverteilung eingeschränkt sind, aber von dieser Verteilung in dem Maße abweichen können, wie ihre Daten ausreichend diagnostisch (Wiecki et al., 2013). Dieses Verfahren liefert genauere Schätzungen der DDM-Parameter sowohl für Einzelpersonen als auch für Gruppen als andere Verfahren, die davon ausgehen, dass alle Individuen völlig unterschiedlich sind (oder alle gleich sind), insbesondere bei niedrigen Versuchszahlen. Es ist auch besonders effektiv, wenn man Entscheidungsparameter schätzen möchte, die von einem Versuch zum nächsten als Funktion der Varianz von Versuch zu Versuch in physiologischen und neuronalen Signalen variieren dürfen (d. h. über Regressionen innerhalb des hierarchischen Modells). Die Schätzung des HDDM wurde mit einer neu entwickelten Software durchgeführt (Wiecki et al., 2013). Die Bayessche Schätzung ermöglichte die Quantifizierung von Parameterschätzungen und Unsicherheiten in Form der Posterior-Verteilung. Markov-Ketten-Monte-Carlo-Stichprobenverfahren wurden verwendet, um die Posterior-Verteilungen der geschätzten Parameter genau zu approximieren. Jeder DDM-Parameter für jedes Subjekt und jede Bedingung wurde so modelliert, dass er gemäß einem Normalwert (für Parameter mit reellem Wert) oder einem Gamma (für Parameter mit positivem Wert) verteilt ist, zentriert um den Gruppenmittelwert mit Gruppenvarianz. Vorherige Verteilungen für jeden Parameter wurden durch eine Sammlung von 23 Studien informiert, die die am besten passenden DDM-Parameter berichteten, die bei einer Reihe von Entscheidungsaufgaben gewonnen wurden (Matzke und Wagenmakers, 2009 Wiecki et al., 2013). Zehntausend Proben wurden aus dem posterioren Bereich gezogen, um glatte Parameterschätzungen zu erhalten.

Um unsere Hypothesen in Bezug auf die neuronale Aktivität in Bezug auf Modellparameter zu testen, haben wir die Regressionskoeffizienten innerhalb desselben hierarchischen generativen Modells geschätzt, das auch zur Schätzung der Parameter selbst verwendet wurde (Abb. 3). Das heißt, wir haben die Posterior-Verteilungen nicht nur für grundlegende Modellparameter geschätzt, sondern auch den Grad, in dem diese Parameter durch Variationen in psychophysiologischen neuralen Messungen (EEG-Theta-Power, STN, Caudate und Prä-SMA-BOLD-Aktivität) verändert werden. In diesen Regressionen gewichtet der Koeffizient die Steigung des Parameters (Driftrate v, Schwelle ein) durch den Wert des neuronalen Maßes (und seiner Interaktionen mit Wert/Konflikt) bei diesem Versuch, mit einem Intercept, zum Beispiel: ein(T) = β0 + β1STN(T) + β2theta(T) + β3STN(T) * theta(T). The regression across trials allows us to infer the degree to which threshold changes with neural activity for example, if frontal theta is related to increased threshold, one would observe that as frontal theta increases, responses are likely to have a slower, more skewed RT distribution and have a higher probability of choice of the optimal response. This would be captured by a positive regression coefficient for theta onto decision threshold. It would not be captured by drift rate (which would require slower RTs to be accompanied by lower accuracies on average), or nondecision time (which predicts a constant shift of the RT distribution rather than skewing, and no effect on accuracy).

To address potential collinearity among model parameters (especially given noisy neural data affecting trial-wise parameters), we only estimated the group level posterior for all of the regression coefficients, which further regularizes parameter estimates, rather than assuming separate regression coefficients for each subject and neural variable, which would substantially increase the number of parameters/nodes in the model (Cavanagh et al., 2011, 2014). Moreover, Bayesian parameter estimation inherently deals with collinearity in the sense that it estimates not only the most likely parameter values, but the uncertainty about these parameters, and it does so jointly across all parameters. Thus any collinearity in model parameters leads to wider uncertainty (for example, in a given sample it might assign a high/low value to one parameter and a high/low value to another, and the reverse in a different sample). The marginal distributions of each posterior are thus more uncertain as a result, and any significant finding (where the vast majority of the distribution differs from zero) is found despite this collinearity issue (Kruschke, 2011). Further, we iteratively added in modulators to test whether successive additions of these modulators improved model fit. We confirmed with model comparison that fits are better when the frontal and STN modulators were used to affect threshold than when they are used to affect drift.

Bayesian hypothesis testing was performed by analyzing the probability mass of the parameter region in question (estimated by the number of samples drawn from the posterior that fall in this region for example, percentage of posterior samples greater than zero). Statistical analysis was performed on the group mean posteriors. The Deviance Information Criterion (DIC) was used for model comparison, where lower DIC values favor models with the highest likelihood and least degrees of freedom. While alternative methods exist for assessing model fit, DIC is widely used for model comparison of hierarchical models (Spiegelhalter et al., 2002), a setting in which Bayes factors are not easily estimated (Wagenmakers et al., 2010), and other measures (e.g., Akaike Information Criterion and Bayesian Information Criterion) are not appropriate.

We quantified choice conflict as the absolute value of the difference in expected values between each of the options on each trial, with smaller differences signifying greater degree of conflict. The expected values were updated as a function of each reinforcement outcome using Bayes' rule, such that the expected values represent the veridical expectations based on an ideal observer (Fig. 1B,C). (Similar results were obtained using Q-values from a reinforcement learning model, but this requires an additional free parameter to estimate the learning rate, whereas the learning rate of the Bayesian observer depends only on the estimation uncertainty about the reinforcement value, and hence the number of outcomes observed thus far Doll et al., 2009, 2011.)

We first verified the basic assumptions of the model without including neural data. Specifically, we tested whether choices and response times could be captured by the DDM in which the drift rate and/or threshold varies as a function of the relative differences in expected values between each option (while also allowing for overall trial-to-trial variability in drift, estimated with parameter sv Ratcliff and McKoon, 2008). After evaluating the results of best-fitting models (see Results), we subsequently tested whether trial-to-trial variability in neural measures from EEG and fMRI in regions of interest (pre-SMA, caudate, and STN from fMRI mid-frontal theta from EEG) influence decision parameters (see Fig. 3 for graphical model). We quantified choice conflict as the difference in expected values between each of the options on each trial, with smaller differences signifying greater degree of conflict (Fig. 1B). We tested whether threshold was modulated not only by decision conflict, but by trial-to-trial variations in mediofrontal theta power from EEG, STN BOLD, and their interactions: including each individual component of the interaction as well as the three-way term. We further tested whether threshold was modulated by pre-SMA activity and conflict, and whether value effects on drift rate were modulated by caudate. The right caudate was used in this analysis because it provided a better behavioral fit to the data than the left caudate (DIC of 78 vs 81), and caudate was chosen because of its a priori role in reinforcement learning and because it was bilaterally activated at stimulus onset along with pre-SMA.

To account for outliers generated by processes other than the DDM (e.g., lapses in attention) we estimated a mixture model where 5% of trials are assumed to be distributed according to a uniform distribution as opposed to the DDM likelihood. This is helpful for recovering true generative parameters in the presence of such outliers (Wiecki et al., 2013). Ten thousand samples were drawn to generate smooth posterior distributions.

Behavior characterization and model fit.

Application of the DDM to an RL task implies that the model should capture not only the evolution of choice probabilities with value but also the corresponding RT distributions. We first plot the overall RT distributions for each reward probability across the whole group, separately for each reward probability (Fig. 2EIN). This plot shows that the RL-DDM model captures choice proportions and RT distributions simultaneously, including the observations that choice proportions are more consistent, and RT distributions have smaller tails, with increasing reward probabilities. To be more precise, we also used a common tool for characterizing correspondence between behavior and DDM predictions, called the quantile-probability plot (Ratcliff and McKoon, 2008). This plot displays behavioral data in terms of both choice proportions (on the x-axis) and RT distributions (quantiles on the ja-axis), for various task conditions. Each task condition is displayed twice: once for choices of the more rewarding “optimal” option, and once for choices of the less rewarding “suboptimal” option. While the x-coordinate for these are redundant (P(opt) = 1 − P(subopt)), the RT distributions could potentially differ. A critical test of a DDM model is thus that it can capture the full set of choice probabilities and RT distributions for each of the task conditions. Although we used model fit statistics to select the best-fitting model, the best-fitting model could potentially not reproduce the key behavioral patterns it is intended to capture. We thus performed a posterior predictive check in which we generated data from the posterior distributions of model parameters, and plotted them alongside the behavioral data.

Note that for this plot, rather than showing the three categorical 65, 75, and 85% stimulus conditions (which describe the asymptotic reward values), we allow the model to be sensitive to the actual trial-by-trial reward value differences as assessed by the RL model. Thus we plot performance separately for tertiles of value differences (low, medium, and high) taken from each subjects' actual sequence of choices and outcomes, so that e.g., a trial for a subject in the 75:25 condition might get classified as “high value” rather than “medium value” if that subject happened to get a large sequence of rewards for the high-valued option in that condition.


Einführung

The simultaneous recording and analysis of electroencephalography (EEG) and fMRI data in human systems, cognitive and clinical neurosciences has received substantial attention (Herrmann and Debener, 2008). Its significance is documented by the steadily increasing number of laboratories now using simultaneous recordings. Much of the motivation to explore the applicability of simultaneous EEG-fMRI comes from the selective view of brain functioning that the two recording modalities separately provide. fMRI suffers from an ill-posed temporal inverse problem, i.e., a map with regional activations does not readily permit inferences about “when” and in which order these activations have occurred (Logothetis, 2008). This is analogous to the well known spatial inverse problem in EEG, whereby one cannot infer with certainty the spatial location of sources in the brain from electrical potentials on the scalp (Michel et al., 2004 Grech et al., 2008). However, because the strengths and weaknesses of EEG and fMRI are complementary, simultaneous EEG-fMRI may achieve what seems otherwise largely impossible, namely the noninvasive recording of human brain activity with both high spatial and high temporal resolution.

The first applications of EEG-fMRI were born of a clinical interest in the improved localization of the neural sources of epileptogenic EEG activity for diagnosis and presurgical planning (Ives et al., 1993). Although the onset of pathological brain activity can clearly be inferred from EEG measurements, locations in the cortex from which these pathogenic neuronal events spread cannot unambiguously be derived from EEG alone. The simultaneous measurement and concurrent analysis of EEG and fMRI for presurgical evaluation of epilepsy provides insights beyond what is possible with separate recording protocols (Mulert et al., 2008 Gotman and Pittau, 2011). Based on this clinical line of research, then intrinsic brain states reflecting cognitive default modes were identified by assessing associations between spontaneous EEG oscillations and fluctuations of the fMRI signal in resting state (Laufs et al., 2003 Laufs, 2008). For example, negative correlations of fMRI activity in visual cortex with occipital alpha EEG (8–12 Hz) further corroborated the idea that these alpha oscillations correspond to an idling rhythm indicating cortical inactivation (Goldman et al., 2002 Moosmann et al., 2003). In more recent years, EEG-fMRI integration procedures have been developed to address basic research questions in cognitive neuroscience by applying simultaneous EEG-fMRI in the context of classical cognitive experiments (Mulert and Lemieux, 2009 Ullsperger and Debener, 2010).

One important challenge with simultaneous EEG-fMRI is the decreased signal quality potentially evident in both modalities. The necessity to introduce conducting materials for EEG recordings in the environment of the magnetic resonance system may interfere with image acquisition (Mullinger et al., 2008), and strongly degrades EEG signal quality due to the induction of electromagnetic currents (Kruggel et al., 2000 Debener et al., 2008 Yan et al., 2009). Most of the technical difficulties have now been solved, however, and commercial systems are readily available (Kruggel et al., 2001 Debener et al., 2007 Mullinger et al., 2011). Nevertheless, depending on the research question under investigation and the methods used for combined analyses, simultaneous EEG-fMRI does not necessarily yield both the spatial and the temporal resolution that might be desirable given the properties of each recording modality alone. Since the intrinsic features of the chosen analysis method strongly influence the putative outcome, the choice of the method used for data integration is of crucial importance.

Initial studies using both electrophysiology and hemodynamic data often focused on qualitatively or quantitatively comparing the outcomes of simultaneously acquired but separately analyzed EEG and fMRI data (Horovitz et al., 2004 Mulert et al., 2004). To take full advantage of the information from multimodal datasets, analytic approaches were needed that allowed more direct integration of information across modalities. The techniques currently available, however, differ in terms of their necessity for prior knowledge as well as their underlying biophysical and mathematical assumptions.

Asymmetric data integration

Asymmetric approaches for EEG-fMRI integration are characterized by a biased weighting of modalities in as much as information from one modality is used to guide the analysis of the other. Most influential of these approaches have been fMRI-informed EEG and EEG-informed fMRI.

FMRI-informed EEG

fMRI-informed EEG (Fig. 1) aims at alleviating the spatial EEG inverse problem by guiding electromagnetic source imaging using results obtained from fMRI (Heinze et al., 1994 Babiloni et al., 2000, 2002). To do this, the head geometry and most relevant biophysical characteristics of the brain (e.g., tissue conductivity) are first estimated to establish a forward model from which, given a simulated neural event, the paths of currents to the scalp can be calculated (Hallez et al., 2007). These forward models differ dramatically in terms of their neuroanatomical detail, ranging from simple interleaved spheres to individually approximated cortical representations computed from structural MR images. Given such a forward model and the measured data, source localization algorithms can then be applied that try to find the most optimal constellation of neural generators best explaining the observed scalp potential field. This inverse modeling step incorporates assumptions on how neuronal activity itself is approximated e.g., either by a limited number of single equivalent current dipoles representing focal mass neuronal activity (Scherg and Berg, 1991 Mosher et al., 1992) or a large number of widely distributed current sources (Fig. 1 Hämäläinen and Ilmoniemi, 1994).

Illustration of fMRI-informed EEG source reconstruction. To estimate the location and activity of active cortical patches in the brain that lead to measurable EEG signal changes on the scalp, forward or head models are constructed from individual MR images. Here, volumes representing skin, skull, and brain tissue have been extracted. Based on such a model and the EEG time courses as well as corresponding scalp topographies (the pattern of EEG activity as recorded on a participant's head), EEG sources can be inferred (inverse modeling). Statistical maps from a standard fMRI analysis are used to further constrain possible source constellations. The procedure used here for inverse modeling computes a high number of dipolar sources distributed across the brain, each of which is characterized by its position, orientation (pointing direction of an arrow), and strength (as indicated by coloring).

To derive concurrent spatiotemporal information from scalp-recorded EEG using information from fMRI, for example, the number of potential EEG generators (or equivalent current dipoles) can be inferred from the pattern of activations in fMRI maps. These dipoles are then seeded to locations in the brain corresponding to local fMRI maxima, subsequently allowing the time course of neural activity for each of these locations to be estimated. However, many researchers prefer so-called distributed source models which compute a reconstruction of neuroelectric activity at each point in a 3D grid of possible current sources (Hämäläinen and Ilmoniemi, 1994). In this context, the statistical maps of the fMRI result can be used to confine the putative source space by providing the probability of a particular region being the origin of the electrophysiological signal (Dale et al., 2000 Ou et al., 2010). Hence, whichever of these combinations is chosen, fMRI data help to reveal the locations while EEG-derived information provides the time courses of neural events at millisecond resolution (Vanni et al., 2004 Wibral et al., 2009, 2010).

Bledowski et al. (2006), for example, gathered EEG and fMRI data, albeit during separate sessions, while subjects performed a visual working memory task. Subsequent to a unimodal fMRI analysis, multiple discrete dipoles were seeded to the activation maxima as revealed from fMRI. Using this fMRI-derived source model, the time courses of relevant brain regions could be derived with high temporal resolution. Thereby, the sequence of neuronal processing stages during working memory retrieval could be studied concurrently at both the spatial and temporal scale, revealing serial and parallel processing elements in working memory.

Hence, although approaches for fMRI-informed EEG are used on simultaneously measured data, their strengths are most apparent in the context of separate recordings. As information derived from single trials is not taken into account, it is quite possible to work with EEG and fMRI data acquired under comparable, but not necessarily identical, experimental circumstances. This allows for an individual optimization of experimental conditions for each modality, for example by avoiding the otherwise inevitable gradient- and cardiac-related artifacts in the EEG when measured concurrently with fMRI. The validity of this approach strongly relies on the twin assumptions that the fMRI signal at a given location does carry information about the local dipole activity and that neural generators of scalp-recorded EEG/MEG do trigger a metabolic response (Wibral et al., 2010). While there is substantial evidence that under many circumstances there is indeed a tight coupling between electrophysiological and fMRI markers of neuronal activity (Logothetis and Pfeuffer, 2004), situations that violate such assumptions can easily be conceived. This would be the case, for example, when regions exhibiting an fMRI response remain electrically silent at the scalp (e.g., due to cortical “closed-field” geometry—a constellation of sources leading to a cancellation of current flow Nunez and Silberstein, 2000) or when a stimulus-triggered synchronization of neuronal activity leads to a detectable electrophysiological response at no metabolic cost (which might be the case when the mean firing rate of the population does not change). Whereas the first situation is unproblematic for an fMRI-weighted source reconstruction, the latter is not: an fMRI-based weighting will adversely affect the reconstruction of sources in brain regions devoid of clear fMRI activations, eventually leading to gross localization errors. However, by carefully combining different methods for EEG source analyses, it might be possible to identify such ambiguous situations (Wibral et al., 2010).

EEG-informed fMRI

Elaborating on the idea of a direct coupling between EEG and fMRI, EEG-informed fMRI considers associations of changes over time between EEG and fMRI signals at a within-subject level (Fig. 2 Ullsperger, 2010). Here, EEG is preprocessed to a point where a specific EEG feature of interest over the time course of the recording can be extracted. In event-related designs this corresponds to the quasi-continuous stream of epochs surrounding the events of interest (e.g., the presentation of a stimulus or the occurrence of a behavioral response). Several features of the EEG are suitable, such as ERP amplitudes (Debener et al., 2005), ERP latencies (Bénar et al., 2007), EEG synchronization and phase coherence (Mizuhara et al., 2005 Jann et al., 2009), or the power within specific EEG frequency bands (Scheeringa et al., 2009). Whichever EEG-derived features are used, the basic assumption is that their fluctuations over time covary with fluctuations seen in the fMRI signal during the course of an experiment.

Schematic of EEG-informed fMRI. For an event of interest (e.g., the occurrence of a response error), a parameter value of an EEG feature (e.g., the amplitude of an ERP) is extracted from every trial that includes this event. With respect to fMRI, the onsets of these events during the course of the experiment are known, and the fMRI signal changes caused by hemodynamic responses following the events are mathematically modeled. This is done via convolution: the multiplication and summation of a vector of zeros and ones representing the event onsets and the hemodynamic response function (mathematically modeled fMRI signal changes following an event). The result is the predicted time course of fMRI signal changes which can then be statistically compared with the observed fMRI signal for each voxel (volume element) of a brain scan. In the case of EEG-informed fMRI, not only is this model determined by event onsets and the hemodynamic response function (blue model prediction), but the expected hemodynamic responses are additionally parameterized using the extracted EEG feature: signal changes following events on trials with a large EEG response are scaled up as compared with trials with smaller EEG responses (green model prediction).

With this method, the processing of fMRI data simply follows standard procedures up to the point of first-level statistics, usually including slice-time correction, spatial realignment, spatial normalization, and smoothing (Strother, 2006). When setting up the regressors for first-level statistics (i.e., calculating statistical tests for a single subject), however, these regressors are not derived solely from the timing of stimulus onsets convolved with a modeled hemodynamic response. Rather, the modeled hemodynamic responses are additionally parameterized using the trial-wise extracted EEG feature, such that an enlarged potential amplitude in the single-trial EEG leads to an upscaling of the hemodynamic response function for a given event (Fig. 2). The resulting indices representing the model fit (beta estimates) are then tested at the group level either against other conditions or simply against zero to reveal brain regions exhibiting significant covariations and, thus, coupling of electrophysiological and hemodynamic responses.

Debener et al. (2005), for instance, used EEG-informed fMRI to test whether EEG correlates of performance monitoring (more specifically, the error-related negativity ERN) predicts fMRI signal changes in the midcingulate cortex. For each erroneous response recorded during flanker task performance, the amplitude of the single-trial ERN was determined from EEG. This information was subsequently used for a parameterized analysis of the fMRI data. Indeed, this analysis scheme was able to prove the association of midcingulate activations with variations in ERN amplitudes while differentiating it from activity profiles of other frontal regions and the anterior insula. Moreover, single-trial amplitudes predicted task behavior in the subsequent trial, demonstrating that trial-by-trial fluctuations are not random noise but carry functional information. A similar analysis technique was developed by Eichele et al. (2005) to test the temporal sequence of ERP-related fMRI activations.

EEG-informed fMRI assumes only that the neural properties contributing to the signals captured by both modalities partly overlap and exhibit a linear association. In contrast to fMRI-informed EEG, no specific assumption is made about the spatial organization of activation patterns. This implies that this strategy can yield effects in brain structures or networks that are not necessarily the biophysical generators of, say, the ERP recorded at the scalp (Debener et al., 2005 Minati et al., 2008). One also has to bear in mind that single EEG epochs contain high levels of noise, and single-trial EEG analyses therefore have to rely on techniques that increase the signal-to-noise ratio of individual trials. In the frequency domain, the consideration of a narrow frequency band of the EEG can be thought of as a filtering mechanism. Alternatively a frequently used algorithm that enables the unmixing of spatiotemporally overlapping EEG signals before feature extraction is independent component analysis (ICA James and Hesse, 2005 Onton et al., 2006). In any case, only a fraction of the ongoing brain activity can be used for an EEG-informed fMRI analysis at one time and the selection of the feature of interest is usually determined by the research question addressed. For example, whereas both ERP amplitudes and latencies have been shown to be correlated with hemodynamic responses, latencies are less likely to directly reflect activations of potential generators (Bénar et al., 2007).

Neurogenerative modeling

The methods described in the following section aim to benefit from the complementary information available from both modalities while avoiding an a priori bias of either (Valdes-Sosa et al., 2009 Riera and Sumiyoshi, 2010 Rosa et al., 2010). Although they require a certain amount of prior knowledge, these approaches follow logic comparable to that of EEG source modeling (Fig. 3). A forward model (or generative model) first concurrently specifies those physiological processes that give rise to EEG and those that give rise to fMRI data. Based on such forward computations, brain states can then be reconstructed from simultaneous EEG-fMRI recordings that best explain the observed data (the inverse modeling). Within such a framework, data integration relies on the ability to simulate the biophysical processes of electrophysiological and hemodynamic signal generation.

Illustration of neurogenerative models for EEG-fMRI data analysis. This approach relies on mathematically modeling the dynamics of neural ensembles at various scales ranging from gross connectivity patterns to cellular events. In addition, biophysical forward models must specify the transformation of neural events to the measured EEG and fMRI signals. Based on these data, the result of a predefined neural activity pattern can be simulated (forward modeling) or, given a multimodal EEG-fMRI dataset, the most likely neural events can be inferred based on the observed EEG-fMRI signal properties (inverse modeling).

As the crucial element, a forward model for multimodal data incorporates assumptions about the link between electrophysiological and hemodynamic activities as well as the neurovascular coupling cascade (Logothetis and Wandell, 2004 Stephan et al., 2004 Raichle and Mintun, 2006), i.e., the sequence of neural events giving rise to changes in cerebral blood flow that in turn cause variations in fMRI signals. Hence, depending on richness of detail, different levels of description may be involved (Fig. 3 Rosa et al., 2010), ranging from cellular mechanisms mediating neurovascular coupling to connectivity patterns at a gross morphological level (Friston et al., 2008 Sotero and Trujillo-Barreto, 2008 Valdes-Sosa et al., 2009). Given real multimodal data, the second step of the procedure incorporates inverse modeling: estimating neural activity (e.g., EPSPs, along with other parameters) from the simultaneous EEG-fMRI observations. An intuitive approach is to repeatedly generate EEG-fMRI simulations and choose the one with the best fit to the observed data. However, computationally less demanding alternatives have been proposed that are already in use (Friston et al., 2008 Valdes-Sosa et al., 2009).

The interested reader might consider a recent study by Bojak et al. (2011) which elucidates the application of neurogenerative models. The authors used simulated data to investigate the plausibility of a neural population model for the analysis of simultaneous EEG-fMRI. Although confined to only few regions of the cortex, the authors were able to identify the effects of connectivity changes in the visual system on the activity pattern of simultaneous EEG-fMRI data. This study effectively demonstrates the relevance of such models for questions pertaining to the basic mechanisms of EEG and fMRI signal generation.

The conceptual similarity between EEG source reconstruction and EEG-fMRI data integration by means of biophysical modeling is obvious, as is the excelling need for prior information with the latter. Given that many aspects of the processes involved in fMRI and EEG signal generation are not yet fully understood, current models focus on specific aspects while strongly simplifying others. For example, the cellular mechanisms underlying neurovascular coupling have not yet been implemented in every detail (Riera and Sumiyoshi, 2010). Similarly, the reconstruction of neural activity using a brain-wide model has hitherto not been accomplished, which is not surprising given the complexity of the necessary models and the resulting computational demands. Thus, the ability to compare models of various complexity and differing physiological specificity should be considered one of the biggest strengths of the neurogenerative approach (Rosa et al., 2010).

Multimodal data fusion

Over the past years machine learning algorithms have successfully been applied to both EEG and fMRI data (Besserve et al., 2007 Pereira et al., 2009). Whereas unsupervised approaches are often used to decompose given datasets into latent variables, e.g., for artifact correction with EEG or the identification of functional networks from fMRI (Mennes et al., 2010 Joel et al., 2011), supervised approaches have drawn much attention due to their classification capabilities. An example is the prediction of the category of a presented stimulus from its evoked brain response (Mitchell et al., 2008 Haynes, 2009). When applied to EEG-fMRI data, most of these approaches hold the advantage of a genuine multivariate analysis scheme: the full spectrum of available information in multimodal datasets is explored. These “data fusion” methods use a common or symmetric model to jointly assess information from both modalities, whereas “integration” approaches usually overlay or bias one modality with the other.

Relevant methods for multimodal data fusion strongly differ in the degree to which they rely on physiological assumptions, require prior information, or share other similarities with the approaches discussed above. ICA, for example, is an unsupervised learning method which is used to discover hidden factors (independent components) from a set of observations such that the identified components are maximally statistically independent (not merely uncorrelated Bell and Sejnowski, 1995 Hyvärinen and Oja, 2000). Here, it is assumed that the observed data originate from a linear mixture of these underlying independent components. A number of frameworks have been proposed to use ICA for multimodal data fusion. Taking joint ICA (Calhoun et al., 2006, 2009 Mijovic et al., 2012) as an example, the differing biosignal modalities are first processed separately, and ICA is subsequently applied to examine the relationships between data types (Fig. 4). Hence, fMRI statistical maps and ERP data of all subjects are merged into a single matrix and subjected to a joint ICA. Whereas in the unimodal case either temporally (EEG) or spatially (fMRI) independent components are revealed, this multimodal approach provides a joint spatiotemporal decomposition with joint independent components corresponding to electrophysiologically measured responses (indicating the timing of signal changes) alongside associated clusters of active regions (indicating spatial origins of signal changes). Using this technique, Calhoun et al. (2006) were able to examine the spatiotemporal dynamics of the auditory oddball response. Activations in auditory cortex and thalamus were mapped to the N1 auditory evoked potential, whereas brainstem, temporal lobe, and medial frontal activity showed a response profile corresponding to the P3 ERP.

Schematic illustration of joint ICA. EEG and fMRI for a set of subjects are concatenated within the same matrix and subjected to a joint ICA. This procedure helps to capture the variance in brain responses across subjects and modalities on which basis a decomposition to independent components can be computed. The resulting components represent spatial (fMRI) and temporal (EEG) characteristics of brain responses. Here, the lower row shows the averaged ERP (blue) and time courses of two components (red) alongside their associated spatial maps.

Other methods extend the amount of data processed by additionally considering variations at the level of single trials, thereby not relying on prior information from within-subject statistics (Martínez-Montes et al., 2004 Goldman et al., 2009 Correa et al., 2010), or by first extracting components separately from each modality, and only then examining the pattern of cross-modal correlations (Eichele et al., 2005 De Martino et al., 2011 Huster et al., 2011).

Although the majority of algorithms applied here have a long history in computer science, their application to neuroscientific problems is a rather new development. Nonetheless, these methods have proven to be of high utility by providing unbiased and multivariate analysis schemes for simultaneous EEG-fMRI. In addition, many of these approaches are, or could be, easily generalized to frameworks that include other modalities, such as diffusion tensor imaging or genetic data (for review, see De Martino et al., 2010 Sui et al., 2012). On the other hand, as there is already a variety of different mathematical approaches for multimodal data fusion, the selection of a fusion model tailored for a specific research question might sometimes be difficult to accomplish. Moreover, some of the current approaches still rely on canonical models of the hemodynamic response or involve other physiological presumptions, thereby not yet taking full advantage of the full power of these algorithms.

Abschluss

Despite its rather recent development, a variety of differing methods have already been proposed for the concurrent analysis of EEG and fMRI data. The taxonomy applied here provides a natural starting point from which to better judge the potential advantages and limitations of such analysis approaches. However, a given procedure might very well share features of more than one of the categories proposed here. Ultimately, the method chosen will strongly depend on the research question addressed.

When one is primarily interested in the neural generators of scalp EEG phenomena, fMRI-informed EEG is the method of choice. This approach is founded on well established methods for EEG source reconstruction, and so constitutes the most direct technique for assessing related research questions. Additionally, it possesses high and well defined spatiotemporal resolution. It does not, however, take into account the variability of neural events seen across the course of an experimental session, and thereby neglects a potentially powerful source of information. Analyses based on EEG-informed fMRI, on the other hand, use this exact phenomenon and have already shown the ability not only to link physiological measures of different modalities with each other, but also to expose associations between physiology and variations in cognition, perception, and behavior. However, the temporal precision available with this technique is somewhat elusive, as it could potentially reveal neuroanatomical structures whose activity patterns are linearly linked to those of the generators, even though their engagement might precede or succeed the EEG event under investigation. Hence, EEG-informed fMRI seems most appropriate for revealing functional networks characterized by a linear relationship of cross-modal activity patterns identified at the single trial level. Neurogenerative models are particularly strong for testing hypotheses about the physiological mechanisms and biophysical properties underlying EEG and fMRI signal generation, as well as their interrelationship, making these models powerful tools in the field of theoretical neurobiology. Although the application of such models to whole brain analyses and complex experimental paradigms is currently lacking, its spatiotemporal resolution is in principle limited only by the precision of mathematical modeling and computational power. Finally, turning to the application of multivariate fusion methods for simultaneous EEG-fMRI, a definite recommendation is somewhat hindered by the algorithmic heterogeneity of this field. Associated approaches are well suited to address a variety of research questions as divergent as, for example, the identification of links between modalities, the prediction of behavior jointly from EEG and fMRI, or the exposure of hidden factors common to both modalities. Here, unsupervised learning algorithms with their data mining capabilities might thus constitute a counterpart to the model-driven neurogenerative approaches.


EEG time series learning and classification using a hybrid forecasting model calibrated with GVNS

Brain activity can be seen as a time series, in particular, electroencephalogram (EEG) can measure it over a specific time period. In this regard, brain fingerprinting can be subjected to be learned by machine learning techniques. These models have been advocated as EEG-based biometric systems. In this study, we apply a recent Hybrid Focasting Model, which calibrates its if-then fuzzy rules with a hybrid GVNS metaheuristic algorithm, in order to learn those patterns. Due to the stochasticity of the VNS procedure, models with different characteristics can be generated for each individual. Some EEG recordings from 109 volunteers, measured using a 64-channels EEGs, with 160 HZ of sampling rate, are used as cases of study. Different forecasting models are calibrated with the GVNS and used for the classification purpose. New rules for classifying the individuals using forecasting models are introduced. Computational results indicate that the proposed strategy can be improved and embedded in the future biometric systems.


Materials and Methods

Subjects

18 healthy (17 right-handed, 1 left-handed 10 females, 8 males) participants were tested in this study. The subjects were recruited among students or researchers at the Lawson Health Research Institute or at the University of Western Ontario, London Ontario Canada. All subjects had normal or corrected-to-normal vision, meaning that they could clearly see the numbers displayed during the MSIT. Exclusion criteria included claustrophobia as well as standard MRI exclusion criteria (e.g. cardiac pacemakers, brain aneurysm clips or surgical clips). We controlled for factors that we hypothesized could affect the comparisons between subjects, such as an intake of caffeine, nicotine, and alcohol. No subject had a history of major medical problems, medications (except birth-control pills in 4 cases), major psychiatric illness, major head injury, or neurological disease. The research protocol was approved by the University of Western Ontario Health Sciences Research Ethics Board (London, Ontario, Canada). Subjects were informed that they would wear an EEG cap for EEG registrations, go through a practice version of a cognitive test and thereafter enter the fMRI scanner for simultaneous fMRI and EEG recording while doing the cognitive task twice. The left-handed participant did not report any problems using the right hand.

The MSIT

Subjects were given an MRI-compatible four-button keypad (NeuroScan, Charlotte, NC) and instructed that the keypad buttons represented one, two and three from left to right (as described in the protocol by Bush et al. [3]) the right-most button was not used. The subjects were told to use their right index, middle and ring finger to respond. They were instructed that three numbers (0, 1, 2, or 3) would appear in the center of the screen every few seconds and that in-between there would be a white marker for fixation. One number – the target number – would always be different from the other two numbers. The subjects were instructed to report, via button-press, the identity of the target number that was different from the other two numbers.

During the control tasks, the target number always matched its position and was accompanied by two zeros in the two other positions (see Fig. 1 ). In the interference tasks on the other hand, the target number never matched its position, and no zeros would be included instead the distracters themselves would be potential targets (see Fig. 2 ). It was emphasized that the subjects should report the target number regardless of its position and that the subjects should answer as quickly as possible, but not sacrifice accuracy for speed.