Achtergrond. Achtergrondgeluid. Afasie. Stoornissen van taalbegrip bij afasie en de invloed van liplezen erop

15‐04‐2010

Stoornissen van taalbegrip bij afasie en de invloed van liplezen erop

Achtergrond  Taalperceptie = horen + zien  Maar hoezo zien?  In welke situaties wordt gebruik gemaakt van visuele informatie?  

Dörte Hessler CLCG, Rijksuniversiteit Groningen CLCG Rijksuniversiteit Groningen [email protected]



Achtergrondgeluid

Afasie

 Sumby & Pollack (1954):  Onderzoek naar begrip van woorden d k b d

 Buchman et al. (1986)  Review van 34 gevallen van woorddoofheid ll dd fh d  Daarvan berichten 21 over invloedfactoren op taalbegrip  In 19 van 21: met liplezen beter dan zonder  Shindo et al. (1991)  4 patiënten  Begrip van woorden en zinnen B i d i  Alle 4: beter bij audiovisuele presentatie dan alleen auditieve





Verschillende niveaus van achtergrondgeluid (“speech‐to‐ noise ratios”) Alleen auditieve en audiovisuele presentatie

 Woordbegrip wordt slechter als er meer

achtergrondgeluid is  

Dörte Hessler



Achtergrondgeluid Afasie Cognitief veeleisende inhoud Normale taalperceptie

Dit is duidelijker voor alleen auditieve presentatie Hoe meer achtergrondgeluid, hoe groter het verschil tussen ‘alleen auditief’’ en audiovisueel

1

15‐04‐2010


Afasie (2)

Cognitief veeleisende inhoud

 Therapie‐studies  Onderzoek naar effectiviteit van therapie die gebaseerd d k ff h d b d is op gebruiken van liplees‐informatie  Bijv. Morris et al. (1996) of Hessler (2007)  Patiënten kunnen na therapie beter klanken discrimineren (ook zonder spreker te zien) p g y  liplezen werd gebruikt als steun om klankanalyse te herstellen nadat dit is gelukt, is liplezen niet meer absoluut nodig

 Reisberg et al. (1987)  Goede kwaliteit geluid d k l l d  Inhoud complex  Vergelijk auditief vs. audiovisueel:

Normale taalperceptie

Normale taalperceptie (McGurk)

 Achtergrondgeluid en afasie  visuele informatie

 McGurk effect = bewijs, dat auditieve en visuele

misschien steun in bijzondere situaties i hi t i bij d it ti  Cognitief veeleisende inhoud  misschien maakt visuele informatie toch deel uit van normale taalperceptie (maar het is nog steeds een bijzonder situatie)  MAAR: McGurk effect (McGurk & MacDonald, 1976)

informatie allebei deel uitmaken van perceptie i f ti ll b i d l it k ti  McGurk effect:



Audiovisueel beter begrip (inhoudelijk)

 Dubbing van verschillende visuele en auditieve

informatie:   

Auditief: /ba/ Visueel: /ga/ g Perceptie: /da/

 Alleen verklaarbaar, doordat het mondbeeld de

auditieve informatie heeft beïnvloed

Dörte Hessler

2

15‐04‐2010


McGurk voorbeeld (P. Kuhl)

Fonetische kenmerken  Elk fonem bestaat uit 3 fonetische kenmerken  Plaats van articulatie l l  Manier van articulatie  Stem  Fonemen kunnen in 1, 2 of alle 3 kenmerken

verschillen:  huis – huis muis (3 kenmerken)  land – band (2 kenmerken ‐ plaats & manier)  bad – pad (1 kenmerk – stem)  taal – kaal (1 kenmerk – plaats) … http://ilabs.washington.edu/kuhl/research.html

Modelle Taalverwerking  Ellis & Young model

Model van Campbell (1988, 1990)

Auditory analysis Auditory Input Buffer Phonological Input Lexicon Semantic System

Dörte Hessler

3

15‐04‐2010


Afasie & McGurk effect  Cambell et al. (1990):  4 proefpersonen met hersenletsel (1 ervan met

afasie)  De afatische patient had problemen met auditieve verwerking, maar kon liplezen  Hij liet McGurk effect voor medeklinkers zien, j , maar voor klinkers visuele reactie

Afasie & McGurk effect  Youse et al. (2004)  1 afatische patient p  Problemen met identificatie van lettergrepen

voor   

Audieve conditie Visuele conditie Audiovisuele conditie (congruent & McGurk) g

 Patient heeft 100% McGurk antworden (/di/)

gegeven  Helaas: antwoord bias, in alle condities heel veel /di/ antwoorden!

Afasie & McGurk effect

Afasie & McGurk effect

 Julia Klitsch (2008)

 Klitsch (2008)  Vergelijk aantal McGurk antwoorden l k l k d

 6 patienten met afasie  Onderzoeken van verschillende

invloedfaktoren:  

Dörte Hessler

Lexicale status Leeftijd

 

Afasie (43%) ≈ leeftijdsgematched (45%) > studenten Afasie geen invloed, leeftijd wel!

 Invloed lexicale status 

Meer McGurk antwoorden als “input” nonwoord en “output” bestaand woord (kijd + pijd = tijd)

4

15‐04‐2010


Mijn onderzoek ‐ vragen?

Mijn onderzoek ‐ overzicht

 Welke fonetische kenmerken worden in

 3 experimenten  Discriminatie taak k  Identificatie taak  ERP experiment  2 pilot‐studies  Evaluatie materiaal

audiovisuele verwerking geintegreerd?  Hoe is AV‐integratie bij mensen met afasie?  Is er misschien minder invloed van visuele info?  Of juist meer?

Afgerond Afgerond In uitvoering Afgerond

 Hoe wordt integratie in de hersenen H d i i i d h

verwerkt?

Materiaal  Algemeen:  Niet‐bestaande woorden: CVC(C) structuur Niet bestaande woorden CVC(C) structuur  Verschillende condities: alleen auditief (AO), audiovisueel (AV), alleen visueel (VO) en McGurk  Opname video’s   

Mannelijke moedertaalspreker van Nederlands Stille ruimte Audio via externe microfoon

 Bewerking video’s  Elk video 3 sec lang , spreker in rustpositie voor 480 ms in begin  Om AO en VO te maken werden beeld of geluid weggehaald  McGurk items door combinatie beeld & geluid van verschillende opnames

Dörte Hessler

5

15‐04‐2010


Pilot 1 ‐ resultaten  12 deelnemers, gemiddelde leeftijd 41,33 (26 – 67) McGurk (incl. diff. Voice) All

Average Range

Pilot ‐ Resultaten

video

Else

29,06%

36,75%

23,93%

10,26%

0% - 61,54 %

2,56% - 69,22%

2,56% - 58,97%

0%‐30,77%

>50 Average (n 4) Range (n=4)

44,87%

20,51%

27,56%

7,05%

23,08%-61,54%

2,56%-35,90%

2,56%-58,97%

0%-17,95%

<50 Average (n=8) Range

21,16%

44,87%

22,12%

11,86%

0%-61,54%

10,26%‐69,22%

7,69%‐38,46%

2,56%‐30,77%

Pilot ‐ Resultaten  Aantal McGurk antwoorden verglijkbaar met Klitsch

550,00% , 45,00% 40,00% 35,00% 30,00% 25,00% 20,00% 15,00% 5, 10,00% 5,00% 0,00%

McGurk auditory

(2008) ( 8)  4 (van 39) items zonder enkel McGurk antwoord  7 items commentaar van deelnemers over kwaliteit of synchroniciteit

visual else

above 50

Dörte Hessler

audio

below 50

6

15‐04‐2010


Overzicht Patiënten

Deelnemers  14 gezonde controle personen:  7 vrouwen  Leeftijd: 49 – 68 (gemiddeld 56,29)  6 afatische proefpersonen:  3 vrouwen  Leeftijd: 47 – j 64 (gemiddeld 52,33) g

Identificatie Taak ‐ Afloop

Identificatie Taak ‐ Materiaal All items n = 180 Aud. Only

Vis. Only

n = 30

n = 30

Aud.vis. congr. n = 30

McGurk

Fillers

n = 30

n = 60

/k/

/p/

/t/

/k/

/p/

/t/

/k/

/p/

/t/

/k/

/p/

n=10

n=10

n=10

n=10

n=10

n=10

n=10

n=10

n=10

n=30

n=30

Next stimulus pair

Dörte Hessler

7

15‐04‐2010


Resultaten Identificatie Taak Reaction Times

Correct Answers

Answertypes 3000

100% 90% 80% 70% 60% 50% 40% 30% % 20% 10% 0%

2500 2000 1500 1000 500 0 WB

AO EK

JH

McGurk conditie

AV controls

WB

AO EK

JH

AV controls

100% 90% 80% 70% 60% 50% 40% 4 30% 20% 10% 0%

WB EK JH controls

McGurk

auditory

visual

: p<.001 (Mann‐Whitney U test, 2‐tailed)

Reactietijden per Answertype

Identificatie Taak ‐ Discussie  Patiënten slechter & langzamer dan controles  Voor patiënten: AV beter dan AO  Kwalitative verschillen:  Voor controles invloed van antwoord bij McGurk items  Reactietijd longest als McGurk antwoord wordt gegeven  Voor geen van de patienten invloed van antwoord type!  Verklaring? g  Controles herkennen vaak mismatch  Patienten alleen audomatische verwerking

Dörte Hessler

8

15‐04‐2010


Discriminatie Taak ‐ afloop

Discriminatie Taak ‐ materiaal

Geen antwoord (slechts 1 keer)

Volgend paar

Goede of foute antwoord

Discriminatie Taak ‐ resultaten Correct answers

100% 90%

% 100% 95% 90% 85% 80% 75% 70% 65% 60% 55% 50%

80% 70% 60% 1 feature

50%

2 features

40%

33 features

30% 20% AO patients

AV VO controls

: p<.001 (Mann‐Whitney U Test, 2‐tailed)

Dörte Hessler

Discriminatie Taak – resultaten (Patiënten)

10% 0% AO : p<.05 (Wilcoxon, 2‐tailed)

AV

9

15‐04‐2010


Discriminatie Taak – resultaten (Patiënten)

Discriminatie Taak ‐ Discussie  Patiënten slechter dan controles  Voor patiënten: verschil tussen de drie condities:  AV beter dan AO en VO  AO beter dan VO

 Aantal kenmerken heeft invloed op performance  Hoe meer kenmerken verschillen hoe beter  Type kenmerk T pe kenmerk heeft ook invloed in loed op performance  Stem meeste fouten 

ERP onderzoek Door ERP reacties van de hersenen onderzoeken:  specifieker: Mismatch Negativity (MMN)

Dörte Hessler

Tegenstrijdig met Klitsch (2008), maar komt overeen met Csépe et al (2001)

Vragen ERP onderzoek  Zijn er verschillen in hersenreacties op

McGurk effect tussen afatische en gezonde proefpersonen?  Is er een verschil tussen de hersenactivaties van de patiënten en hun offline reacties?  Wordt informatie in de hersenen geintegreerd zelfs als dit niet in de performance van de patiënt te zien is?

10

15‐04‐2010


Achtergrond MMN Over MMN:  ERP‐component die door een zelden voorkomende ERP component die door een zelden voorkomende audieve stimulus veroorzaakt wordt  MMN wordt dus in (actieve & passieve) “oddball” designs gevonden, waarin 1 stimulus vaak voorkomt (80‐90%) en een andere zelden (10‐20%)  MMN= een negatieve component, die voor de g p ‘deviants’ ten opzichte van de ‘standards’ wordt gevonden

Typical MMN

Passive vs active oddball taken  Passieve taken:  Alleen op 1 oor letten All l tt  Afleidende taak doen (stomme film kijken, boek lezen, tactile discriminatie)  Actieve taken:  Deviants tellen  Knopje toetsen/vinger bewegen als je deviant K j t t / i b l j d i t tegenkomt

MMN & McGurk effect  e.g. Colin et al. (2002,2004); Saint‐Amour

et al. (2007): et al (2007):  Colin et al. (2004):  Passieve oddball (tactile discrimination task)  In McGurk conditie:  Standard & deviant zijn auditief identiek,  De deviant is echter beïnvloed door afwijkende D d i t i ht b ï l d d f ijk d visuele informatie  MAAR: geen MMN in VO conditie

Taken from Sams et al. (1985)

Dörte Hessler

 MMN in McGurk conditie niet door visuele of auditieve informatie, maar fusie van allebei

11

15‐04‐2010


MMN voor McGurk stimuli  Colin et al., 2002 

2002: standard /bi/[bi], deviant /bi/[gi] (see picture)

MMN in afasie onderzoek  e.g. Aaltonen et al. (1993); Wertz et al. (1998);

Csépe et al. (2001) Csépe et al (2001)  Correlaties tussen taalbegrip in offline taken en

MMN voor lettergrepen  MMN voor ‘pure tones’ normaal

Csépe et al (2001)

Csépe et al (2001)

 MMN data van 4 afatische proefpersonen

 Afatische en gezonde proefpersonen niet

 2 Broca, 2 Wernicke

 3 condities:  “Pure tones” (1000Hz vs 1050 & 1200 Hz)  Klinkers (/e:/ vs /i:/ & /ø:/)  Medeklinkers (/ba/ vs /ga/ & /pa/) M d kli k (/b / / / & / /)

Dörte Hessler

verschillend voor “pure tones”  Voor patienten afwijkende MMN voor medeklinkers, maar niet voor klinkers (op 1 patient na)  Correlatie met resultaten non‐woord Correlatie met resultaten non woord

disciminatie

12

15‐04‐2010


Mijn onderzoek

Afloop

 Design: actieve oddball

 Condities (100 van elk deviant, 800

 Frequent stimuli (80%) en 2 verschillende

deviants (each 10%)  vind deviant en toets knopje

standards):  Pure Tone: 1000 Hz – 1050 Hz & 1200 Hz (cf.

Csépe et al., 2001)  Alleen auditief: /pa/ ‐ /ta/ & /ka/  Alleen visueel: [pa] Alleen visueel: [pa] – [ta] & [ka]  Audiovisueel:

Audiovisuele Conditie 100 van elk deviant & 1200 standards (om 80% te houden):  Standard: /pa/[pa]  Deviants:  /ka/[ka], /ta/[ta], /pa/[ka]  Nadelen:  3 deviants in 1 experiment (hoewel 2 ervan als gelijk waargenomen moeten worden)  Sets langer dan in andere condities

Dörte Hessler

Procedure  Stimuli lengte: 800ms, onset asynchrony: 1500ms  Per conditie 100 + 100 deviant, 800 standard (100+100+100 deviant, 1200 standard voor AV)  Sets max. 10 min. (cf. McGee et al., 2001)

 Elke conditie: opgesplits in 4 sets (6min 15sec/9min23 sec for AV) (6 5sec/9 3 sec o )  2 dagen: 2 sets/conditie/dag  10 sets/dag  recording tiid: 56min 15sec per dag  Plus voorbereidings tijd, pauzes, instructies, oefenitems…

13

15‐04‐2010


Evaluation  Alleen mensen met MMN in pure tone conditie in verdere analyse  Algemeen: vergelijk standard met deviant  In afatische groep vergelijk tussen:  standard en deviant (herkend)

ERP onderzoek – stand van zaken  Eerste proefpersonen (gezonde controles)

zijn getest  Nog geen analyses gedaan

 standard en deviant (niet herkend)  deviant (herkend) en deviant (niet herkend)

 Vergelijk tussen afatische en controle groep  Verder: correlatie analyse voor MMN en offline taken

 Nog steeds op zoek naar gezonde

vrijwilligers tussen 45 en 75 jaar : informatie op http://doerte.eu/research/vrijwilligers

Bedankt voor de aandacht! Vragen en commentaar graag nu (of later aan: [email protected])

Dörte Hessler

14

Achtergrond. Achtergrondgeluid. Afasie. Stoornissen van taalbegrip bij afasie en de invloed van liplezen erop

Recommend Documents