A látás segít megérteni a kimondott mondat típusát

Ez volt a „Visual channel influences the comprehension of the intonation of Brazilian Portuguese wh-questions and wh-exclamations: evidence from congruent and incongruent stimuli" ("A vizuális csatorna befolyásolja a brazil portugál WH-kérdések és WH-felkiáltások intonációjának megértését: kongruens és inkonruens ingerekből származó bizonyíték”) című cikk kutatási témája, amelyben Luma da Silva Miranda (ELTE), João Antônio de Moraes és Albert Rilliard két brazil portugál mondattípust, a WH-kérdést és a WH-felkiáltást elemezték egy észlelési kísérletben, melynek során vagy az auditív csatorna és a vizuális csatorna ugyanazon típusú akusztikus és vizuális jeleit prezentáltuk, vagy az akusztikus és vizuális jeleket különböző típusúra cserélve. Pl.: a WH-kérdés intonációját a WH-felkiáltás arckifejezésével párosítva, és fordítva.

Az észlelési kísérletet online végezték harminchat brazil személy részvételével. Az adatok statisztikai elemzése után bebizonyosodott, hogy a mondattípusok észlelési azonosítását megkönnyíti, ha ugyanazon beszédaktusok akusztikus és vizuális jeleit - eszerint kongruens módon - prezentálják a résztvevőknek. Ehhez képest, amikor az akusztikus jelek nem azonosak a beszédaktusban előállított vizuális jelekkel, a megértés nehézségbe ütközik.

A tanulmány másik érdekes eredménye az, hogy a WH-kérdéseket jobban megértették, mint a WH-felkiáltásokat, és ez összefüggésben állhat azzal a ténnyel, hogy a brazil portugál WH-felkiáltások különböző intonációs kontúrokkal állíthatók elő, a mondat elején használt kérdőszó típusától függően, míg a WH-kérdések ugyanolyan intonációs kontúrral rendelkeznek, függetlenül a kérdőszó típusától.

A tanulmány eredményei azt mutatják, hogy az emberi kommunikáció multimodális, vagyis az auditív és vizuális csatornából származó információk kombinációja, amely jelen van a kommunikációs szándékunk kifejezésében, a beszélgetőtárs által előállított mondattípusok megértésére szolgál. A nyelv szempontjából ez a tanulmány megerősíti, amit a beszélgetés-elemzési kutatásokban is említenek, mivel egy párbeszéd-interakcióban olyan jelekre van szükségünk, melyek elősegítik a beszélő kommunikatív szándékainak megértését, leginkább a kérdések esetében, mert mire a beszélő befejezi a mondatát, elő kell készülnünk a válasszal, hogy a párbeszéd zökkenőmentesen folytatódhasson. A vizuális és az auditív jelek kombinációja elősegíti ezt a kommunikációs folyamatot.