Индивидуальные и групповые

различия в переработке лексических и

синтаксических единиц языка в
условиях эксперимента у
монолингвов и билингвов

Михаил Власов
к.ф.н., доцент
АГГПУ им. В.М. Шукшина, институт гуманитарного образования;
НИ ТГУ, факультет психологии
Научная школа
«Контактирование языков: лингвистический, социолингвистический,
психолингвистический аспекты»
16-19 ноября 2020
Томск
 План лекции

• 1. Введение.
• 2. Психолингвистика в контексте когнитивной
науки.
• 3. Распознавание слова и лексическая
переработка (обработка).
• 4. Распознавание синтаксической
неоднозначности в родном и неродном
языке.
• 5. Индивидуальные vs групповые различия
• 6. Вопросы. Дискуссия
 Психолингвистические традиции
• язык как продукт • язык как действие

• поведенческие методы, метод регистрации • Теория речевых актов. Приверженцы данной традиции, в
движений глаз, методы нейровизуализации основном занимаются изучением речевого взаимодействия
и нейростимуляции. собеседников в процессе реальной коммуникации
 Офлайновые и онлайновые методы

• Офлайновые:
Анкеты
Опросники
Шкалы
Задание на завершение предложения и т.д.

• Онлайновые:
Поведенческие исследования
(лексическое решение, чтение с
саморегулировкой, регистрация
движений глаз)
Методы нейровизуализации (ЭЭГ,
фМРТ, ПЭТ и др.)
 Зарождение когнитивной науки
как междисциплинарной области
• 1956 год, США, MIT. Симпозиум по
проблемам переработки информации. Ноам
Хомский, Джордж Миллер, Герберт Саймон,
Аллен Ньюэлл.
• Н. Хомский. Чтобы понять язык, нужно
изучать носителя языка.
• Дж. Миллер. Магическое число 7±2. Рабочая
(оперативная) память.
• Г. Саймон и А. Ньюэлл. Первая в мире
модель искусственного интеллекта «Логик-
теоретик».
Ноам Хомский
 Традиционная парадигма
• Борис Митрофанович Величковский отмечает, что «с известной
долей условности можно выделить четыре принципа традиционной
парадигмы ранней когнитивной психологии:
• 1) приоритет знания и рационального мышления над поведением,
привычками и аффектом,
• 2) использование компьютерной метафоры,
• 3) предположение о последовательной переработке информации,
• 4) акцент на формальном моделировании вместо изучения
мозговых механизмов».
(Величковский Б.М. Когнитивная наука : Основы психологии познания :
в 2 т. — Т. 1 / Борис М. Величковский. — М. : Смысл : Издательский
центр «Академия», 2006. — 448 с.)
Современная когнитивная психология и
когнитивная наука
• Мария Фаликман под когнитивной наукой понимает
«область принципиально междисциплинарных, то есть не
сводимых ни к одной из существующих научных дисциплин,
исследований познания, которое понимается вполне
определенным образом — как совокупность процессов
приобретения, хранения, преобразования и использования
знаний живыми и искусственными системами. 
• Здесь три ключевых момента: исследования
междисциплинарные; исследования, в которых, по сути,
ставится знак равенства между живыми системами и
моделями на искусственном субстрате; и исследования,
касающиеся природы человеческого знания».
 Распознавание слова и лексическая
обработка
• Задача лексического решения
 Модели распознавания слов

• Логогенная модель Модель интерактивной активации

Мортона (1969) Макклелланда и Румельхарта (1981)
Эффект превосходства слова
 Власов, Сычев, 2018
Положительно окрашенные слова
опознаются значимо быстрее в двух
задачах.
В парадигме Go/No-Go LDT эффект
положительной окраски (в ср. с
отриц.) наблюдался в реакциях на
слова низкой частотности.
Случайные эффекты: в парадигме
yes/no LDT «медленные» участники
чаще ускоряются при реагировании
на высокочастотные слова, в то время
как у «быстрых» участников такого
эффекта не наблюдается, и даже есть
тенденция к обратному эффекту.
Также участники, которые медленнее
реагировали на нейтральные слова
давали более быстрые реакции на
положительные слова и наоборот.
Это эффекта не наблюдалось в
парадигме Go/No-Go.
Модель лексического доступа
 Индивидуальные различия

Фиксированные эффекты эмоциональных свойств стимулов и эмоциональных особенностей испытуемых на

время реакции в «yes-no» эксперименте (горизонтальные линии отражают 95-и процентный доверительный
интервал, * — уровень значимости p ≤ 0,05; ** — уровень значимости p ≤ 0,01; *** — уровень значимости p ≤
0,001).
Шкала позитивного аффекта и негативного
аффекта (ШПАНА)
 Remote Associates Tests
cues

railroad girl class

solutions

working on working working

the railroad girl class

response
working
(Mednick, 1968) Olteţeanu & Zunjani (2020)
Blinking
 The estimation of fixed effects in generalized
linear mixed model for correct response (binary
dependent variable)

Std.
Fixed effects:
Estimate Error z value Pr(>|z|)
(Intercept) -0,37 0,40 -0,93 0,35362
Aver_Solution_Freq 0,47 0,11 4,38 0,00001
Blink.Frequency..count.s. 0,32 0,09 3,76 0.00017
Fixation.Frequency..count.s. -0,02 0,04 -0,56 0,57447
as.factor(Type_0_incub)1 -0,05 0,10 -0,46 0,64290

Significant fixed effects are bolded.

 Как выбрать время предъявления стимула?

• Привязка к компонентам ЭЭГ или средней

длительности фиксаций к времени
предъявления стимула.
• Учет других квантитативных характеристик
слов.
• Использовать доминантный язык (не
обязательно родной), на котором участники
обычно читают.
• Анализ научной литературы.
 Активация «схем»

DOI: 10.1145/1753196.1753214
Активация схемы (концепта, категории,
паттерна)
Франц (Frantz) Роберт Лоуэлл
Перцептивно-когнитивное развитие
 Парадигма «Визуальный мир»

• Magnuson, J.S. Fixations in the visual world paradigm: where,

when, why?. J Cult Cogn Sci 3, 113–139 (2019).
https://doi.org/10.1007/s41809-019-00035-3
 Шкуропацкая и соавт. (2021)
Семантические и ассоциативные факторы лексической обработки
значений многозначных бионимов русского языка: результаты
айтрекингового исследования в парадигме «Визуальный мир»

Рис. Визуальная панель для целевого слова «собачка»

(Примечание. Верхний левый денотат – целевой, нижний левый –
метафорический денотат («собачка от молнии»), верхний правый денотат –
обратная ассоциация «дама», нижний правый денотат – дистрактор)
Распознавание и разрешение синтаксической
неоднозначности в родном и неродном языке
 Неоднозначность присоединения
придаточного определительного

Complex sentences with relative clauses have a long

history of research on the material of different languages.
The canonical example of such kind of ambiguity is the
following (1):
(1)The criminal shot the maid(NP1) of the actress(NP2) who

was on the balcony(RC).

 Раннее и позднее закрытие в русском языке
Преступник застрелил служанку [И1] актрисы [И2],
которая стояла на балконе [Федорова и др., 2007],
[Анисимов, 2013], [Fodor, 1998, p. 285-319].
Одна группа языков демонстрирует предпочтение раннего
закрытия (РЗ): например, носители русского, польского,
японского, африкаанса, греческого, голландского, немецкого,
французского языков присоединяют к придаточному первый
член сложной именной группы (И1 – вершина придаточного:
на балконе стояла служанка). Носители английского,
арабского, норвежского, румынского, шведского языков,
напротив, предпочитают принцип позднего закрытия (ПЗ): в
качестве вершины придаточного они выделяют второй член
именной группы (И2 – вершина придаточного: на балконе
стояла актриса).
Ранее закрытие
(early closure,
high attachment)
Позднее
закрытие (late
closure, low
attachment)
 Факторы, влияющие на разрешение
неоднозначности
1) длина придаточного предложения и паузы
2) лингвистическая настройка
3) одушевленность существительных
4) влияние контекста
5) синтаксический прайминг
6) класс глагольной вершины
7) тип предиката [Юдина, 2010]
8) Влияние «дефолтного» интонационного контура
(Гипотеза имплицитной просодии).
Исследование проведено М.С. Власовым под
руководством А.Н. Савостьянова
• Источник финансирования исследований:
грант 14-36-50844 мол_нр Российского
фонда фундаментальных исследований за
2014 г.

• Исследования проводилось в НИИ

физиологии и фундаментальной медицины
СО РАМН, Новосибирск
• Цель исследования: изучение динамики мозговой активности, регистрируемой при помощи ЭЭГ, в
условиях распознавания предложений с синтаксическими ошибками и с синтаксической
однозначностью или многозначностью в русском и английском языках у двуязычных испытуемых.
• The aim is to study the dynamics of EEG brain activity in conditions of recognition of sentences with
syntactic errors or syntactic ambiguity in Russian and English languages in bilingual subjects.

• Базовая гипотеза: Распознавание грамматических ошибок, а также многозначных предложений у

русскоговорящих и англоговорящих испытуемых происходит в значительной степени по-разному.
Это отражается на поведенческих особенностях испытуемых и на паттернах мозговой активности,
регистрируемых при помощи ЭЭГ.
• Basic hypothesis: Recognition of grammatical errors, as well as ambiguous sentences in Russian-speaking
and English-speaking participants affects on cognitive load in behavioral and EEG paradigms.

• Задачи проекта:
• Разработать экспериментальную модель, позволяющую исследовать динамику активности
осцилляторных систем головного мозга в условиях поиска ошибок и разрешения семантической
многозначности на русском и английском языках.
• Провести регистрацию поведенческих реакций и электрической активности мозга у двуязычных
(русскоговорящих и англоговорящих) испытуемых при выполнении лингвистических заданий на
разных языках.
• Сопоставить поведенческие показатели, связанные с выполнением заданий у двуязычных
испытуемых.
• Сопоставить паттерны мозговой активности (ЭЭГ-реакции), связанные с выполнением заданий у
двуязычных испытуемых.
• Испытуемые: Для участия в эксперименте приглашались три группы испытуемых:
• 1) исследовались реакции англоязычных испытуемых на русскоязычные предложения
(4 испытуемых в возрасте 25 – 60 лет, праворукие, 1 женщина и 3 мужчины, все
граждане США, два филолога и два религиозных проповедника).

• 2) реакции русскоязычных испытуемых на англоязычные предложения (6

испытуемых, все женщины, праворукие, граждане РФ, студенты отделения прикладной
лингвистики гуманитарного факультета НГУ или студенты факультета иностранных
языков НГУ с высоким уровнем знания английского языка)

• 3) реакции русскоязычных испытуемых на русскоязычные предложения (7

испытуемых в возрасте от 20 до 35 лет, праворукие 4 женщины и 3 мужчин, все
граждане РФ, студенты факультета информационных технологий, либо имеющие
законченное высшее образование, со средним уровнем владения английским языком).

• Перед проведением обследования все испытуемые давали письменное

информированное согласие на участие в исследовании в соответствии с этическими
требованиями Хельсинской декларации Всемирной медицинской ассоциации.
• Participants: 17 participants, L1 English and L2 Russian (n=4), L1 Russia and L2 English (n=6),
L1 Russian (7).
• Всем испытуемым давалось три задания:
• 1. Прочитать предложение и определить, содержит ли оно
синтаксическую ошибку.
• 2. Прочитать предложение сначала про себя, а потом повторить его
вслух (только для поведенческих данных).
• 3. Прочитать предложение про себя, понять его смысл и ответить на
вопросы о содержании предложения.
• Часть предложений были однозначны, а часть содержали
синтаксическую неоднозначность.
Например:
На заседании была представлена концепция [N1] статьи [N2]
конституции [N3], которая все еще требовала доработки.
Регистрация ЭЭГ: ЭЭГ регистрировалось при помощи 128 электродов, расположенных по
международной системе 10-10% с референтным электродом Cz и заземляющим электродом AFz.
Для регистрации использовался усилитель потенциалов фирмы Neuroscan, USA, с полосой
пропускания 0.1-100 Гц и частотой дискретизации сигнала в 1000 Гц.

Обработка ЭЭГ: Мозговые сигналы обрабатывались в программе EEGLab Toolbox (http://sccn.ucsd.

edu/eeglab/).

Для оценки динамики мозговой активности вычислялись показатели связанной с событиями

спектральной пертурбации (ERSP, Makeig, 1996). ERSP отражает изменение спектральной
мощности после события, по отношению к фону. В нашем случае, в качестве предстимульного
интервала (baseline) для каждого отдельного испытания был выбран ЭЭГ фрагмент от -1,5 до -0,5
секунды перед появлением предложения. Спектральные пертурбации вычислялись на участке от
-1,5 до 2,0 секунды после предъявления предложения. Изначально, ERSP вычислялся для каждого
испытуемого отдельно для каждого канала ЭЭГ. Непараметрические метод bootstrap с уровнем
значимости в p < 0.05 использовался для определения статистической достоверности меж-
групповых и меж-условных различий. ANOVA c факторами языка (три уровня), условия
(однозначные или многозначные), сагитальности и латеральности использовалась для сравнения
реакций во второй и третье задачах.

Кроме того, метод sLORETA был использован для локализации и сравнения источников мозговой
активности при распознавании однозначных и многозначных предложений.
Локализация источника активности методом sLORETA, связанного с
разрешением многозначности. Показано, что реакции на многозначные
предложения вызывают усиленную бета2 активацию в лобных и теменных
областях коры по сравнению с реакциями на однозначные предложения.
1. Решение лингвистических заданий вызывает изменение мозговой активности
в диапазонах альфа и бета ритмов.

2. При поиске синтаксических ошибок десинхронизация в альфа диапазоне

сильнее выражена на иностранный, чем на родной язык, тогда как при
понимании смысла предложения, наоборот, альфа-десинхронизация имеет
большую амплитуду в ответ на задания на родном языке.

3. Альфа и бета десинхронизация имеют большую амплитуду в ответ на

однозначные, чем на многозначные предложения.

4. Распознавание синтаксически многозначных предложений вызывает

большую по сравнению с распознаванием однозначных предложений
активацию в бета2 диапазоне в областях средней лобной и средней теменной
коры как для английского, так и для русского языков.
Анализ движений глаз при чтении предложений с
синтаксической неоднозначностью на втором
английском языке
 Власов, Савостьянов, Сычев, Сапрыгин,
2019

Для изучения данной проблемы в нашей работе используется метод

регистрации движений глаз. Основные модели анализа процессов чтения
предложений с неоднозначными составляющими строятся на
предположении о том, что данные составляющие прочитываются медленнее,
с большим временем фиксаций взора читающего, чем однозначно
интерпретируемые фрагменты предложения. То есть повышенное внимание
читающие уделяют именно тем фрагментам предложения, которые можно
по-разному «встроить» в его синтаксическую структуру
 Психолингвистические исследования факторов
просодии и семантического прайминга на
материале английского языка
a. Someone shot the servant of the actress [Pause] who was very servile
(просодия+семантика работают на раннее закрытие)
b. Someone shot the servant of the actress who was very servile
(просодия на позднее закрытие +семантика на раннее закрытие)
c. Someone shot the servant of the actress [Pause] who was very famous
(просодия на раннее закрытие +семантика на позднее закрытие)
d. Someone shot the servant of the actress who was very famous
(просодия+семантика работают на позднее закрытие).
В работе (Zahn & Scheepers 2015) на материале опросов установлен
значимый эффект взаимодействия этих двух факторов (prosody×plausibility)
на уровне p = 0,01.
 Условия
• Someone shot the maid of the actress who
was on the balcony («no comma condition»).
• Someone shot the maid of the actress, who
was on the balcony («comma condition»).
Предикторы общего времени прочтения
ИГ
Предикторы времени «первого прохода»
при чтении ИГ
Предикторы длит. первой фиксации на ИГ
 Некоторые выводы
• Уже на ранних этапах синтаксического анализа испытуемые больше
внимания уделяют первой именной группе, что проявляется в
увеличении не только общего времени прочтения, но и времени
первого прохода.
• Активация первой именной группы при чтении неоднозначных
предложений на английском языке подтверждает приоритет
раннего закрытия у носителей русского языка (language-dependent
behavior), для которых первое имя является аргументом предиката и
обладает большим просодическим весом, в отличие от зависимого
имени.
• На самом раннем этапе синтаксического анализа испытуемые
оказываются чувствительными к частотности слов, занимающих
позиции первой и второй именной группы, что проявляется в
меньшем времени первой фиксации на словах с высокой
частотностью по Ципфу.
 Table 1. Early Closure (NP1-preference) and Late Closure (NP2-preference) preferences
in Mongolian language, Z-test for comparing the observed mean of NP1-preference with a
predetermined value (equiprobable choice)

Sentence N1- N2- N1-preference Z p

No. preference preference (percentage)
1 98 95 0,51 0,22 0,82903083
2 94 99 0,49 0,36 0,71891603
3 90 103 0,47 0,94 0,34939653
4 146 47 0,76*** 7,13 0,00000000
5 134 59 0,69*** 5,40 0,00000007
6 144 49 0,75*** 6,84 0,00000000
7 108 85 0,56 1,66 0,09780767
8 91 102 0,47 0,79 0,42847886
Total 905 639 0,59*** 6,77 0,00000000
Note: N=193, *** (p <0.001).
 Вопросы
• В чем отличие индивидуальных и
групповых различий?
Области дифференциальной психологии
 Индивидуальные различия. Рабочая
память.
• Почему мы разные?
• Индивидуальные различия как континуум
• Что мы знаем о своей рабочей памяти? Кто
знает свой объем?
The Corsi block-tapping test
• Зрительно-пространственный тест Корси

https://www.psytoolkit.org/experiment-library
/corsi.html
Описание зрительно-пространственного
теста Корси (Kessels et al., 2000)
 Результат теста Корси

Kessels and colleagues (2000) carried out a study with healthy participants and
participants with some form of brain damage. In their study, healthy adults had an
average block span of 6.2 blocks (SD=1.3). Thus, if you are healthy, you are most likely to
have a block span of somewhere between 5 and 7 blocks. That is, 68% of
the population scores 1 standard deviation from the mean, so if you belong to this
68%, you would have a Corsi block span between 5 and 7 blocks. You can test this
yourself with the demo below.

The normal (average) score is around 6. The highest possible block span in this task is 9.
In principle, there might be people who can do better, but that will be quite rare.
 (Kessels et al., 2000)
Средний объем визуально-пространственной
рабочей памяти в зависимости от локализации
повреждения мозга и групповых характеристик
 Reading Span Task (RSPAN)
• Данеман и Карпентер (Daneman &
Carpenter, 1980) предполагали, что в
процессе понимания и интерпретации
некоторого текста в рабочей памяти
человека происходят процессы, связанные
как с пассивным хранением поступающей
информации, так и с ее активной
обработкой.
 https://
www.millisecond.com/download/library/v6/rspan/rspan/automatedrs
pan.web
 Выход: cntrl+alt+del
Inquisit.
Свернуть или снять задачу
 Fedorova & Potanina, 2014
Обнаружены значимые корреляции между
объемом РП и:
• - временем чтения скороговорок;
• - временем чтения художественного текста;
• количеством оговорок в тесте с
подталкиванием к оговоркам;
• скоростью речи при порождении нарратива
по картинке (время ограничено - 1 минута)
Индивидуальные различия в рабочей
памяти. Модель Алана Бэддели
 Фонологическая петля
• Алан Бэддели с Грэхемом Хитчем наиболее подробно исследовали
фонологическую петлю.
• Она может хранить информацию, основанную на речевой и звуковой форме,
и способна удерживать ее через субвокальные повторения, то есть
проговаривание про себя.
• Доказательства этому пришли из ряда источников, и один из них ― эффект
фонологического сходства. Если вы попытаетесь запомнить набор терминов,
схожих по звучанию, то это приведет к путанице и плохому результату. А если
вы попросите человека запомнить ряд таких слов, как «яма», «день», «корова»,
«горячий», «солнце», то он или она запомнит их достаточно легко. Однако, если
слова звучат похоже, как «рот», «кот», «год», «код», производительность
существенно снижается. Системе не важны значения, поэтому, если вы дадите
ей пять слов, обозначающих более или менее одно и то же, например: «высокий»,
«великий», «большой», «длинный», «огромный», «широкий», «крупный»,
«обширный», ― люди могут их запомнить почти так же хорошо, как и разные
слова. Следовательно, система заинтересована в речеподобных звуках. С другой
стороны, долговременной памяти важны значения. Если мы удвоим длину
последовательности до пяти-десяти слов и дадим людям несколько попыток
их запомнить, тогда значение слов станет намного важнее, а вопрос их звучания
уйдет на второй план.
Перспективы изучения рабочей памяти
• Алан Бэддэли (автор наиболее известной модели
рабочей памяти):
• Если бы я все начинал сначала, я бы, наверное, выбрал
изучение влияния эмоций и мотивации на рабочую
память. В когнитивной психологии нам не хватает
точной концепции ментальной энергии.
• Когнитивная психология в основном связана
с контролем действия. Тем не менее нам также
нужно думать о том, что именно контролируется
и почему мы вообще действуем. На уровне
индивидуума энергия очень важна для достижения
цели, однако психологи в значительной степени
игнорируют эту область. Для меня это
захватывающее и еще не исследованное направление.
 Психологические,
нейрофизиологические и
генетические факторы обработки
эмоционально окрашенных текстов
на материале монгольского и
русского языков

Исследование проводилось АГГПУ им. В.

М. Шукшина совместно с НИИ
Физиологии и фундаментальной
медицины СО РАМН
 Кратко о транспортере серотонина
5-HTTLPR
polymorph
ism

http://www.indianjpsychiatry.org/article.asp?issn=0019-5545;year=2011;volume=53;iss
ue=4;spage=289;epage=299;aulast=Margoob;type=3
 Эмоциональная регуляция и связь с
полиморфизмом 5-HTTLPR
• Emotional regulation plays important role in our everyday life.
Serotonin (5-HT) works in our brain as neurotransmitter regulated by
special transporter serotonin-transporter-linked polymorphic region of
SLC6A4 gene. Reduced expression of the serotonin transporter (5-HTT)
is associated with susceptibility to stress-related psychopathology, but
the underlying mechanisms remain elusive. This region has different
SNPs linked with the level of RNA transcription. For example La-allele
is associated with a higher transcriptional efficiency. This leads to
higher emotional regulation and some positive traits, for example self-
directedness and extraversion. This polymorphism helps us to
maintain the balance between positive and negative emotions,
retrieve adequate and principal information from visual environment,
to make appropriate decisions according to our views, values,
educational background. S- and Lg-alleles of a serotonin-transporter-
linked polymorphic region are supposed to be less effective in
Дискуссия. Индивидуальные vs Групповые
различия
Что из этого можно объединить в пару? ‘‘Which
two go together?’’ Item from Chiu (1972) test.

Объясните кратко, почему.

Культурные различия
• Что из этого можно
объединить в пару?
• Chiu Liang-Hwang
(1972).
• American children put
the chicken and the cow
together and justified
this by pointing out that
‘‘both are animals.’’
Chinese children put the
cow and the grass
together and justified
this by saying that ‘‘the
cow eats the grass.’’
 Norenzayan et al. (2002)

К какой из двух групп принадлежит объект?

Norenzayan et al. (2002)

Family Rule
resemblance resemblance
Norenzayan et al. (2002)
 Вывод: групповые vs. индивидуальные
различия в языковой обработке
• Групповые различия среди носителей: язык, пол, возраст,
регион проживания и т.д.
• Индивидуальные различия: когнитивные и некогнитивные
особенности личности (интеллект, в т.ч. вербальный
интеллект, когнитивная гибкость, рабочая память,
когнитивный контроль; мотивация, тревожность,
креативность и т.д.).
• до 50 % вариативности особенности личности (интеллекта,
успеваемости и др.) объясняется генетическим сходством
(наследственностью).
• до 90% вариативности в групповых различиях может
объясняться индивидуальными различиями
 Онлайн платформа для поведенческих
экспериментов
• https://
www.psytoolkit.org/experiment-library/corsi.h
tml

Stoet, G. (2010). PsyToolkit - A software package for programming psychological

experiments using Linux. Behavior Research Methods, 42(4), 1096-1104.
Stoet, G. (2017). PsyToolkit: A novel web-based method for running online questionnaires
and reaction-time experiments. Teaching of Psychology, 44(1), 24-31.
Разработка и запуск поведенческих
экспериментов и опросов в онлайн
PsyToolkit как альтернатива E-Prime
Спасибо за внимание!

Thank you for attention!

Баярлалаа!