Изобразительные жесты

3
• Источник репрезентативных жестов –
практические действия (Streek 1996, Mueller
1996)
• Репрезентативные жесты – действия в
воображаемом мире
• Воображаемый мир – совокупность
специфической для данной модальности
аналоговой информации, включая выражение
эмоций. Из этой информации можно выбрать, что
именно будет показано

Kita 2000
• Когда адресат не виден, число жестов,
иллюстрирующих сюжет рассказа, не
меньше
• Эти жесты в отсутствие собеседника – не
только из-за привычки. Жесты нужны для
когнитивных целей

Kita 2000
 Семантическое взаимодействие речи и
жестов
• Содержание жестов может быть частью
высказывания
• 04С-10
/по-моему это было /два мальчика и девочка

<ка=> самая мелкая это была /девочка,

–у неё были /волосы -вот.

–такие вот.

/каре,

Kendon 2004
• Какую дополнительную информацию
сообщают жесты?
• Указание и траектория движения
• Указание и счет
• Там каменный пол
• И он там рассыпал рис
• Дополнительная информация, получаемая
из жестов
• Жесты в примерах уточняют
– взаимное расположение,
– размеры объектов,
– ориентацию объектов
– положение участника/рассказчика
 Точка роста
• Синхронизированы модальности:
– если разговору мешает шум или говорящий не
может подобрать слово, жесты
останавливаются тоже. Синхронизация
нарушается при многократном повторе (speech
and gesture are drained of meaning)
– слушающий через некоторое время не может
вспомнить, как была передана информация –
через речь или жесты

McNeill & Duncan 2000

• Точка роста (ср. психологический предикат)
– Представляет что-то, что значимо выделяется в
данном контексте
– Определяет этот контекст как фон
• Focus vs. background
• Говорящий конструирует фон так, чтобы на
его фоне выделялось важное

McNeill & Duncan 2000

• Nobe 1996: маховые фазы жестов и
просодическое выделение совпадают
• Язык и визуальные средства взаимно
влияют друг на друга в реальном времени
• Языковыми средствами можно выразить
отдельные аспекты картинки
• Перевод из одной модальности в другую
под вопросом

McNeill & Duncan 2000

• And Tweety Bird runs and gets a bowling b[all
and drops it down the drainpipe]
• Мах был не на drops, а на движении мяча вниз
– это важно для дальнейшего развития
истории
• Глагол остался за рамками точки роста
• Хотя в жесте есть направление/траектория,
способ действия (ср. it rolls down), объект
(мяч) и место (ground – drainpipe)
McNeill & Duncan 2000
• [But it rolls] him out
• Вращение руки – способ передвижения

• [and he rolls… down the drain sprout]

• Движение вниз – только направление

McNeill & Duncan 2000

[and it goes down] but [[it roll][s him out]] [[down the … ]

[ rainspo]] [ut.. out i][nto the sidew]alk.. into a] [bowling alley

McNeill & Duncan 2000

• [entonces SSS]
• Потом он падает ш-ш-ш

McNeill & Duncan 2000

McNeill & Duncan 2000
(1) e entonces busca la ma[nera …]
и он ищет способ
Жест описывает форму водосточной трубы – место действия
(2) [ de entra][r .. se met][e por el]
чтобы пробраться
Обе руки качаются и поднимаются одновременно: способ движения +
траектория
(3) [desague ..] [.. si?]
водосточная труба… да?
Правая рука рисует круги в воздухе, двигаясь по дуге: способ движения +
место (форма трубы).
(4) [desague entra /]
забирается в трубу
Обе руки развернуты ладонями вниз (кот цепляется лапами) и потом резко
поднимаются: способ + траектория.
McNeill & Duncan 2000
• Жесты и речь отражают процесс мышления
в момент говорения
• Чем больше ощущаемая дистанция между
выражаемой мыслью и ее контекстом, тем
вероятнее ее проявление в жестах

McNeill & Duncan 2000

 Влияние речи на жесты
• 11 японцев и 11 американцев пересказывали мультфильм, в
котором кот перебирается через улицу из своей квартиры в
квартиру с канарейкой по веревке
• Американцы использовали слово swing, японцы лексически
не обозначали траекторию: перелетел, перебрался,
попробовал прыгнуть, направился в сторону птички
• Японцы использовали в 2 раза больше жестов; больше
жестов – больше слов, это говорит о том, что были
трудности с подбором подходящего слова
• У японцев были жесты по дуге и прямые, у американцев –
по дуге, прямой был только 1
 Японцы Американцы
Только дуга 4 10
Дуга и прямая 5 1
Только прямая 2 0
• При затруднениях в речи при описании
сложного события: сначала жест без слов,
потом он повторяется – пока нужное слово
не будет найдено
Viewpoint (перспектива, точка зрения)
Падучева (2014) о наблюдаемом отсутствии:
• Он там не был – неизвестно, присутствовал ли в тот момент говорящий
• Его там не было – говорящий в тот момент был там

• Литвиненко (2011): способы цитирования чужой речи

Полупрямое цитирование
..(0.3) Ну ему там /–↓реклами-ируют...
типа «Вот там классный такой /\автомобиль...
вот этот вот /–возьми-ите там¡»...
• C-VPT character viewpoint
с точки зрения персонажа
• O-VPT observer viewpoint
с точки зрения наблюдателя
то есть {тот который творит всё} тот {кто есть всё}
• Всё {вылеплено из глины}. Вы помните в Библии, бог {вылепил из
глины}
• O-VPT vs. C-VPT
Насколько важную информацию передают
жесты?
• (Beattie and Shovelton 1999): пересказы были на 10%
точнее, если испытуемые видели иконические жесты
• (Beattie and Shovelton 2002): рассказ с помощью жестов
без речи; жесты с точки зрения персонажа были
информативнее (особенно при описании скорости или
формы), чем с точки зрения наблюдателя (лучше
передают взаимное расположение)
• (Beattie and Shovelton 2007; Beattie 2003):
реклама будет эффективнее, если актеры
будут жестикулировать
• Жесты детей часто более информативны,
чем их слова
 Иконичность в жестах
• Простые действия с предметами (молоток)
• Действия героев фильма
• Размер объекта

• Нарисовать план дома, о котором мы мечтаем

• Обозначить положения научной теории

- Жест создается в момент речи

Mittelberg 2014 BLC

• Британский архитектор описывает
художественную галерею, которую он
спроектировал недавно: узкое и высокое здание
• В жесте важны границы в пространстве и
ориентация ладоней
• Что любопытно?
Mittelberg 2014 BLC
• Второй жест «очень
высокое» не сильно
отличается от первого
• Это можно
интерпретировать как
личный опыт – здание
сравнивается с теми,
которые он проектировал
раньше

Mittelberg 2014 BLC

Мотивация значений жестов
• Сходство
• Смежность

Влияют:
• Конвенциональность
• Привычность
• Схемы действий
• Понятийные категории
• Социокультурные правила поведения

Mittelberg 2014 BLC

Показывает границу между морфемами
И то, что это понятия одного ряда
В речи нет метафор и упоминания этой
жестовой схемы
Mittelberg 2014 BLC
• Поза, взгляд, наклон головы, положение рук
• «ее голова повернута в сторону… я показываю зеркально… и ее
руки вот так… и рот почти в форме сердца» (рисует контур руками)

Mittelberg, Evola 2014 BLC

 Влияние жестов на речь
• Rime et al. 1984: испытуемым не давали
двигать рукой, головой, ногой или ступнями
во время свободного разговора. Было
меньше упоминаний действий и движений,
а ощущения, эмоции, социальное
поведение, конкретные и абстрактные
референты упоминались одинаково часто