13 07 Schukin Antonova

Цифровые среды работы с цифровым
следом как образовательный формат
13.07.2019
Щукин Т.Н.
Антонова И.В.
© Т.Н.ЩУКИН 2019
Введение
ведение Самопредставление
1. Психолог, психофизиолог. К.п.н. 2004.

Суть — поиск паттернов в ЭЭГ во время сложной деятельности
по автоматизированной разметке с авто-симулятора и их
использование для прогноза ошибок. При помощи
нейросетевых классификаторов.
2. Биологическая обратная связь — с 1993 г. , включая
лабораторию в США.
3. Модерация и ведение программ с 2012 (МШУ, КСП), работа с
сообществами с сообществ с 2010
4. Разработка железа и ПО с 2001 (HDT - 2007)
5. Нейронет — с 2012 г.
практика БОС
Кейс конструктора
Интерфейсы
трансформация
Источники сигнала в команды
данных и
визуализацию управляемые
объекты
Обобщенный кейс и
структура облачной лаборатории
Источники Обратные связи

данных Проектирование:
продукты,
исследования,
Источники процессы управляемые
разметки объекты
События:
Замыслы:
Метки
задачи
Артефакты
проекты решения в
Действия
гипотезы бизнесе и
искусстве
потоки:
образование
Био-нейро
Аудио-Видео
IOT данные и
аналитика
Кейс конструктора - разметка

(вроде бы) не нужна
Если больше
Альфа ритм крутить
Х пропеллер
то
Кейс “нейромафия”
Уровень
эмоциональной Если “город заснул”,
активации то данные роли Х динамика звука
передать на озвучку роли Y
такт “город засыпает” в наушник роли Y
роли игроков
Концептуальная рамка Разметка для сложного процесса
процесс проектирования
структура методики работы

структура коммуникации и
взаимодействия
структура содержания (представлений)
ролевая и позиционная структура
ресурсные состояния
практическая деятельность
Концептуальная рамка
Цифровой след (нейро)коммуникации во времени
Цифровой след - это НЕ просто

интерпретация артефакты. подтверждающие
другим
компетенцию.
ЦС
УНТИ
Такой “цифровой след” - это
частный случай пространства
работы с данными о
сразу потом Деятельности.
БОС
себе сырое
Концептуальная рамка Эволюция Следа
Цифровой [след] двойник - современный подход

Цифровой двойник Прототип
Глубина модели
(производство)
twin Модель и прогноз с 5% D
Умный DT
(SMT)*
Объект в жизненном Объект
цикле Цифровой макет
Модель и связи Умная DS
Моделирование
Экземпляр (SDS)*
Цифровая тень
тень Модель и связи в RealTime
Агрегированный
Объект
Агрегация по
экземпляру
Цифровой след
Фрагментарные
след ● Термины, введенные А.И.Боровковым
Сразу или потом? Что делать с агрегатом - “следом”
1. Обратная связь
2. Мониторинг
3. Обработка и
t
получение вторичных
данных
4. Поддержка принятия
решений
5. Обучение
классификаторов
6. Построение моделей и
работа с ними
Концептуальная рамка Обратная связь и БОС
СУБЪЕКТ Объект управления

Произвольный
сигнал
Непроизвольный
сигнал
Сигнал -
воздействие
Сигнал - сообщение
Концептуальная рамка Мониторинг и принятие решений
источник мониторинг анализ и принятие

классификация решений
построение
моделей
Сигнал - сообщение
Концептуальная рамка Обучение классификаторов и
построение моделей на основе данных
описание data-magic портрет, алглоритм,
классификатор
кейс признак признак класс

портрет
кейс признак признак класс класса на
кейс признак признак класс основе
кейс признак признак класс статистики
кейс признак признак класс признаков
К этому моменту я должен был убедить вас в том, что
○ Для того, чтобы было интересно проектировать решения в “нейро”, нужна система,
которая:
1. Собирает разные потоковые данные
2. Собирает разные виды разметки
3. Позволяет проектировать деятельность
4. Позволяет обрабатывать и агрегировать данные
5. Позволяет формировать разные виды обратных связей и управления
Сервисно было бы неплохо:
6. Организовывать саму деятельность “лаборатории”

7. осуществлять обмен между лабораториями
мониторинг и разметка следа
Пример: neuroboard.ru
Кейс ТОМСК-ЮНОВУС
1. Составление блок-схемы
методики
2. Составление списка ролей
3. Составление списка меток
роли
4. Разметка цифрового следа
коллективной работы
5. Анализ данных
6. Рефлексия и апгрейд методики
9
Детские смены “Science Art”
Copyright ИП Т.Н.Щукин 2019

Визуализация нейро-
данных в виде танца.
Формат был
представлен на
финальном выступлении
Key findings:
● для школьников нужно

прояснять понятие
“Искусство”
● нужен
предпринимательский
трек для развития
© Т.Н.ЩУКИН 2019 проектов
1
Детские смены “Нейро-мафия" 1

Участники разработали
новый формат:
“Мафия” на основе
нейро-данных
Key findings:
адаптировать
формат для
Детские смены “био-атлон” 12

эстафета по управлению
своими показателями
(КГР, ЭЭГ)
Key findings:
необходимы
предварительные репетиции
и техническая поддержка
визуализации данных
Шапочки из фольги

Вопросы, которые должны были возникнуть
○ А кто вы такие чтобы говорить нам кто мы такие?

○ Как получать данные и интегрировать их?
○ Откуда и как брать разметку?
○ Как обрабатывать и проектировать?
○ Как осуществлять обратную связь и управление?
○ Как моделировать и осуществлять эволюцию цифрового следа?
○ А как оно могло бы выглядеть?
○ А что там с бизнесом и проектами и что еще можно получить на
выходе?
Отвечаем последовательно
○ А кто вы такие чтобы говорить нам кто мы такие?
Что такое “нейронет”
Internet NeuroNet
Сеть сетей
Сеть переговорок
Ethernet VCA
Умная
Локальная сеть переговорка
PC BCI-ассистент
Рабочее место Рабочее место
(Нейро)коммуникационная инфраструктура “переговорки”
Рабочая группа и Отраслевой союз Нейронет НТИ:
Оргструктуры реализации образа будущего 2015 → ?
НЕЙРОКОЛЛАБОРАЦИЯ
НЕЙРООБРАЗОВАНИ
НЕЙРОГЕЙМИНГ Е
НЕЙРОНЕ
Т
НЕЙРОКОММУНИКАЦИИ
НЕЙРОМЕДТЕХНИКА
COBRAIN
НЕЙРОФАРМА НЕЙРОАССИСТЕНТЫ
©Timur Shchoukin
Нейронет: Развитие замысла
до 2012 до 2013 до 2015 2015-2035

©Timur Shchoukin
○ Как получать данные?
Attune.Academy и Attune.Online
практика БОС что такое БОС
“пошевелить отдавленным мизинцем ноги”
● пульт не знакомый
● пульт не видно
● машинку не видно
● результатов
действий не видно
БОС
● управляемость
машинкой вслепую
● обучение а не
контроль
ПРАКТИКА
○ Откуда и как брать разметку?
Откуда данные?
связь через время Так как неразмеченные данные - это мусор,

и пользователей то нужны и данные и разметка
внешние 1. Из связанных с уже учтенными объектами

связанные
системы баз данных (профили)
базы
разметки 2. Из внешних систем разметки (симуляторы,
кейс признак признак
игры, таск-менеджеры, чаты)
класс
3. Из автоматизированных систем разметки
кейс признак признак класс (определение эмоций по выражению лица
или голосу)
класс
4. Вручную (расстановка меток тьютором,
тренером, пользователем)
ручная авто
разметка разметка
Например, образовательный симулятор

кейс признак признак класс Биометрические
события,
реакции людей во
происходящие с
времени (Attune)
людьми во времени
Биометрические
реакции людей на
события в симуляторе
пример: timeliner.online
1. Временно отложим вопрос с биометрией
2. Займемся содержанием - то есть

движением знаний и информации в двух
видах -
a. Артефакты - тексты, документы,
медийные материалы,
b. Потоковые формы - коммуникация,
общение, взаимодействие.
3. Главные формы - это

a. аудио и видео записи
b. Документы и переписка
c. Информационные источники
d. Ссылки на источники
4. И мы помним, что все это требует разметки

© Т.Н.ЩУКИН 2019 поверх, привязки к людям и времени
практика
○ Как обрабатывать и проектировать?
Know-Flow - это онлайн-сервис поддержки коллективного мышления
для небольших проектных или продуктовых групп.
практика 2: Timeliner
Аналитические системы и модули
обработки
карта
сходства Нейроборд
Эйдос
сходство в
Внешние сервисы
динамике и
прогноз статистической обработки
портрет
○ Как осуществлять обратную связь и
управление?
○ Как моделировать и осуществлять эволюцию
цифрового следа?
Например, образовательный симулятор
Magic
Классификаторов 1. решения
кейс
кейс
признак
признак
признак
признак
класс
2. профили
класс
класс
класс
3. рекомендации
портрет
класс
класса на и управление
основе
статистики
признаков
4. автоматическая
разметка
Биометрические
ex: Фаза сна - ээг - температура
реакции людей на
события в симуляторе
температура - фаза сна
Выводы
Выводы
1. Мы предоставили вам
концептуальную модель цифровой
Обратная связь
Обратная связь наблюдателю среды с развивающими обратными
группе связями - того, что мы называем
VCA - виртуальный
коллаборативный ассистент.
t Она же «умное пространство

групповой работы» - базовая ячейка,
из которых строится сеть
Фиксация пространств умной работы -
в БД и собственно «нейронет».
моделирование
Выводы
2 Главные составляющие среды - это
1. средства сбора потоковых данных и данных разметки.

1. Где потоковые данные представлены био и нейроданными, звуком,
видео.
2. А разметка может быть ручной, поступать из внешних сервисов, или
являться результатом работы автоматизированной обработки. например,
классификаторов (включая нейросетевые)
2. система обработки как сырых данных, так и их агрегатов, классификация и
построение моделей
3. система визуализации данных (обратная связь) в различном виде для
различных участников.
1. Биологическая обратная связь
2. семантическая обратная связь
3. дешборды группы и ее участников
4. модели обобщенных классов (участников, ролей, ресурсных состояний,
компетенции, методик обучения и т.д.)
Выводы
twin 3. Ключевой путь развития сред такого типа- это

движение к цифровому двойнику
1. Путь от цифрового следа к цифровому двойнику

через стадию цифровой тени.
2. Основные типы данных - это потоковые (био-нейро,
аудио-видео и т.д.) и разметка поверх
тень (автоматизированная, внешняя или ручная)
3. Компетенция - это агрегат, паттерн, сборка поверх
данных. Одна из возможных форм интерпретации
данных цифрового следа.
след
Выводы
4. Среда - это гибкое решение.

Самые гибкий вариант - это не единое
решение, а их федерация, набор,
коллекция. Экосистема. Это лучше
чем платформа.
1. Модули могут конкурировать

друг с другом,
2. Они могут быть открытыми и
закрытыми, коммерческими и
бесплатными
3. Можно легко комбинировать
функциональные блоки из н
нескольких последовательно
или параллельно
работающих сервисов
○ ПРАКТИКА И КЕЙСЫ
Аттюн - БОС упражнение (видео на аттюне)
1. Получить прибор
2. Перейти по адресу Attune.academy
3. Зарегистрироваться через leader-id
4. Перейти в курс “Остров 12”
5. Выбрать первое упражнение, просмотреть ролик и
ответить на вопросы
6. Выбрать второе упражнение, сделать упражнение,
ответить на вопросы
БОС практика (КГР)
1. Выбрать первое упражнение курса БОС

2. Прочитать инструкцию
3. Подключить прибор
4. Настроить обратную связь
5. Выполнить упражнение
Демонстрация интерфейса преподавателя.
1. Структура курсов и упражнений

2. Отображение динамики графиков пользователей
во время индивидуальной работы
3. Возможность сохранения данных для обработки
БОС в составе группы с групповой

синхронизацией
1. Выбрать третье упражнение
3. Подключить прибор
4. Настроить обратную связь
Демонстрация интерфейса преподавателя в

режиме групповой БОС
1. Настройка калибровки сигнала

2. Формирование групп
3. Выбор визуализации
4. Работа с групповой визуализацией
5. Сохранение данных для анализа
6. Отправка данных на сервер
Демонстрация работы с индексами на примере

ЭЭГ
1. Выбрать пятое упражнение
3. Подключить приборы ЭЭГ
4. Выбрать каналы и индекс
5. Выбрать визуализацию
Практика 2: Timeliner
Практика 2: Timeliner
Timeliner - это веб-сервис, который позволяет в

любой момент на любой встрече:
— сделать аудио запись,
— быстро подключить других участников встречи,

— отметить моменты важных событий или
приложить документы и фотографии,
— сослаться на материалы уже проведенных

встреч или поделиться с другим человеком
конкретным отдельным кусочком информации, или
даже целой темой, развернутой через множество
встреч.
Навигация по аудиозаписям, комментариям и

разметке имеет смысл и сама по себе, в качестве
Практика разметки содержания - timeliner 1.
1. Зарегистрироваться на timeliner.online
2. Подключиться к встрече “Остров 12”
3. Сформировать разметку (маркап)
4. Стартовать аудио запись.
5. Внести произвольную разметку (теги, сообщения)
6. Прикрепить произвольные файлы.
7. Приложить аудиофайл записанный на обычный диктофон
и развернуть аудиозапись на таймлайн.
8. Осуществить переходы по таймлайну и прослушивание
аудиозаписей по меткам
КЕЙСЫ t
Использование ЭЭГ и биоданных для тегирования
Обнаружение объектов в поле

зрения
This paper explores the potential for using

Brain Computer Interfaces (BCI) as a
relevance feedback mechanism in content-
based image retrieval. Several experiments are
performed using a rapid serial visual
presentation (RSVP) of images at different
rates (5Hz and 10Hz) on 8 users with different
degrees of familiarization with BCI and the
dataset.
MULTIMEDIA IMPLICIT TAGGING USING EEG SIGNALS Mohammad

Soleymani∗ Imperial College London, UK m.soleymani@imperial.ac.uk
Maja Pantic† Imperial College London, UK University of Twente, the
Netherlands m.pantic@imperial.ac.uk
Управление когнитивной нагрузкой в реальном времени
▶ Мониторинг базовых психических

Сложная функций нейрофизиологическими
деятельност средствами
ь требует
▶ Подстройка информационного потока
«вскрытия» под текущий ресурс
понятийных ▶ Нарезка
схем, т.к.
▶ Изменение подачи
Схемы
когнитивной ▶ Управление темпом
загрузки ▶ Распределение по команде
связаны с ▶ Замена схемы ситуации
ними ▶ Управление «зоной ближайшего
развития» в проектном или игровом
обучении
Group - a - ware. Извлечение скрытого знания
● Сохранение биометрического, аудио и

видео следа в связке с разметкой
● Отпечатки психофизики лучших практик
©Timur Shchukin
Нейромафия
Симулятор “Управление Университетом”
● Управление
университетом в
симуляторе
● Трансляция всех
событий и действий
пользоваталей через
API
Biofeedback в спорте
The psychophysiological requirements

of shooting include:
•Controlled breathing and heart-rate
•No excess tension in muscles
•No fluctuation between
sympathetic/parasympathetic states
during triggering (shooters can shoot in
sympathetic or parasympathetic, but
don't want to be surprised by which
Archery and Shooting state they are in)
Landers et al. (1991) •No interior monologue
investigated the effects of •Sharp focus and good reactions to
electrocortical biofeedback trigger at the moment when the sight
training in pre-elite archers to image is correct
determine whether EEG
biofeedback training
improves archery In Beijing, a team of Swimming
performance. biofeedback professionals Bar-Eli, Dreshman,
worked on 358 Blumenstein, and
Decreasing performance Olympians, all of who Weinstein (2002)
anxiety and reducing arousal were considered at investigated the
levels has been shown to baseline to be “second effectiveness of
improve the ability and string.” The 32 medals psychoregluation
confidence of performing they won astounded training with
artists (Kendrick, Craig, coaches, as well as the biofeedback on youth
Lawson, & Davidson, 1982); Ministers of the swimmers
therefore, providing performing sport. (Mandel, TQA
artists with biofeedback to 2010)
enhance arousal regulation
© Т.Н.ЩУКИН
may improve musical2019and
dance performance.
Emotian
● Мониторинг эмоционального
состояния человека или
группы при помощи анализа
мимики
● Обработка и визуализация
данных по локациям и во
времени
● Трансляция событий по API
Чемпионаты рабочих профессий
+35%
● Мониторинг состояний
во время спортивных
занятий
● Фиксация чемпионских
эталонов
● Обучение на основе
чемпионских паттернов
Искусство и иммерсивный опыт
Q Neuro - игры с нейроинтерфейсами
Cindicator - гибридный интеллект
● Гибридный Интеллект для Эффективного

Управления Капиталом. Собирает
финансовые оценки
77,179 аналитиков
● Обработка данных при помощи

нейросетей, объединение оценок в
более качественные метрики
● Трансляция данных по API
“Антураж”
Debator
Дебаты с Harish Natarajan на тему “нужно ли

субсидировать пре-школы”
1. чтение документов и видео-аудио-файлов

2. Анализ валидности и силы аргументов
3. Организация ключевых точек
4. Создание аргументации
5. Генерация нарратива
6. Слушание ответа
7. Анализ аргументов противника
8. Структурирование нарратива с подбором
аргументов против реплики противника и с
усилением своих собственных тезисов
Техно Ашрам - Ролевая игра-Перфоманс - Лаборатория
nakedminds.ru
Спасибо!
flowmaster.info
Рады вопросам и
сотрудничеству! timeliner.online
neuroboard.ru
Timur Shchukin www.weavester.net

timur@nakedminds.ru
timurid@gmail.com
+7(905) 568-50-84
info@nakedminds.ru
Irina Antonova +7 977 987 98 22
irina@nakedminds.ru
iranti222@gmail.com
+7(903) 202-80-08

Язык

13 07 Schukin Antonova

Загружено:

Сведения о документе

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

13 07 Schukin Antonova

Загружено:

Авторское право:

Доступные форматы

Цифровые среды работы с цифровым

следом как образовательный формат

1. Психолог, психофизиолог. К.п.н. 2004.

Источники Обратные связи

Кейс конструктора - разметка

структура методики работы

структура содержания (представлений)

ролевая и позиционная структура

Цифровой след - это НЕ просто

Цифровой [след] двойник - современный подход

след ● Термины, введенные А.И.Боровковым

СУБЪЕКТ Объект управления

источник мониторинг анализ и принятие

кейс признак признак класс

Сервисно было бы неплохо:

6. Организовывать саму деятельность “лаборатории”

Copyright ИП Т.Н.Щукин 2019

● для школьников нужно

Copyright ИП Т.Н.Щукин 2019

Copyright ИП Т.Н.Щукин 2019

Copyright ИП Т.Н.Щукин 2019

○ А кто вы такие чтобы говорить нам кто мы такие?

(Нейро)коммуникационная инфраструктура “переговорки”

до 2012 до 2013 до 2015 2015-2035

связь через время Так как неразмеченные данные - это мусор,

внешние 1. Из связанных с уже учтенными объектами

кейс признак признак класс

2. Займемся содержанием - то есть

3. Главные формы - это

4. И мы помним, что все это требует разметки

t Она же «умное пространство

2 Главные составляющие среды - это

1. средства сбора потоковых данных и данных разметки.

twin 3. Ключевой путь развития сред такого типа- это

1. Путь от цифрового следа к цифровому двойнику

4. Среда - это гибкое решение.

1. Модули могут конкурировать

Аттюн - БОС упражнение (видео на аттюне)

БОС практика (КГР)

1. Выбрать первое упражнение курса БОС

Демонстрация интерфейса преподавателя.

1. Структура курсов и упражнений

БОС в составе группы с групповой

Демонстрация интерфейса преподавателя в

1. Настройка калибровки сигнала

Демонстрация работы с индексами на примере

Timeliner - это веб-сервис, который позволяет в

— сделать аудио запись,

— быстро подключить других участников встречи,

— сослаться на материалы уже проведенных

Навигация по аудиозаписям, комментариям и

Практика разметки содержания - timeliner 1.

Обнаружение объектов в поле

This paper explores the potential for using

MULTIMEDIA IMPLICIT TAGGING USING EEG SIGNALS Mohammad

▶ Мониторинг базовых психических

● Сохранение биометрического, аудио и

● Отпечатки психофизики лучших практик

The psychophysiological requirements

● Трансляция событий по API

● Гибридный Интеллект для Эффективного

● Обработка данных при помощи

● Трансляция данных по API