Взаимодействие сообществ и конфликты в сети интернет

Шриджан Кумар (Srijan Kumar) Стэнфордский Уильям Л. Гамильтон (William L. Hamilton)

университет, США srijan@cs.stanford.edu Стэнфордский университет, США
wleif@stanford.edu
Юре Лесковец (Jure Leskovec) Стэнфордский
университет, США jure@cs.stanford.edu Дэн Джурафски (Dan Jurafsky) Стэнфордский университет, США
jurafsky@stanford.edu
ФИЛЬМЫ
ПОПУЛЯРНОЕ/
РЕЗЮМЕ МЕМЫ

На веб-платформах пользователи объединяются в сообщества. МУЗЫКА

Данные сообщества могут взаимодействовать друг с другом, что
часто приводит к конфликтам и токсичным взаимодействиям. ГОРОДА
Однако мало что известно о механизмах взаимодействия сообществ
и о том, как они влияют на пользователей.
В рамках настоящего исследования мы изучили взаимодействия ИГРЫ
между 36 000 сообществ на Reddit, обращая особое внимание на
случаи, когда пользователи в рамках одного сообщества испытывают КОММЕРЦ
негатив, который заставляет их писать комментарии в другом
сообществе. Мы определили, что такие конфликты, как правило,
ПСИХОЛОГИЯ/
инициируются небольшим количеством сообществ: менее 1%
arXiv:1803.03697v1 [cs.SI] 9 марта

сообществ начинают 74% конфликтов. Хотя конфликты, как
правило, разжигаются очень активными членами сообщества, в их
распространении участвуют значительно менее активные члены. Мы
обнаружили, что конфликты характеризуются возникновением эхо-
камер, где пользователи в основном общаются с другими
пользователями из своего сообщества. В долгосрочной перспективе
конфликты имеют неблагоприятные последствия и снижают общую
активность пользователей в сообществах, подвергшихся атаке.
В рамках нашего анализа взаимодействия пользователей также
предлагаются стратегии смягчения негативного воздействия
конфликтов, например, увеличение прямого взаимодействия между
атакующими и защищающимися. Более того, мы способны сделать
точный прогноз вероятности возникновение конфликта благодаря
созданию новой модели LSTM (долгая краткосрочная память),
которая включает в себя графические вложения, пользователей,
сообщества и текстовые функции. Эта модель может использоваться
для создания системы раннего предупреждения для модераторов
сообщества в целях предотвращения конфликтов. В целом,
настоящее исследование представляет собой основанный на данных
взгляд на взаимодействие и конфликты между сообществами и
показывает пути построения более здоровых онлайн-сообществ.
Справочный формат Ассоциации вычислительной техники
(ACM):
Шриджан Кумар, Уильям Л. Гамильтон, Юре Лесковец и Дэн
Джурафски. 2018 г. Взаимодействие сообществ и конфликты в сети
интернет На WWW 2018: Конференции World Wide Web 2018 года, 23-
27 апреля 2018 г., Лион, Франция. ACM, Нью-Йорк, штат Нью-Йорк,
США, 11 страниц. https://doi.org/10.1145/3178876.3186141
1 ВВЕДЕНИЕ
Пользовательские сообщества являются важным компонентом
многих веб-платформ, на которых пользователи выражают свои
идеи, мнения и обмениваются информацией. Такие сообщества не
только представляют собой площадку для внутреннего
взаимодействия между членами одного и того же сообщества,
они также способствуют внешним взаимодействиям, когда
Данное исследование опубликовано на основании международной
лицензии Creative Commons 4.0 с требованием указания авторства (CC BY
4.0). Авторы оставляют за собой право публиковать данное исследование на
своих личных и корпоративных веб-сайтах с указанием соответствующего
первоисточника.
Конференция WWW 2018, 23–27 апреля 2018 г., Лион, Франция
© 2018 IW3C2 (Комитет Международной конференции World Wide Web),
опубликовано на основании лицензии Creative Commons CC BY 4.0.
ACM ISBN 978-1-4503-5639-8/18/04.
https://doi.org/10.1145/3178876.3186141
ПРОТИВОРЕЧИВЫЕ
СОВЕТ
ВОПРО
СПОРТИВНЫЕ
ПОРНОГРАФИЯ
ТЕХНОЛОГИИ
Рис. 1: Сообщества в Reddit: каждая точка обозначает
сообщество. В отличие от голубых точек, в красных
точках зарождается большее количество конфликтов.
Сообщества отображаются путем использования
информации о сообществе и его участниках, как
описано в Разделе 6. Максимальная наглядность
графика обеспечивается за счет использования
цветной картинки.
члены одного сообщества взаимодействуют с членами другого
сообщества. Исследования динамики внутреннего
взаимодействия в среде офлайн показали, что внутреннее
взаимодействие может быть положительным - приводящим к
обмену информацией и идеями [6, 22, 65, 70] - или
отрицательным, то есть приводящим к открытым
конфликтам между членами сообщества [31, 58, 75].
Учитывая, что на веб-платформах преобладает
взаимодействие на уровне сообществ, понимание его
механизмов и влияния на пользователей важно для
содействия позитивному взаимодействию между
сообществами и уменьшения негативного воздействия
внутренних конфликтов на пользователей.
Однако анализ внешнего взаимодействия и конфликтов в
значительной степени отсутствует в предыдущем
исследовании веб-сообществ, которое, в первую очередь,
сосредотачивается на обнаружении сообществ [18, 80],
взаимодействии внутри отдельных сообществ [38, 47, 49] и
на том, как пользователи распределяют свое внимание
между целой гаммой сообществ [26, 76, 83]. Более того,
существующие исследования в области социальной
психологии на тему конфликтов между небольшими
группами в лабораторных условиях [31, 70, 75] не дают нам
возможности детально проследить процесс зарождения
индивидуальных конфликтов в сети, не описывают детально
поведение
 Исходное
сообщество
пользователей в процессе таких взаимодействий и влияние
таких конфликтов на их участников.
Следствием этого методологического ограничения является
отсутствие инструментов для прогнозирования и смягчения
конфликтов между сообществами в крупномасштабных веб-
средах. Случаи харассмента, «бригейдинга» (организованная
совместная онлайн-атака группы лиц на одного человека или
меньшую группу) или «троллинга» одного онлайн-сообщества по
отношению к другому неизбежны [23, 28, 51], но каким образом
сообщества могут защититься от этих атак? Исследования
«сближающихся эхо-камер» [21] и положительных результатов
межгруппового диалога [5, 64] предполагают, что прямое
взаимодействие может быть эффективным для смягчения таких
конфликтов, но также достаточно свидетельств, что лучшая защита -
просто игнорировать антисоциальное поведение атакующего
сообщества [7]. Итак, что эффективнее в конфликтах веб-сообществ -
игнорировать и изолировать атакующих пользователей или
напрямую взаимодействовать с ними? В рамках настоящего
исследования мы даем ответ на эти вопросы.
Настоящее исследование. Мы обеспечили крупномасштабный
обзор межгрупповых взаимодействий и конфликтов через призму
Reddit, популярного веб-сайта, на котором пользователи создают
основанные на интересах сообщества, называемые сабреддитами, и
участвуют в них. Мы проанализировали данные за 40 месяцев,
содержащие 1,8 миллиарда комментариев, сделанных более чем 100
миллионами пользователей из 36 000 сообществ [3].
Естественно, нет очевидной статистики по тому, в какой момент
сообщества взаимодействуют и атакуют друг на друга. Ключевым
методологическим нововведением нашей работы является факт
выявления и анализа конкретных примеров взаимодействия и
конфликта между сообществами: мы выявляем случаи, когда
сообщение в одном «исходном» сообществе ссылается на сообщение
в другом «целевом» сообществе, после чего мы создаем нулевую
модель активности пользователей для выявления случаев, когда
данные гиперссылки мобилизуют значительное количество
пользователей для написания комментариев к целевой публикации.
Мы также используем поставленные пользователями ярлыки, чтобы
классифицировать эмоциональный подтекст таких перекрестных
постов, чтобы выявить случаи негативной мобилизации, когда
пользователи были явно мобилизованы негативными
сообщениями.
В качестве примера такой негативной мобилизации можно привести
следующий пост в сообществе «r/Теория заговора», который критическим
образом ссылается на пост в сообществе «r/Документальные фильмы»:
Только посмотрите, как промывают мозги этим идиотам в
Документальных фильмах. Серьезно, никто из них не готов
даже ПРЕДПОЛОЖИТЬ, что наше собственное правительство
организовало теракты 11 сентября.
Все они на 100% уверены, что за всем этим стояли «террористы», и
все умные люди, которые с этим не согласны, сталкиваются с
таким количеством негатива, что их посты скатываются в
рейтинге на глубину ада. Просто позор. Хотелось бы, чтобы
люди знали, о чем они говорят. Вот ссылка [ПЕРЕКРЕСТНАЯ
ССЫЛКА].
Этот пост привел к тому, что несколько участников r/ Теории
заговора разместили гневные и оскорбительные комментарии к
посту в сообществе r/Документальные фильмы.
Мы приводим основанный на данных взгляд на такие негативные
мобилизации, которые можно условно разделить на три этапа (рис.
2). Первый этап - это инициирование: пользователь в исходном
сообществе публикует перекрестную ссылку на целевое сообщество,
что (потенциально) мобилизует подмножество пользователей
(рисунок 2, слева). Второй этап - это взаимодействие: после того,
как сообщение с перекрестной ссылкой мобилизовало
подмножество пользователей, атакующие начинают
комментировать цепочку комментариев целевого сообщения и
взаимодействовать с членами целевого сообщества (то есть с
защищающимися; Рисунок 2, посередине). Заключительный этап -
воздействие: даже после окончания периода негативной
мобилизации, событие может иметь долгосрочное влияние на
поведение атакующих и защищающихся пользователей (рис. 2,
справа). Путем анализа того, как тысячи негативных мобилизаций
Целевое
сообщество
Перекрестн
ая ссылка
Линия
времени
Инициирование Взаимодействие Воздействие
Рис. 2: Хронология взаимодействий: взаимодействие
сообществ можно разделить на три этапа: (i) инициирование,
когда создается перекрестная ссылка от исходного
сообщества к целевому сообществу,
(ii) взаимодействие, когда члены исходного сообщества
взаимодействуют с теми, кто находится в целевом сообществе, и
(iii) долгосрочное воздействие, когда некоторые члены
исходного сообщества могут оставаться в целевом сообществе, а
некоторые члены целевого сообщества могут из него выйти.
проходят через эти три этапа, мы смогли охарактеризовать типы
пользователей и сообществ, которые инициируют конфликты между
сообществами и участвуют в них, и описать возможные стратегии
смягчения негативных последствий, которые могут использоваться
защищающимися сообществами.
Инициирование мобилизации. Наши результаты показывают,
что небольшая группа сообществ ответственна за большинство
негативных мобилизаций: 74% негативных мобилизаций
инициируются всего 1% исходных сообществ. Более того, мы
обнаружили, что эти взаимодействия обычно происходят между
очень похожими сообществами. На рисунке 1 показана изученная
двумерная социальная карта сообществ Reddit (см. подробности в
разделе 6), где каждая точка является сообществом, а красный
цвет точки указывает на долю перекрестных ссылок с
негативными комментариями, которые в нем создаются.
Относительно немногочисленные сообщества, инициирующие
конфликты (т. е. сообщества, отмеченные красным цветом),
сконцентрированы в трех плотных регионах данной социальной
карты Reddit. Удивительным образом, на уровне пользователей мы
наблюдаем, что, хотя негативные мобилизации инициируются
высокоактивными членами исходного сообщества, фактические
участники негативных мобилизаций - это значительно менее
активные пользователи.
Взаимодействия пользователей в процессе мобилизаций.
Анализируя ответы пользователей на целевые цепочки
комментариев в процессе негативных мобилизаций, мы получаем
детальное представление о динамике поведения пользователей в
конфликтах между сообществами. Мы создаем два варианта
алгоритма ссылочного ранжирования (PageRank), которые
измеряют информационный поток с точки зрения атакующих и
защищающихся соответственно. Используя эти инструменты, мы
обнаружили, что важным маркером негативной мобилизации
является эффект эхо-камеры, где участники преимущественно
взаимодействуют с членами своего «домашнего» сообщества, т. е.
атакующие общаются с другими атакующими, а защищающиеся - с
другими защищающимися. Более того, мы обнаружили, что
атакующие склонны выбирать и коллективно «нападать» на
небольшую группу защищающихся.
Воздействие мобилизации. Негативная мобилизация оказывает
долгосрочное неблагоприятное воздействие на вовлеченных
пользователей и сообщества. Мы обнаружили, что негативная
мобилизация приводит к эффекту «колонизации», когда
защищающиеся перестают активно участвовать в целевом
сообществе, а атакующие, наоборот, становятся более
активными. Однако, результаты проведенного нами анализа
взаимодействий на уровне пользователя предлагают возможный
путь смягчения таких неблагоприятных последствий: они
показывают, что уменьшение эффекта эхо-камеры,
сопровождающееся характерным усилением взаимодействия
между атакующими и защищающимися, и увеличение степени
использования защищающимися гневных выражений по
отношению к атакующим связано со снижением степени
колонизации и активизацией участия защищающихся в
сообществе в будущем. Таким образом, похоже, что повышенное
взаимодействие и
 более жесткий отпор могут быть более эффективной стратегией
смягчения последствий, нежели игнорирование или изоляция
атакующих пользователей.
Прогнозирование мобилизаций. На завершающем этапе
исследования мы разработали модели, позволяющие предсказать,
приведет ли перекрестная ссылка к мобилизации. Наша модель
объединяет последние достижения в области глубинного обучения в
социальных сетях с новым вариантом модели LSTM для
рекуррентной нейронной сети, которую мы называем «социально
ориентированной» моделью LSTM. Наша модель достигает уровня
AUC (площадь под ROC-кривой) 0,76 при прогнозировании того,
приведет ли перекрестная ссылка к мобилизации, что значительно
превосходит достигающий AUC 0,67 уровень прогнозирования
стандартных моделей, основанных на функциях, разработанных
экспертами. Данная модель может быть использована на практике
для создания систем раннего предупреждения
В целом результаты нашего исследования проливают свет на то,
как в сети происходит взаимодействие между сообществами и
конфликты, и открывают путь к разработке и поддержанию более
здоровых онлайн-платформ.
2 ДАННЫЕ И ТЕРМИНОЛОГИЯ
Пользователи Reddit создают и присоединяются к сообществам по
интересам, называемым сабреддитами (например,
«r/Документальные фильмы» или «r/Звездные войны»), в таких
сообществах они публикуют и комментируют контент (например,
изображения, видео, ссылки на статьи и так далее). В целях
анализа взаимодействия между такими сабреддитами мы
используем данные о публикациях и комментариях в Reddit за 40
месяцев с января 2014 года по апрель 2017 года [3]. Весь анализ
основан на общедоступных данных [3], соответствующие коды и
данные доступны на сайте нашего проекта [1].
Поскольку в Reddit нет явных ярлыков для взаимодействия между
сообществами, мы используем гиперссылки, когда пост в одном
сообществе (которое мы называем исходным) ссылается на
сообщение в другом сообществе (которое мы называем целевым).
Такие перекрестные ссылки инициируют (возможное)
взаимодействие между двумя сообществами (т. е. это первый этап
«инициирование» на временной шкале на Рисунке 2). Следуя по
перекрестной ссылке, пользователи могут переходитьиз исходного
сообщества, чтобы прокомментировать связанный пост в целевом
сообществе, в результате чего происходят «взаимодействия» между
сообществами (второй этап на рисунке 2). Если убрать повторяющиеся
перекрестные ссылки, мы получаем 137 113 перекрестных ссылок между
36 000 сообществ, это и есть тот набор данных, который мы
анализируем.
Активность пользователей на Reddit в основном происходит в
обсуждениях под постами. Чтобы выявить явный эффект
перекрестных ссылок и контролировать различия на уровне
сообщества и временные погрешности в рамках нашего анализа
данных цепочек, мы использовали процесс сопоставления для
обеспечения точки отсчета для постов, которые связаны с
перекрестными ссылками (т.е. исходный пост, содержащий
перекрестную ссылку и целевой пост, на который
осуществляется переход по ссылке). В частности, для каждого
поста p, который мы анализируем, мы выбираем совпадающий
(контрольный) пост того же сообщества, который был создан
ближе всего по времени к p и не несет в себе исходящих или
входящих перекрестных ссылок. Временное ограничение
гарантирует, что контролируются ежечасные, ежедневные или
еженедельные изменения в поведении пользователей, а выбор
контрольных постов из соответствующих сообществ гарантирует,
что результаты не будут искажены из-за разноуровневых сообществ.
Для целей нашего анализа мы также определяем членов
исходного, S, и целевого, T, сообщества в момент публикации каждой
перекрестной ссылки. В частности, для перекрестной ссылки,
опубликованной в день d, мы определяем членов сообщества S (и
соответственно, T) как пользователей, которые оставили хотя бы один
комментарий в сообществе S (и соответственно, T) за 30 дней до дня d,
но которые
Рис. 3: Перекрестные ссылки приводят к увеличению количества
комментариев, которые члены исходного сообщества оставляют в целевой
цепочке комментариев.
Чтобы обеспечить базовое сравнение таких пользователей, мы также
используем процесс сопоставления. Для каждого члена сообщества S,
который комментирует целевую цепочку комментариев в
процессе мобилизации, мы случайным образом выбираем
сопоставимого члена сообщества S, который ее не
прокомментировал. Такой соизмеримый пользователь
выбирается из числа пользователей, которые оставили такое же
количество комментариев за последние 30 дней, что и исходный
участник. Аналогичный процесс используется для сопоставления
членов сообщества T.
2.1 Определение мобилизаций.
В начале мы занимались выявлением случаев мобилизации. Мы определяем
мобилизацию как случаи, когда перекрестная ссылка приводит к
увеличению количества комментариев текущих участников исходного
сообщества в ветке обсуждения под целевым постом. Выявление таких
мобилизаций является сложной задачей, потому что простой подсчет
количества членов исходного сообщества, которые комментируют целевую
цепочку комментариев, не учитывает, что текущие члены исходного
сообщества могут комментировать посты в целевом сообществе случайным
образом, а не в результате публикации перекрестной ссылки. Поэтому, чтобы
определить случаи, когда участники исходного сообщества мобилизуются в
результате публикации перекрестной ссылки, мы сравниваем
полученный результат с нулевой моделью, которая измеряет
ожидаемую частоту комментариев участников исходного
сообщества в целевой цепочке комментариев. Чтобы учесть
изначальную популярность постов, создается нулевая модель с
использованием комментариев, сделанных к контрольным
целевым постам, ограничиваясь случаями, когда целевые и
контрольные посты имеют примерно равное количество
комментариев до того, как будет сделана перекрестная ссылка (в
в частности, где разница в количестве комментариев меньше 5).
Мы сравниваем количество комментариев, сделанных
участниками исходного сообщества в двух потоках, в течение 12-
часов до и после создания перекрестной ссылки.
На рисунке 3 показано изменение среднего количества
комментариев, сделанных участниками исходного сообщества в целевом
потоке, на который ведет перекрестная ссылка, по сравнению с
контрольным потоком, ограничиваясь теми парами потоков, количество
комментариев в которых до публикации перекрестной ссылки
одинаково. Однако после публикации перекрестной ссылки
наблюдается увеличение количества комментариев в обеих цепочках
комментариев: в среднем контрольные цепочки комментариев
показывают увеличение в 1,6 раза относительно «до и после», в то
время как целевые цепочки комментариев соответствующих
сообществ гарантирует, что на результаты нашего исследования не
влияют споры между членами одного сообщества.
1
Важно обратить внимание на то, что в рамках анализа истории пользователей мы всегда убираем комментарии,
сделанные в течение 3 дней от момента публикации перекрестной ссылки, чтобы устранить возможные погрешности.
Наш анализ сосредоточен на исключительных членах двух взаимодействующих сообществ, исходя из результатов исследований, проведенных в
рамках социальной психологии [31, 70, 75], где участники всегда являются исключительно членами одного из двух сообществ. Другие
типы пользователей, такие как члены обоих сообществ, объединяют в себе тенденции обоих сообществ, в то время как новые
пользователи или пользователи, которые не являются членами данных сообществ, практически не дополняют информацию в
рамках исследования. Их влияние может быть изучено в рамках будущих исследований.
демонстрируют увеличение количества комментариев в 8,8 раз.
× ×
Увеличение контрольного уровня в 1,6 раза для контрольных
цепочек комментариев иллюстрирует ожидаемое увеличение
количества комментариев членами исходного сообщества в рамках
нашей нулевой модели (т.е. независимо от публикации
перекрестных ссылок). Основываясь на этих наблюдениях, мы
определяем мобилизацию как случаи, когда перекрестная ссылка
приводит к увеличению количества комментариев членов исходного
сообщества в целевом потоке, которое
× превышает контрольный
уровень (т. е. увеличение в >1,6 раз после публикации
перекрестной ссылки). В результате, мы получаем в общей
сложности 22 075 мобилизаций, что составляет около 16% от
общего набора данных по перекрестным ссылкам, которые мы
изучаем.
Классификация эмоциональной составляющей мобилизации
Чтобы дополнительно классифицировать взаимодействия, мы разбиваем
перекрестные ссылки, исходя из эмоциональной окраски исходного
сообщения. Явно негативное намерение исходного поста по отношению к
посту в целевом сообществе может сигнализировать о стремлении
провести грань между «нами» и «ими» [30], которое является
фундаментальным компонентом любого межгруппового конфликта
[73, 75].
Мы привлекли к работе фрилансеров с площадки Mechanical Turk,
которые получили пары исходных и целевых постов и должны были
обозначить эмоциональную окраску исходного поста по отношению к
целевому посту как отрицательную, нейтральную или положительную.
Фрилансеры сообщили об очень небольшом количестве случаев позитивных
постов, поэтому мы объединили посты с позитивной и нейтральной
эмоциональной окраской. Мы разделили на две категории (отрицательный
или нейтральный эмоциональный окрас) случайно отобранный набор из
1020 пар, причем мнение людей, проставляющих данные метки, совпало в
более чем 95% случаев. Затем, мы преобразовали текст исходного поста 3 в
большой набор характеристик: лексические особенности из
словарей программ для текстового анализа LIWC [77] и VADER
[36], а также стилистические лингвистические особенности, такие
как средняя длина слова, оценка удобочитаемости и пунктуация.
4Путем использования классификатора случайного леса (Random Forest)
наша модель классификации достигает точности 0,80 при 10-кратной
перекрестной проверке. 5 Мы использовали этот классификатор, чтобы
классифицировать оставшиеся исходные сообщения, и он пометил 8% из
них как негативные.
Сопоставляя эту оценку эмоциональной окраски с
мобилизацией, мы называем мобилизации, инициированные
негативными постами, негативными мобилизациями (всего 1 809
случаев), а те, которые инициируются нейтральными постами, -
нейтральными мобилизациями (всего 20 266 случаев).
Здесь мы также определяем два термина: атакующие - это
члены исходного сообщества, а защищающиеся - это члены
целевого сообщества, которые комментируют (связанный
перекрестной ссылкой) целевой поток в течение негативной
мобилизации. Обратите внимание, что мы используем данные
термины, поскольку они ясны и интуитивно понятны. Однако не все
«атакующие» обязательно публикуют негативные комментарии
(хотя мы видимо, что чаще всего они именно это и делают (см.
Раздел 4)). Точно так же «защищающиеся» могут и не защищать
позицию, высказанную в посте, во время негативной мобилизации.
Данная терминология используется для простоты понимания.
3 ИНИЦИИРОВАНИЕ МОБИЛИЗАЦИИ
Мы начинаем наши наблюдения с первого этапа, инициирования
взаимодействия между сообществами, как показано на рисунке 2.
Мы стремимся охарактеризовать свойства ключевых субъектов,
участвующих в данном взаимодействии: двух сообществ и их
участвующих членов.
3 Мы удалили слова, часто встречающиеся в исходных и целевых постах, поскольку исходное
сообщение может цитировать (часть) целевого сообщения.
4 Полный перечень характеристик см. в онлайн приложении к исследованию [1].
5 Мы использовали пакет программного обеспечения scikit-learn [60] с «лесами», состоящими из
400 «деревьев».
Рисунок 4: Небольшое количество сообществ инициируют
большинство конфликтов.
3.1 Какие сообщества инициируют негативные мобилизации?
В отличие от лабораторных исследований, в которых участвуют
две группы, между которыми выявляются взаимодействия и
межгрупповые конфликты [31, 70, 75], на веб-платформах
существуют тысячи сообществ, которые потенциально могут
взаимодействовать между собой. Итак, какие из этих сообществ
склонны инициировать негативную мобилизацию, и какие
сообщества подвергаются их атакам?
Начнем с анализа свойств исходного сообщества. Мы обнаружили, что
большинство негативных мобилизаций инициируется небольшим
количеством сообществ (см. Рисунок 4) - на менее 0,1% и 1% исходных
сообществ приходится 38% и 74% негативных мобилизаций,
соответственно. Это означает, что это небольшое количество
сообществ является центром негативной мобилизации
пользователей. Этот вывод перекликается с выводами об
антисоциальном поведении, которые показывают, что такое
поведение, как троллинг, приходится на небольшое количество
сообществ [12], и что принятие профилактических мер, таких как
запрет сообществ с особенно вопиющим поведением, может стать
эффективным инструментом сдерживания такого поведения. [10].
После этого, мы проанализировали сходства между исходными
и целевыми сообществами, задействованными в мобилизации.
Предыдущие исследования выдвинули предположения, что в
фокусе конфликтующих сообществ, вероятно, будут тематически
схожие области [14, 25], в рамках данного исследования мы
проанализировали эту гипотезу. Глядя на пару взаимодействующих
сообществ, мы количественно оцениваем сходство двух сообществ с
точки зрения их сходства по показателю TF-IDF постов. 6Мы
обнаружили, что негативная мобилизация (и мобилизация в целом), как
правило, происходит между очень похожими сообществами - среднее
сходство содержимого TF-IDF между исходными и целевыми
сообществами при мобилизации в 1,5 раза выше, чем среднее значение
× показателя между случайными парами сообществ (0,51 к 0,34; р
данного
<0,001).7 Изучение этих пар сообществ вручную показывает, что они,
как правило, сосредотачиваются на схожих темах, но имеют разные
взгляды на предмет (например, r/Теория заговора и r/Мировые
новости или r/ Права человека и r/Против прав человека), что
соответствует логике предыдущих обсуждений этого феномена [14,
25].
3.2 Какие пользователи участвуют в негативных
мобилизациях?
В сетевых сообществах, состоящих из тысяч или даже миллионов
пользователей - с разными уровнями участия - только небольшая доля
6 Значение показателя сходства TF [69] вычисляется для всех
сообщений постов
сообществ с использованием первых 10 000 слов с точки зрения общего рейтинга
частоты использования на Reddit.
7 Все представленные значения p основаны на критерии знаковых рангов Вилкоксона
(Wilcoxon) для парных сравнений
и, в иных случаях, на U-критерии Манна-Уитни [71].
Рис. 5: Успешные негативные мобилизующие посты создаются
очень активным «ядром» исходного сообщества.
пользователей будет фактически вовлечена в любую отдельную
негативную мобилизацию. Итак, что характеризует вовлеченных
пользователей, по сравнению с теми, кто не вовлечен? Мы отвечаем
на этот вопрос путем анализа пользователя, который создает пост с
перекрестной ссылкой, инициируя, таким образом, негативную
мобилизацию, а также пользователей, которые мобилизуются и
участвуют в получившемся обсуждении.
Анализ авторов перекрестных ссылок, мы видим, что
негативные сообщения с перекрестными ссылками создаются
пользователями, которые на 10% более активны в исходном
сообществе по сравнению со случайно выбранным соизмеримым
пользователем (p <0,001, рисунок 5 (a); подробную информацию о
процессе сопоставления см. в Разделе 2). Поскольку не все
перекрестные ссылки приводят к мобилизации, мы также
обнаружили, что пользователи, которым удается успешно
мобилизовать других, значительно более активны, чем те, кому это
не удается (p <0,001). Таким образом, мы видим, что очень активные
члены исходного сообщества несут ответственность за
инициирование негативных мобилизаций. Аналогичные
наблюдения можно сделать и в случае нейтральных мобилизаций.
Но кто на самом деле несет ответственность за негативную
мобилизацию? Это те же очень активные члены исходного
сообщества? Чтобы ответить на этот вопрос, мы сравниваем
мобилизованных членов атакующего исходного сообщества
(атакующих) с другими пользователями сообщества. Мы
обнаружили, что атакующие на самом деле значительно менее
активны в исходном сообществе (доля прошлых комментариев в
исходном сообществе составляет 0,30 к 0,17, p <0,001). Мы также
обнаружили, что атакующие выражали больше «гнева» в своих
прошлых комментариях; 8 атакующие используют гневные слова (из
словаря LIWC [77]) в 1,2 раза чаще, чем аналогичные участники
сообщества (0,31×к 0,26, p <0,001).
Точно так же анализ участников целевого сообщества, которые были
мобилизованы для защиты во время данных атак, показывает
аналогичные результаты - защищающиеся менее активны в целевом
сообществе (доля прошлых комментариев в целевом сообществе
составляет 0,27 к 0,19, p <0,001) и используют в 2,2 раза чаще
гневные слова, чем аналогичные участники сообщества (0,32 к
×
0,145, p <0,001). Таким образом, мы видим, что защищающиеся и
атакующие пользователи похожи: они, как правило, менее
активны в своих домашних сообществах и в прошлом
использовали больше гневных слов.
В целом, мы обнаружили, что негативные мобилизации
инициируются горсткой сообществ, которые атакуют очень похожие
на них сообщества. Хотя эти взаимодействия инициируются очень
активными пользователями исходного сообщества, атакующие и
защищающиеся, которые фактически вовлекаются в негативную
мобилизацию, гораздо менее активны, по сравнению с ними - это
наблюдение соответствует результатам психологических
исследований, показывающих, что члены периферийной группы
более склонны к участию в публичных демонстрациях различий
между «нами» и «ими» [57]. В предыдущих исследованиях
утверждалось, что этот феномен связан с желанием периферийных
членов сообщества повысить свой статус внутри группы (там же),
удивительно, что этот эффект наблюдается даже на Reddit, где
вместо настоящих имен используются псевдонимы.
8Этот показатель подсчитывается на основе комментариев, сделанных за последние 30
дней.
Рис. 6: Эхо-камеры образуются во время
негативной мобилизации: у атакующих более высокий
рейтинг А по PageRank, чем у защищающихся, у которых
более высокий рейтинг D по PageRank.
4 ВЗАИМОДЕЙСТВИЯ ПОЛЬЗОВАТЕЛЕЙ В ПРОЦЕССЕ МОБИЛИЗАЦИЙ
Теперь, когда мы охарактеризовали субъекты, вовлеченные в
негативную мобилизацию - как сообщества, так и пользователей,
- необходимо охарактеризовать динамику взаимодействия
пользователей во время этих событий. Общаются ли атакующие
и защищающиеся друг с другом, или они создают отдельные
обсуждения, где разговаривают с другими похожими на них
пользователями, воспроизводя эффект эхо-камеры?
Мы отвечаем на эти вопросы путем анализа сети ответов пользователей в
обсуждениях целевого поста на втором этапе мобилизации, то есть на
этапе взаимодействия (см. Рисунок 2). Этот инструмент дает нам
уникальную возможность изучить тысячи очень разнообразных
взаимодействий между пользователями во время негативной
мобилизации, что обеспечивает абсолютно новый уровень
масштабности и детализации для изучения конфликтов между
сообществами [74].
Негативные мобилизации приводят к негативным
взаимодействиям. Мы обнаруживаем, что негативная
мобилизация отрицательно влияет на эмоции и степень
вежливости в рамках обсуждения целевого поста. Мы сравниваем
комментарии, сделанные к целевым потокам негативных
мобилизаций и к сопоставимым потокам (подробную
информацию о процессе сопоставления см. в Разделе 2). Целевые
цепочки комментариев с большей вероятностью будут содержать
гневные слова (увеличение на 44%; p <0,001) и на 25 пп больше
×
вероятность, что эти комментарии будут удалены модератором
(процент удаления 0,205 против 0,008; p <0,001). 9 Для
сравнения, эти показатели резко снижаются в случае
нейтральной мобилизации (т. е. не обнаруживается значительное
изменение вероятности удаления комментария, p> 0,05).
Количественная оценка эхо-камер при негативной
мобилизации.
Общаются ли атакующие и защищающиеся между собой во время
негативной мобилизации? Или они разделяются на
противоборствующие лагеря, проявляя, таким образом,
гомофилию и создавая эхо-камеры? Мы отвечаем на этот вопрос,
вычленяя сети ответов от одного пользователя - другому в
рамках комментариев, сделанных к целевому потоку. Сеть
направлена и взвешена, причем вес ответа от пользователя i
пользователю j соответствует количеству раз, когда i
непосредственно ответил на один из комментариев j.
Наш анализ показывает наличие гомофилии и эффекта эхо-
камер, в рамках которых атакующие преимущественно
взаимодействуют с другими атакующими, а защищающиеся - с
другими защищающимися.
9 Обратите внимание, что этот результат также является статистически
значимым после макро-усреднения коэффициентов удаления
комментариев по сообществам, то есть этот показатель не связан с тем, что
целевые сообщества могут иметь изначально более высокие коэффициенты
удаления.

Например, путем исследования прямых взаимодействий между
пользователями (т. е. случаев, когда i ответил j или наоборот), мы
обнаружили, что атакующие взаимодействуют с другими
×
атакующими в 2 раза больше, чем с защищающимися, в то время
как защищающиеся взаимодействуют с другими
защищающимися на 20 больше, чем с атакующими (p <0,001). Мы
×
количественно оценили этот эффект эхо-камеры, используя два
варианта оценки PageRank [59]: PageRank защищающегося (D-
PageRank) и PageRank атакующего (A-PageRank), которые
количественно определяют центральную роль пользователя в сети
ответов с точки зрения защищающихся и атакующих
соответственно. Как и в классической статистике PageRank [59],
значения D и A по PageRank для пользователя i соответствуют
вероятности
случайного посещения узла, коррелирующего с i, причем такое
случайное посещение следует по определенным ступеням с
вероятностью перехода, пропорциональной весу и «переходит»
в новую случайную начальную точку с вероятностью 0,25 на
каждом шаге. Однако, в отличие от стандартного PageRank, мы
вычисляем D-PageRank и A-PageRank, ограничивая набор
возможностей такого перехода узлами защищающихся и
узлами атакующих соответственно, аналогично подходу,
используемому Гаримелла и соавт. (Garimella et al). для
количественной оценки противоречивых вопросов [20].
На рисунке 6 показаны значения данных показателей. Мы
видим, что у атакующих значительно более высокий рейтинг A-
PageRank, то есть они с большей вероятностью окажутся
вовлеченными при случайном посещении узла, начиная с
момента публикации комментариев других атакующих, - в то
время как защищающиеся имеют значительно более высокий
рейтинг D-PageRank. Таким образом, мы видим, что обсуждения
во время негативных мобилизаций, по-видимому, отмечены
разделением между атакующими и защищающимися, при
котором участники в основном общаются с другими членами
своего «домашнего» сообщества. Подобные эффекты эхо-камеры
были обнаружены во время вызывающих споры дискуссий в
социальных сетях [13, 16, 19, 67].
Атакующие группой «нападают» на защищающихся. Конечно,
несмотря на эффект эхо-камеры, описанный выше, атакующие и
защищающиеся неизбежно будут вступать в прямое взаимодействие.
Но как выглядят такие взаимодействия? Изучая оценки A-PageRank
защищающихся, мы обнаруживаем, что, хотя 83% защищающихся
имеют ровно нулевой балл, очень небольшая часть защищающихся
(1,14%) имеет рейтинг A-PageRank, который как минимум в десять
раз превышает среднее значение среди всех атакующих и
защищающихся. Это сильно неравномерное распределение оценок A-
PageRank защищающихся указывает на то, что небольшая группа
защищающихся участвует в большинстве взаимодействий с
атакующими. Кроме того, мы обнаружили, что в комментариях
между атакующими и защищающимися используется очень гневный
язык - атакующие чаще используют гневные слова в общении с
защищающимися, чем в общении с другими атакующими (0,015 к
0,011; p <0,001), что также свойственно для защищающихся (0,017 к
0,014; р <0,001). В совокупности эти результаты говорят о том, что,
хотя атакующие не общаются с большинством защищающихся, они,
как правило, выделяют и в группе нападают на горстку
защищающихся.
В целом, мы обнаружили, что негативная мобилизация приводит
к созданию эхо-камер в целевой дискуссии, где атакующие в
основном общаются с другими атакующими, а защищающиеся - с
другими защищающимися. Но всякий раз, когда они общаются
между собой, они обмениваются очень гневными комментариями.
Более того, наш анализ показывает, что атакующие, как правило,
«объединяются в группы», чтобы вместе атаковать некоторых
защищающихся пользователей, в то время как другие
защищающиеся пользователи просто не взаимодействуют с
атакующими.
Изменение доли комментариев в
0,0 Негативная мобилизация
4 Нейтральная мобилизация
целевом сообществе
0,0
3
0,0
2
0,0 Атакующий Защищающийся
1
0,0
0
−0,
01
−0,
02
Рис. 7: Влияние негативной мобилизации: защищающиеся
становятся менее активными, а атакующие более активными
в целевом сообществе.
5 ВОЗДЕЙСТВИЕ МОБИЛИЗАЦИИ
Как было показано в предыдущем разделе, атакующие
объединяются в группы для нападения на защищающихся
пользователей во время негативных мобилизаций. Но влияют ли эти
атаки на вовлеченных пользователей в долгосрочной перспективе?
И что необходимо делать защищающимся, чтобы предотвратить
негативные последствия таких событий - должны ли они
игнорировать атакующих во время обсуждений или активно
взаимодействовать с ними? В этом разделе мы даем ответ на эти
вопросы в процессе анализа третьего этапа мобилизации (рисунок
2), то есть этапа воздействия, в рамках которого мы измерили
изменения в активности пользователей после завершения
конфликта.
5.1 Количественная оценка воздействия
Мы измерили влияние мобилизации после ее завершения по изменению
степени участия атакующих и защищающихся в целевом сообществе. Все
изменения измеряются как разница между средними уровнями активности
пользователей за 30 дней до начала мобилизации и в течение 30 дней после
окончания мобилизации (окончанием мобилизации считается период в
течение 3х дней после создания первоначального поста с перекрестными
ссылками). В качестве контрольной группы мы снова берем случайно
подобранных сравнимых пользователей (подробнее см. Раздел 2).
На рисунке 7 мы измеряем изменение (минус означает
показатель до мобилизации) доли комментариев, которые
атакующие и защищающиеся делают в целевом сообществе после
окончания негативной мобилизации (аналогичные значения
показаны для нейтральных мобилизаций). Положительное
(отрицательное, соответственно) изменение указывает на
повышенное (уменьшенное, соответственно ) участие в целевом
сообществе. Мы видим, что после негативных мобилизаций
атакующие чаще публикуют сообщения в целевом сообществе, а
защищающиеся публикуют сообщения реже (p <0,001), это
указывает на то, что негативные мобилизации часто приводят к
«колонизации», когда члены атакующего сообщества становятся
постоянными членами целевого сообщества. Такая колонизация
может привести к дальнейшим неблагоприятным последствиям для
целевого сообщества, поскольку входящие пользователи, как
правило, проявляют больше агрессии, по сравнению со средними
значениями, и склонны нарушать нормы сообщества (см. Раздел 4).
Напротив, нейтральная мобилизация приводит к «иммиграции»,
когда мобилизованные пользователи становятся более активными в
целевом сообществе, при этом не происходит никаких значительных
изменений для «защищающихся» (рис. 5). Более того, поскольку
мобилизованные пользователи в нейтральной мобилизации
становятся более цивилизованными (см. Раздел 4), этот эффект
может привести к увеличению позитивных взаимодействий
между сообществами, что является открытой областью для
будущих исследований.
 Сетка ответов при неуспешной защите Сетка ответов при успешной защите

Атакующие группой
«нападают» на
защищающихся.
Защищающиеся
вступают в борьбу с
атакующими и
Условные обозначения:
Атакующие сближаются с имеют более
Атакующий другими атакующими и высокий рейтинг D-
Защищающийся имеют более высокий PageRank
рейтинг A-PageRank.
(a)
(а)

Рисунок 8: (a) Две сетки ответов по двум реальным целевым потокам из анализируемых нами данных, показывающие ключевые
характерные различия между успешными и неуспешными системами защиты. При неуспешной защите атакующие «объединяются в
группы» для нападения на защищающихся; в то время при успешной защите защищающиеся взаимодействуют с атакующими
напрямую. При успешной защите: (b) защищающиеся больше отвечают атакующим, (c) A-PageRank защищающегося выше, (d) D-
PageRank атакующего выше, и (e) защищающиеся используют больше гневных слов в ответах атакующим.
5.2 Что делает защиту успешной? значения указывают на уменьшение (т. е. на неуспешную защиту)
Поскольку негативная мобилизация отрицательно сказывается на относительно ожидаемого контрольного изменения (рассчитанного
целевом сообществе, есть ли какие-либо способы предотвратить это? на основе показателей соизмеримых пользователей, согласно
Является ли игнорирование атакующих оптимальным способом, как в определению в разделе 2). Графики сглажены как скользящее ±
случае антисоциального поведения, такого как троллинг [7], или среднее (размер окна 5), чтобы не учитывать незначительные
прямое взаимодействие более эффективно, как предполагают теории отклонения. Вместе эти цифры показывают, что защита успешна,
снижения враждебности [5, 63, 64]? когда защищающиеся склонны вступать в прямой ожесточенный
Чтобы понять стратегии, которые могут быть полезны для диалог с атакующими, тем самым не позволяя им «объединиться в
смягчения этих неблагоприятных воздействий негативной группу» для атаки и разрушая эхо-камеры, которые обычно
мобилизации, мы сравнили случаи успешной и неуспешной защиты. образуются в процессе негативной мобилизации (см. Раздел 4). Мы
Мы определяем защиту как «успешную», когда защищающиеся приводим подробное объяснение этих показателей в следующих нескольких
становятся более активными в своем сообществе после того, как абзацах.
негативная мобилизация заканчивается, при этом «неуспешная» Хотя статистически значимого увеличения числа защищающихся
не происходит (p = 0,05), мы обнаружили, что успешная защита
защита - когда защищающиеся становятся менее активными. 10 Мы характеризуется значительным увеличением доли ответов
сравниваем 10% наиболее успешных и 10% наименее успешных защит и защищающихся в в отношении атакующих (Рисунок 8 (b); коэффициент
показываем различия в усредненной статистике по двум категориям. корреляции = 0,97 ). Кроме того, мы используем два новых варианта
На рис. 8 (а) показаны самые большие связанные компоненты двух PageRank, A-PageRank и D-PageRank, разработанные в рамках Раздела
реальных цепочек ответов из анализируемых нами данных - одна 4. Успешной защите соответствуют защищающиеся с более высоким
показывает пример неуспешной защиты, а другая - успешной защиты; A-PageRank (0,036 против 0,031, p <0,001; рисунок 8 (c)) и атакующие
приведены несколько разных параметров для наблюдения. На с более высоким показателем D-PageRank (0,052 против 0,028; p
прилагаемых рисунках 8 (b–e) показаны характерные различия между <0,001; рисунок 8 (d)). Таким образом, защищающиеся способствуют
успешной и неуспешной защитой в целом. По оси х на этих рисунках большему количеству дискуссий с атакующими для успешной
показывается среднее изменение (минус означает показатель до защиты, и между ними значительно больше перекрестной
мобилизации) в доле комментариев защищающихся в целевом коммуникации, что предотвращает образование эхо-камер.
сообществе после окончания негативной мобилизации - Но будет ли такое усиление перекрестной коммуникации
положительные значения указывают на увеличение доли (т. е. на способствовать цивилизованному диалогу или ожесточенным спорам?
успешную защиту), а отрицательные Мы ответили на этот вопрос, вычислив вероятность, что пользователи
10 Альтернативные определения «успешности», например, с учетом будут использовать «гневные» слова (из словаря LIWC [77]) в прямых
ответах атакующих защищающимся и наоборот. Мы обнаружили, что
качественности будущих комментариев, могут быть изучены в
последующих исследованиях.
 6.2
Рис. 9: Архитектура социально ориентированной модели LSTM.
при успешной защите защищающиеся используют больше гневных
слов по отношению к атакующим, чем атакующие по отношению к
защищающимся (0,017 против 0,015; p <0,05), в то время как при
неуспешной защите обе группы одинаково проявляют агрессию
по отношению друг к другу (p = 0,37). Это показывает, что в
случаях успешной защиты защищающиеся становятся более
агрессивными по отношению к атакующим. В целом, мы
обнаружили, что негативные мобилизации часто приводят к
«колонизации», при которой после окончания конфликта атакующие
становятся постоянными членами
целевого сообщества, а защищающиеся проявляют меньшую
активность в рамках данного сообщества. Однако мы
обнаружили, что этот негативный результат можно
предотвратить, если защищающиеся разрушают эхо-камеры и
вступают в прямые эмоциональные взаимодействия с
атакующими.
6 ПРОГНОЗИРОВАНИЕ МОБИЛИЗАЦИИ
Проведенный в предыдущих разделах анализ показал, что
негативная мобилизация способна иметь долгосрочные
негативные последствия. Итак, можем ли мы предсказать,
приведет ли пост к негативной мобилизации сразу после
публикации? Затем эффективная модель может быть
использована для создания системы раннего предупреждения,
позволяющей модераторам сообщества принимать
соответствующие меры предосторожности. В настоящем разделе
мы сосредоточимся именно на этой задаче прогнозирования.
Мы создаем новую “социально ориентированную” модель LSTM наряду с
базой на основе характеристик, предназначенной для сравнения. Для
прогнозирования наша модель глубокого обучения использует как текст
публикации, так и сеть взаимодействий пользователей с сообществом. Мы
покажем значительное превосходство нашей модели над базой на основе
характеристик для решения задачи по прогнозированию возможной
мобилизации пользователей вследствие публикации сообщения с
перекрестными ссылками.
6.1 Базовая модель на основе характеристик
В качестве базы мы создадим традиционную модель на основе
большого набора из 263 вручную созданных характеристик,
включая11
Характеристики публикаций: Статистические данные о
количестве лексики в публикации (например, полученные
благодаря LIWC [77] и VADER [36]) и значения сходства tf-idf
между содержанием публикации в исходном/конечном
сообществе. Пользовательские характеристики: Уровни
активности создателя публикации (например, доля постов в
целевом сообществе) и усредненные лексические
характеристики предыдущих публикаций пользователя.
Характеристики сообщества: сходство tf-idf между контентом в
исходном и целевом сообществах.
Данные характеристики используются не только в качестве
базы в модели случайного леса [60], но и в сочетании с
углубленной моделью в виде ансамбля, как это поясняется далее.
11 Полный перечень характеристик см. на веб-сайте проекта [1].
Встраивание текста, пользователей и сообществ
Хотя в моделях глубинного обучения обычно используется текстовая
информация, наши данные также содержат обширную социальную
информацию о пользователях и сообществах, которую мы можем
использовать в наших прогнозах. Поэтому мы конвертируем текст,
пользователей и сообщества в 300-мерные вложения, которые будут
использоваться в качестве входных данных для нашей модели глубинного
обучения. Для конвертации текста мы используем стандартные методы.
12Для осуществления процесса встраивания пользователей и сообществ мы
инновационно используем сеть «какие пользователи публикуют в каком
сообществе» для преобразования пользователей и сообществ во
встраиваемые векторы со следующей логикой: два вектора сообщества
будут близко друг к другу расположены, если похожие пользователи
размещают в них сообщения, и два пользовательских вектора будут
похожи, если
они склонны размещать сообщения в одних и тех же сообществах.
С более формальной точки зрения, мы обучаем систему встраиванию
пользователей и сообществ на основе двудольного мультиграфа между
пользователями и сообществами, где одно ребро пользователь/сообщество, u i,
c j , появляется в графе каждый раз, когда пользователь ui публикует
сообщения в сообществе c j . Адаптируя подход, использованный в ряде
недавних успешных исследований [27, 53, 62], мы изучаем встраивания
пользователей и сообществ u i R d, c j R d с помощью этого графика,
используя алгоритм оптимизации с отрицательной выборкой и
следующими элементами потерь:
L= − log(σ (u⊤c )) − K · E log(−σ (u⊤c )), (1)
(ui , cj i j cn ∼Pn in
)∈E
где E - набор ребер в двудольном мультиграфе, Pn - показатель
E (
равномерного распределения по всем сообществам (используется для
генерации отрицательных выборок), а K = 5 - количество
использованных отрицательных выборок.
Мы обучили векторные представления,
∈ ∈ 100 раз пропустив их через
публикации на ресурсе Reddit в течение полных 40 месяцев с
использованием стохастического кода градиентного спуска, который
приводится в работе Levy et al. [48]. На рис.1 показаны результирующие
векторные представления сообществ, построенные в виде двумерной
визуализации [50]. Размер сообществ соответствует количеству
размещенных в них публикаций, при этом они обозначены
различными цветами в соответствии с долей исходящих перекрестных
ссылок, которые являются негативными (красный указывает на
высокий уровень негатива, а синий - на низкий). Сообщества были
вручную сгруппированы по категориям высокого уровня, таким как
спортивные команды, технологии и т.д. Согласно нашим
наблюдениям, большинство кластеров сообществ в основном
обозначены синим, в то время как спорные темы (например, кластер с
r/conspiracy и r/theredpill) и сообщества для получения рекомендаций
генерируют большое количество негативных перекрестных ссылок.
Указанные векторные представления текстов, пользователей и
сообществ будут использоваться в качестве входных данных для
нашей социально ориентированной модели LSTM, описание которой
приводится ниже.
6.3 Социально ориентированная модель LSTM.
С целью структурированного ∈ объединения социальных и текстовых
∈ данных
для получения прогнозов мы создали новую «социально ориентированную»
модель LSTM. Используя в качестве входных данных векторные
представления слов, пользователей и сообществ, мы обучаем рекуррентную
модель LSTM в соответствии с рис. 9. Модели LSTM являются популярным
вариантом рекуррентных нейронных сетей (RNN), т. е. нейросетей,
которые оперируют последовательными входными последовательностями
[
x1, ..., xT [34]. Основная идея моделей LSTM заключается в том, что они
используют комбинацию нейросетей с плотной структуры для
отображения текущего входного значения xt Rd∈ вместе с вектором
скрытого состояния ht Rh в виде нового скрытого состояния ht +1 Rh .
В нашей социально ориентированной модели LSTM входные
последовательности представляют собой объединение (i) векторного
представления пользователя для автора публикации ui , (ii) векторного
представления сообщества для исходного и целевого сообществ cs and ct ,
а также(iii) векторных представлений слов в тексте публикации,
12 Готовые векторные представления слов GloVe были обучены на основе
840 миллиардов слов [61].
 w0, ..., wL (где L обозначает длину текста). Традиционные LSTM
[
работают только с текстовыми данными, в то время как
«социальная ориентированность» означает, что для обучения
дополнительно используется информация о пользователях и
сообществах. Для прогнозирования мобилизации возьмем среднее
значение скрытых состояний LSTM по каждому временному шагу, а
затем введем результирующий вектор через слой softmax (т.е.,
логистический):
[h1, ..., hL+3] = LSTM([ui, cs , ct , w1, ..., wL ]) (2)
1 представление о взаимодействии между сообществами и
где y обозначает вероятность того, что публикация приведет к
мобилизации, а ht означает количество скрытых состояний LST.14
6.4 Результаты предсказания
Рассматриваемая нами задача прогнозирования заключается в
следующем: выяснить, мобилизует ли публикация членов
исходного сообщества, путем использования полного набора
перекрестных ссылок из раздела 2. Мы случайным образом используем
80% данных для обучения, 10% для проверки, а остальные 10% в качестве
предлагаемого тестового набора.15
В рамках данной задачи AUC модели случайного леса на основе
характеристик (масштаб 500) достигает 0,67. В качестве ориентира мы
включаем традиционную модель LSTM, которая использует только
текстовую информацию (т. е. без векторных представлений)
пользователей и сообществ). Ее AUC достигает 0,66, что почти равно
AUC модели случайного леса. Наша социально ориентированная
модель LSTM значительно превосходит обе эти модели: ее AUC
составляет 0,72. Кроме того, мы создаем модель ансамбля случайного
леса, в которой используются все вручную разработанные
характеристики, векторные представления пользователей, векторные
представления сообществ и средний показатель скрытых состояний
LSTM, благодаря чему производительность повышается еще больше -
до AUC в размере 0,76. Данное обстоятельство свидетельствует о том,
что и характеристики, и модель LSTM способствуют повышению
производительности ансамбля.
В целом, в настоящем разделе мы описали несколько созданных
нами моделей прогнозирования машинного обучения и достигли
высокого AUC 0,76 для прогнозирования возможности
мобилизации пользователей в результате публикации. Указанные
модели могут быть использованы на практике с целью создания
систем раннего предупреждения для модераторов сообществ,
способных прогнозировать потенциальную негативную
мобилизацию сразу после создания публикации с перекрестными
ссылками, и содействовать устранению неблагоприятных
последствий этих событий.
7 ДАЛЬНЕЙШИЕ СМЕЖНЫЕ ИССЛЕДОВАНИЯ
В дополнение к ранее упомянутой литературе по вычислительной
социологии и социальной психологии, наша работа также опирается и
вносит свой вклад в обширное направление исследований в области
дискриминационных высказываний в Интернете и антисоциального
поведения. Исследования негативных взаимодействий на онлайн-
платформах были сосредоточены в основном в области противоречий
[4, 13, 20, 21, 45, 52] и антисоциального поведения в форме троллинга
[11, 12, 42], использования ботов [39], травли и кибербуллинга [8, 23,
32, 35, 55, 66, 79], вандализма [43], дискриминационных
высказываний [9, 15, 51, 56, 72] и прочего [17, 24, 40, 41, 44, 46, 54,
68, 78, 81]. Несмотря на то, что эти исследования охватывают широкий
спектр антисоциального поведения, основное внимание в них
уделяется анализу на уровне пользователей. Наше же исследование,
напротив, сосредоточено на взаимодействии на уровне сообщества.
Недавние исследования также показали, что организованное
негативное поведение может распространяться на разные платформы
[33, 82], и что блокировка сообществ на ресурсе Reddit,
13 Мы используем максимальную длину L = 50, отбрасывая слова, которые идут после данной
точки.
14 Мы обучили модель с использованием PyTorch [2], оптимизатора Adam [37] и стандартного
метода потери перекрестной энтропии. На веб-сайте проекта [1] размещены данные и
код для репликации.
15 Мы не ограничиваемся негативной мобилизацией, поскольку сами метки тональности
были сгенерированы классификатором машинного обучения. Прогнозирование негативной
мобилизации может быть выполнено путем объединения данного классификатора с
классификатором тональности, разработанным и описанным в разделе 2.
поощряющих дискриминационные высказывания, позволила
эффективно снизить их количество[10].f В отличие от указанных
исследований, которые дают важную аналитическую информацию
об опасностях негативного поведения в Интернете и эффективности
коррекционных мер, в нашем исследовании основное внимание
уделяется (негативным) взаимодействиям диад «сообщество-
сообщество» и их влиянию.
8 ОБСУЖДЕНИЕ И ВЫВОДЫ
Результаты нашего исследования дают новое масштабное
конфликтах
в Интернете. Используя перекрестные ссылки между
публикациями в сообществах и тщательно контролируя базовые
показатели
активности пользователей, мы смогли выявить явные случаи
мобилизации сообществ.
Согласно нашему анализу, негативные мобилизации имеют
важные долгосрочные негативные последствия, приводящие к
процессам «колонизации», когда в целевом сообществе начинают
доминировать пользователи с ненадлежащим поведением. Однако
мы также обнаружили смягчающие факторы, которые коррелируют
со снижением частоты таких неблагоприятных исходов — особенно
заметно, что активизация участия членов взаимодействующих
сообществ в дискуссиях приводит к улучшению результатов. Кроме
того, для прогнозирования возможности мобилизации с AUC в
размере 0,76 мы разработали новую социально ориентированную
модель LSTM, которая сочетает в себе векторные представления
пользователей, сообществ и текстов.
Тем не менее, наш анализ имеет ограничения, которые указывают
на интересные направления для будущей работы. Во-первых, мы
изучили взаимодействие между парами сообществ, однако
исследование взаимодействия с участием более двух сообществ
может выявить более масштабную динамику взаимодействий между
сообществами. Кроме того, наш анализ опирается на единую
платформу, где пользователи действуют под псевдонимами, в то
время как характер взаимодействия и конфликтов в сообществе
может быть иным, когда люди используют свои «настоящие»
личности (например, в Facebook или Twitter). Более того, в то время как
мы изучаем влияние мобилизации на вовлеченных пользователей,
анализ обсуждений с участием остальных членов сообщества может дать
нам дополнительное представление о влиянии взаимодействий между
сообществами. Кроме того, связь взаимодействий между сообществами и
антисоциальным поведением, таким как троллинг [12] и
использование ботов [39], до сих пор не изучена. Наконец, наш
анализ тональности мобилизации между сообществами ограничен
примерами явных настроений, когда негативные (или
нейтральные) настроения очевидны даже относительно
неосведомленному краудворкеру. Однако введение ограничений
в сообществе способно
предотвратить создание явных уничижительных постов и вместо
этого спровоцировать появление скрытых негативных
настроений. Выявление неявных настроений и их использование
для изучения взаимодействия между сообществами открывает
важное направление для будущей работы.
С помощью выявления, анализа и прогнозирования мобилизации
между сообществами наше исследование описывает методику на основе
данных, предназначенную для количественной оценки влияния таких
взаимодействий и прогнозирования момента их возникновения.
Управление сообществами крайне негативного и дестабилизирующего
характера, в частности, становится все более важным для платформ с
несколькими сообществами [29], в то время как наш анализ помогает
подготовить почву для разработки политики, стратегий и
инструментов, способствующих позитивному взаимодействию на
этих платформах.
БЛАГОДАРНОСТИ
Некоторые разделы данного исследования были подготовлены
при поддержке NIH BD2K, DARPA NGS2, ARO MURI, IARPA HFC, ONR
CEROSS, Стэнфордской инициативы в области науки о данных,
Chan Zuckerberg Biohub, IIS-1514268, Программы стипендий SAP
Стэнфордского университета и программы грантов для
аспирантов NSERC PGS Авторы выражают благодарность д-ру
Аджаю Диваракану и д-ру Карану Сикка за плодотворные
дискуссии.

СПИСОК ЛИТЕРАТУРЫ
[1] Онлайн-приложение. http://snap.stanford.edu/conflict.
[2] Pytorch v0.2. http://pytorch.org/.
[3] Хранилище данных Reddit. http://files.pushshift.io/reddit/. Данные получены: 2017-10-27.
[4] A. Addawood, R. Rezapour, O. Abdar, and J. Diesner. «Как отличить твиты, связанные со спорными темами, от
остальных?» (Telling apart tweets associated with controversial versus non-controversial topics). In Proceedings
of the 2nd Workshop on NLP and Computational Social Science, 2017.
[5] G. W. Allport. «Характер предубеждений» (The nature of prejudice). Basic Books, 1979.
[6] V. Belák, S. Lam, and C. Hayes. «Влияние сообществ дискуссионных форумов друг на друга» (Cross-community influence in
discussion fora).
ICWSM, 12:34–41, 2012.
[7] A. Binns. «Не кормите троллей! Как усмирить нарушителей порядка в онлайн-сообществах журналов»
(Don’t feed the trolls! managing troublemakers in magazines’ online communities). Journalism Practice,
6(4):547–562, 2012.
[8] J. Blackburn and H. Kwak. «Закрой рот, нуб! Прогнозирование краудсорсинговых решений в отношении
токсичного поведения в онлайн-играх» (Stfu noob!: predicting crowdsourced decisions on toxic behavior in
online games). In Proceedings of the 23rd international conference on World wide web, pages 877–888.
ACM, 2014.
[9] P. Burnap and M. L. Williams. «Мы и они: выявление кибер-ненависти в Twitter по нескольким
параметрам защиты» (Us and them: identifying cyber hate on twitter across multiple protected
characteristics). EPJ Data Science, 5(1):11, 2016.
[10] E. Chandrasekharan, U. Pavalanathan, A. Srinivasan, A. Glynn, J. Eisenstein, and
E. Gilbert. «Вы не можете здесь оставаться: изучение эффективности банов реддиторов в 2015 году с
точки зрения дискриминационных высказываний» (You canâĂŹt stay here: The efficacy of redditâĂŹs
2015 ban examined through hate speech). In Proceedings of the ACM Human-Computer Interaction,
2017.
[11] J. Cheng, M. Bernstein, C. Danescu-Niculescu-Mizil, and J. Leskovec. «Стать троллем может каждый: причины
троллингового поведения в дискуссиях в Интернете» (Anyone can become a troll: Causes of trolling behavior in
online discussions). In Proceedings of the 20th ACM Conference on Computer-Supported Cooperative Work
and Social Computing (CSCW), 2017.
[12] J. Cheng, C. Danescu-Niculescu-Mizil, and J. Leskovec. «Антисоциальное поведение в Интернет-
сообществах для дискуссий» (Antisocial behavior in online discussion communities). In Proceedings of
the The International AAAI Conference on Web and Social Media (ICWSM), 2015.
[13] M. Conover, J. Ratkiewicz, M. R. Francisco, B. Gonçalves, F. Menczer, and A. Flam- mini. «Политическая
поляризация в Тwitter» (Political polarization on twitter). Proceedings of the 5th International AAAI Conference
on Web and Social Media (ICWSM), 2011.
[14] S. Datta, C. Phelan, and E. Adar. «Выявление рассогласованных межгрупповых взаимосвязей и
сообществ» (Identifying misaligned inter-group links and communities). Proceedings of the ACM Human-
Computer Interaction, 2017.
[15] (N. LUTSEY). Djuric, J. Zhou, R. Morris, M. Grbovic, V. Radosavljevic, and N. Bhamidipati. «Обнаружение
дискриминационных высказываний с помощью векторных представлений комментариев» (Hate speech
detection with comment embeddings). In Proceedings of the 24th International Conference on World Wide
Web (WWW). ACM, 2015.
[16] R. Faris, H. Roberts, B. Etling, N. Bourassa, E. Zuckerman, and Y. Benkler. «Ангажированность, пропаганда и
дезинформация: онлайн-медиа и президентские выборы 2016-го года» (Partisanship, propaganda, and
disinformation: Online media and the 2016 us presidential election). Berkman Klein Center for Internet &
Society Research Paper, 2017.
[17] E. Ferrara. «Динамика распространения экстремистской пропаганды в соцсетях» (Contagion
dynamics of extremist propaganda in social networks).
Information Sciences, 2017.
[18] S. Fortunato. «Определение сообщества в графах» (Community detection in graphs). Physics Reports,
486(3):75–174, 2010.
[19] D. Garcia, F. Mendez, U. Serdült, and F. Schweitzer. «Политическая поляризация и популярность в
коллективных медиа: интегрированный подход» (Political polarization and popularity in online
participatory media: an integrated approach). In Proceedings of the 1st Workshop on Politics, Elections
and Data. ACM, 2012.
[20] K. Garimella, G. De Francisci Morales, A. Gionis, and M. Mathioudakis. «Количественная оценка
противоречий в социальных сетях» (Quantifying controversy in social media). In Proceedings of the 9th
ACM International Conference on Web Search and Data Mining (WSDM). ACM, 2016.
[21] K. Garimella, G. De Francisci Morales, A. Gionis, and M. Mathioudakis. «Уменьшение разногласий путем
объединения противоположных взглядов» (Reducing controversy by connecting opposing views). In
Proceedings of the 10th ACM International Conference on Web Search and Data Mining (WSDM).
ACM, 2017.
[22] H. Giles. «Межгрупповая коммуникация: несколько точек зрения» (Intergroup communication: Multiple
perspectives), volume 2. Peter Lang, 2005.
[23] J. Golbeck, Z. Ashktorab, R. O. Banjo, A. Berlinger, S. Bhagwan, C. Buntain,
P. Cheakalos, A. A. Geller, Q. Gergory, R. K. Gnanasekaran, et al. «Обширный корпус с маркировками
для исследования травли в Интернете» (A large labeled corpus for online harassment research). In
Proceedings of the 2017 ACM on Web Science Conference (WebSci). ACM, 2017.
[24] S. C. Guntuku, D. B. Yaden, M. L. Kern, L. H. Ungar, and J. C. Eichstaedt. «Выявление депрессии и
психических заболеваний в социальных сетях: комплексный обзор» (Detecting depression and mental illness
on social media: an integrative review). Current Opinion in Behavioral Sciences, 18:43–49, 2017.
[25] W. Hamilton, K. Clark, J. Leskovec, and D. Jurafsky. «Индуцирование лексиконов настроений применительно к отдельным
областям на основе немаркированных корпусов» (Inducing domain-specific sentiment lexicons from unlabeled corpora).
Proceedings of the 2016 Conference on Empirical Methods on Natural Language Processing (EMNLP),
2016.
[26] W. Hamilton, J. Zhang, C. Danescu-Niculescu-Mizil, D. Jurafsky, and J. Leskovec. «Лояльность в Интернет-сообществах» (Loyalty in
online communities). In Proceedings of 2017 The International AAAI Conference on Web and Social Media
(ICWSM), 2017.
[27] W. L. Hamilton, R. Ying, and J. Leskovec. «Изучение представлений данных на графах: методы и области применения»
(Representation learning on graphs: Methods and applications. IEEE Data Engineering Bulletin, 2017.
[28] К. Hardaker. «Троллинг в асинхронных коммуникациях посредством компьютера: от пользовательских
обсуждений к научным определениям» (Trolling in asynchronous computer-mediated communication: From
user discussions to academic definitions). Journal of Politeness Research, 2010.
[29] C. Hauser. «Reddit пресекает распространение материалов с пропагандой насилия путем банов
нацистских группировок и прочих пользователей» (Reddit nazi groups and others in crackdown on violent
content).
New York Times, October 2017. [Online; posted 26-October-2017].
[30] M. Hewstone, M. Rubin, and H. Willis. «Межгрупповая предвзятость» (Intergroup bias). Annual
Review of Psychology, 53(1):575–604, 2002.
[31] M. E. Hewstone and R. E. Brown. «Контакт и конфликт в межгрупповых столкновениях» (Contact
and conflict in intergroup encounters).
Basil Blackwell, 1986.
[32] S. Hinduja and J. W. Patchin. «Буллинг вне школьного двора: предотвращение и реагирование
на кибербуллинг» (Bullying beyond the schoolyard: Preventing and responding to cyberbullying).
Corwin Press, 2014.
[33] G. E. Hine, J. Onaolapo, E. De Cristofaro, N. Kourtellis, I. Leontiadis, R. Samaras,G. Stringhini, and J.
Blackburn. «”Кек”, рогоносцы и Бог-Император Трамп: оценочное исследование политически
некорректного форума 4chan и его влияния на Интернет» (Kek, cucks, and god emperor trump: A
measure- ment study of 4chan’s politically incorrect forum and its effects on the web). In Proceedings of the
The International AAAI Conference on Web and Social Media (ICWSM), 2017.
[34] S. Hochreiter and J. Schmidhuber. «Долгая краткосрочная память» (Long short-term memory). Neural
computation, 9(8):1735–1780, 1997.
[35] H. Hosseinmardi, A. Ghasemianlangroodi, R. Han, Q. Lv, and S. Mishra. «К пониманию кибербуллингового
поведения в полуанонимной социальной сети» (Towards understanding cyberbullying behavior in a semi-
anonymous social network). In Advances in Social Networks Analysis and Mining (ASONAM), 2014
IEEE/ACM International Conference on, pages 244–252. IEEE, 2014.
[36] C. J. Hutto and E. Gilbert. «Vader: экономная модель на основе правил, предназначенная для анализа
тональности высказываний в социальных сетях» (Vader: A parsimonious rule-based model for sentiment
analysis of social media text). In Proceedings of the International AAAI Conference on Weblogs and Social
Media (ICWSM), 2014.
[37] D. Kingma and J. Ba. Адам: «Метод стохастической оптимизации» (A method for stochastic optimization).
arXiv:1412.6980, 2014.
[38] R. E. Kraut, P. Resnick, S. Kiesler, M. Burke, Y. Chen, N. Kittur, J. Konstan, Y. Ren, and J. Riedl.
«Построение успешных Интернет-сообществ: социальное проектирование на основе
фактических данных» (Building successful online communities: Evidence-based social design). MIT Press,
2012.
[39] S. Kumar, J. Cheng, J. Leskovec, and V. Subrahmanian. «Моя армия: боты в Интернет-сообществах для
дискуссий» (An army of me: Sockpup- pets in online discussion communities). In Proceedings of the 26th
International Conference on World Wide Web, 2017.
[40] S. Kumar, B. Hooi, D. Makhija, M. Kumar, C. Faloutsos, and V. Subrahamanian. «Rev2: мошенническое
прогнозирование пользователей на рейтинговых платформах» (Rev2: Fraudulent user prediction in
rating platforms). Proceedings of the 11th ACM International Conference on Web Search and Data
Mining, 2018.
[41] S. Kumar and N. Shah. «Ложная информация в Интернете и социальных сетях: исследование» (False
information on web and social media: A survey). In
Social Media Analytics: Advances and Applications. CRC, 2018.
[42] S. Kumar, F. Spezzano, and V. Subrahmanian. «Точное обнаружение троллей в Slashdot Zoo с
помощью устранения помех» (Accurately detecting trolls in slashdot zoo via decluttering). In Advances
in Social Networks Analysis and Mining (ASONAM), 2014 IEEE/ACM International Conference on, pages
188–195. IEEE, 2014.
[43] S. Kumar, F. Spezzano, and V. Subrahmanian. «Vews: система «Википедии» для раннего оповещения о
вандализме» (Vews: A wikipedia vandal early warning system). In Proceedings of the 21th ACM SIGKDD
International Conference on Knowledge Discovery and Data Mining. ACM, 2015.
[44] S. Kumar, R. West, and J. Leskovec. «Дезинформация в Интернете: воздействие, характеристики и
обнаружение недостоверной информации в «Википедии» (Disinformation on the web: Impact, characteristics,
and detection of wikipedia hoaxes). In Proceedings of the 25th International Conference on World Wide Web,
2016.
[45] H. Lamba, M. M. Malik, and J. Pfeffer. «Буря в стакане? Анализ вспышек общественного негодования в
Twitter» (A tempest in a teacup? analyzing firestorms on twitter). In Proceedings of the 2015 IEEE/ACM
International Conference on Advances in Social Networks Analysis and Mining (ASONAM). IEEE,
2015.
[46] K. Lee, P. Tamilarasan, and J. Caverlee. «Краудсёрферы, кампании и социальные медиа: отслеживание
и обнаружение коллективных манипуляций социальными медиа» (Crowdturfers, campaigns, and social
media: Tracking and revealing crowdsourced manipulation of social media). In ICWSM, 2013.
[47] J. Leskovec, D. Huttenlocher, and J. Kleinberg. «Прогнозирование положительных и отрицательных
ссылок в онлайн-социальных сетях» (Predicting positive and negative links in online social networks). In
Proceedings of the 19th international conference on World Wide Web (WWW). ACM, 2010.
[48] O. Levy and Y. Goldberg. «Векторные представления слов на основе зависимостей» (Dependency-based word
embeddings). In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (ACL),
2014.
[49] D. Liben-Nowell and J. Kleinberg. «Проблема прогнозирования ссылок для социальных сетей» (The link-
prediction problem for social networks). Journal of the Association for Information Science and Technology
(JASIST), 58(7):1019–1031, 2007.
[50] L. v. d. Maaten and G. Hinton. «Визуализация данных с помощью t-SNE» (Visualizing data using t-sne).
Journal of Machine Learning Research (JMLR), 9(Nov):2579–2605, 2008.
[51] J. N. Matias, A. Johnson, W. E. Boesel, B. Keegan, J. Friedman, and C. DeTar. «Информарование,
анализ и реагирование на травлю в Тwitter» (Reporting, reviewing, and responding to harassment on
twitter). arXiv:1505.03359, 2015.
[52] Y. Mejova, A. X. Zhang, N. Diakopoulos, and C. Castillo. «Противоречия и тональность Интернет-новостей»
(Controversy and sentiment in online news). Computation and Journalism Symposium, 2014.
[53] ТЕЛ. Mikolov, I. Sutskever, K. Chen, G. Corrado, and J. Dean. «Распределенные представления слов и фраз и их
композиционность» (Distributed representations of words and phrases and their compositionality). In Proceedings of
the Advances in Neural Information Processing Systems (NIPS), 2013.
[54] T. Mitra and E. Gilbert. «Credbank: крупномасштабный корпус социальных сетей с соответствующими пометками о
надежности». (Credbank: A large-scale social media corpus with associ- ated credibility annotations). In ICWSM,
pages 258–267, 2015.
[55] K. Munger. «Как публикация твитов действует на объекты твитов: экспериментальное сокращение
числа расистских притеснений» (Тweetment effects on the tweeted: Experimentally reducing racist
harassment). Political Behavior, 39(3):629–649, 2017.
[56] C. Nobata, J. Tetreault, A. Thomas, Y. Mehdad, and Y. Chang. «Обнаружение ненормативной лексики в
контенте, генерируемом Интернет-пользователями» (Abusive language detection in online user content).
In Proceedings of the 25th International Conference on World Wide Web (WWW), 2016.
[57] J. G. Noel, D. L. Wann, and N. R. Branscombe. «Статус членства в периферийных группах и негативное
отношение общественности к внешним группам» (Peripheral ingroup membership status and public
negativity toward outgroups). Journal of Personality and Social Psychology, 68:127–127, 1995.
[58] U. of Oklahoma. Institute of Group Relations and M. Sherif. Intergroup conflict and cooperation: The Robbers Cave
experiment, volume 10. University Book Exchange Norman, 1961.
[59] L. Page, S. Brin, R. Motwani, and T. Winograd. «Рейтинг цитирования PageRank: наведение порядка в
Интернете» (The pagerank citation ranking: Bringing order to the web). Technical report, Stanford
InfoLab, 1999.
[60] F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M. Blon- del, P. Prettenhofer, R. Weiss,
V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau,
M. Brucher, M. Perrot, and E. Duchesnay. «scikit-learn: машинное обучение на Python» (scikit-learn: Machine
learning in Python). The Journal of Machine Learning Research (JMLR), 2011.
[61] J. Pennington, R. Socher, and C. Manning. «Glove: глобальные векторы для представления слов».
(Glove: Global vectors for word representation). In Proceedings of the 2014 Conference on Empirical
Methods in Natural Language Processing (EMNLP), 2014.
[62] B. Perozzi, R. Al-Rfou, and S. Skiena. «Deepwalk: обучение социальным представлениям в Интернете»
(Deepwalk: Online learning of social representations). In Proceedings of the 20th ACM SIGKDD
International Conference on Knowledge Discovery and Data Mining (KDD), pages 701–710. ACM,
2014.
[63] T. F. Pettigrew. «Обобщенное межгрупповое взаимодействие влияет на предубеждения». (Generalized intergroup
contact effects on prejudice). Personality and Social Psychology Bulletin, 23(2):173–185, 1997.
[64] T. F. Pettigrew and L. R. Tropp. «Снижает ли предубежденность межгрупповое взаимодействие? Выводы недавнего мета-
анализа» (Does intergroup contact reduce prejudice? recent meta-analytic findings). Reducing Prejudice and
Discrimination, 93:114, 2000.
[65] M. A. Rahim. «Урегулирование конфликтов в организациях» (Managing conflict in organizations).
Transaction Publishers, 2010.
[66] J. Ratkiewicz, M. Conover, M. R. Meiss, B. Gonçalves, A. Flammini, and F. Menczer. «Выявление и
отслеживание политических злоупотреблений в социальных сетях» (Detecting and tracking political abuse in
social media). Proceedings of the 5th International AAAI Conference on Web and Social Media (ICWSM),
2011.
[67] M. H. Ribeiro, P. H. Calais, V. A. Almeida, and W. Meira Jr. «Все, с чем я не согласен, - это #фейковые
новости: корреляция между политической поляризацией и распространение недостоверной
информации» (“everything i disagree with is# fakenews”: Correlating political polarization and spread of
misinforma- tion). arXiv:1706.05924, 2017.
[68] H. Saif, M. Fernandez, M. Rowe, and H. Alani. «О роли семантики в выявлении сторонников ИГИЛ в
социальных сетях» (On the role of semantics for detecting pro-isis stances on social media). In
Proceedings of the CEUR Workshop, volume 1690, 2016.
[69] G. Salton and C. Buckley. Подходы к взвешиванию терминов при автоматическом поиске текста (Term-
weighting approaches in automatic text retrieval).
Information Processing & Management, 24(5):513–523, 1988.
[70] M. Sherif. «Групповые конфликты и сотрудничество: социальная психология» (Group conflict
and co-operation: Their social psychology), volume 29. Psychology Press, 2015.
[71] С. Siegal. «Непараметрическая статистика для бихевиоризма». (Nonparametric statistics for the
behavioral sciences). McGraw-hill, 1956.
[72] L. A. Silva, M. Mondal, D. Correa, F. Benevenuto, and I. Weber. «Анализ целевых объектов ненависти в
социальных сетях в Интернете» (Analyzing the targets of hate in online social media). In Proceedings of
the 2016 The International AAAI Conference on Web and Social Media (ICWSM), 2016.
[73] H. Tajfel. «Социальная психология межгрупповых отношений» (Social psychology of intergroup relations).
Annual Review of Psychology, 33(1):1–39, 1982.
[74] H. Tajfel. «Социальная идентичность и межгрупповые отношения» (Social identity and intergroup
relations). Cambridge University Press, 2010.
[75] H. Tajfel and J. C. Turner. «Интегративная теория межгруппового конфликта» (An integrative theory of
intergroup conflict). The Social Psychology of Intergroup Relations, 1979.
[76] C. Tan and L. Lee. «Все блуждающие: о распространенности и характеристиках взаимодействия
с участием нескольких сообществ» (All who wander: On the prevalence and characteristics of multi-
community engagement). In Proceedings of International World Wide Web Conference (WWW), 2015.
[77] Y. R. Tausczik and J. W. Pennebaker. «Психологическое значение слов: программа LIWC и
компьютеризированные методы анализа текста» (The psychological meaning of words: LIWC and
computerized text analysis methods). Journal of Language and Social Psychology, Mar. 2010.
[78] W. Wang, L. Chen, K. Thirunarayan, and A. P. Sheth. «Английские ругательства в Тwitter» (Cursing in english on twitter). In
Proceedings of the 17th ACM conference on Computer supported cooperative work & social computing
(CSCW). ACM, 2014.
[79] E. Wulczyn, N. Thain, and L. Dixon. «Из машины: атаки на отдельных людей с точки зрения масштаба»
(Ex machina: Personal attacks seen at scale). In Proceedings of the 26th International Conference on
World Wide Web, pages 1391–1399. International World Wide Web Conferences Steering Committee, 2017.
[80] J. Xie, S. Kelley, and B. K. Szymanski. «Обнаружение совпадающих сообществ в сетях:
современное сравнительное исследование» «Overlapping community detection in networks: The
state-of-the-art and comparative study). ACM Computing Surveys (CSUR), 45(4):43, 2013.
[81] T. Yasseri, R. Sumi, A. Rung, A. Kornai, and J. Kertész. «Динамика конфликтов в «Википедии» (Dynamics of conflicts in
wikipedia). PloS One, 7(6):e38869, 2012.
[82] S. Zannettou, T. Caulfield, E. De Cristofaro, N. Kourtelris, I. Leontiadis, M. Siriv- ianos, G. Stringhini, and J.
Blackburn. «Сетевая сороконожка: понимание взаимовлияния веб-сообществ через призму основных и
альтернативных источников новостей» (The web centipede: understanding how web communities
influence each other through the lens of mainstream and alter- native news sources). In Proceedings of the
2017 Internet Measurement Conference, pages 405–417. ACM, 2017.
[83] J. Zhang, W. Hamilton, C. Danescu-Niculescu-Mizil, D. Jurafsky, and J. Leskovec. «Идентичность сообщества и
взаимодействие с пользователями в условиях наличия нескольких сообществ» (Community identity and user
engagement in a multi-community landscape). In Proceedings of 2017 The International AAAI Conference on
Web and Social Media (ICWSM), 2017.