ТЕСТЫ И ОБЗОРЫ Онлайн-сервисы

Amazon
Am
С помощью
по этого урав-
нен
нения компания опреде-
ляе
ляет, какие продукты вы
пре
предпочитаете.

YouTube
По такой формуле сер-
вис вычисляет, какое
видео вам нравится.
Apple Genius
По этому принципу
iTunes составляет
список ваших люби-
мых хитов.

ФОТО: КОМПАНИИ-ПРОИЗВОДИТЕЛИ; CHRISTOS GEORGHIOU/FOTOLIA.COM

Facebook
Fa
Из этой суммы соци-
ал
альный сервис узнает,
ка
какие друзья для вас
наиболее важны.

Google+
Данный алгоритм показывает
Google, кто из пользователей
разделяет ваши интересы.
Как Интернет
манипулирует
нами
Google, Facebook и другие сервисы собирают наши личные данные и внедряют их
в свои алгоритмы. Они анализируют наше поведение и самостоятельно принимают
решение о том, какой контент нам преподнести.
Н
екоторые действия мы со-
вершаем автоматически,
не задумываясь. К ним от-
носятся, например, чистка
зубов или поиск информа-
ции в Google: мы открываем браузер,
загружаем поисковик, вводим ключе-
вые слова в строке поиска и кликаем
по ссылке, кажущейся нам многообе-
щающей. Одновременно с запросом
Google получает файл cookie, кото-
рый соединяет пользователя с базой
данных. В этой базе хранится вся ин-
формация о браузере пользователя, о
том, на каком языке и где был сфор-
мулирован запрос, по каким ключе-
вым словам осуществлялся поиск, а
также какие ссылки были выбраны в
результатах поиска.
Затем к работе приступает алгоритм
ссылочного ранжирования PageRank.
Он определяет значимость каждого
веб-сайта, ориентируясь на то, какое
количество ссылок на него ведет.
Таким образом, веб-страницы, часто
упоминаемые на авторитетных сай-
тах, постепенно передвигаются в верх-
нюю часть списка. После этого дру-
гой алгоритм обрабатывает результат,
«Алгоритмы фильтруют
поступающую к нам
информацию»
Эли Паризер, автор книги «Фильтрующий пузырь»
CHIP
CHI
C
CHHIP | Д
ДЕКАБРЬ
ДЕ
ДЕК
ЕК
Е ААБ
АБР
Б Р Ь 2201
БР 2011
011111
0011
полученный алгоритмом PageRank,
и сравнивает его с уже имеющейся
информацией о пользователе. Затем
он меняет порядок ссылок в результа-
тах поиска таким образом, чтобы они
в точности соответствовали потреб-
ностям данного конкретного пользо-
вателя, учитывали его предпочтения
и местонахождение.
Опытные интернет-пользователи
хорошо знают, что есть еще сайты,
которые, стремясь к высокой по-
сещаемости, используют оптимиза-
цию под поисковые запросы и за счет
этого продвигаются на первые пози-
ции в результатах поиска Google.
Также не секрет, что компании, ра-
ботающие в Интернете, задейству-
ют файлы cookie для отображения
персонализированной рекламы. По-
этому они пользуются собственным
«встроенным» фильтром и сами ре-
шают, какие результаты поиска важ-
ны, а какие нет.
Фильтрация устанавливает
невидимые границы
Этот фильтр в наших умах подменя-
ется другим, который мы не замеча-
ем, считает писатель Эли Паризер.
Он критикует персонализированный
Интернет, который скрывает от поль-
зователя новую или неугодную ин-
формацию и показывает только то,
что отвечает его требованиям. У этих
манипуляций есть свои последствия:
мы больше не стремимся перераба-
тывать массивы информации и кри-
тически оценивать результаты поис-
ка. Спросом пользуется комфорт, а не
необходимость размышлять, поэтому
персонализированный Интернет при-
меняет цензуру, а пользователь пре-
вращается в потребителя.
Этот феномен уже приобрел гло-
бальные масштабы, поскольку наря-
ду с Google многие веб-гиганты, та-
кие как Facebook, YouTube и Amazon,
а также небольшие интернет-мага-
зины применяют свои версии филь-
тров. В их основе лежат алгоритмы,
последовательность сложных формул.
Используя имеющиеся данные о поль-
зователе, они вычисляют, какую ин-
формацию ему необходимо препод-
нести — будь то рекомендуемые това-
ры, сообщения от друзей или персо-
нализированные результаты поиска.
В результате такие фильтры выдают
вам искаженную картину реальности.
На примере трех крупнейших ин-
тернет-порталов CHIP расскажет вам,
как работают данные алгоритмы и
насколько точны их рекомендации.
А вот стоит ли доверять им и пола-
гаться на персонализированный Ин-
тернет, решать только вам. ➜
85
 ТЕСТЫ И ОБЗОРЫ Онлайн-сервисы

Google: «Я знаю, что тебя интересует»

Персонализацией сегодня пользуются все крупные поисковые системы. Это значит, что они проводят предва-
рительный отбор информации и выдают результаты в соответствии с предпочтениями пользователей.

Л
ишь немногие посетители Все-
мирной сети отметили, что 4 де-
кабря 2009 года Интернет стал
другим. В этот день компания Goo-
gle внедрила персонализированный
поиск для каждого из нас. Это оз-
начает, что результаты поиска у всех
пользователей всегда разные. Вам нра-
вится совершать покупки в онлайн-
магазине Amazon, или вы обычно
подбираете турпоездки в Интернете?
Все эти факторы влияют на то, что
вы увидите в результатах поиска. По-
исковая система регистрирует ссыл-
ки, по которым вы переходите, и
формирует результаты поиска соот-
ветствующим образом.
Персонализированная система по-
иска работает для всех — независимо
от того, есть у вас аккаунт Google или
нет. Идентификатор файла cookie от
Google устанавливает связь компью-
тера пользователя со специальной
базой данных. Несмотря на то что
функцию персонализированного по-
иска можно отключить на главной
странице Google, сетевой гигант про-
должит регистрировать все ваши дей-
ствия с помощью файлов cookie. Ес-
ли вы хотите повлиять на результаты
поиска, войдите в свой аккаунт Goo-
gle и удалите историю поиска. Таким
образом вы измените информацион-
ную основу, на которую опирается
алгоритм в своих расчетах.
Поскольку Google скрывает детали
работы данного алгоритма, остается
лишь наблюдать за его действием.
Этим занимались английские исследо-
ватели, которые пришли к выводу, что
доля модифицированных результатов
поиска повышается с 10% до более
чем 50% по мере того, как алгоритм
накапливает данные о нашей сетевой
активности. В поисковом сервисе «Ян-
декс» также ввели новую платформу
под названием «Рейкьявик». Пока ее
персонализированный поиск работает
только с запросами на английском
языке, но выдает в списке результа-
тов и русскоязычные сайты.
Алгоритмы предвидят ваш
следующий щелчок мышью
Хорошим примером персонализации
являются новости Google. Если поль-
зователь активирует в своем аккаун-
те Google «Историю веб-поиска», для
него будет создана персональная стра-
ница новостей. Google будет регист-
рировать каждый клик, совершаемый
на этой странице.
Затем начнут работать три алгорит-
ма, которые станут оценивать каждую
«Персонализация — это
очень тонкий процесс.
Пользователь ничего
не замечает»
Зепандар Камвар, разработчик персонализированного поиска Google
новость с точки зрения того, насколь-
ко она может быть интересна пользо-
вателю. Два первых алгоритма будут
сравнивать его предпочтения со вку-
сами других людей и искать сходства.
Третий станет анализировать то,
каким новостям этот человек отдает
предпочтение и насколько интенсив-
но он занят их изучением. При этом
комментарии пользователя будут ука-
зывать на то, что предложенные ему
новости действительно прочитаны.
Исследователи из Microsoft Re-
search разработали алгоритм, кото-
рый пытается спрогнозировать, по
какой именно ссылке в результатах
поиска вы перейдете. И хотя на дан-
ный момент точность работы со-
ставляет менее 20%, однако по мере
накопления данных о пользовате-
ле точность прогнозов повышается.
В будущем достаточно будет ввести
ключевое слово в строке поиска —
и система автоматически откро-
ет подходящий сайт. Отображение
длинного списка вариантов больше
не понадобится.

ТАК GOOGLE ВЫЧИСЛЯЕТ, КАКИЕ НОВОСТИ ВАМ ПОКАЗЫВАТЬ

Стоит активировать историю веб-поиска в своем аккаунте — Google News будет получать информацию о том,
какие темы вас интересуют, подбирая для вас подходящие новости.
1 История веб-поиска 2 Три алгоритма анализируют 3 Подсчитываются результаты 4 Составляется ваша личная
реагирует на ваши пере- вашу историю веб-поиска вычислений алгоритмов новостная рубрика
ходы по ссылкам
MinHash Clustering (MinHash- По этой формуле производится расчет
кластеризация): чем интересуются и определение значимости отдельных
пользователи, которые читают те алгоритмов.
же новости, что и вы?
PLSI* (вероятностный латентно-семан-
тический анализ): создание и сравнение
групп пользователей и групп новостей.
К какой группе относитесь вы?
Covisitation (статьи, просматривае- Алгоритм
мые пользователями после предло- Значимость алгоритма
женных новостей): какие новости и Количество баллов алгоритма
в какой последовательности вы
по отношению к новости
недавно читали?

*Probabilistic Latent Semantic Indexing

86 CHIP | ДЕКАБРЬ 2011

Facebook: «Я знаю, кто тебе нравится»
Социальные сети анализируют отношения между отдельными пользователями. Так Facebook и Google+
определяют, с кем вы предпочитаете общаться и кем интересуетесь, и выстраивают иерархию.
С
оциальная сеть Facebook объе-
диняет 700 млн пользователей
и такое же количество профи-
лей, на которые приходится в общей
сложности около триллиона про-
смотренных страниц в месяц. Сред-
нее количество друзей у пользователя
Facebook составляет 120–130 чело-
век. Каждый друг в месяц совершает
около 90 действий, начиная с просто-
го клика по кнопке «Мне нравится»
и заканчивая размещением публика-
ций. Все друзья из списка контактов
за это время производят в совокуп-
ности более 11 000 действий. В такой
ситуации, разумеется, сложно быть
в курсе всех новостей, особенно с
учетом того, что в среднем пользо-
ватель ежедневно проводит на Face-
book менее одного часа.
Но вам не стоит беспокоиться —
эту задачу решит алгоритм Edgerank.
Он сортирует ленту новостей ваших
друзей и определяет, какие события
для вас важны, а какие вы не за-
хотите читать. Сначала алгоритм про-
веряет, насколько интенсивно вы сле-
дите за новостями того или ино-
го пользователя: часто ли читаете и
комментируете его публикации, ре-
гулярно ли посещаете его страницу.
Помимо этого оценивается характер
публикаций. Например, той записи,
которая пользуется популярностью у
читателей или содержит видеоролик,
алгоритм присваивает более высо-
кий приоритет.
ТАК FACEBOOK СОРТИРУЕТ ВАШИ СОЦИАЛЬНЫЕ КОНТАКТЫ
Среди главных сообщений отображаются новые публикации ваших друзей. Какие из них перемещаются
вверх, то есть важны для вас, определяет алгоритм Edgerank.
Edgerank оценивает публикуемые новости,
основываясь на действиях (Edge), связанных
с данными сообщениями. Перед тем как при-
ступить к вычислениям, алгоритму необходимо
получить три составляющие:
Ue — связь: насколько тесной является связь
между тем, кто просматривает публикацию,
и ее автором, а также пользователями, кото-
рые прокомментировали публикацию. Связь
оценивается односторонне, то есть с точки
зрения важности автора новости для вас,
а не наоборот.
We — значение: из каких элементов состоит
публикация (текст, фотографии, видео,
CHIP | ДЕКАБРЬ 2011
Алгоритм Edgerank определяет не
только то, что мы увидим на стра-
нице, но и то, с кем и как мы бу-
дем общаться. Если автор хочет
привлечь к себе внимание и дер-
жаться на верхних позициях ленты
новостей, его публикация должна
иметь как можно большее количе-
ство комментариев. Приветствует-
ся проведение дискуссии, разме-
щение ссылок или поддержание
публикации в актуальном состоя-
нии, то есть пополнение контента.
Социальные сети сортируют
наших друзей
Google также попытается выяснить, с
кем вы предпочитаете общаться, как
только вы активируете папку «Прио-
ритетные» посредством опции «Филь-
трация сообщений».
С этого момента Google Mail боль-
ше не будет сортировать сообщения
по дате. Вместо этого алгоритм по-
пытается определить, какие письма
важны, и поместит их отдельно от
всех остальных. Определение степе-
ни важности осуществляется на ос-
нове сотен факторов, в том числе и
социальных. Например, Gmail учи-
тывает, как часто вы общаетесь с
определенным пользователем. Так-
же письма проверяются на наличие
ключевых слов, вызывающих у вас
интерес. Алгоритм учитывает также
продолжительность переписки и ее
инициатора. В завершение алгоритм
1 Edgerank проводит
оценку…
ссылки, количество нажатий на кнопку «Мне
нравится»). Выше оцениваются действия,
которые требуют больше усилий. Например,
отметки «Мне нравится» менее значимы, чем
комментарии к фотографиям.
De — время: какой срок прошел с момента появле-
ния публикации.
оценивает, насколько сильно ваше
поведение отличается от модели
среднестатистического пользовате-
ля, и определяет значимость отдель-
ных факторов.
В апреле этого года возможности
алгоритма были расширены. Теперь
при создании электронного сообще-
ния вам будут предлагаться адресаты
из списка контактов, которых мог-
ло бы заинтересовать ваше письмо.
Кроме того, Google Mail проверяет,
не отошлете ли вы письмо нежела-
тельному адресату. Например, с помо-
щью анализа вашей переписки алго-
ритм может отделять профессиональ-
ные контакты от личных. Точность, по
утверждению Google, составляет 70%.
За всем этим стоит система Google
Implicit Social Graph, в которой каж-
дый пользователь Gmail является клю-
чевым объектом гигантской матри-
цы. Как и Facebook, Google называет
взаимодействие между пользовате-
лями Edges (англ. «кромка, край, гра-
ница») и оценивает его. Граф создает
для каждого пользователя модель, в
которой он является центром своей
«эгоцентрической сети». Алгоритм
Friend Suggest использует граф, что-
бы объединить людей с общими ин-
тересами. Внедрение в Google+ гра-
фа, позволяющего предлагать друзей
для кругов, сделает возможным по-
лучить такой же эффект, как если
бы Facebook кликнул за вас по кноп-
ке «Мне нравится». ➜
2 ...и сортирует новости ваших друзей
87
 ТЕСТЫ И ОБЗОРЫ Онлайн-сервисы

Amazon: «Я знаю, что тебе нравится»

Точные рекомендации для покупок — рецепт успеха онлайн-магазинов. С этой целью используются алгорит-
мы, которые изучают покупателей, анализируют их предпочтения и сравнивают с другими клиентами.

П
атент, выданный в США под
номером 6266649, ознаменовал
рождение рекомендательных ал-
горитмов в Глобальной сети. В нем
описывается алгоритм Item to Item
(«товар-товар»), сделавший Amazon
крупнейшим интернет-магазином в
мире. Он учитывает, сколько раз то-
вары были куплены разными лица-
ми, как высоко они были ими оце-
нены и насколько поведение этих
пользователей схоже с вашим. Таким
образом, в центре внимания оказы-
вается не сам покупатель, а товар, в
отношении которого алгоритм при-
меняет фильтрацию по принципу по-
хожести предметов: чем больше сход-
ство продуктов, тем выше точность.
Данный подход оправдывает себя:
исследователи рынка из компании
Nielsen в ходе обширного анализа
выяснили, что почти 60% онлайн-
покупателей помимо основного то-
вара часто обнаруживают и приобре-
тают что-то другое.
Преимущество данной системы, за-
пущенной Amazon десять лет назад,
заключается в том, что все расчеты
можно проводить в режиме офлайн.
К тому же она требует наличия под-
робной информации о профиле кли-
ента. Поэтому в настоящее время да-
же YouTube рекомендует похожее ви-
део по принципу Amazon.
Описанная выше математическая
модель — коллаборативная фильтра-
ция — может использоваться и са-
мим покупателем, чтобы разобрать-
ся в том, что посоветовали и купи-
ли другие клиенты. Алгоритм Cine-
match, применявшийся крупнейшим
интернет-видеопрокатом DVD Net-
flix до 2009 года, подобным образом
добился довольно высокой точно-
сти — порядка 60%.
Систематизация покупателей
Сегодня системой рекомендаций Net-
flix управляет расчетная модель ма-
тричной факторизации. Она систе-
матизирует пользователей и филь-
мы в диаграмме, которая включает,
например, категории «серьезные» и
«эскапистские», а также делит пуб-
лику на мужскую и женскую. Такая
диаграмма показывает, насколько от-
дельные пользователи далеки от то-
го, чтобы выбрать какой-либо фильм.
Иногда результат превосходит все
ожидания. Например, оказывается,
что есть люди, которые с одина-
ковым удовольствием смотрят как
«Волшебника из страны Оз», так и
«Молчание ягнят».
«Мы зарабатываем
деньги, когда
помогаем людям
принимать решения»
Джефф Безос, основатель Amazon
Модель матричной факторизации
опирается на базу данных, касаю-
щихся активности пользователей в
Сети. Анализу подвергается не толь-
ко оценка пользователем того или
иного продукта, но и его поведение
на сайте: начиная с вводимой в стро-
ке поиска информации и заканчивая
движением мыши. Результат — точ-
ность рекомендаций выросла более
чем на 10% по сравнению с примене-
нием алгоритма Cinematch.
Некоторые покупатели доверяют
спискам лучших товаров, другие –
мнениям экспертов или оригиналь-
ным рекламным слоганам. Необхо-
димо только выяснить, что является
определяющим для конкретного по-
купателя, — и можно будет оказывать
на него влияние. Сегодня уже ведутся
разработки алгоритмов со 100-про-
центной точностью — правда, пока
только в рамках научных исследо-
ваний. Может, это и к лучшему, так
как практически каждый из нас хотел
бы сохранить возможность делать
свободный выбор.

ТАК AMAZON УЗНАЕТ О ВАШИХ ПРЕДПОЧТЕНИЯХ

На сайте и в почтовых рассылках Amazon вы получаете рекомендации продуктов, которые могли бы вам
понравиться. Система рекомендаций определяет ваши предпочтения в три этапа.

1 Из базы данных (a) отбираются продукты (b), 1 Извлечение 2 Сравнение с по- 3 Расчет рекоменда- 4 Предложение
которые предпочитают покупать клиенты того же данных хожими клиентами ции на основе алгоритма товара
типа, что и вы.
2 На основании полученных данных строится мо- (a) (a) (a)
дель фильтрации по принципу схожести предметов:
на каком расстоянии клиент находится от других
покупателей (a) и в какой степени он соответствует
покупателям, отобранным по принципу сходства (b).
3 Результатом этого анализа являются две реко- (b) (b) (b)
мендации: при наличии недостаточных данных
предлагается самый популярный товар из отобран-
ных по принципу сходства продуктов (a), в осталь-
ных случаях — варианты, сформулированные
с учетом предпочтений схожих покупателей (b).

88 CHIP | ДЕКАБРЬ 2011