  
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
КОГНИТИВНЫЕ ТЕХНОЛОГИИ
ИССЛЕДОВАНИЯ ИНФОРМАЦИОННЫХ МАССИВОВ
ДЛЯ ВОССТАНОВЛЕНИЯ НЕЯВНЫХ ЗНАНИЙ И ДАННЫХ
А.Р. Закиров1, Е.Л. Кирьянов1, Н.В. Буханов1, Б.В. Белозеров1,
А.Д. Кульневич2, Р.А. Чугунов2, С.С. Сливкин3
1ООО «Газпромнефть НТЦ», 2Компания «Эконофизика»,
3Томский политехнический университет
Ключевые слова: искусственный интеллект, машинное обучение, распознавание именованных сущностей,
разрешение кореференции, поисковые системы
аспознавание именованных сущностей – про-
Р цесс, в ходе которого алгоритм принимает на
вход часть текста (например, предложение или
абзац) и определяет словосочетания (людей, ло-
кации, организации), которые упомянуты в данном текс-
те. На практике сущности в текстах часто упоминаются
по-разному, есть различные виды кореференции, в том
числе анафорическая и катафорическая. Алгоритмы
разрешения кореференции используются для определе-
ния всех упоминаний одной и той же сущности и объеди-
нения их в один кластер.
Данные алгоритмы могут значительно упростить ана-
лиз документов и статей. Они могут использоваться для
создания эффективных поисковых движков. Если для
каждого запроса поисковый движок ищет все слова
в миллионах документов, то процесс поиска может
длиться очень долго. Однако если запустить алгоритм
распознавания сущностей и выделить из каждого доку-
мента список сущностей, то поиск значительно ускорит-
ся. Поисковый запрос будет сравниваться только с не-
большим списком сущностей, описанных в каждом доку-
менте, а не с каждым отдельным словом, что позволит
заметно сократить время поиска.
Базы данных могут хранить миллионы различных доку-
ментов и статей. Сотни статей могут иметь одну и ту же тему
с небольшими изменениями, что осложняет поиск инфор-
мации в таких базах. Фильтрация документов на основе
тегов, созданных с использованием распознавания имено-
ванных сущностей и разрешения кореференции, помогает
быстрее найти желаемую статью или документ.
Данные алгоритмы можно применять для улучшения
работы рекомендательных систем путем рекомендации
пользователям документов с упоминаниями похожих
сущностей; для создания объектов или свойств объ-
ектов в онтологии некоторой области (в том числе неф-
тегазовой), классификации контента для СМИ на основе
распознанных сущностей. Распознавание сущностей
может являться частью эффективных систем взаимо-
действия с пользователями.
76 12’2018 НЕФТЯНОЕ ХОЗЯЙСТВО
Адрес для связи: Bukhanov.nv@gazprom-neft.ru
Алгоритмы могут использоваться в системах автома-
тической суммаризации текста – распознавание сущно-
стей позволяет определить важные участки текста, кото-
рые должны быть включены в суммаризованный текст.
Применение таких технологий в нефтегазовой отрас-
ли особенно важно по двум причинам.
•Новые технологии, упомянутые в научных статьях,
после применения на практике могут экономить сотни
тысяч долларов ежедневно.
•Множество документов создаются в нефтегазовой
отрасли ежедневно и требуют тщательного анализа.
Реализация распознавания
именованных сущностей
Извлечение информации – группа задач, позволяю-
щих по тексту на естественном языке в свободном фор-
мате получить некоторое структурированное представ-
ление информации, содержащейся в тексте [1].
Задача выделения именованных сущностей является
одной из ключевых, так как позволяет узнать, о каких
именно объектах идет речь в тексте.
Традиционные сети, например, многослойный пер-
септрон, не имеют механизма памяти, дающего возмож-
ность решать задачу не с начала, а на основе некоторой
предварительной информации. Рекуррентные сети
обладают механизмом краткосрочной памяти, позво-
ляющий сохранять предыдущую информацию в диапазо-
не небольшого окна. В примере с текстом для предска-
зания следующего слова с помощью рекуррентных сетей
возможно учесть контекст одного предложения.
Например: Я родился во Франции и мой родной язык
французский. В рамках предложения можно получить
контекст местоположения и предсказать язык.
Другой пример: Я родился во Франции в 1905 г. Мои
родители были из рабочей семьи. Мой родной язык –
французский. В рамках контекста одного предложения
трудно догадаться, что речь идет о Франции, таким об-
разом, здесь необходимо хранить данные контекста
о трех предложениях.
  

Для решения подобных задач хорошо подходит сеть
долгосрочной памяти LSTM (Long Short Term Memory Ne-
ural Network), имеющая механизм краткосрочной и дол-
госрочной памяти.
Все рекуррентные сети имеют форму цепи повторяю-
щихся модулей нейронной сети. В стандартной рекур-
рентной сети повторяющийся модуль будет иметь очень
простую структуру, например, слой гиперболического
тангенса. LSTM сети также имеют структуру цепи, но по-
вторяющийся модуль выглядит несколько сложнее.
LSTM имеет возможность удалять или добавлять ин-
формацию в состояние ячейки, используя механизм
ворот. В своей композиции они состоят из сигмоидных
слоев, функции произведения и функций гиперболиче-
ского тангенса.
Двунаправленные LSTM сети объединяют две незави-
симые рекуррентные сети долгосрочной памяти. Вход-
ная последовательность данных передается в одну из
сетей в прямом порядке временных промежутков, в то
время как во вторую сеть передаются данные в обрат-
ном порядке временных промежутков.
Из примера с текстами следует, что, для предсказания
некоторого слова имеется возможность смотреть слова
в прошлом и будущем для учета контекста, что повыша-
ет точность распознавания именованных сущностей
и цепочек упоминаний (кореференции).
Реализация разрешения кореференции
Алгоритм разрешения кореференции основан на ней-
ронной сети и схож с распознаванием именованных
сущностей в работах [2, 3]. Некоторые изменения были
внесены для улучшения распознавания кореференции
для русского языка. Для тренировки сети был использо-
ван набор данных «Диалог-2014». LSTM слои в сети были
заменены на GRU слои, которые показывали несколько
лучшие результаты на валидации вследствие небольшо-
го числа параметров и небольшого размера набора дан-
ных. Векторы признаков word2vec модели skip-gram,
морфологических признаков, а также частей речи были
использованы в качестве векторного пространства. Из-
влеченный тэг именованной сущности добавлялся как
дополнительный признак, помогающий сети найти упо-
минания среди других извлеченных сущностей.
Алгоритмы распознавания именованных сущностей
и разрешения кореференции протестированы на дан-
ных, предварительно размеченных экспертами пред-
метной области (взято случайным образом 10 % дан-
ных). Метрики качества были рассчитаны для каждого
типа сущностей отдельно (включая начало и продолже-
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
стоявший из поисковой системы (на основе фреймвор-
ка ElasticSearch), а также модуля аналитики документов.
Извлеченные из документов сущности использовались
в ранжировании результатов поиска. В систему были за-
гружены файлы, связанные с нефтегазовой отраслью:
научные статьи и различные документы. Найденные до-
кументы могут быть проанализированы с помощью мо-
дуля аналитики: после анализа в них подсвечиваются
сущности различных классов, а также указывается ко-
реферирующие сущности. Созданы также рекоменда-
тельная система на основе иерархической кластериза-
ции (для извлечения признаков из текста использова-
лась модель Doc2Vec) и наивный алгоритм связывания
именованных сущностей (с помощью регулярных выра-
жений). Данная рекомендательная система помогает
пользователю быстро находить релевантные докумен-
ты, схожие с исходным документом.
Модели распознавания сущностей активно исполь-
зуются в системах поиска информации, при автоматиче-
ском построении дерева онтологий и ранжировании по-
исковых запросов. Поиск и определение специфических
слов, например, сущностей нефтяной отрасли помогает
в расширении запроса. Используя запрос «Легкие фрак-
ции нефти», система может проводить поиск по всем
фракциям, определенным и размеченным в документе.
Географические запросы, «Отчеты Западная Сибирь»
могут включать более точный географический запрос
«Отчеты ХМАО» или еще более точный «Отчеты Ханты-
Мансийск». Таким образом, при поиске информации
нельзя быть точно уверенным, на каком уровне «точно-
сти» находится релевантная поисковому запросу инфор-
мация, и использовать сразу всю информацию или про-
водить проверку по уровням. Поисковая система бази-
руется на автоматически построенном дереве онтоло-
гий, использующем разметку текста. При выявлении
важных сущностей из текста необходимо провести его
правильную разметку, определить сущности и построить
зависимости между всеми существенными элемента до-
кументов. Использование такой системы в поисковом
механизме расширяет область поиска, одновременно
повышая релевантность поисковой выдачи.
Оценка качества распознования сущностей
Класс
Precision Recall F1-score Support
B-PER 0,85 0,86 0,86 711
I-PER 0,89 0,87 0,88 919
B-ORG 0,78 0,73 0,76 1056
I-ORG 0,81 0,80 0,81 1158
B-LOC 0,82 0,85 0,83 1257

ние сущности, в случае если она состоит не из одного I-LOC 0,75 0,78 0,76 529

слова). Классы сущностей были не сбалансированы, так B-PROD 0,71 0,61 0,66 1590
I-PROD 0,68 0,59 0,63 371
как множество слов не имеют тэга. В таблице представ-
B-DATE 0,91 0,92 0,91 749
лена оценка качества распознавания сущностей на ва-
I-DATE 0,97 0,98 0,97 955
лидационной выборке. Оценка качества разрешения
O 0,99 0,99 0,99 107519
кореференции проводилась методом MUC, метриками
Avg / total 0,97 0,97 0,97 116814
являлись также Precision, Recall и F1.
Модели распознавания сущностей и разрешения ко- Примечания. 1. Класс: PER – person, ORG – organization, LOC – lo-
cation, Date – date, PROD – product; B – начало сущности; I – про-
референции были объединены в единый пайплайн, должение сущности в тексте; O – не сущность. 2. Строка Avg /
также включавший оптическое распознавание симво- total отражает усредненные / суммарные значения. 3. Precision –
лов (OCR), предобработку текста и токенизацию (раз- точность определения сущности; Recall – полнота распознава-
ния сущности; F1-score – гармоническое среднее точности и пол-
биение текста на токены). Был создан веб-сервис, со- ноты; Support – общее число сущностей данного класса.

НЕФТЯНОЕ ХОЗЯЙСТВО 12’2018 77

  
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
Рис. 1. Поля ввода параметров системы автоматического поиска аналогов
Рис. 2. Пример результата поиска аналогов на карте мира
Автоматическое выделение сущностей в тексте нашло
практическое применение в системе определения анало-
гов месторождений. Данная система предоставляет воз-
можность автоматического поиска аналогов месторожде-
ний на основе известных пользователю атрибутов (рис. 1).
Ключевым элементом этой системы является база
данных месторождений, в которой каждое месторожде-
ние характеризуется большим количеством как число-
вых, так и текстовых атрибутов. Атрибуты разделены на
несколько крупных категорий: общие данные, парамет-
ры ловушки, коллектора, данные о разработке и др.
Число атрибутов в базе подобрано таким образом, что
позволяет достаточно подробно описать месторождение
с позиций геологии, петрофизики и разработки. В систе-
ме реализованы двуязычный интерфейс и сквозная си-
стема кодирования атрибутов.
Источником информации для базы данных аналогов
служат как проектно-техническая документация компа-
нии «Газпром нефть», так и открытые источники в виде
неструктурированных баз данных, а также статей и пуб-
ликаций на русском и английском языках. Очевидно, что
на поиск необходимой информации и заполнение базы
данных атрибутов один специалист и даже несколько
специалистов должны затратить чрезвычайно много
времени. Поэтому процесс сбора и систематизации ин-
формации лучше автоматизировать.
При таком сценарии применение автоматического
распознавания именованных сущностей в проектных
78 12’2018 НЕФТЯНОЕ ХОЗЯЙСТВО
документах и открытых источниках позволяет обрабаты-
вать большие объемы информации за очень короткое
время. Всего с помощью системы в настоящее время из-
учено более 100 открытых баз данных, много статей
и проектно-технических документов, которые позволили
сформировать базу данных по более чем 1000 место-
рождений по всему миру (рис. 2).
Как указано выше, поиск аналогов система выпол-
няет по значениям известных пользователю атрибутов.
Система возвращает пользователю ранжированный по
степени аналогии список аналогов и статистические на-
боры данных по найденным месторождениям-аналогам.
Таким образом, реализована система для эффектив-
ного поиска информации и анализа. Система включает
модули распознавания сущностей и разрешения коре-
ференции для улучшения анализа документов и повы-
шения эффективности поиска. Создана рекомендатель-
ная система на основе иерархической кластеризации и
связывания (линкинга) сущностей.
Список литературы/References
1. Maithilee L., Patawar M., Potey A., Approaches to Named Entity Recog-
nition. A Survey, International Journal of Innovative Research in Computer
and Communication Engineering, 2015, V 3, no. 12, pp. 12201–12208.
2. Lafferty J., McCallum A., Pereira F.C.N., Conditional random fields: Prob-
abilistic models for segmenting and labeling sequence data, Proceeding
ICML '01 / Proceedings of the Eighteenth International Conference on Ma-
chine Learning, 2001, pp. 282–289.
3. McCallum W.Li, Early results for Named Entity Recognition with condi-
tional random fields, feature induction and web-enhanced lexicons,
CONLL '03/Proceedings of the seventh conference on Natural language
learning at HLT-NAACL 2003, 2003, V. 4.
4. Sha F., Pereira F., Shallow parsing with conditional random fields, Pro-
ceedings of HLT-NAACL 2003, pp. 213–220.
5. McDonald R.T., Pereira F.C.N., Online learning of approximate depen-
dency parsing algorithms, Proceedings EACL 2006, 11st Conference of the
European Chapter of the Association for Computational Linguistics, 3–7
April 2006.
6. Lample G., Ballesteros M., Subramanian S. et al., Neural architectures for
Named Entity Recognition, Proceedings of the 2016 Conference of the
North American Chapter of the Association for Computational Linguistics,
Human Language Technologies, 2016, pp. 260–270.
7. Lee K., He L., Lewis M., Zettlemoyer L., End-to-end Neural Coreference
Resolution, Proceedings of the 2017 Conference on Empirical Methods in
Natural Language Processing, 2017, pp. 188–197.
8. Anh L.T., Arkhipov M.Y., Burtsev M.S., Application of a Hybrid Bi-LSTM-CRF
model to task of Russian Named Entity Recognition, URL:
https://arxiv.org/pdf/1709.09686.pdf