Как ИИ находит связи в информации

Граф знаний — простая идея с трудной серединой. Объекты становятся узлами, связи — рёбрами, и результат можно обходить, а не читать. Трудность не в модели, а во всём, что требуется, чтобы построить её из текстов, написанных людьми, которые о графах не думали.

Шаг первый: найти объекты

Извлечение сущностей вытаскивает людей, организации, места, продукты и прочие именованные объекты, о которых говорит текст. Современные языковые модели делают это достаточно хорошо, так что узким местом это бывает редко.

Сложнее понять, какого рода объект перед вами. Одно и то же имя в зависимости от контекста может быть человеком, компанией, местом или продуктом, и ошибка в типе распространяется на каждую связь, построенную поверх него.

Шаг второй: решить, что есть одно и то же

Здесь сосредоточена бóльшая часть трудности, и название у неё совсем не эффектное: разрешение сущностей.

Три упоминания в трёх документах могут относиться к одному объекту или к трём:

• организация, встречающаяся под полным юридическим названием, под торговым названием и под аббревиатурой;
• два человека с одинаковым распространённым именем;
• компания, переименованная после слияния, чьи прежняя и нынешняя идентичности для одних задач — одна непрерывная сущность, а для других нет.

Разрешаешь слишком агрессивно — сливаешь разное и порождаешь связи, которых не существует. Разрешаешь слишком осторожно — долгая тема распадается на несвязанные куски ровно там, где непрерывность и была важна.

Универсально правильной настройки нет. Помогает контекст: два упоминания, встречающиеся вместе с одними и теми же другими сущностями, в той же предметной области, в совместимом временнóм диапазоне, скорее относятся к одному объекту, чем два упоминания, совпадающие только по схожести строки.

Шаг третий: найти рёбра

Когда сущности разрешены, связи выводятся из нескольких сигналов:

Совстречаемость. Появляются вместе, неоднократно, в одних и тех же событиях. По отдельности слабый сигнал, в совокупности — значимый.

Синтаксические отношения. Предложение прямо называет связь: кто кого приобрёл, кого куда назначили. Точный сигнал там, где он есть.

Семантическая близость. Описания означают близкие вещи, не имея общей лексики. Именно это переживает перефразирование и перевод, и именно этого системы на ключевых словах не умеют вовсе.

Временнáя корреляция. Сущности, чья активность растёт и падает синхронно. Наводит на мысль — и легко перечитывается.

Происхождение источников. Два сообщения, восходящие к одному оригиналу. Важно в отрицательном смысле: показывает, когда мнимое независимое подтверждение — это один источник, повторённый многократно.

Шаг четвёртый: сохранить обоснование

Ребро без основания — это утверждение. Система должна уметь ответить на вопрос «почему оно здесь» конкретным свидетельством: вот эти документы, вот это предложение, вот такая картина совстречаемости.

Это не тонкость. Автоматически выведенные связи ошибаются достаточно часто, чтобы непроверяемый граф стал прямо вводящим в заблуждение, тогда как проверяемый остаётся полезным даже при ошибочном ребре — потому что читатель видит, что оно ошибочно.

Зачем это нужно

Граф — не конечный продукт. Это основа, на которой работает остальное: он позволяет хронологии показывать связанные события, позволяет виду по источникам показать, какие ещё источники затрагивают те же сущности, и превращает тему в нечто, по чему можно ходить, а не прокручивать.

Читателю не обязательно когда-либо видеть граф. Он лишь замечает, что пройти по нити занимает один клик, а не сорок минут.