Будущее анализа информации с помощью ИИ

Предсказания об ИИ стареют плохо, поэтому этот текст — не предсказание. Это наблюдение о том, какие задачи в анализе информации близки к решению, а какие нет. Такое различение говорит о дальнейшем направлении работы больше, чем любой прогноз.

В основном решено: чтение текста

Извлечение сущностей, событий и тем из неструктурированного текста, на разных языках и в большом объёме, больше не является трудной частью. Сжатие длинных материалов без потери нити достаточно надёжно, чтобы на этом строить. Распознавание того, что два по-разному сформулированных фрагмента значат одно и то же, работает хорошо.

Долгое время это и было барьером. Теперь это примерно общедоступные возможности — а значит, уже не то место, где система отличается от других.

Не решено: понимать, что есть одно и то же

Разрешение сущностей остаётся по-настоящему трудным, и на нём держится всё остальное. Решить, что три упоминания относятся к одной организации — через переименование, аббревиатуру и перевод, — требует контекста, которого нет ни в одном отдельном документе.

Ошибка в одну сторону — и разные объекты сливаются в несуществующую связь. Ошибка в другую — и тема распадается ровно там, где непрерывность была важна. Универсально верного порога не существует, а ошибки происходят тихо.

Не решено: происхождение в масштабе

По мере того как всё больше материала создаётся, переписывается и переиздаётся автоматически, вопрос «откуда это на самом деле взялось» становится и труднее, и важнее.

Внешнее подтверждение — пять источников, сообщающих одно и то же, — имеет смысл, только если эти пять независимы. Всё чаще они не независимы, и происхождение в тексте не видно. Прослеживание родословной вместо подсчёта упоминаний — это разница между системой, измеряющей информацию, и системой, измеряющей эхо.

Здесь и становятся уместны механизмы инфраструктурного уровня: временные метки, записи целостности, цепочки происхождения. Не как продуктовая функция, а как способ установить, что информация существовала в определённом виде в определённый момент. NWS.ONE описывает такие механизмы как инфраструктурные концепции и не более того.

Не решено: сдержанность

Способность, которая будет значить больше всего, — это дисциплина не утверждать лишнего.

Системы, анализирующие информацию, находятся под постоянным давлением выдавать вердикты, прогнозы и оценки уверенности, потому что это читаемо и производит впечатление. Это же и те результаты, которые чаще всего оказываются неверными так, что пользователь не может этого обнаружить.

Альтернатива менее эффектна и более долговечна: собрать материал, разложить его так, чтобы структура была видна, привязать происхождение к каждому элементу, показать, где источники расходятся, и оставить вывод человеку. Система, делающая это хорошо, полезнее той, что угадывает, — и честна в отношении того, чем она является.

Что, по нашему мнению, будет иметь значение

Если слой извлечения становится общедоступным, различие смещается к:

• качеству разрешения — насколько хорошо система понимает, что есть одно и то же во времени;
• глубине происхождения — прослеживается родословная или пересчитываются упоминания;
• хронологической точности — отделение момента события от момента сообщения;
• проверяемости — может ли пользователь увидеть, почему система связала две вещи;
• дисциплине утверждений — что система отказывается заявлять.

Ничто из этого не смотрится эффектно в демонстрации. Всё это определяет, можно ли доверять результату в работе, которая имеет значение.

Направление

К структуре, а не к ответам. Читатель сохраняет за собой суждение, система берёт на себя сборку. Это разделение не меняется с появлением более сильных моделей — оно становится важнее по мере их улучшения, потому что складно сформулированный неверный ответ поймать труднее, чем неуклюжий.