Cum găsește AI relații în informație

Un graf de cunoștințe este o idee simplă cu un mijloc dificil. Lucrurile devin noduri, relațiile devin muchii, iar rezultatul poate fi parcurs în loc să fie citit. Dificultatea nu stă în model, ci în tot ce este necesar pentru a-l construi din texte scrise de oameni care nu se gândeau la grafuri.

Pasul unu: găsește lucrurile

Extragerea de entități scoate persoanele, organizațiile, locurile, produsele și celelalte lucruri denumite la care se referă un text. Modelele de limbaj moderne fac asta suficient de bine încât rareori aici este blocajul.

Mai greu este să știi ce fel de lucru este ceva. Un nume poate fi o persoană, o companie, un loc sau un produs, în funcție de context, iar greșirea tipului se propagă în fiecare relație construită deasupra lui.

Pasul doi: decide ce este același lucru

Aici se află cea mai mare parte a dificultății, iar numele ei nu este deloc spectaculos: rezolvarea entităților.

Trei mențiuni din trei documente se pot referi la un singur lucru sau la trei:

• o organizație care apare sub denumirea legală completă, sub numele comercial și sub o abreviere;
• două persoane cu același nume comun;
• o companie redenumită după o fuziune, ale cărei identități anterioară și ulterioară sunt aceeași entitate continuă în anumite scopuri și nu în altele.

Dacă rezolvi prea agresiv, unești lucruri distincte și produci relații care nu există. Dacă rezolvi prea conservator, un subiect de lungă durată se fragmentează în bucăți deconectate exact acolo unde continuitatea conta.

Nu există o setare corectă în general. Ce ajută este contextul: două mențiuni care apar împreună cu aceleași alte entități, în același domeniu, într-un interval de timp compatibil, au șanse mai mari să fie un singur lucru decât două mențiuni care se potrivesc doar prin similaritatea șirului de caractere.

Pasul trei: găsește muchiile

Cu entitățile rezolvate, relațiile provin din mai multe semnale:

Co-apariția. Apar împreună, în mod repetat, în aceleași evenimente. Slabă individual, semnificativă în agregat.

Relații sintactice. Propoziția enunță relația direct: cine a achiziționat pe cine, cine a fost numit în ce funcție. Precisă acolo unde există.

Similaritate semantică. Descrierile înseamnă lucruri asemănătoare fără a împărtăși vocabular. Aceasta supraviețuiește parafrazei și traducerii, iar sistemele bazate pe cuvinte-cheie nu o pot face deloc.

Corelație temporală. Entități a căror activitate crește și scade împreună în timp. Sugestivă și ușor de supra-interpretat.

Descendența surselor. Două relatări care provin din același original. Importantă în sens negativ: îți arată când o confirmare independentă aparentă este o singură sursă repetată.

Pasul patru: păstrează raționamentul atașat

O muchie fără temei este o afirmație. Sistemul trebuie să poată răspunde la „de ce este aceasta aici” cu dovada concretă: aceste documente, această propoziție, acest tipar de co-apariție.

Nu este un detaliu de finețe. Relațiile derivate automat greșesc suficient de des încât un graf care nu poate fi inspectat devine activ înșelător, în timp ce unul inspectabil rămâne util chiar și când o muchie este greșită — pentru că cititorul poate vedea că este greșită.

La ce servește

Graful nu este produsul livrat. Este substratul care face restul să funcționeze: el permite unui timeline să arate evenimente conexe, permite unei vederi pe surse să arate ce alte surse ating aceleași entități și transformă un subiect în ceva ce poți parcurge în loc să derulezi.

Cititorul nu trebuie să vadă niciodată graful. Observă doar că urmărirea unui fir durează un clic în loc de patruzeci de minute.