Aumento de la asignación de Dirichlet latente y la detección por umbral de rango con ontologías

Título original:

Augmenting Latent Dirichlet Allocation and Rank Threshold Detection with Ontologies

Contenido del libro:

En un entorno cada vez más rico en datos, la información procesable debe extraerse, filtrarse y correlacionarse a partir de cantidades masivas de fuentes dispares, a menudo de texto libre. La utilidad de la información recuperada depende de cómo llevemos a cabo estos pasos y presentemos la información más relevante al analista.

Un método para extraer información de texto libre es la Asignación de Dirichlet Latente (LDA), una técnica de categorización de documentos para clasificarlos en temas cohesionados. Aunque LDA tiene en cuenta algunas relaciones implícitas, como la sinonimia (mismo significado), a menudo ignora otras relaciones semánticas, como la polisemia (significados diferentes), el hipónimo (subordinado), el meronímico (parte de) y el troponómico (manera).

Para compensar esta deficiencia, incorporamos ontologías de palabras explícitas, como WordNet, al algoritmo LDA para tener en cuenta diversas relaciones semánticas. Los experimentos realizados con las colecciones de documentos 20 Newsgroups, NIPS, OHSUMED e IED demuestran que la incorporación de estos conocimientos mejora la medida de perplejidad con respecto a LDA solo para determinados parámetros.