Latent Dirichlet Allocation

Latent Dirichlet allocation (LDA) ist ein von David Blei, Andrew Ng und Michael I. Jordan im Jahre 2003 vorgestelltes Bayessches Netz (und somit ein generatives Probabilistisches graphisches Modell) für die Themenmodellierung, welches der Einordnung von Dokumenten in Themen dient und einen wichtigen Teilbereich der Computerlinguistik darstellt. Das Modell ist identisch zu einem 2000 publizierten Modell zur Genanalyse von J. K. Pritchard, M. Stephens und P. Donnelly.

In der Themenmodellierung werden Daten als Sammlungen von Beobachtungen betrachtet, die in Form von Dokumenten organisiert sind. Dokumente sind in diesem Fall gruppierte, diskrete und ungeordnete Beobachtungen (im Folgenden „Wörter“ genannt). In den meisten Fällen bestehen diese Dokumente aus Texten, in denen Wörter gruppiert werden, wobei die Reihenfolge der Wörter keine Rolle spielt. Jedes Wort wird einem bestimmten Thema des Dokuments zugeordnet, und jedes Dokument enthält eine kleine Anzahl von Themen. Es können jedoch auch andere Datenarten verarbeitet werden, wie beispielsweise Pixel aus Bildern, wobei die zugrunde liegende Struktur der Themenzuordnung beibehalten wird.

Generierender Prozess

Darstellung des LDA-Modells in Plate notation.

LDA modelliert Dokumente durch ein Bayessches Netz:

Zunächst wird die Anzahl der Themen $K$ durch den Benutzer festgelegt.

Die Dokumentensammlung enthält $V$ unterschiedliche Terme, die das Vokabular bilden. Zunächst werden $K$ Multinomialverteilungen über alle $V$ Terme aus Dirichlet-Verteilungen gezogen, diese Verteilungen werden „Themen“ (englisch topics) genannt.

Für jedes Dokument wird eine Verteilung über die $K$ Themen aus einer Dirichlet-Verteilung gezogen. Ein Dokument enthält also mehrere Themen. Durch eine generierende Dirichlet-Verteilung mit Parametern $<1$ kann die Annahme ausgedrückt werden, dass Dokumente nur wenige Themen enthalten. Diese Annahme ist die einzige Neuerung von LDA im Vergleich zu vorherigen Modellen und hilft bei der Auflösung von Mehrdeutigkeiten (wie etwa beim Wort „Bank“). Die Steigerung der Themen-Qualität durch die angenommene Dirichlet-Verteilung der Themen ist deutlich messbar.

Anschließend wird für jedes Wort aus einem Dokument ein Thema gezogen und aus diesem Thema ein Term. Für die Zufallsvariablen bedeutet das:

${\begin{aligned}{\boldsymbol {\varphi }}_{k=1\dots K}&\sim \operatorname {Dirichlet} _{V}({\boldsymbol {\beta }})\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim \operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\z_{d=1\dots M,w=1\dots N_{d}}&\sim \operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\\w_{d=1\dots M,w=1\dots N_{d}}&\sim \operatorname {Categorical} _{V}({\boldsymbol {\varphi }}_{z_{dw}})\end{aligned}}$

Das LDA Modell im Bild lässt sich in folgende Formel für die Wahrscheinlichkeit übersetzen:

$P({\boldsymbol {W}},{\boldsymbol {Z}},{\boldsymbol {\theta }},{\boldsymbol {\varphi }};\alpha ,\beta )=\prod _{i=1}^{K}P(\varphi _{i};\beta )\prod _{j=1}^{M}P(\theta _{j};\alpha )\prod _{t=1}^{N_{j}}P(Z_{j,t}\mid \theta _{j})P(W_{j,t}\mid \varphi _{Z_{j,t}}),$

mit:

• $M$ die Anzahl der Dokumente
• $N_{i}$ die Anzahl der Wörter in einem Dokument $i$
• α ist der Parameter der Prior-Dirichlet-Verteilung der Themen pro Dokument
• β ist der Parameter der Prior-Dirichlet-Verteilung der Wörter pro Thema
• $\theta _{i}$ ist die Themenverteilung für Dokument i
• $\varphi _{k}$ ist die Wortverteilung für Thema k
• $z_{ij}$ ist das Thema des j-ten Wortes in Dokument i
• $w_{ij}$ ist das j-te Wort in Dokument i

Eigenschaften

In LDA wird jedes Dokument als eine Mischung von verborgenen Themen (engl. latent topics) betrachtet. Jedes Wort im Dokument ist einem Thema zugeordnet. Diese Themen, deren Anzahl zu Beginn festgelegt wird, erklären das gemeinsame Auftreten von Wörtern in Dokumenten. So kommen in Zeitungsartikeln die Wörter „Euro, Bank, Wirtschaft“ oder „Politik, Wahl, Parlament“ jeweils häufig gemeinsam vor. Diese Mengen an Wörtern haben dann jeweils eine hohe Wahrscheinlichkeit in einem Thema. Wörter können auch in mehreren Themen eine hohe Wahrscheinlichkeit haben.

LDA wird u. a. zur Analyse großer Textmengen, zur Textklassifikation, Dimensionsreduzierung oder dem Finden von neuen Inhalten in Textkorpora eingesetzt. Andere Anwendungen finden sich im Bereich der Bioinformatik zur Modellierung von Gensequenzen.

Weitere Anwendungsbereiche

Latent Dirichlet Allocation (LDA) findet nicht nur in der Themenmodellierung von Texten Anwendung, sondern hat sich auch in verschiedenen anderen Disziplinen als wertvolles Werkzeug erwiesen.

Psychologie

In der klinischen Psychologie etwa wird LDA zunehmend eingesetzt, um häufige Themen und Muster in komplexen psychologischen Daten zu identifizieren. So kann das Modell in Studien eingesetzt werden, um beispielsweise negative Selbstbilder von Jugendlichen mit sozialen Ängsten zu analysieren und zu kategorisieren. Dies ermöglicht es, tiefere Einblicke in die psychologischen Muster und Themen zu gewinnen, die mit bestimmten mentalen Gesundheitszuständen verbunden sind.

Überwachtes Latent Dirichlet Allocation mit Kovariaten (SLDAX), wurde speziell entwickelt, um latent identifizierte Themen in Texten mit anderen manifesten Variablen zu kombinieren. Dieses Modell ermöglicht es, Textdaten als Prädiktoren in statistische Regressionsanalysen zu integrieren und so psychologische Ergebnisse genauer zu prognostizieren. Der Vorteil von SLDAX gegenüber herkömmlichen Zweistufenansätzen besteht darin, dass es verzerrte Schätzungen und falsche Standardfehler vermeidet und eine genauere Analyse psychologischer Texte ermöglicht.

Sozialwissenschaften

Auch in den Sozialwissenschaften, insbesondere in der Analyse von großen Datensätzen aus sozialen Medien, hat sich LDA als nützlich erwiesen. So können öffentlich zugänglichen Twitter-Daten, bei der LDA verwendet wurde, um die Kommunikation über gesellschaftlich relevante Themen wie den Konsum von verschreibungspflichtigen Medikamenten zu untersuchen. Durch die Analyse solcher großen Textkorpora lassen sich Muster und Themen extrahieren, die sonst möglicherweise unbemerkt bleiben würden. Diese Art der Analyse bietet wertvolle Einblicke in die öffentliche Diskussion und Wahrnehmung von Themen in Echtzeit.

Siehe auch

• Dirichlet-Verteilung

Literatur

• David M. Blei, Andrew Y. Ng, Michael I. Jordan: Latent dirichlet allocation. In: Journal of Machine Learning Research, Jg. 3 (2003), S. 993–1022, ISSN 1532-4435
• David M. Blei: Probabilistic Topic Models. In: Communications of the ACM, (2013), vol 55/4, S. 77–84.

Weblinks

• LDA Implementierung in C von David Blei.