Text Mining und dessen Implementierung

In der heutigen Zeit, in der der Umgang mit Informationsressourcen den Alltag bestimmt, ist es wichtig, dass es Systeme gibt, die gewährleisten, dass für den Nutzer relevante Informationen gesucht und auf die wichtigsten Fakten reduziert werden. Ein Großteil der gespeicherten Informationen, welche extrahiert werden sollen, sind dabei in Form von Textdokumenten vorhanden. Zu diesem Zweck gibt es in der Informatik ein Fachgebiet, das es sich zur Aufgabe gemacht hat, Analysewerkzeuge zur Bearbeitung von natürlich sprachigen Texten zu entwickeln. Diese Entwicklung hatte ihren Ursprung bereits in den Anfängen der Informatik und ist somit eines der ältesten Probleme der IT-Branche. Mit der erhöhten Zugänglichkeit der Informationen steigen die Anforderungen an Informationssysteme, von denen eine automatische Generierung und Aufbereitung von Wissen erwartet wird. Dabei wird die Entwicklung solcher Informationssysteme mit verschiedenen Problemen konfrontiert. Beispielsweise erschwert die schiere Masse an Daten die Auswahl der Informationsquellen. Allein das Volumen des Internets umfasst ca. 75 Mio. Webseiten, ganz zu schweigen von unternehmensinternen Datenbanken, Email-Verkehr und Dokumentenmanagementsysteme, deren Datenvolumen bereits im Jahr 2000 auf 1000 Petabyte geschätzt wurde. Da elektronische Medien in der modernen Zeit immer mehr an Bedeutung gewinnen, steigen auch die gespeicherten Informationen in unaufhaltsamem Maße fast exponentiell an. Dieser Trend wird auch als Information Overload bezeichnet. Erschwerend dabei ist, dass weder die Inhalte, noch der Zweck des Systems im World Wide Web klar definiert sind.
Desweiteren macht die natürliche Sprache der einzelnen Informationsquellen zu schaffen. Solang die Daten strukturiert in einer Datenbank vorliegen, können sie von Informationssystemen ohne Probleme gelesen und die wichtigsten Informationen herausgefiltert werden. Dieses Verfahren ist bekannt unter dem Begriff 'Data-Mining'. Bei natürlichen Texten liegt jedoch keine feste Datenstruktur vor, da Semantik und Syntax bei der Informationsgewinnung berücksichtigt werden müssen. Hinzu kommt noch, dass statistische Methoden eine große Rolle spielen, um die gewünschten Informationen aus den Texten zu gewinnen. Ohne entsprechende Systeme ist es somit unmöglich, effektiv mit den Informationen aus Texten umzugehen.
Eine Technik, die es dennoch ermöglicht Textdatenbanken zu analysieren und Wissen aus unbekannten Texten zu extrahieren, wird als 'Text-Mining' bezeichnet, welches auf den Grundlagen des Data-Mining basiert.
Nichts desto trotz stecken die Analyseverfahren noch in den Kinderschuhen, da die enorme Fülle an Informationen und deren differenzierter sprachlicher Aufbau der Entwicklung zu schaffen macht.
In dieser Studie geben wir grundlegende Einblicke in das Gebiet des Text-Mining, definieren und beschreiben den Prozess, und erläutern die Methodik an einem eigens konzipierten Text-Mining-Tools.

1;Inhaltsverzeichnis;3 2;Abbildungsverzeichnis;5 3;Tabellenverzeichnis;5 4;1 Einleitung;6 4.1;1.1 Zielsetzung;7 4.2;1.2 Aufbau der Arbeit;7 5;2 Grundlagen;8 5.1;2.1 Was ist Text Mining?;8 5.2;2.2 Aufbau und Struktur von Text;9 5.3;2.3 Linguistischer Strukturalismus als Grundlage zur Bedeutungsanalyse;11 5.3.1;2.3.1 Die Linguistik und ihre Ebenen;11 5.3.2;2.3.2 Syntagmatische und Paradigmatische Relationen;16 5.3.3;2.3.3 Semantische Relationen;20 6;3 Text Mining-Prozess;23 6.1;3.1 Unterschied Text Mining und Data Mining;24 6.2;3.2 Dokumentsuche;25 6.2.1;3.2.1 Information Retrieval;25 6.2.2;3.2.2 Aufbau und Funktion eines Information Retrieval Systems;26 6.3;3.3 Dokumentaufbereitung;28 6.3.1;3.3.1 Textressourcen;28 6.3.2;3.3.2 Aufbau eines Analysekorpus;28 6.4;3.4 Text Mining Statistische Analysemethoden;33 6.4.1;3.4.1 Zipfsches Gesetz;33 6.4.2;3.4.2 Differenzanalyse;33 6.4.3;3.4.3 Part-of-Speech Tagging;35 6.4.4;3.4.4 Kookkurrenzanalyse;43 6.5;3.5. Text Mining Clusteranalyse;47 6.5.1;3.5.1 Nicht-hierarchische Verfahren;47 6.5.2;3.5.2 Hierarchische Verfahren;49 6.5.3;3.5.3 Fuzzy-Clusteranalyse;50 6.5.4;3.5.4 Dokumentähnlichkeit;51 6.5.5;3.5.5 Anwendungsbeispiel;54 6.6;3.6 Text Mining Musteranalyse;56 6.6.1;3.6.1 Reguläre Ausdrücke;56 6.6.2;3.6.2 Syntaktische Muster;58 7;4 Text Mining-Prozess anhand des Zalazar Text Miner;60 7.1;4.1 Programmaufbau;61 7.2;4.2 Dokumentaufbereitung;63 7.2.1;4.2.1 Formatierung des zu analysierenden Textdokuments;63 7.2.2;4.2.2 Aufbau des Analysekorpus anhand der Satz- und Wortsegmentierung;64 7.3;4.3 Dokumentanalyse;71 7.3.1;4.3.1 Part-of-Speech Tagging;71 7.3.2;4.3.2 Differenzanalyse;74 7.3.3;4.3.3 Musteranalyse;75 7.4;4.4 Ergebnisevaluation;77 7.5;4.5 Handhabung des Zalazar Text Miner;78 7.5.1;4.5.1 Öffnen einer neuen Mail;79 7.5.2;4.5.2 Durchführen der Textanalyse;80 7.5.3;4.5.3 Speichern der Ergebnisse;81 7.5.4;4.5.4 Laden der Ergebnisse einer bereits analysierten Mail;82 8;5 Schlusswort;83 9;Literatur;85