Über Mateusz
Mateusz Viola arbeitet bei AKARA Solutions in Pinneberg und ist hier der Hauptverantwortliche für die TextRank-Engine hinter text-zusammenfassen.de. Das Tool implementiert eine extraktive Zusammenfassung nach Mihalcea und Tarau (EMNLP 2004): Der Eingabetext wird zuerst preprocessiert (Whitespace normalisieren, Zeilenumbrueche reduzieren), dann mit einem regulaeren Ausdruck in Saetze gesplittet, der deutsche Abkuerzungen wie z.B., d.h. und u.a. respektiert (Platzhalter-Trick: Punkte in Abkuerzungen werden vor dem Split maskiert und danach wiederhergestellt). Jeder Satz wird tokenisiert, lowercased und gegen eine Stoppwortliste (DE: 100 Eintraege, EN: 110 Eintraege) gefiltert. Anschliessend baut die Engine eine Similarity-Matrix, in der jeder Wert die Aehnlichkeit zweier Saetze nach der Mihalcea-Tarau-Formel |gemeinsame Tokens| / (log|tokens_a| + log|tokens_b|) ausdrueckt. Diese Matrix wird als Adjazenzmatrix in den PageRank-Algorithmus geschickt: 50 Iterationen bei einem Damping-Faktor von 0.85, Konvergenz-Toleranz 1e-5, gleiche Formel wie Brin und Page für Google 1998. Die Top-N Saetze nach Score (N abhaengig von der Laengen-Wahl short/medium/long: 30, 50 oder 70 Prozent) werden in ihrer Original-Reihenfolge zusammengesetzt und je nach Format als Fliesstext, Stichpunkte oder nummerierte Liste ausgegeben. Die drei hoechstgerankten Saetze werden separat als Kernaussagen angezeigt. Wer das mag, exportiert das Ergebnis als TXT mit UTF-8 Byte-Order-Mark, damit Excel und LibreOffice die Umlaute korrekt darstellen. Bug-Reports oder Ideen für neue Features gehen an info@akara-solutions.de.
Verantwortungsbereich auf text-zusammenfassen.de
- TextRank-Engine nach Mihalcea & Tarau 2004
- Sentence-Splitter mit DE-Abkürzungs-Erkennung
- Stoppwortlisten DE + EN
- PageRank-Iteration mit Damping 0.85
- Output-Formatter paragraph / bullet / numbered
- localStorage History + Prefs
Kontakt für inhaltliche Anliegen
Fragen, Korrekturwünsche oder Hinweise zu Inhalten gehen direkt an mateusz.viola@akara-solutions.de. Bei rechtlich relevanten Anliegen wende dich an den nach § 18 Abs. 2 MStV inhaltlich Verantwortlichen (Eike-Christian Ramcke, Anschrift siehe Impressum).