Von Luhn 1958 bis BERT 2018: 60 Jahre Summarization-Forschung

1958: Hans Peter Luhn baut den ersten Summarizer

Im April 1958 erscheint im IBM Journal of Research and Development (Band 2, Heft 2) ein Aufsatz mit dem trockenen Titel The Automatic Creation of Literature Abstracts. Autor: Hans Peter Luhn, deutscher Auswanderer, IBM-Forscher in Yorktown Heights. Luhn beschreibt darin ein Verfahren, das wissenschaftliche Texte automatisch zusammenfassen kann. Es funktioniert so:

1. Wörter im Text werden gezählt.
2. Sehr häufige Wörter (Stopwörter wie the, of, and) und sehr seltene Wörter werden ignoriert.
3. Sätze bekommen einen Score basierend darauf, wie viele “wichtige” Wörter sie enthalten und wie dicht diese im Satz stehen.
4. Die Sätze mit den höchsten Scores werden ausgewählt.

Luhns Algorithmus läuft auf der IBM 704, einem Tonnenmonstrum mit 32 Kilobyte Magnetkernspeicher. Die Texte werden auf Lochkarten eingelesen, das Ergebnis kommt auf Endlospapier. Trotzdem funktioniert das Verfahren. Es ist die Geburtsstunde der automatischen Summarization.

1969: Edmundson erweitert den Kanon

Elf Jahre später, 1969, veröffentlicht Harold Edmundson im Journal of the ACM (Band 16, Heft 2) den Aufsatz New Methods in Automatic Extracting. Edmundson ist an der University of Maryland tätig und erweitert Luhns Ansatz um drei Ideen:

• Cue-Phrases: Bestimmte Formulierungen (“in conclusion”, “it is shown that”) deuten auf Schlüsselsätze hin und sollten gewichtet werden.
• Title-Words: Wörter aus dem Titel sind besonders wichtig und sollten ebenfalls Bonus-Punkte bekommen.
• Location: Sätze am Anfang und Ende von Absätzen sind oft wichtiger als in der Mitte.

Edmundsons Ansatz wird “Cue-Title-Location-Method” genannt und ist bis in die 1990er der Goldstandard für extraktive Summarization. Viele moderne Tools nutzen Cue-Phrase-Listen noch als Backup-Heuristik.

1980er bis 1990er: Stagnation und Information Retrieval

Zwischen 1969 und Mitte der 1990er passiert vergleichsweise wenig. Information Retrieval ist von Boolean-Suche dominiert (Stichworte sind UND/ODER-verknüpft), und automatische Zusammenfassung gilt als unzuverlässig. Salton und McGill veröffentlichen 1983 ihr Standardwerk Introduction to Modern Information Retrieval, in dem TF-IDF und Cosine-Similarity etabliert werden. Diese Methoden bilden später die Grundlage für LexRank und viele moderne Verfahren.

In den 1990ern entstehen die ersten kommerziellen Summarizer, etwa der Microsoft Word AutoSummarize, der 1997 in Office 97 ausgeliefert wird. AutoSummarize nutzt eine Mischung aus Luhn und Edmundson, ist aber dafür berüchtigt, oft seltsame Sätze auszuwählen. Microsoft entfernt das Feature 2010 wieder.

2001: Inderjeet Manis Standardwerk

Inderjeet Mani veröffentlicht 2001 bei John Benjamins das Buch Automatic Summarization. Es wird zum Pflichtwerk der Disziplin. Mani strukturiert das Feld in extraktive vs. abstraktive Methoden, in Single-Document vs. Multi-Document, in informativ vs. indikativ. Viele Begrifflichkeiten, die heute Standard sind, stammen aus diesem Buch.

Gleichzeitig startet NIST die Document Understanding Conference (DUC). Die DUC-2001 ist die erste Veranstaltung, bei der verschiedene Teams ihre Summarization-Systeme an denselben Texten messen können. Die Wettbewerbssituation pusht die Forschung enorm.

2004: TextRank und LexRank, fast gleichzeitig

Im Juli 2004 stellen Mihalcea und Tarau auf der EMNLP-Konferenz in Barcelona ihr Paper TextRank: Bringing Order into Texts vor. Drei Monate später erscheint im Journal of Artificial Intelligence Research (JAIR, Band 22) der Aufsatz LexRank: Graph-based Lexical Centrality von Erkan und Radev. Beide Paper haben dieselbe Grundidee: PageRank auf Sätze anwenden. Sie unterscheiden sich nur in Detailfragen (Similarity-Maß, gerichteter vs. ungerichteter Graph).

Die “Independent Discovery” ist ein historischer Moment. Beide Teams hatten unabhängig dieselbe Idee. TextRank wird in der Praxis populärer, weil die Mihalcea-Tarau-Similarity einfacher zu implementieren ist als LexRanks TF-IDF-Cosine. LexRank bleibt der akademische Favorit.

2017: Vaswani und der Transformer

Am 12. Juni 2017 wird auf arXiv das Paper Attention Is All You Need von Ashish Vaswani und Kollegen bei Google Brain hochgeladen. Es wird im Dezember auf der NIPS-Konferenz 2017 (heute NeurIPS) vorgestellt. Die Idee: Sequenzielle Daten (Text) müssen nicht sequenziell verarbeitet werden. Stattdessen kann jedes Wort über einen Attention-Mechanismus auf jedes andere im Kontext zugreifen.

Das Paper ist heute mit über 150.000 Zitationen eines der einflussreichsten in der gesamten KI-Forschung. Es legt die Grundlage für alle modernen Sprachmodelle: BERT (Devlin et al, 2018), GPT-2 (Radford et al, 2019), GPT-3 (Brown et al, 2020), T5 (Raffel et al, 2020), BART (Lewis et al, 2020), PEGASUS (Zhang et al, 2020).

2018-2020: Die Modellexplosion

In den drei Jahren nach Vaswani entsteht eine Familie von Modellen, die Summarization als Anwendungsfeld stark prägen.

BERT (Bidirectional Encoder Representations from Transformers, NAACL 2019): Devlin et al lassen Transformer in beide Richtungen lesen, was Verständnis-Aufgaben (Frage-Antwort, Klassifikation) revolutioniert. Direkt für Summarization nicht ideal, weil BERT nicht generieren kann.

BART (Lewis et al, ACL 2020): Eine Kombination aus BERT-Encoder und GPT-Decoder. BART kann beides, verstehen und generieren. Wird zu einem Standard für Summarization.

PEGASUS (Zhang et al, ICML 2020): Speziell für Summarization vortrainiert. Das Modell lernt, beim Pretraining ganze Sätze zu erraten, was es perfekt auf Zusammenfassungen vorbereitet.

T5 (Raffel et al, JMLR 2020): Google’s Text-to-Text Transfer Transformer, alles wird als Text-Eingabe und Text-Ausgabe formuliert.

GPT-3 (Brown et al, NeurIPS 2020): 175 Milliarden Parameter, kann ohne spezielles Training fast jede NLP-Aufgabe lösen. Das Modell, das ChatGPT 2022 hervorbringt.

2022 bis heute: LLM-Mainstream

Seit der Veröffentlichung von ChatGPT (Ende 2022) und der nachfolgenden Welle (Claude, Gemini, Llama, Mistral) ist Summarization für Endnutzer eine Anfrage an ein LLM: “Fasse diesen Text zusammen”. Die Antwort ist meist gut, manchmal sehr gut, gelegentlich halluziniert.

In Spezial-Domänen lebt extraktive Summarization aber weiter. Wissenschaftliche Tools wie SciSpace nutzen Hybrid-Verfahren. Browser-Tools wie text-zusammenfassen.de bleiben rein extraktiv, weil sie ohne Server-Last und ohne Daten-Auslieferung auskommen.

Der Beitrag der Industrie: Microsoft, Google, Apple

Parallel zur akademischen Entwicklung haben drei Konzerne die Summarization in die Massenmärkte gebracht. Microsoft führte 1997 mit Word AutoSummarize das erste Massenprodukt ein, allerdings mit gemischtem Erfolg. Die Funktion war für seltsame Auswahlen berüchtigt und wurde 2010 in Office 2010 wieder entfernt. Heute ersetzt Microsoft sie durch Copilot, der auf GPT-4 basiert und im gesamten Office-Paket Zusammenfassungen anbietet.

Google integrierte Summarization 2018 in Gmail (Smart Reply), 2019 in Docs (Summary Suggestions) und 2024 in Workspace (Gemini-basiert). Apple folgte 2024 mit “Apple Intelligence”, einem System aus mehreren Modellen, die auf dem Gerät und in der Cloud laufen. Die On-Device-Variante nutzt ein eigenes Modell mit etwa 3 Milliarden Parametern, die Cloud-Variante kann auf größere Modelle zugreifen.

Diese Industrialisierung hat zwei Effekte. Erstens ist Summarization für Endnutzer trivial geworden: drei Klicks, fertig. Zweitens sind die Nutzer-Erwartungen gestiegen: Eine Zusammenfassung muss nicht nur korrekt, sondern auch stilistisch glatt sein. Das hat extraktive Verfahren in der Wahrnehmung zurückgedrängt, obwohl sie technisch oft die robustere Wahl wären.

Die ROUGE-Metrik: Wie Summarization gemessen wird

Eine wichtige Entwicklung neben den Algorithmen war die Standardisierung der Bewertung. Chin-Yew Lin von der University of Southern California veröffentlichte 2004 das Paper ROUGE: A Package for Automatic Evaluation of Summaries (ACL Workshop 2004). ROUGE steht für Recall-Oriented Understudy for Gisting Evaluation. Die Metrik vergleicht den Output eines Summarizers mit einer (oder mehreren) Referenz-Zusammenfassungen und misst Überlappung.

Es gibt mehrere ROUGE-Varianten: ROUGE-1 (Unigramm-Überlappung), ROUGE-2 (Bigramm), ROUGE-L (Longest Common Subsequence). Alle drei werden routinemäßig in Summarization-Papers berichtet. Ein ROUGE-1-Wert von 0.30 bedeutet: 30 Prozent der Wörter im Output stehen auch in der Referenz.

ROUGE hat Schwächen, etwa Synonyme nicht zu erkennen und stilistische Glätte zu ignorieren. Trotzdem ist sie seit 20 Jahren die Standard-Metrik, weil sie reproduzierbar, schnell zu berechnen und einfach zu interpretieren ist. Neuere Metriken wie BERTScore (Zhang et al, 2020) sind semantisch reicher, aber rechenintensiver.

Multi-Document-Summarization als eigenes Feld

Bisher haben wir über Single-Document-Summarization gesprochen: Ein Eingabetext, eine Zusammenfassung. Aber bereits in den 1990ern entstand ein Schwesterfeld: Multi-Document-Summarization, also das Zusammenfassen mehrerer Quellen zu einem Thema.

Das ist deutlich schwieriger. Mehrere Quellen können widersprüchliche Informationen enthalten, redundante Aussagen wiederholen, unterschiedliche Perspektiven einnehmen. Frühe Multi-Document-Systeme wie MEAD (Radev et al, 2001) und SUMMARIST (Hovy und Lin, 1999) versuchten, Redundanz zu erkennen und Konflikte aufzulösen. LexRank wurde 2004 explizit für Multi-Document entwickelt und nutzt seine TF-IDF-Komponente, um Korpus-weite Term-Wichtigkeit zu erfassen.

Moderne LLMs lösen Multi-Document-Summarization mit Long-Context-Modellen. Claude 3.5 verarbeitet bis zu 200.000 Token Kontext, das sind etwa 150.000 Wörter oder 500 Seiten. Damit lassen sich viele Quellen gleichzeitig in einer Anfrage zusammenfassen. Die Qualität ist beeindruckend, die Kosten allerdings hoch (eine 200K-Token-Anfrage kostet bei OpenAI mehrere Dollar).

Was wir aus den 68 Jahren lernen

Drei Beobachtungen aus der historischen Linie. Erstens: Konzeptionelle Sprünge sind selten. In 68 Jahren gab es genau zwei: die Graph-Idee von 2004 (TextRank, LexRank) und die Transformer-Architektur von 2017. Alles dazwischen sind Verfeinerungen.

Zweitens: Alte Algorithmen sterben nicht. Luhns Wortfrequenz-Ansatz lebt in TF-IDF weiter. Edmundsons Cue-Phrase-Idee in modernen Hybrid-Systemen. TextRank von 2004 ist 2026 immer noch der Standard für Browser-Summarizer. Die Disziplin ist additiv, nicht zerstörerisch.

Drittens: Die Disziplin folgt der Recheninfrastruktur. Luhn 1958 hatte 32 KB Speicher zur Verfügung, sein Algorithmus war entsprechend einfach. Mihalcea 2004 hatte GHz-Prozessoren und konnte Iterationen über Graphen rechnen. Vaswani 2017 hatte GPUs mit Tausenden Recheneinheiten und konnte parallele Attention-Berechnungen durchführen. Wer wissen will, was 2030 in Summarization Stand der Technik sein wird, sollte auf die Recheninfrastruktur schauen, nicht auf die Algorithmen.

Was hängenbleibt

Von Luhns IBM-704-Code bis zu Claude und GPT-4 ist es ein 68-jähriger Weg. Die Disziplin hat zwei klare Sprünge erlebt: 2004 mit TextRank und LexRank (graphbasiert), 2017 mit dem Transformer (neural). Dazwischen viele kleine Verbesserungen. Wer extraktive Verfahren von 2004 nutzt, steht auf der Schulter von 46 Jahren Forschung. Wer GPT nutzt, auf der von 68. Beide haben ihren Platz, je nach Use-Case.