Anmerkungen
Zu jeder Angabe im Buch die genaue Fundstelle, oft mit dem Wortlaut der Quelle.
Die Ziffern zählen je Kapitel in der Reihenfolge, in der die Angaben im Text vorkommen. Ein Klick auf eine Quelle führt zu ihrem vollständigen Eintrag. Alle Onlinequellen wurden am 18. Oktober 2026 abgerufen, sofern nicht anders angegeben.
- Kapitel 1: Was KI ist und was nicht
- Kapitel 2: Wie Maschinen aus Beispielen lernen
- Kapitel 3: Vom Prompt zum nächsten Token
- Kapitel 4: Wissen, Erfinden, Wiedergeben
- Kapitel 5: Die Modelllandschaft 2026
- Kapitel 6: Was mit deinen Daten passiert
- Kapitel 7: Mehr als ein Modell: Suche, Werkzeuge, Agenten
- Kapitel 8: Wie ein Benchmark-Test abläuft
- Kapitel 9: Eine Benchmark-Tabelle lesen
- Kapitel 10: Sicherheit: Wie Modelle Nein sagen und wie man das aushebelt
- Kapitel 11: Recht und Arbeit: Wer die Regeln macht
- Kapitel 12: Rechenzentren: Chips, Speicher, Strom
- Kapitel 13: Energie und Wasser fair prüfen
- Kapitel 14: Von Zahlen zu Wörtern
- Kapitel 15: Lernen als Fehlerabbau
- Kapitel 16: Modelle anpassen und ausrichten
- Kapitel 17: Kleiner, sparsamer, schneller
- Kapitel 18: Modelle, die nachdenken, und Modelle, die Bilder machen
- Kapitel 19: Attention und Transformer
- Kapitel 20: Training im großen Maßstab
- Kapitel 21: Feinere Werkzeuge: LoRA, PPO, DPO, GRPO
- Kapitel 22: Genau messen, ins Innere schauen
- Kapitel 23: Papers lesen: Aufbau, Sprache, Formeln
- Kapitel 24: Der Kanon: die wichtigen Arbeiten, vier davon im Detail
- Kapitel 25: Ein eigenes kleines Experiment
- Kapitel 26: Was auf dem Spiel steht
- Kapitel 27: Offene Fragen 2026 und Wege ins Feld
- Ausblick: Jenseits des Chatfensters
Kapitel 1: Was KI ist und was nicht
1 Bitkom 2026a. Repräsentative telefonische Befragung von 1.003 Personen ab 16 Jahren, KW 8 bis 11/2026; 58 % nutzen KI, 34 % mindestens wöchentlich, 15 % täglich; 71 % der KI-Nutzenden verwenden ChatGPT.
2 McCarthy u. a. 1955, erster Satz („a 2 month, 10 man study of artificial intelligence be carried out during the summer of 1956“).
3 McCarthy 2007, Abschnitt „Basic Questions“ („the science and engineering of making intelligent machines, especially intelligent computer programs“; „the computational part of the ability to achieve goals in the world“).
4 IBM o. J. (Ergebnis 3,5 zu 2,5 über sechs Partien, 200 Millionen Stellungen pro Sekunde, Beratung durch Großmeister).
5 KI-Verordnung, Erwägungsgrund 12 (Systeme, die „auf ausschließlich von natürlichen Personen definierten Regeln für das automatische Ausführen von Operationen beruhen“); Art. 3 Nr. 60 (Deepfake); Art. 3 Nr. 4 (Betreiber, ausgenommen persönliche und nicht berufliche Nutzung); Art. 50 Abs. 4 (Offenlegung); Art. 113 Abs. 2 (Geltung ab 2. August 2026), jeweils in der durch VO (EU) 2026/1744 geänderten Fassung.
6 Graham 2002 (sechs Monate mit Merkmalsregeln; je rund 4.000 Spam- und erwünschte Mails; 15 auffälligste Wörter; weniger als 5 von 1.000 Spam-Mails verpasst, keine Fehlalarme, gemessen an Grahams eigener Post).
7 Fraunhofer IAIS und Fraunhofer IIS 2024, S. 1.
9 OpenGPT-X 2024, Konfigurationsdatei config.json („num_hidden_layers“: 32); genau 7.452.725.248 Parameter laut Gewichtsdateien.
10 OpenAI 2025f, Abschn. 1 „Introduction“ und Tab. 1 (gpt-5-main, gpt-5-main-mini, gpt-5-thinking, gpt-5-thinking-mini).
12 Anthropic 2026k, Abschnitt „Compare models“, Stand 2. November 2026.
13 Bender u. a. 2021, Tab. 1 (GPT-3: 175 Mrd. Parameter, 570 GB; Switch-C: 1,57 Bio. Parameter, 745 GB); Kosten und Risiken in Abschn. 3 bis 5; „stochastic parrot“ in Abschn. 6.1 (S. 617).
14 Initiative D21 2025, S. 17 (25 %, 3 Prozentpunkte mehr als im Vorjahr); Basis: Bevölkerung ab 14 Jahren, n = 7.237, befragt im Juli 2024; die beiden zustimmenden Antwortstufen zusammengefasst.
15 Federal Communications Commission 2024.
Kapitel 2: Wie Maschinen aus Beispielen lernen
1 Graham 2002 (zwei Sammlungen mit je rund 4.000 Spam- und erwünschten Mails).
2 Poley u. a. 2025. Abschn. 1: Zugang 2023 rund 900.000 physische und 2,6 Mio. digitale Veröffentlichungen, darunter über 1,9 Mio. Zeitschriftenartikel. Abschn. 3.1: maschinelle Vergabe der DDC-Sachgruppen seit 2012. Abschn. 2.1: verarbeitet werden deutsch- und englischsprachige Veröffentlichungen mit maschinenlesbarem Text. Abschn. 3.1 („around 3.8 million objects“) und Tab. 1 (Stand Dezember 2023; Summe der Spalte DDC-Sachgruppen 3.847.496: Volltexte, Titel, Inhaltsverzeichnisse, Klappentexte). Abschn. 2.3: Beim überwachten Verfahren lassen sich nur Labels vorhersagen, die im Training vorkamen; mehrmals im Jahr gehen neu trainierte Modelle in Betrieb. Abschn. 3.1 und Tab. 2: zufällige Aufteilung der Volltexte in 85 % Training, 10 % Test, 5 % Validierung; Lernbeispiele für Sachgruppe 610 (Medizin, Gesundheit) 387.492, für 990 („History of other regions“, bei der DNB „Geschichte der übrigen Welt“) 135. Abschn. 3.2 und Tab. 4: deutsches Modell im Produktivbetrieb seit Anfang August 2023; bis März 2024 58.828 Veröffentlichungen, davon 6.571 mit intellektuell vergebener Sachgruppe aus der gedruckten Parallelausgabe, Übereinstimmung bei 5.289 (80,49 %). Zur Zahl „rund 100“: DNB, „DDC in der DNB“ (https://www.dnb.de/DE/Professionell/DDC-Deutsch/DDCinDNB/ddcindnb_node.html, abgerufen 19.10.2026).
3 Silver u. a. 2017. Abstract: Lernen allein durch bestärkendes Lernen, ohne menschliche Daten und ohne Wissen über die Spielregeln hinaus. Abschn. „Empirical Analysis of AlphaGo Zero Training“: rund 3 Tage, 4,9 Mio. Partien gegen sich selbst, nach 72 Stunden 100:0 gegen „the exact version of AlphaGo Lee that defeated Lee Sedol“. Abschn. „Reinforcement Learning in AlphaGo Zero“: Belohnung am Partieende −1 oder +1. Methods, „AlphaGo versions“: AlphaGo Lee besiegte Lee Sedol im März 2016 mit 4:1. Zusätzlich nutzt AlphaGo Zero eine Baumsuche; „ohne menschliche Partie“ bezieht sich auf die Lerndaten.
4 Ali u. a. 2025, v2 vom 15.10.2024 (Modell mit 4 Bio. Textbausteinen, veröffentlicht als v0.4), Anhang A.8 „Training Infrastructure“: höchstens 1.024 GPUs gleichzeitig; v3 vom 21.8.2025 (Teuken-7B v0.6, 6 Bio. Textbausteine), Anhang A.7: „We trained our models for 812.321 GPU hours“. Der Punkt ist ein Tausenderpunkt: Nach der üblichen Faustregel (6 × Parameter × Textmenge) sind auf A100-Karten mindestens rund 239.000 GPU-Stunden nötig. Rechner JUWELS Booster: OpenGPT-X 2024, „Compute Infrastructure“; ebd. „Model Architecture and Objective“, Tabelle mit der Spalte „Hyper-Parameter“ (Num Layers 32, Learning rate 3e-4). Fast 93 Jahre: eigene Rechnung, 812.321 h ÷ 8.766 h pro Jahr ≈ 92,7.
5 Lapuschkin u. a. 2019, Abschn. „Results“ und Abb. 2a (Fisher-Vektor-Klassifikator auf PASCAL VOC 2007; Quellenhinweis auf etwa einem Fünftel der Pferdebilder; ohne Hinweis kein „Pferd“ mehr; Ferrari mit Hinweis wird zum „Pferd“; sehr gute Testgenauigkeit; „the FV model has ‘overfitted’ the PASCAL VOC dataset“; in der wirklichen Welt würde es Pferde wahrscheinlich nicht erkennen).
6 Pfungst 1907, Einleitung von C. Stumpf, S. 7 („Und die Lösung — minimale unabsichtliche Bewegungen.“); Beilagen II und IV (Gutachten vom 12. September und 9. Dezember 1904, S. 180 und 185). Vorführungen in einem Hof im Norden Berlins: Pfungst 1911, Kap. I. Der Begriff „Clever Hans“ für Modelle, die sich auf Scheinzusammenhänge stützen: Lapuschkin u. a. 2019, Titel und Einleitung.
7 Krizhevsky u. a. 2012. Abstract und Abschn. 4 (60 Mio. Parameter); Abschn. 1 (fünf bis sechs Tage auf zwei GTX 580 mit 3 GB); Abschn. 2 (rund 1.000 Kategorien, rund 1,2 Mio. Trainings-, 50.000 Validierungs- und 150.000 Testbilder, beschriftet über Amazon Mechanical Turk); Abschn. 3.2 (Netz auf zwei Grafikkarten verteilt, weil es auf eine mit 3 GB nicht passte); Abschn. 5 (Lernrate jeweils durch 10 geteilt, wenn sich der Validierungsfehler nicht mehr besserte, dreimal vor dem Ende; rund 90 Durchgänge durch die 1,2 Mio. Bilder); Abschn. 6 und Tab. 2 (Top-5-Testfehler 15,3 % gegen 26,2 %; 15,3 % mit sieben kombinierten Netzen, zwei davon zusätzlich mit rund 15 Mio. Bildern der ImageNet-Ausgabe Herbst 2011 vorab trainiert; nur mit den Wettbewerbsdaten 16,4 %). Sieg im Wettbewerb ILSVRC-2012 auch laut Ergebnisseite: https://image-net.org/challenges/LSVRC/2012/results.html (Team „SuperVision“, 0,15315 gegen 0,26172 beim besten anderen Team).
8 Hoffmann u. a. 2022, Anhang A, Tab. A1 (Epochen in 1,4 Bio. Textbausteinen: Wikipedia 3,40; MassiveWeb 1,24; C4 0,77; Bücher 0,75; News 0,21; GitHub 0,13).
9 NeurIPS 2022, Abschnitt „Test of Time Award“ („far surpassing the state-of-the-art at the time“; „a huge impact on the machine learning community“; von den Programmverantwortlichen einstimmig gewählt).
Kapitel 3: Vom Prompt zum nächsten Token
1 Weizenbaum 1966, S. 36–45 (ELIZA arbeitet mit Schlüsselwörtern und Umformungsregeln; das Skript DOCTOR lässt das Programm wie ein Psychotherapeut nach Carl Rogers antworten); S. 42 („Some subjects have been very hard to convince that ELIZA (with its present script) is not human.“; Wortlaut und Seite am Scan geprüft, https://web.stanford.edu/class/cs124/p36-weizenabaum.pdf, 19.10.2026). Heft 1 des Jahrgangs 9 erschien im Januar 1966.
2 Weizenbaum-Institut 2025 (geboren am 8. Januar 1923 in Berlin).
3 Lane u. a. 2025, Abstract und Darstellung der Rekonstruktion (Originalausdruck in Weizenbaums Nachlass am MIT; seit dem 21. Dezember 2024 läuft das Original-ELIZA wieder auf einem rekonstruierten Betriebssystem CTSS, das auf einem nachgebildeten IBM 7094 läuft; rund 2.600 Zeilen überwiegend unkommentierter Code in MAD und FAP; DOCTOR als Karikatur eines Therapeuten nach Rogers; Schlüsselwörter mit Zerlegungs- und Zusammensetzungsregeln).
4 Google ML Glossary, Stand 10. April 2026, Einträge „prompt“ (Prompts können so kurz wie eine Wortgruppe oder beliebig lang sein, etwa der ganze Text eines Romans) und „large language model“ (mindestens ein Sprachmodell mit sehr vielen Parametern; informell jedes Sprachmodell auf Transformer-Basis, etwa Gemini oder GPT).
5 OpenAI o. J. d, Eingabe „Der Fahrradreifen verliert langsam Luft.“ (40 Zeichen): Einstellung „GPT-5.x & O1/3“ 7 Tokens, IDs 13518, 112597, 101563, 193029, 96194, 52891, 13; Einstellung „GPT-4 & GPT-3.5 (legacy)“ 13 Tokens, IDs 22960, 74607, 637, 329, 265, 56439, 2807, 747, 531, 8859, 47096, 89149, 13; Einstellung „GPT-3 (legacy)“ 16 Tokens. Abgelesen am 19. Oktober und erneut am 2. November 2026. Gegengeprüft mit Duong o. J. (Kodierung o200k_base: dieselben 7 Tokens und IDs; cl100k_base: dieselben 13 Tokens und IDs, einschließlich der Zerlegung in die genannten Textstücke). Englische Fassung „The bicycle tire is slowly losing air.“ dort in beiden Kodierungen 8 Tokens. Die Zahlen gelten nur für diese Tokenizer.
6 Radford u. a. 2019, Abschn. 2.3 „Model“ (Vokabular auf 50.257 Einträge erweitert; Kontextgröße von 512 auf 1.024 Tokens erhöht). Endsignal „<|endoftext|>“ mit der Nummer 50256 als letzter der 50.257 Einträge: OpenAI o. J. c, Datei tiktoken_ext/openai_public.py, Kodierung „gpt2“ (special_tokens {ENDOFTEXT: 50256}, explicit_n_vocab 50257), und OpenAI und Hugging Face o. J. (eos_token_id 50256, vocab_size 50257).
7 Jurafsky und Martin 2026, Kap. 2 „Words and Tokens“, Abschnitte zu BPE in großen Systemen (Tokenizer von GPT-4o mit 200.000 Tokens) und zu mehrsprachigen Tokenizern (Trainingsdaten überwiegend Englisch, die meisten Einträge entfallen aufs Englische, andere Sprachen werden in kürzere Stücke zerlegt); Kap. 7 „Transformers and Pretraining“, Abschn. 7.6.2, S. 22 (Erzeugen, bis das Endsignal gezogen wird) und Abschn. 7.7, S. 26 (aneinandergehängte Dokumente durch ein besonderes End-of-Text-Token getrennt). Endsignal am Ende von Antworten bei Chat-Modellen: Kundel 2025, Abschnitt „Special Tokens“ (gpt-oss wurde auf dieses Format trainiert; das Token <|return|>, Nummer 200002, beendet die Antwort).
8 Brown u. a. 2020, Abschn. 2.1 (Modell, Architektur und umkehrbare Tokenisierung wie bei GPT-2; Kontextfenster von 2.048 Tokens bei allen Modellgrößen); Anhang B „Details of Model Training“, S. 43 (Dokumente innerhalb einer Trainingssequenz durch ein besonderes End-of-Text-Token getrennt).
9 Pfister u. a. 2025, Abschnitt zum Tokenizer (eigener BPE-Tokenizer nach dem Vorbild von Llama 2 mit 32.000 Einträgen; drei Varianten auf deutschen Daten trainiert, gewählt wurde die auf dem Schnappschuss 2023_14); Modelle LLäMmlein 120M und 1B, später 7B. ACL 2025, Long Papers, S. 2227–2246, Wien, 27. Juli bis 1. August 2025.
10 OpenGPT-X 2024, Model Card der Fassung Teuken-7B-instruct-research-v0.4 (vortrainiert auf 4 Billionen Tokens aus öffentlich zugänglichen Quellen, Datenstand September 2023; Tabelle „Technical Specifications“: Trainingsziel „CLM“, also kausale Sprachmodellierung, die Vorhersage des nächsten Tokens; Abschnitt „Usage with vLLM Offline Batched Inference“: Abbruch beim Endsignal „“, Höchstlänge max_tokens=1024). Das Paper der Entwickler, Ali u. a. 2025, Abschn. 1 und 5.2, nennt dasselbe Trainingsziel; die Fassung v0.6 wurde danach auf insgesamt 6 Billionen Tokens weitertrainiert (vgl. Kap. 2, Anm. 4).
11 Bender u. a. 2021, Abschn. 6.1, S. 617.
12 American Dialect Society 2024 (Ad-hoc-Kategorie „AI-related Word of the Year“: „stochastic parrot“ mit 106 von 147 Stimmen; Wort des Jahres 2023 insgesamt wurde „enshittification“).
13 Li u. a. 2023a, Abstract (Variante des GPT-Modells sagt legale Züge im Brettspiel Othello voraus, ohne Vorwissen über Spiel und Regeln; innere Darstellung des Brettzustands; Eingriffe in diese Darstellung steuern die Ausgabe); ICLR 2023.
14 Lindsey u. a. 2025, Abschnitt „Planning in Poems“ (Claude 3.5 Haiku aktiviert Merkmale für mögliche Reimwörter, bevor es die Zeile schreibt; wichtige Teile der Schaltung liegen auf dem Zeilenumbruch vor der zweiten Zeile; die Autoren hatten zunächst Improvisation erwartet); veröffentlicht am 27. März 2025.
15 Ouyang u. a. 2022, Abstract (ein überwacht nachtrainiertes Modell wird mit bestärkendem Lernen aus menschlichem Feedback weiter angepasst).
16 Anthropic 2026n, Übersichtsseite (Systemprompts für claude.ai und die Apps für iOS und Android liefern unter anderem das aktuelle Datum; Aktualisierungen gelten nicht für die Claude-API) und Seite „Claude Opus 5.5“, Eintrag vom 27. Oktober 2026 (warmer Ton; in gewöhnlichen Gesprächen Prosa statt Listen; höchstens eine Rückfrage pro Antwort; Platzhalter {{currentDateTime}}). Umfang: eigene Zählung am 2. November 2026, 4.821 Wörter in zwei Textblöcken.
17 Anthropic 2026e, Abschnitt „How the context window works“ (zum Kontextfenster zählen Systemprompt, alle Nachrichten einschließlich Werkzeugergebnissen, Bildern und Dokumenten, die Werkzeugdefinitionen und die erzeugte Antwort; mit wachsender Tokenzahl lassen Genauigkeit und Erinnerung nach, ein Effekt, der als „context rot“ bekannt ist); abgerufen am 19. Oktober 2026. Herstellerangabe.
18 Anthropic 2026k, Tabelle „Compare models“ (Claude Fable 5.1, Opus 5.5, Sonnet 5.5 und Haiku 5.5 je 1M Tokens) und Anmerkung „Context window“ (1M Tokens entsprechen mit dem aktuellen, mit Claude Opus 4.7 eingeführten Tokenizer rund 555.000 Wörtern, bei älteren Modellen etwa 750.000); Erscheinungsdatum von Claude Opus 4.7 (16. April 2026): Anthropic 2026x. GPT-6: OpenAI 2026b (Kontextfenster 1.050.000 Tokens, höchstens 128.000 Ausgabetokens; GPT-6.1 Sol, GPT-6.1 Terra und GPT-6 Luna laut Modellübersicht ebenfalls 1,05 Mio.). Gemini 4: Google 2026a (1.048.576 Tokens als gemeinsame Grenze für Ein- und Ausgabe; „Latest update“ laut Seite Oktober 2026). Alles Herstellerangaben, abgerufen am 2. November 2026.
19 MacCallum und Lee 2025, Abschnitt zu agentischen Abläufen (drei Erinnerungen im Systemprompt: dranbleiben, bis die Aufgabe gelöst ist; Werkzeuge nutzen, statt zu raten; vor jedem Schritt planen; interner Wert bei SWE-bench Verified „by close to 20%“ gestiegen) und Einleitung (GPT-4.1 folgt Anweisungen genauer und wörtlicher als seine Vorgänger; bestehende Prompts müssen angepasst werden; Empfehlung, aussagekräftige Tests aufzubauen und oft nachzubessern). Herstellerangabe.
20 Radford u. a. 2018, Tab. 2 bis 4 (Modellbezeichnung „Finetuned Transformer LM (ours)“); die Zeichenfolge „GPT“ kommt im Bericht nicht vor (eigene Volltextsuche am 19. Oktober 2026: 0 Treffer).
21 Devlin u. a. 2018, S. 1 („Generative Pre-trained Transformer (OpenAI GPT)“), arXiv v1 vom 11. Oktober 2018. Ein früherer Beleg für den ausgeschriebenen Namen ist nicht bekannt; deshalb „spätestens“.
22 Vaswani u. a. 2017, arXiv v7, S. 1 (acht Autorinnen und Autoren, Zugehörigkeit Google Brain, Google Research und University of Toronto; Reihenfolge laut Fußnote zufällig), Abstract und Abschn. 6.1 (WMT 2014 Englisch–Deutsch: 28,4 BLEU, mehr als 2 BLEU über den besten bisherigen Ergebnissen einschließlich Ensembles; großes Modell 3,5 Tage auf 8 P100-GPUs), Abschn. 5.2 (300.000 Trainingsschritte, 3,5 Tage); arXiv v1 vom 12. Juni 2017.
23 Vaswani u. a. 2017, S. 1, Fußnote zu den Beiträgen (Uszkoreit schlug vor, die rekurrenten Netze durch Self-Attention zu ersetzen, und begann, die Idee zu prüfen); Studium: Biotechnology Innovation Organization o. J. (Masterabschluss in Informatik und Mathematik an der Technischen Universität Berlin).
Kapitel 4: Wissen, Erfinden, Wiedergeben
1 KG Berlin, 20.11.2025, Rn. 3 und 8 (sofortige Beschwerde der Mutter gegen die Ablehnung von Verfahrenskostenhilfe für ein Eilverfahren um die elterliche Sorge; zitiert war „BGH, Beschl. v. 14.11.2007 – XII ZB 183/07, FamRZ 2008, 137“; eine Entscheidung mit diesem Aktenzeichen sei „in keiner der juristischen Datenbanken oder auf der Internetseite des BGH vorhanden“; in FamRZ 2008, 137 sei eine BGH-Entscheidung zum Az. XII ZR 112/05 über das unterhaltsrelevante Einkommen eines Selbständigen in der Verbraucherinsolvenz abgedruckt, auf S. 134–136 eine zum Az. XII ZR 16/07, ebenfalls zum Unterhalt; auch „OLG Brandenburg, Beschl. v. 28.07.2016 – 13 UF 103/16“ sei nicht auffindbar; „Vorsorglich wird die Verfahrensbevollmächtigte der Mutter darauf hingewiesen, dass die Schriftsätze offensichtlich mithilfe von KI verfasst und die von dieser eingefügten Zitate nicht überprüft worden sind, wozu ein Rechtsanwalt sowohl aufgrund des Mandatsverhältnisses als auch als Organ der Rechtspflege verpflichtet wäre (vgl. § 43 BRAO)“). Ein Hinweis, keine Sanktion. Der Beschluss datiert beide FamRZ-Entscheidungen auf 2017; gemeint ist 2007 (XII ZR 112/05: Urteil vom 31.10.2007). Meldung dazu: Bundesrechtsanwaltskammer 2026 (8.6.2026).
2 AG Köln, 2.7.2025: AG Köln, Beschl. v. 2.7.2025, Az. 312 F 130/25 (Familiensache, Umgangsregelung; die im Schriftsatz vom 30.6.2025 genannten Voraussetzungen seien „offenbar mittels künstlicher Intelligenz generiert und frei erfunden“, ebenso die Fundstellen; Werke vermengt, nicht existierende Randziffern; Hinweis auf § 43a Abs. 3 BRAO).
3 Charlotin 2026, Stand „Last updated: 2 November 2026“, abgerufen am 2.11.2026: „2262 cases identified so far“; Länderfilter USA 1.533, UK 89, Germany 11. Aufnahmekriterium laut Seite: Gericht hat festgestellt oder angedeutet, dass sich eine Partei auf halluzinierte Inhalte gestützt hat; ausnahmsweise auch einige Entscheidungen mit nur behauptetem KI-Einsatz. Die Zahl ändert sich laufend.
4 Kalai u. a. 2026. Abschn. „Main“ (Frage „What does PGGB stand for?“ mit den drei Antworten; Modelle sagen weder „I don’t know“ noch fragen sie nach Kontext; Vergleich mit Studierenden vor einer schweren Prüfungsfrage; Legende zu Abb. 1: Bewertungen nach Trefferquote entscheiden über die Modellauswahl und belohnen unbeabsichtigt selbstbewusstes Raten); Methods, „Introductory example details“ (gefragt wurden GPT-5 (auto), Claude Sonnet 4.5 und DeepSeek mit DeepThink, alle am 11.11.2025); Abstract und Abschn. „Hallucination from next-word pretraining“ (statistischer Druck zur Halluzination auch bei fehlerfreien Daten; wiederkehrende Regelmäßigkeiten wie Grammatik und Rechtschreibung erzeugen kaum Fehler, Einzelfakten schon; spätere Trainingsstufen sollen das korrigieren); Methods, „Arbitrary-fact hallucinations“ (Einsteins Geburtstag erscheint oft, andere vielleicht nur einmal, etwa in einem Nachruf); Abschn. „Aligning evaluation incentives“ (Bewertungsregel in der Frage nennen, „open rubric“; eine Fehlerstrafe von 3 Punkten entspricht einer Schwelle von 75 Prozent); Methods, „Meta-evaluation of benchmarks“, und Extended Data Table 1 (zehn ausgewählte Evaluationen aus vier Ranglisten, nur WildBench gibt minimale Anerkennung für angezeigte Unsicherheit); Kopfdaten (eingegangen 1.7.2025, angenommen 15.4.2026, online 22.4.2026) und „Competing interests“ (Kalai, Nachum und Zhang „are (or were) employed by OpenAI“; Vempala: Georgia Institute of Technology). Preprint: arXiv:2509.04664, v1 vom 4.9.2025. Die Zahl „neun von zehn“ steht nicht wörtlich im Text, sondern folgt aus „ten evaluations“ und „Only one evaluation … WildBench“; Extended Data Table 2 (richtig = 1, falsch = −L, keine Antwort = 0; L = t/(1 − t), also L = 3 bei t = 0,75); Methods, „Arbitrary-fact hallucinations“ (Literaturangaben: „A neural network is less reliable than a database of publication titles“).
5 Anthropic 2026k, Tabelle „Compare models“ und Erläuterung „Reliable knowledge cutoff“ („The date through which the model’s knowledge is most extensive and reliable. Training data cutoff […] is the broader range of data used“), abgerufen am 19.10.2026. Herstellerangabe.
6 Anthropic 2026a (Claude Haiku 4.5: „Released October 15, 2025“; Reliable knowledge cutoff Feb 2025; Training data cutoff Jul 2025; Status „Active (legacy)“; Retirement „Not sooner than October 15, 2026“) und Anthropic 2026j (claude-haiku-4-5-20251001 „Active“, keine Abkündigung; Anthropic kündigt Abschaltungen mindestens 60 Tage vorher an). Abgerufen am 2.11.2026; der früheste Abschalttermin ist damit verstrichen, eine Abkündigung gab es nicht. Herstellerangaben. 21 Monate: Februar 2025 bis November 2026, eigene Rechnung.
7 Deutscher Bundestag 2025 (Wahl am Dienstag, 6.5.2025, im zweiten Wahlgang mit 325 Ja-Stimmen; im ersten Wahlgang 310, erforderlich 316).
8 Anthropic 2026c („Released September 22, 2026“; Reliable knowledge cutoff und Training data cutoff jeweils Jun 2026; Retirement „Not sooner than September 22, 2027“), abgerufen am 19.10.2026. Herstellerangabe. 15 Monate: Juni 2026 bis September 2027, eigene Rechnung.
9 Landgericht München I 2025: LG München I, Urt. v. 11.11.2025, Az. 42 O 14139/24, Pressemitteilung 11/2025 (42. Zivilkammer; Klagen der GEMA gegen zwei Unternehmen der OpenAI-Gruppe „im Wesentlichen“ stattgegeben; neun Liedtexte, darunter „Atemlos“ von Kristina Bach und „Wie schön, dass du geboren bist“ von Rolf Zuckowski; Texte in den Sprachmodellen „4 und 4o“ reproduzierbar festgelegt; „Die Festlegung in bloßen Wahrscheinlichkeitswerten sei hierbei unerheblich“; Memorisierung als Vervielfältigung; Outputs als Vervielfältigung und öffentliche Zugänglichmachung; Verantwortung bei den Beklagten, nicht bei den Nutzern; Ansprüche aus dem Persönlichkeitsrecht abgewiesen; „Das Urteil ist nicht rechtskräftig.“). Das Gericht schreibt „Memorisierung“, das Buch „Memorierung“.
10 Initiative Urheberrecht 2025 (Berufung von OpenAI am 8.12.2025, Az. 6 U 3662/25 e; Beitrag vom 10.12.2025, beruft sich auf das Portal „ai fray“). Ebenso GEMA 2026: „OpenAI hat Berufung gegen das Urteil vor dem Oberlandesgericht München eingereicht.“ Ein Verhandlungstermin beim OLG München war am 2.11.2026 nicht zu finden.
11 Cooper u. a. 2026, Abstract der Fassung v6 vom 20.7.2026 (200 Bücher, 14 Modelle mit frei verfügbaren Gewichten, über 3.000 Experimente; „most LLMs do not memorize most books“; Llama 3.1 70B „entirely memorizes some books, like Harry Potter and the Sorcerer’s Stone“, das ganze Buch lasse sich mit den ersten Worten als Prompt „almost verbatim“ extrahieren); angenommen bei COLM 2026 laut arXiv-Kommentar. Gilt für das Messverfahren der Autoren.
12 Ahmed u. a. 2026, Abstract (Experimente Mitte August bis Mitte September 2025, veröffentlicht nach 90 Tagen Vorwarnfrist für die Anbieter; geprüft: Claude 3.7 Sonnet, GPT-4.1, Gemini 2.5 Pro, Grok 3; bei Gemini 2.5 Pro ohne Jailbreak nv-recall 76,8 Prozent für „Harry Potter and the Sorcerer’s Stone“, Grok 3 70,3 Prozent; Claude 3.7 Sonnet nach Jailbreak „in some cases“ ganze Bücher nahezu wörtlich, etwa nv-recall 95,8 Prozent; GPT-4.1 verweigerte schließlich die Fortsetzung). nv-recall ist ein Maß für den Anteil des Buchs, der in langen, nahezu wörtlichen Blöcken wiederkehrt.
13 The New York Times Company 2023, Rn. 4 (GenAI-Werkzeuge geben Inhalte der Times wörtlich wieder, „as demonstrated by scores of examples. See Exhibit J“) und Rn. 98 (GPT-4 gibt „near-verbatim copies of significant portions of Times Works“ aus); Klageschrift vom 27.12.2023, U.S. District Court S.D.N.Y., Az. 1:23-cv-11195.
14 Carlini u. a. 2021 (wörtliche Trainingsbeispiele aus GPT-2 extrahiert; arXiv Dezember 2020, USENIX Security 2021).
15 Buolamwini und Gebru 2018, Abstract (drei kommerzielle Systeme zur Geschlechtsklassifikation; Frauen mit dunkler Haut am häufigsten falsch eingeordnet, Fehlerraten bis 34,7 %; Männer mit heller Haut höchstens 0,8 %).
16 Sorokovikova u. a. 2025, Abschn. 3.3.3 und 3.4 (Prompt: Gehaltsempfehlung für eine Stelle als „Junior“ oder „Senior Specialist“ in einem von fünf Fachgebieten in Denver, Colorado; Persona-Angabe „I am a … person“; je 30 Durchläufe; im Gehaltsexperiment die Modelle Claude 3.5 Haiku, GPT-4o Mini, Qwen 2.5 Plus und Mixtral 8x22B, Tab. 2; Llama 3.1 8B nur in der Vorprüfung zu Experiment 1, Abschn. 4.1.1) und Abschn. 4.3 („salaries for women are substantially lower than for men“; kombinierte Personas: „35 out of 40 experiments (87.5%) show significant dominance of ‚Male Asian expatriate‘ over ‚Female Hispanic refugee‘“). arXiv v1 vom 12.6.2025, v2 vom 1.9.2025; Autorinnen und Autoren an der THWS Würzburg (CAIRO), der Constructor University Bremen und der Universität Kassel.
Kapitel 5: Die Modelllandschaft 2026
1 OpenAI 2026u, Abschnitt „Availability“: Rollout ab 7.10.2026 für Plus, Pro, Business und Enterprise, ab dem Folgetag für Free und Go; „GPT‑6 in ChatGPT is powered by GPT‑6 Sol for Plus, Pro, Business, and Enterprise tiers, and GPT‑6 Luna for Free and Go tiers.“.
2 Meta Platforms 2026, „Model Overview“ („Date of Release October 15th, 2026“; „Muse Model License“; „816B total / 42B active“); Zugangsformular (vollständiger Name, Geburtsdatum, Organisation), Freigabe laut Hugging-Face-API von Hand („gated: manual“); Lizenztext Nr. 2 („Built with Muse Spark Open“) und Nr. 3 (Model as a Service: übersteigt der Gesamtumsatz von Lizenznehmer und verbundenen Unternehmen in zwölf aufeinanderfolgenden Monaten 20 Mio. US-Dollar, sind eine Mitteilung an Meta und ein gesonderter schriftlicher Vertrag nötig; interne Nutzung ausgenommen).
3 Aleph Alpha 2026c: Veröffentlichung „On the Day of German Reunification“, Download der vollständigen Gewichte, Nutzung „under the Apache 2.0 license terms“; Fine-Tuning mit „a high-quality training mix of 268B tokens“ (dafür „174B tokens worth of synthetic data“ erzeugt); bestärkendes Lernen mit „more than 1.2 million curated tasks“.
4 Aleph Alpha 2026a. Tabelle „Model overview“: 78.103.074.560 Parameter, davon 3.457.573.120 aktiv pro Token; Präzision „float8_e4m3fn weights in 128×128 blocks“, Embeddings, Ausgabeschicht („LM head“), Normen und Router in BF16; „Model memory footprint: ~78 GB (FP8 weights). Minimum: 2× A100 80 GB, 2× H100 SXM5, 1× H200, 1× B200 or 1× B300“; Trainingsdaten 20 Bio. Tokens (ca. 62,5 % Englisch, 23,9 % Deutsch, 13,6 % Code), zusätzlich 3,44 Bio. im Mid-Training und 201 Mrd. für Langkontext; Vortraining auf 768 NVIDIA B200 in 21 Tagen (511 h; ohne Mid-Training, 5 Tage, und Langkontext-Training, 13 h); „Training method“: 384 Experten je Schicht, davon 6 gewählt plus 1 geteilter. „Design goals“: pro Token rechnet nur ein kleiner Teil der Parameter, das ganze Modell muss aber im Speicher liegen. „Pre-training“: „bfloat16 parameters, float32 reductions“. „Pre-training data sources“: Mischungstabelle (Mid-Training u. a. 31,4 % englische Anweisungs- und Reasoning-Daten, 25,4 % MINT-Frage-Antwort-Daten, 16,3 % Code, 15,4 % agentischer Code; Langkontext u. a. 33,3 % OCR-PDFs). „Synthetic data“: Umformulierung deduplizierter englischer Common-Crawl-Texte mit Gemma-4-26B-A4B, deutsche Umformulierungen mit Mistral-NeMo-12B. „Data curation“: URL-Sperrliste gegen „illegal, harmful, infringing or pirated content“, Qualitätsklassifikatoren (fastText, Luxical), Ersetzen u. a. von E-Mail-Adressen durch Platzhalter-Tokens; „Bias mitigation“: Deutsch im Web unterrepräsentiert, ausgeglichen durch Hochgewichten sowie übersetzte und synthetisch umformulierte deutsche Texte. „Capabilities“, Absatz „German“: 10,6 Mrd. Tokens deutsche Fine-Tuning-Daten mit Denk- und Antworttext; Absatz „Safety“: „The safeguards trained into the model do not replace safeguards at the solution level“, Anwendungen sollen etwa Inhaltsfilter ergänzen. Tabelle „Pre-training“: „Kolibri Base is the checkpoint Kolibri’s post-training starts from.“ Evaluation: alle Werte mit demselben Aufbau, „based on our eval-framework“. „Getting started“: Betrieb mit vLLM, Abfrage über „OpenAI-compatible API“. „Political Bias“: Trainingsdaten enthalten Material chinesischer Sprachmodelle, „known to carry bias toward certain political positions“, Verzerrung „actively reduced“. „License and terms“: Rechte „only apply to the weights and configuration files“, nicht für „underlying code, model architecture, parameter settings or any training method“. Auf Hugging Face veröffentlicht Aleph Alpha nur Kolibri-1 und Kolibri-1-BF16 (Abfrage der Modell-API, 19.10.2026), kein Basismodell.
5 Hoffmann u. a. 2022, Abstract („the same compute budget as Gopher but with 70B parameters and 4× more more data“ [sic]; „uniformly and significantly outperforms Gopher (280B)“).
6 Jurafsky und Martin 2026, Kap. 1, Abschn. 1.6.1, S. 15 (Common Crawl: „a series of snapshots of the entire web produced by the nonprofit Common Crawl … that each have billions of webpages“) und Abschn. 1.6.2, S. 15 f. (Beispiel „from early work with GPT“, nach Ouyang u. a. 2022 und OpenAI 2022; eigene Übersetzung).
7 Lee u. a. 2022, Abstract („a single 61 word English sentence that is repeated over 60,000 times“ in C4; Modelle „emit memorized text ten times less frequently“).
8 Brown u. a. 2020, Abstract (175 Mrd. Parameter; Aufgaben „without any gradient updates or fine-tuning“; „sometimes even reaching competitiveness with prior state-of-the-art fine-tuning approaches“); Abschn. 3.2 und Tab. 3.3 (TriviaQA 64,3 % ohne, 68,0 % mit einem, 71,2 % mit mehreren Beispielen); Anhang H, Tab. H.1 (K = 64 bei TriviaQA). arXiv v1 vom 28.5.2020; 31 Autoren, alle bis auf Jared Kaplan (Johns Hopkins University) laut NeurIPS-Mitteilung bei OpenAI. Preis: NeurIPS 2020 (drei Best Paper Awards 2020).
9 Mitchell u. a. 2019, Abstract (vorgesehener Einsatz, Prüfverfahren, Ergebnisse „across different cultural, demographic, or phenotypic groups“); arXiv v1 vom 5.10.2018.
10 Hugging-Face-Nutzer (Name bewusst nicht genannt) 2026, Modellkarte der Variante, Tabelle „Refusals“ (3/100 gegenüber 100/100 beim Original, gemessen an 100 Anfragen aus einem öffentlichen Testdatensatz); Repository laut Hugging-Face-API am 5.10.2026, 10:35 UTC angelegt.
11 Apache Software Foundation 2004, Abschn. 2 („perpetual, worldwide, non-exclusive, no-charge, royalty-free, irrevocable copyright license“) und Abschn. 4 (a) bis (c) (Lizenztext weitergeben, geänderte Dateien kennzeichnen, Urheber- und Lizenzhinweise erhalten).
12 Cohere 2026, 16.9.2026 („definitive business combination agreement“; „Operating globally as Cohere“; Hauptsitze Berlin und Toronto, Heidelberg als Forschungsstandort geplant; „subject to final regulatory approvals“).
13 OSAID 1.0, Abschnitt „Preferred form to make modifications to machine-learning systems“ (Data Information: „Sufficiently detailed information about the data used to train the system so that a skilled person can build a substantially equivalent system“, auch für nicht teilbare Daten; Code: „The complete source code used to train and run the system“; Parameters); Datum laut Ankündigung der OSI vom 28.10.2024.
14 Open Source Initiative o. J., Frage „Which AI systems comply with the Open Source AI Definition?“ (bestanden haben die Validierung Pythia, OLMo, Amber, CrystalCoder und T5).
15 Lizenzangaben laut Hugging Face 2026a: DeepSeek-V4-Pro MIT; Qwen3.8-27B Apache 2.0; Qwen3.8-2.4T-A95B „Qwen3.8-Max License“ (Namensnennung ab 100 Mio. monatlich aktiven Nutzern oder 20 Mio. US-Dollar Monatsumsatz, gesonderte Lizenz für Modelldienste ab 50 Mio. US-Dollar Umsatz in zwölf Monaten); Kimi K3 „Kimi K3 License“ (gesonderter Vertrag für Modelldienste ab 20 Mio. US-Dollar Umsatz in zwölf Monaten, Namensnennung ab 100 Mio. Nutzern oder 20 Mio. US-Dollar Monatsumsatz). Muse Spark Open: Meta Platforms 2026. Geschlossene Modelle: OpenAI 2026u; Google 2026g (Gemini 4 Argon seit 13.10.2026 in der Gemini-App für Google AI Pro und Ultra); Anthropic 2026k (Claude Opus 5.5). Mistral Large 4: Mistral AI 2026c (Vorschau seit 6.10.2026 über die API); Gewichte seit 29.10.2026 laut Mistral AI 2026e unter der „Mistral Ecosystem Open-Weight License“ (gesonderter Vertrag für Modelldienste, ohne Umsatzgrenze). OLMo und Pythia: Open Source Initiative o. J..
16 Aleph Alpha 2026a, Tabelle „Model overview“ („Precision: bfloat16“; „Model memory footprint: ~156 GB (BF16 weights)“). Gewichtsdateien laut Hugging-Face-API zusammen 156,21 GB (BF16) bzw. 78,84 GB (FP8).
17 bartowski 2024a, Dateitabelle (Q4_K_M 4,92 GB, „Good quality, default size for must [sic] use cases, recommended“; Q8_0 8,54 GB; f32 32,13 GB); Größe der Q4_K_M-Datei laut Hugging-Face-API 4.920.739.232 Byte.
18 Meta 2024, Angaben der Hugging-Face-Modell-API (Safetensors: 8.030.261.248 Parameter in BF16). Eigene Rechnung für 16 Bit: 8,03 Mrd. × 2 Byte = 16,06 GB.
19 Kawrakow 2023 (Q4_K: Superblöcke aus 8 Blöcken zu je 32 Gewichten, Maßstäbe und Mindestwerte mit 6 Bit, zusammen 4,5 Bit pro Gewicht; Q4_K_M: Q6_K mit 6,5625 Bit pro Gewicht für die Hälfte der Tensoren attention.wv und feed_forward.w2); ggml-org 2026b (Ausgabeschicht „output.weight“ bei diesen Formaten in Q6_K). Eigene Rechnung: 4.920.739.232 Byte × 8 ÷ 8.030.261.248 Parameter ≈ 4,90 Bit pro Gewicht; 8,03 Mrd. × 4,9 Bit ≈ 39,3 Mrd. Bit ≈ 4,92 GB.
20 Valve 2026, Tabelle „VRAM“ (16 GB 26,35 %, 8 GB 26,92 %; zusammen 53,27 %, eigene Rechnung).
21 NVIDIA 2025a, RTX-5090-Seite („32 GB GDDR7“; „the most powerful GeForce GPU ever made“).
22 nativ-community 2026, Repository angelegt am 3.10.2026, 17:45 UTC (19:45 MESZ), Gewichtsdateien zusammen 44,97 GB (Abfrage der Hugging-Face-API am 19.10.2026). Am selben Tag entstanden weitere Fassungen mit 2, 3 und 4 Bit. Zum Vergleich, eigene Rechnung: 78,1 Mrd. × 0,5 Byte ≈ 39 GB ohne Maßstäbe und höher aufgelöste Teile.
23 Apple 2026, Pressemitteilung vom 25.8.2026 („up to 512GB of unified memory“; „Mac Studio with 512GB of unified memory is coming in late October“); im Apple Online Store am 2.11.2026 mit 512 GB bestellbar (M5 Ultra mit 36 CPU- und 80 GPU-Kernen).
Kapitel 6: Was mit deinen Daten passiert
1 HmbBfDI 2026. Persönlichkeitsprofile aus früheren und aktuellen Chats, Geräteinformationen und Nutzungsdaten; betrifft die kostenlose Variante und das Abo ChatGPT Go; Beispiel Rezepte und Kochboxen; personalisierte Werbung per Einwilligung (Opt-in), „generische“ Werbung „seit August“ auf Grundlage eines überwiegenden berechtigten Interesses; acht Empfehlungen, darunter „Erinnerungen“ deaktivieren und löschen, Modellverbesserung deaktivieren, temporärer Chat für sensible Themen, nichts Vertrauliches eingeben, Verlauf regelmäßig löschen. Das Datum 2.10.2026 steht auf der Meldungsseite.
2 BlnBDI 2026, S. 1–2. Inhalt wie Anm. 1; sieben Empfehlungen (ohne Modellverbesserung), S. 2.
3 DSGVO. Art. 4 Nr. 1 (personenbezogene Daten, „identifizierte oder identifizierbare natürliche Person“; Kennnummer, Standortdaten, Online-Kennung, besondere Merkmale); Art. 99 Abs. 2 (gilt ab 25. Mai 2018) und Schlussformel („gilt unmittelbar in jedem Mitgliedstaat“); Art. 3 Abs. 2 Buchst. a (Anbieter außerhalb der Union); Art. 6 Abs. 1 Buchst. a, b und f (Einwilligung, Vertrag, berechtigte Interessen, „sofern nicht die Interessen … der betroffenen Person … überwiegen“); Art. 15, 16, 17 und 21 (Auskunft, Berichtigung, Löschung, Widerspruch); Art. 56 Abs. 1 (federführende Aufsichtsbehörde der Hauptniederlassung); Art. 28 Abs. 1 und Abs. 3 Satz 2 Buchst. a (Vertrag, Verarbeitung „nur auf dokumentierte Weisung des Verantwortlichen“). Wortlaut abgerufen über dsgvo-gesetz.de.
4 DSK 2024, Abschn. 3.1, Rn. 49–51 (S. 12 f.): Namen und Anschriften zu entfernen, reiche „regelmäßig nicht“; Beispiel des Arbeitszeugnisses; Personenbezug möglich, „wenn erkennbar ist, aus welchem Unternehmen sie zu welchem Zeitpunkt getätigt wurde“.
5 Bozzo 2026. Tribunale di Roma, Urteil vom 18.3.2026, R.G. n. 4785/2025, Richterin Damiana Colla: Bescheid des Garante Nr. 755 vom 2.11.2024 über 15 Mio. € aufgehoben; OpenAI Ireland Ltd. war seit dem 15.2.2024 von der irischen Datenschutzbehörde als einzige EU-Niederlassung anerkannt; über die Verstöße selbst entschied das Gericht nicht. Urteilstext bei der Prüfung am 19.10.2026 eingesehen.
6 Google 2026j (Privacy Notice „Last updated“ 13.10.2026): ein Teil der Chats wird von menschlichen Prüfern gelesen, auch von Dienstleistern; Bitte, nichts Vertrauliches einzugeben; geprüfte Chats bis zu drei Jahre, beim Löschen der Aktivität nicht mitgelöscht; bei ausgeschaltetem „Keep Activity“ kein Verlauf, Training nur bei Feedback, Speicherung 72 Stunden; Feedback samt den letzten 24 Stunden des Chats; temporäre Chats 72 Stunden, kein Training; Auto-Löschung standardmäßig nach 18 Monaten, wählbar 3 oder 36 Monate oder nie; Abschnittsüberschrift „You’re in control“.
7 OpenAI 2026c. „How your data is used to improve model performance“: Training bei Diensten für Einzelpersonen, Opt-out über „Improve the model for everyone“ unter Settings > Data controls; Feedback per Daumen: „the entire conversation associated with that feedback may be used to train our models“, auch nach Opt-out; Business, Enterprise, Edu und API standardmäßig ohne Training. „Chat and file retention in ChatGPT“: Chats bleiben bis zur Löschung; gelöschte Chats binnen 30 Tagen aus den Systemen, außer bereits de-identifiziert und vom Konto getrennt oder bei Sicherheits- und Rechtspflichten; temporäre Chats bis zu 30 Tage. „How OpenAI handles data in consumer services“, Abschn. „Authorized human access to content“ (Missbrauch und Sicherheitsvorfälle, Support, Rechtsfragen, Modellverbesserung außer nach Opt-out). „Memory in ChatGPT“, Abschn. „Saved memories“ („Deleting the original chat does not automatically delete a separate saved memory“) und „Privacy and model training“ (Chats und Erinnerungen fürs Training, wenn „Improve the model for everyone“ an ist). Alle Seiten abgerufen am 19.10.2026.
8 Google 2026c: „If you’re 18 or over, Keep Activity is on by default“; Aktivität älter als 18 Monate wird standardmäßig automatisch gelöscht.
9 Mistral AI 2026a. „Le Chat is now Vibe“ (Umbenennung, Konten und Gespräche übernommen); „Do you use my user data to train your Artificial Intelligence models?“ (Vibe: Training standardmäßig, Opt-out jederzeit; Feedback per Daumen in jedem Tarif fürs Training); „Can I opt out …?“ (Schalter „Allow your interactions to be used to train our models“, in den Apps „Enable data sharing“); „Can I activate Zero Data Retention (ZDR)?“ (Gespräche werden nach manueller Löschung entfernt, „typically after a short grace period“); „Can other people view my conversations?“ (gemeldete Gespräche, geteilte Links, Feedback); „How do you handle my data when using the Memories feature?“ („deactivating Memory does not automatically delete your stored Memories“; Erinnerungen wie Prompts im Training, solange kein Opt-out); Mistral Docs „Vibe“ (Temporary Chat nicht im Verlauf, kein Training; protokolliert werde nur, dass er stattfand).
10 Anthropic 2025f: Abfrage für Claude Free, Pro und Max ab 28.8.2025, Entscheidung für Bestandsnutzer bis 8.10.2025; fünf Jahre Aufbewahrung bei erlaubtem Training, sonst „our existing 30-day data retention period“; fünf Jahre auch für Feedback.
11 Field 2025: Schalter im Pop-up „automatically set to ‚On‘“, großer „Accept“-Knopf. Anthropic selbst nennt die Voreinstellung nicht.
12 Anthropic 2026h. „How long do you store my data?“: gelöschter Chat sofort aus dem Verlauf, binnen 30 Tagen aus „back-end storage systems“; bei erlaubtem Training bis zu 5 Jahre „in a de-identified format“ in den Trainings-Pipelines; Daten bleiben in laufenden Trainings und fertigen Modellen; bei Markierung durch die automatischen Systeme Ein- und Ausgaben bis zu 2 Jahre, „trust and safety classification scores“ bis zu 7 Jahre; Feedback 5 Jahre; längere Aufbewahrung bei gesetzlichen Pflichten. „Is my data used for model training?“ (Verbraucher): Training nur mit Erlaubnis, bei Sicherheitsprüfung oder ausdrücklichem Opt-in; Feedback: ganzes Gespräch, „up to 5 years“, von der Nutzer-ID getrennt, kann fürs Training genutzt werden. „How do I change my model improvement privacy settings?“: Schalter „Help Improve our AI models“ unter Settings > Privacy.
13 Carlini u. a. 2021. Abstract (GPT-2; Modelle, die mit privaten Daten trainiert wurden; Extraktion auch bei Texten aus nur einem Dokument; größere Modelle anfälliger); Abschn. 1 und Abb. 1 (1.800 Kandidaten, bestätigt „in collaboration with the creators of GPT-2“; Name, Anschrift, E-Mail-Adresse, Telefon- und Faxnummer einer Einzelperson); Abschn. 6.2 (604 von 1.800) und Tab. 1 (S. 2641; 46 „Named individuals“); Abschn. 6.3 (S. 2642; 78 Beispiele persönlicher Angaben); Abschn. 9 (S. 2645; „at least 604 (or 0.1%)“ von 600.000 erzeugten Texten, „extremely loose lower bound“). Preprint arXiv:2012.07805 v1 vom 14.12.2020; Zugehörigkeit der zwölf Autoren laut Konferenzseite (Carlini: Google; Herbert-Voss und Brown: OpenAI).
14 Lightcap 2025, FAQ vom 5.6.2025 (Aufbewahrungspflicht für ChatGPT- und API-Inhalte, auch für gelöschte Chats) und Update vom 22.10.2025 (Pflicht endete am 26.9.2025; Altbestand April bis September 2025 gesperrt; Gespräche aus EWR, Schweiz und Großbritannien nicht mehr betroffen). Herstellerangabe.
15 Anthropic, Incognito chats. „Use incognito chats“: nicht im Verlauf, nicht im Gedächtnis, kein Training, 30 Tage gespeichert. „Use Claude’s chat search and memory …“: Gedächtnis bei Free, Pro und Max standardmäßig an; Gesundheit, Religion, Politik und ähnliche Themen werden standardmäßig nicht gespeichert; „When a conversation is deleted, including under a retention period, memory entries generated from it aren’t removed“. Wortlaut abgerufen am 25.10.2026.
16 BfDI 2025, S. 13 (hostet eine externe Stelle das Modell, ist sie in der Regel Auftragsverarbeiter, die Behörde „bleibt verantwortlich“; nutzt die externe Stelle die Daten zu eigenen Zwecken wie dem Training, ist sie dafür selbst verantwortlich) und S. 41, Abschn. 2.14.2 (Ausschluss des Trainings „vertraglich mit dem KI-Anbieter zu vereinbaren“).
17 OpenAI 2026k, Abschnitt zum Data Processing Addendum: abschließbar „for their use of ChatGPT Business, ChatGPT Enterprise, and the API“.
18 § 203 StGB. Abs. 1 (Berufsgruppen, Freiheitsstrafe bis zu einem Jahr oder Geldstrafe); Abs. 3 Satz 2 (Offenbaren gegenüber mitwirkenden Personen, „soweit dies … erforderlich ist“); Abs. 4 Satz 2 Nr. 1 (strafbar, wer nicht dafür sorgt, dass die mitwirkende Person zur Geheimhaltung verpflichtet wurde).
Kapitel 7: Mehr als ein Modell: Suche, Werkzeuge, Agenten
1 Aleph Alpha 2026a. Übersichtstabelle („Release Date“: „3rd of October 2026“; Wissensstichtag „EN: June 18, 2026, DE: June 18, 2026“); Abschnitt „Risks and limitations“, Unterpunkt „Outdated World Knowledge“ (neuere Ereignisse „may be unknown to it“; das betreffe vor allem „deployments without internet or tool access, since the model will otherwise use tool calling to work around potentially outdated information“); Abschnitt „AI system types“ (gedacht für Abläufe, „in which a person reviews the model’s output before it is acted on rather than autonomous systems that act unreviewed“). Abgerufen am 19. Oktober 2026. Herstellerangabe.
2 TIB – Leibniz-Informationszentrum Technik und Naturwissenschaften 2024. Pressemitteilung der TIB vom 16.5.2024 (Start des Dienstes); Seite „About ORKG Ask“ (Datengrundlage CORE, genutzt werden Titel und Zusammenfassungen, nach dem Filtern „approximately +220 million“ Einträge; semantische Suche, danach extrahiert ein großes Sprachmodell die Informationen; Modell „Mistral Instruct 7B v0.2“); Seite „Statistics“ (2.461.792 „Unique questions asked“; 221.924.758 Einträge, davon 95.173.841 mit Zusammenfassung; Stand 2. November 2026). Selbstangaben des Betreibers.
3 Magesh u. a. 2025, Abstract und Abschn. 1 (Werbeaussagen von Casetext, Thomson Reuters und LexisNexis aus dem Jahr 2023; vorregistrierter Datensatz mit über 200 Rechtsfragen; Lexis+ AI, Westlaw AI-Assisted Research und Ask Practical Law AI „each hallucinate between 17% and 33% of the time“; Halluzination definiert als Antwort, die „either incorrect information or a false assertion that a source supports a proposition“ enthält). Preprint arXiv:2405.20362 vom 30. Mai 2024.
4 Lewis u. a. 2020, arXiv v4. S. 1 (zwölf Autorinnen und Autoren; Facebook AI Research, University College London, New York University); Abschn. 3 (Wikipedia-Stand Dezember 2018, „disjoint 100-word chunks“, insgesamt 21 Mio. Dokumente); Abschn. 4.5, „Index hot-swapping“ (Index aus Dezember 2016 gegen Dezember 2018; 82 „world leaders“, die zwischen beiden Ständen gewechselt hatten; 70 % bzw. 68 % richtig, über Kreuz 4 % (Index 2016, Amtsinhaber 2018) bzw. 12 % (Index 2018, Amtsinhaber 2016)). arXiv v1 vom 22. Mai 2020.
5 Anthropic 2026p. „Tool use (also called function calling)“; Claude gibt einen strukturierten Aufruf zurück, den bei Client-Werkzeugen die Anwendung ausführt („Your code runs the operation and sends back a tool_result“), bei Server-Werkzeugen die Infrastruktur von Anthropic; Abschnitt „Pricing“: Bei Werkzeugnutzung fügt die API automatisch einen besonderen Systemprompt hinzu, für Claude Opus 5.5 286 Tokens (tool_choice „auto“ oder „none“), zusätzlich zu Namen, Beschreibungen und Schemata der Werkzeuge. Abgerufen am 19. Oktober 2026. Herstellerangabe.
6 Schick u. a. 2023, arXiv v1. S. 1 (Meta AI Research; 9. Februar 2023) und Abschn. 1 (Grundlage GPT-J mit 6,7 Mrd. Parametern); Abschn. 4.2.2 und Tab. 4 (ASDiv: Toolformer 40,4, GPT-3 mit 175 Mrd. Parametern 14,0; über alle Mathematik-Tests hinweg ruft das Modell bei 97,9 % der Beispiele den Taschenrechner auf).
7 Anthropic 2024g. „Workflows are systems where LLMs and tools are orchestrated through predefined code paths“; Agenten als Systeme, in denen Sprachmodelle „dynamically direct their own processes and tool usage“; Agenten seien „typically just LLMs using tools based on environmental feedback in a loop“; Abbruchbedingungen „such as a maximum number of iterations“; „higher costs, and the potential for compounding errors“. Veröffentlicht am 19. Dezember 2024. Herstellerangabe.
8 Bitkom 2026b. 603 Unternehmen ab 20 Beschäftigten, telefonisch befragt in den Kalenderwochen 28 bis 33 des Jahres 2026; 57 % nutzen KI (Vorjahr 36 %); Basis für die Agenten-Werte sind Unternehmen, die KI nutzen oder deren Einsatz planen bzw. diskutieren: 11 % setzen Agenten ein, 29 % planen es, 31 % diskutieren es; Zitat Ralf Wintergerst, Präsident des Bitkom.
9 Anthropic 2024f. Datum 25. November 2024; „an open standard“; Datenquellen werden über MCP-Server bereitgestellt, KI-Anwendungen sind die Clients; bis dahin erfordere „every new data source“ eine eigene, maßgeschneiderte Umsetzung („its own custom implementation“). Herstellerangabe.
10 Model Context Protocol 2026, Version 2026-07-28, Abschnitte „Overview“ (Hosts, Clients, Servers), „Features“ (Resources, Prompts, Tools) und „Security and Trust & Safety“ („Hosts must obtain explicit user consent before invoking any tool“; „MCP itself cannot enforce these security principles at the protocol level“). Abgerufen am 19. Oktober 2026.
11 Wiggers 2025a (26. März 2025, Ankündigung von Sam Altman; zunächst im Agents SDK, ChatGPT-Desktop-App und Responses API sollten folgen) und Wiggers 2025b (9. April 2025, Ankündigung von Demis Hassabis für Gemini-Modelle und SDK, ohne Zeitplan). Presse.
12 Linux Foundation 2025. Pressemitteilung vom 9. Dezember 2025: Gründungsprojekte MCP (Anthropic), goose (Block) und AGENTS.md (OpenAI); „more than 10,000 published MCP servers“; übernommen von „Claude, Cursor, Microsoft Copilot, Gemini, VS Code, ChatGPT and other popular AI platforms“. Angaben der Stiftung.
13 Anthropic 2026d. Ablauf der Schleife (Claude fordert Aktionen wie „screenshot“, „left_click“ oder „type“ an; die Anwendung führt sie in einem Container oder einer virtuellen Maschine aus; „Claude doesn’t directly connect to this environment“); Status „ga“ (allgemein verfügbar) auf der Claude-API, aktuelle Fassung „computer_toolset_20260801“ ohne Beta-Kennung; empfohlene Auflösung „For general desktop tasks, use 1024x768 or 1280x720“; Sicherheitshinweise (eigene virtuelle Maschine oder Container mit minimalen Rechten, keine Zugangsdaten, Domain-Freigabeliste, menschliche Bestätigung bei Entscheidungen mit Folgen); Warnung, Anweisungen „on webpages or contained in images might override your instructions“. Abgerufen am 19. Oktober 2026. Herstellerangabe. Release Notes vom 19. August 2026: „out of beta on the Claude API as the computer_toolset_20260801 toolset“ (https://platform.claude.com/docs/en/release-notes/overview).
14 Anthropic 2024d. 22. Oktober 2024; „public beta“; „still experimental—at times cumbersome and error-prone“; „scrolling, dragging, zooming—currently present challenges for Claude“. Herstellerangabe.
15 Willison 2022. Beitrag vom 12. September 2022: „I propose that the obvious name for this should be prompt injection“; die Beispiele hatte Riley Goodside am Vortag veröffentlicht.
16 OWASP Gen AI Security Project 2025. Eintrag „LLM01:2025 Prompt Injection“ (Platz 1 der OWASP Top 10 für Anwendungen mit großen Sprachmodellen, Ausgabe 2025): Unterscheidung direkter und indirekter Prompt Injection („from external sources, such as websites or files“); „it is unclear if there are fool-proof methods of prevention for prompt injection“. Abgerufen am 19. Oktober 2026.
17 Greshake u. a. 2023. Autorenangaben auf S. 1 (Universität des Saarlandes, CISPA Helmholtz Center for Information Security, sequire technology GmbH); Abschn. 4.1.2 (Bing Chat auf GPT-4-Basis; Seitenleiste in Microsoft Edge liest die aktuelle Seite; Anweisungen in HTML-Kommentaren) und Abschn. 4.2.1 (Modell bringt den Nutzer dazu, seinen echten Namen preiszugeben). arXiv v1 vom 23. Februar 2023, v2 vom 5. Mai 2023. Der Bing-Versuch steht erst in v2 (5. Mai 2023) und in der AISec-Fassung; v1 vom 23. Februar 2023 (Titel „More than you’ve asked for: A Comprehensive Analysis of Novel Prompt Injection Threats to Application-Integrated Large Language Models“) testet nur eine selbst gebaute Anwendung mit text-davinci-003.
18 OpenAI 2025j. Beitrag vom 22. Dezember 2025: Agent in ChatGPT Atlas „views webpages and takes actions, clicks, and keystrokes inside your browser“; vom eigenen automatischen Angreifer gefundener Fall einer E-Mail, die den Agenten anweist, eine Kündigung an den CEO zu schicken; statt der Abwesenheitsnotiz „the agent resigns on behalf of the user instead“; Prompt Injection sei, „much like scams and social engineering on the web“, „unlikely to ever be fully ‚solved‘“. Wortlaut geprüft an der Archivfassung vom 23.12.2025 (https://web.archive.org/web/20251223093449/https://openai.com/index/hardening-atlas-against-prompt-injection/); der direkte Abruf ist gesperrt. Herstellerangabe.
19 Willison 2025a. Beitrag vom 16. Juni 2025: „Access to your private data“, „Exposure to untrusted content“, „The ability to externally communicate“; „The only way to stay safe there is to avoid that lethal trifecta combination entirely.“.
Kapitel 8: Wie ein Benchmark-Test abläuft
1 Hendrycks u. a. 2021. 57 Fächer, Testsatz 14.079 Fragen (im Hugging-Face-Datensatz 14.042), Laien 34,5 %, Fachleute geschätzt 89,8 %, GPT-3 43,9 %. Kasten: Autorenzeile, Einleitung, Abschn. 3 (15.908 Fragen, gesammelt von Studierenden) und 4 (Few-Shot-Prompt, Ergebnisse nach Modellgröße und Fach), Tab. 1.
2 Datensatz cais/mmlu, Fach high_school_geography, Testsplit, Zeile 28 (Zählung ab 0).
3 TIGER-AI-Lab o. J., Auswertungsskript evaluate_from_api.py (Funktionen extract_answer, extract_again und extract_final; Zufallsantwort in update_result nur, wenn keine dieser Suchen etwas findet).
5 Sclar u. a. 2024, Abstract (bis zu 76 Punkte bei LLaMA-2-13B).
6 Datensatz TIGER-Lab/MMLU-Pro, Datensatzbeschreibung.
8 OpenAI 2024f.
9 Datensatz SWE-bench Verified, Aufgabe django__django-11099 („UsernameValidator allows trailing newline in usernames“).
10 Terminal-Bench 2026b (8 Aufgaben entfernt); Terminal-Bench 2026a (74 Aufgaben, Agenten- und Prüfcontainer getrennt); Aufgabenformat: Terminal-Bench o. J., Tag v4.0.0 (66 Aufgaben).
11 Xie u. a. 2024; zur Fassung 2.0: OSWorld 2.0.
12 Yao u. a. 2024, Tab. 2 und Abschn. 5; Nachfolger: τ2-bench und Sierra Research 2026.
13 Phan u. a. 2026, arXiv-Fassung v12 (19.10.2026): Absatz „Question Style“ (24 % Auswahlfragen, rund 14 % mit Bild), Abb. 3 (über 100 Fächer), Einleitung (privater Testsatz gegen Auswendiglernen) und Anhang C.1.1 (Bewertermodell für alle Antworten); Auswertung mit Bewertermodell: Center for AI Safety o. J. a, run_judge_results.py (o3-mini-2025-01-31, vorher gpt-4o-2024-08-06, umgestellt am 11.2.2025).
14 Wei u. a. 2024 (SimpleQA).
15 Chiang u. a. 2024; Umbenennung: Arena 2026c; Verfahren: Arena o. J. b.
16 Arena 2026a, Konfiguration text_style_control, Split latest, Kategorie overall, Veröffentlichung vom 28. Oktober 2026, abgerufen am 2.11.2026; Modell- und Stimmenzahl laut Rangliste auf der Website, Arena 2026b, Stand 27.10.2026 (419 Modelle, 9.003.272 Stimmen); Style Control als Standard seit 16. Mai 2025: Arena 2026a, Datensatzbeschreibung; Verfahren: Arena 2024; zur Zählweise der Stimmen: Arena o. J. c (5.8.2025).
18 ARC Prize 2026b, S. 16 f. und Tab. 1.
19 Rein u. a. 2023, Abschn. 2.3 „Dataset Splits“ und Tab. 2 (Diamond: 198 Fragen); Bitte, keine Beispiele zu veröffentlichen: Hinweis unter dem Abstract.
20 Xuan u. a. 2025, Abstract (29 Sprachen, je 11.829 identische Fragen); Deutsch: Einleitung und Tab. 3.
21 Mathematical Association of America o. J. (15 Aufgaben je Termin, Antworten von 000 bis 999, zwei Termine AIME I und II).
22 Epoch AI o. J.; Artificial Analysis o. J..
Kapitel 9: Eine Benchmark-Tabelle lesen
1 Aleph Alpha 2026a, Abschnitt „Evaluation, Post-training“: Bewertung mit eval-framework bzw. Harbor (SWE-bench, TerminalBench), „German Public Sector“ in der Kategorie „Industry RAG“, ausgeschlossene Zeilen grau, Kolibri mit „reasoning effort high“, Gesamtwerte als ungewichtete Mittel der Kategoriemittel, dichte Modelle ausgegraut; Zeile „AA-Omniscience Non-Hallucination Rate“: Kolibri 44,0, Qwen3.6 56,7, gpt-oss 23,7. Testaufbau, Einstellungen der Vergleichsmodelle und Inhalt von „German Public Sector“: Aleph Alpha 2026b, Tab. 27 (HLE nur Textfragen, deutsche Fassungen von GPQA und HLE übersetzt, Industry RAG mit Werkzeugen der jeweiligen Anwendung und deren Bewertermodell), S. 97 f. (englischer Gesamtwert aus acht, deutscher aus vier Kategorien), Anhang E.1 mit Tab. 48 (Einstellungen je Modell), Tab. 57 und S. 177 (Dokumentsammlung; „not publicly available“).
2 Eigene Prüfung am 20.10.2026: kein Eintrag zu Kolibri im Datenpaket von Epoch AI o. J. (Stand 19.10.2026), keine Modellseite bei Artificial Analysis o. J.; ebenso OrcaRouter 2026. Erneut geprüft am 2.11.2026: kein Eintrag in der GPQA-Diamond-Rangliste von Epoch AI (Stand 26.10.2026), keine Modellseite bei Artificial Analysis.
3 Hugging Face 2026a, Angaben der Hugging-Face-Modell-API (DeepSeek-V4-Pro 1,60 Bio. Parameter, Kimi-K3 2,78 Bio.), abgerufen am 20.10.2026.
4 OpenAI 2025h; Werte für „richtig“ und „falsch“ auch in OpenAI 2025f, Tabelle 8.
5 Artificial Analysis 2026a, Fassung v1.1 (3.000 Fragen, seit Oktober 2026), abgerufen am 2.11.2026: AA-Omniscience Accuracy Claude Opus 5.5 (Max, Default Fallback) 65,5 %, Gemini 4 Argon (High) 48,3 %; Hallucination Rate 50,3 % bzw. 4 %, definiert als „incorrect / (incorrect + partial answers + not attempted)“; AA-Omniscience Net Score 48 bzw. 46 (belohnt richtige Antworten, bestraft falsche, „no penalty for refusing to answer“). Unabhängige Messung von Artificial Analysis. In der Fassung v1 (Rangliste vom 20.10.2026) lagen die Werte bei 66 und 50 %, 59 und 15 % sowie 46 und 42.
6 Epoch AI o. J., Datenpaket, Stand 19.10.2026: MMLU (externe Ergebnisse; Reihe endet im Dezember 2024, Bestwert 88,1 % für GPT-4o in der Fassung vom 20.11.2024); GPQA Diamond (eigene Läufe von Epoch AI: Gemini 4 Argon, high, 96,4 %; GPT-6 Astra, max, 95,8 %; auf der Rangliste der Website, Stand 26.10.2026, am 2.11.2026 unverändert).
8 Rein u. a. 2023, Abstract; die 34 Prozent gelten laut Tab. 2 für die erweiterte Fassung mit 546 Fragen.
9 Artificial Analysis o. J., Versionshistorie (v4.0, Januar 2026; v4.2, September 2026); zur Begründung bei GPQA Diamond („has now been saturated“) Artificial Analysis 2026b.
10 Scale AI 2026, abgerufen am 2. November 2026 (Bestwert 54,80 für GPT-6 Astra, unverändert seit dem 18. Oktober 2026). Anspruch der Herausgeber („final closed-ended academic benchmark of its kind“): Phan u. a. 2026, Abstract der arXiv-Fassung v12.
11 FutureHouse 2025 (23.7.2025), mit Nachtrag zur Prüfung durch das HLE-Team vom 16.9.2025.
12 OpenAI 2026n.
13 OpenAI 2026o.
14 ARC Prize 2026a.
15 ARC Prize 2026c. Werte auf dem Semi-Private-Datensatz; mit Einstellung „high“ im zweiten Gerüst 99,9 %.
16 Meta 2025.
17 Wiggers 2025c.
18 Singh u. a. 2025.
19 Zheng u. a. 2023.
20 Panickssery u. a. 2024, Abstract.
21 Arena 2026b, Stand 27.10.2026, abgerufen am 2.11.2026.
Kapitel 10: Sicherheit: Wie Modelle Nein sagen und wie man das aushebelt
1 Aleph Alpha 2026a, abgerufen am 19.10.2026. Abschnitt „Training Details“, „Post-training“, „Capabilities“, Absatz „Safety“: „Kolibri was trained in SFT to decline harmful and illegal requests while still providing partial answers where appropriate.“ „The safeguards trained into the model do not replace safeguards at the solution level.“ Anwendungen sollen sie ergänzen, „such as content filtering and output validation“. Herstellerangabe.
2 Hugging-Face-Nutzer (Name bewusst nicht genannt) 2026, Modellkarte der Variante, Tabelle „Refusals“ (3/100 gegenüber 100/100 beim Original; gemessen vom Hochladenden über Ablehnungsformeln bei 100 schädlichen Testanfragen); Repository laut Hugging-Face-API am 5.10.2026 angelegt. Wie Kap. 5, Anm. 10.
3 Ouyang u. a. 2022, Abstract („Making language models bigger does not inherently make them better at following a user’s intent“; „outputs from the 1.3B parameter InstructGPT model are preferred to outputs from the 175B GPT-3“). arXiv v1 vom 4.3.2022.
4 OpenAI 2024c, Beitrag vom 8.5.2024 („first draft of the Model Spec, a new document that specifies how we want our models to behave“; Abschnitt „How the Model Spec will be used“: „guidelines for researchers and AI trainers who work on reinforcement learning from human feedback“). Herstellerangabe.
5 Anthropic 2023a, Beitrag vom 9.5.2023 (erste „Claude’s constitution“); Anthropic 2026s, Beitrag vom 22.1.2026 („new constitution“; „We use the constitution at various stages of the training process“; Rangfolge für Konfliktfälle: „broadly safe“, „broadly ethical“, Einhaltung der Richtlinien, „genuinely helpful“). Herstellerangabe.
6 Ahmed u. a. 2026, Abstract („In some cases, jailbroken Claude 3.7 Sonnet outputs entire books near-verbatim (e.g., nv-recall=95.8%)“). Wie Kap. 4, Anm. 12.
7 Anthropic 2024a, Beitrag vom 2.4.2024 (bis zu 256 erfundene Dialoge; Wirkung wächst mit der Zahl der Dialoge; möglich durch Kontextfenster von „1,000,000 tokens or more“; andere Anbieter vorab informiert, Gegenmaßnahmen eingebaut, in einem Fall Erfolgsquote 61 → 2 %); im dort verlinkten Paper (Anil u. a. 2024), Abschn. 1 und Abb. 1, gezeigt an Claude 2.0, GPT-3.5, GPT-4, Llama 2 70B und Mistral 7B. Herstellerangabe über Angriffe auf eigene und fremde Modelle.
8 Conley und Chang 2026, 27.5.2026: 15 geschlossene Modelle von OpenAI, Anthropic, Google, Amazon und xAI; Mehrrunden-Erfolgsquoten von 7,89 % (Amazon Nova 2 Lite) bis 88,30 % (Grok 4.1 Fast ohne Reasoning; mit Reasoning 43,47 %); Claude-Modelle 11,16–16,20 %. Zugriffsweg nicht genannt. Cisco verkauft selbst Schutzprodukte.
9 BSI 2025, Version 1.0 vom 6.11.2025 (Pressemitteilung des BSI vom 10.11.2025), S. 13 f. (Definitionen: „Prompt injection refers to a class of attacks against language models in which a user prompt causes the system prompt to no longer be fully applied“; „Jailbreak refers to a class of attacks in which a user prompt causes the behavior learned during training to no longer be fully enforced“; dazu die indirekten Formen über Inhalte Dritter, „indirect prompt injection“) und S. 31 („there is no single bullet proof solution for mitigating evasion attacks. Market leaders typically use several layers of mitigation, but even then, struggle to reliably defend against this kind of attacks“).
10 Wei u. a. 2023, Abstract und Abschn. 1 (zwei Fehlermodi „competing objectives“ und „mismatched generalization“; Angriffe „succeed on over 96% of the evaluated prompts, including on 100% of the curated red-teaming prompts“); Abschn. 2.2 (32 kuratierte Anfragen aus dem Red Teaming von OpenAI und Anthropic, 317 weitere synthetische); Abschn. 3.2 (Beispiel Base64); Tab. 2 (adaptiver Angriff auf den 317 Anfragen: GPT-4 0,96, Claude v1.3 0,99); Abschn. 1 („safety-capability parity“). Alle drei Autoren UC Berkeley; arXiv v1 vom 5.7.2023.
11 Ganguli u. a. 2022, Abstract (38.961 Red-Team-Angriffe veröffentlicht; Modelle mit 2,7, 13 und 52 Mrd. Parametern; per RLHF trainierte Modelle „increasingly difficult to red team as they scale“). arXiv v1 vom 23.8.2022. Herstellerangabe zu eigenen Modellen.
12 Anthropic 2025a, Beitrag vom 3.2.2025 mit Nachtrag zur öffentlichen Demo vom 13.2.2025 (Namen der Gewinner 18.2.2025): Prototyp gegen chemische, biologische, radiologische und nukleare Gefahren (CBRN); automatisierte Prüfung mit 10.000 Jailbreak-Prompts, Erfolgsquote 86 % ohne, 4,4 % mit Klassifikatoren; Ablehnungen harmloser Anfragen +0,38 Prozentpunkte (laut Anthropic nicht signifikant); Rechenaufwand +23,7 %; Ein- und Ausgabeklassifikatoren, trainiert mit synthetischen Daten nach einer „Verfassung“ erlaubter und verbotener Inhalte. Demo vom 3. bis 10.2.2025 mit acht Fragen zu Chemiewaffen: „339 jailbreakers“ (gezählt nur, wer mindestens eine Stufe schaffte), über 300.000 Chats, rund 3.700 Stunden; System hielt fünf der sieben Tage stand; vier Teilnehmende schafften alle acht Stufen, einer fand einen universellen Jailbreak. Herstellerangabe.
13 KI-Verordnung, Art. 55 Abs. 1 Buchst. a („…, wozu auch die Durchführung und Dokumentation von Angriffstests beim Modell gehören, um systemische Risiken zu ermitteln und zu mindern“; englisch „conducting and documenting adversarial testing of the model“; gilt für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck mit systemischem Risiko), Anhang XI Abschn. 2 Nr. 2 („Angriffstests … (zum Beispiel Red Teaming)“) und Art. 113 Abs. 3 Buchst. b (Kapitel V gilt ab dem 2.8.2025). Wortlaut auf EUR-Lex, deutsch und englisch, abgerufen am 19. und 20.10.2026; Art. 55 und Art. 113 Abs. 3 Buchst. b sind durch die Verordnung (EU) 2026/1744 nicht geändert.
14 Inan u. a. 2023, Abstract (Prüfmodell für Eingaben und Antworten, „built on Llama2-7b“). arXiv v1 vom 7.12.2023. Herstellerangabe.
15 Qwen-Team (Alibaba) 2025, Modellkarte Qwen3Guard-Gen-8B (Modelle auf Hugging Face seit 23.9.2025; Größen 0,6, 4 und 8 Mrd. Parameter; „119 languages and dialects“; Kategorien u. a. „Violent“, „Copyright Violation“, „Politically Sensitive Topics“ mit der Definition „The deliberate creation or spread of false information about government actions, historical events, or public figures that is demonstrably untrue …“, „Jailbreak (Only for input)“; Streaming-Variante; Apache 2.0); technischer Bericht arXiv:2510.14276 vom 16.10.2025. Herstellerangabe.
16 Anthropic 2026r, Beitrag vom 9.1.2026 (rund 1 % Zusatzaufwand, bezogen auf den Verkehr von Claude Opus 4.0; 0,05 % Ablehnungen harmloser Anfragen; über 1.700 Stunden und 198.000 Versuche Red Teaming ohne universellen Jailbreak). Herstellerangabe.
17 Guo u. a. 2025, hier die erweiterte Fassung arXiv:2501.12948v2 vom 4.1.2026, Anhang D.3.1 (Risikokontrollsystem des offiziellen Dienstes: Abgleich mit „a predefined keyword list“, dann Prüfung durch DeepSeek-V3, das entscheidet, „whether the dialogue should be retracted“; Empfehlung an andere Betreiber) und Tab. 11 (unsichere Antworten ohne → mit Jailbreak: DeepSeek-R1 25,2 → 85,9 %, mit Risikokontrolle 8,5 → 4,3 %; Ablehnungen mit Risikokontrolle unter Jailbreak 87,3 %; Testfragen von DeepSeek selbst). Für den Sicherheitsteil Herstellerangabe.
18 Anthropic 2026h, „How long do you store my data?“ (bei Markierung durch die automatischen Systeme Ein- und Ausgaben bis zu 2 Jahre). Wie Kap. 6, Anm. 12.
19 Anthropic 2025i, Beitrag vom 13.11.2025 (Aktivität Mitte September 2025 entdeckt; Zuordnung „with high confidence“ zu einer chinesischen staatlich unterstützten Gruppe; rund 30 Ziele, darunter Technologie- und Finanzfirmen, Chemiehersteller und Behörden; Claude per Jailbreak eingesetzt, Aufgaben in kleine, harmlos wirkende Teile zerlegt; Konten gesperrt, Betroffene informiert, Behörden eingebunden; Erfolg in „a small number of cases“). Herstellerangabe.
20 Anthropic 2026ac, Bericht vom 10.9.2026, Fallstudie im Abschnitt zu konventionellen Waffen: „a cell of threat actors based in northern Yemen“ (keiner Organisation zugeordnet; Presseberichte nennen die Huthi); Claude Code „in place of human software engineers“ für Lenk-, Navigations- und Steuerungssoftware; Testabschuss einer Lenkrakete, „This field test appears to have failed“; Arbeit „across multiple sessions so no single session revealed their full intent“; „Our safeguards blocked many of their requests, but not all of them“; Konten gesperrt; neue Klassifikatoren gegen Sprengstoffe und Waffenentwicklung. Kein Hinweis auf eine einsatzfähige Waffe. Herstellerangabe.
21 Qi u. a. 2023, Abstract („fine-tuning it on only 10 such examples at a cost of less than $0.20 via OpenAI’s APIs“); Tab. 1 (GPT-3.5 Turbo, 5 Epochen: Harmfulness Rate 1,8 % → 88,8 % mit 10 Beispielen); Tab. 3 (Alpaca, 1 Epoche: 5,5 % → 31,8 %). Harmfulness Rate = Anteil der Antworten mit Höchstnote 5 beim GPT-4-Bewerter (Abschn. 4.1).
22 Qi u. a. 2025, Abstract („alignment adapts a model’s generative distribution primarily over only its very first few output tokens“; „shallow safety alignment“; erklärt damit u. a. die Anfälligkeit für „prefilling attacks“), arXiv v1 vom 10.6.2024; Auszeichnung: ICLR 2025c (erstes von drei Outstanding Papers).
23 Murphy u. a. 2025, Beitrag vom 3.2.2025 (vorher „almost 100% refusal“, danach bei allen „over 80% harmfulness score“ nach StrongREJECT; OpenAI und Anthropic prüfen Fine-Tuning-Daten vorab, die Prüfung wurde in beiden Fällen umgangen; Gemini prüfte die Daten nicht; zusätzlich DeepSeek-R1-Distill-Llama-70B).
24 Hugging Face Hub 2026: eigene Zählung über die öffentliche Model-API von Hugging Face, 2.11.2026, 21:59 UTC: 8.941 Modelle, deren Name auf Abliteration hinweist (am 19.10.2026, 20:15 UTC: 8.585), darunter sieben Fassungen von Kolibri 1, die erste angelegt am 6.10.2026. Zeitabstand (eigene Abfrage der Anlagedaten über dieselbe API, 20.10.2026; nur Metadaten): Llama 3.1 8B, veröffentlicht 23.7.2024, erste solche Fassung 24.7.2024; Qwen3-8B, veröffentlicht 28./29.4.2025, erste Fassung 29.4.2025; gpt-oss-20b, veröffentlicht 5.8.2025, erste Fassung 6.8.2025; dagegen gpt-oss-120b am 16.8.2025 und Llama 4 Scout (veröffentlicht 5.4.2025) erst am 5.6.2025.
25 Bengio u. a. 2026, Executive Summary (offene Gewichte „cannot be recalled once released“, „their safeguards are easier to remove“). Bericht vom 3.2.2026, Vorsitz Yoshua Bengio.
26 O’Brien u. a. 2025, Abstract (Modelle, aus deren Vortrainingsdaten Wissen zu biologischen Gefahren herausgefiltert wurde, widerstehen gezieltem Nachtraining „on up to 10,000 steps“; Wissen, das im Kontext mitgeliefert wird, nutzen sie trotzdem). arXiv v1 vom 8.8.2025, v2 vom 17.2.2026.
27 Kassianik und Karbasi 2025, 31.1.2025 (50 zufällig gezogene Anfragen aus HarmBench, Temperatur 0, automatischer Jailbreak-Algorithmus, Kosten unter 50 US-Dollar; Angriffserfolg in derselben Grafik: DeepSeek-R1 100 %, Llama-3.1-405B 96 %, GPT-4o 86 %, Gemini-1.5-pro 64 %, Claude-3.5-Sonnet 36 %, o1-preview 26 %; Zugriffsweg auf R1 nicht genannt). Mit der University of Pennsylvania.
28 CAISI 2025, S. 2 (Executive Summary: Auftrag aus dem „AI Action Plan“ und von Handelsminister Lutnick, „assessing the capabilities of U.S. and adversary AI systems“; R1-0528 als „most secure model“ „complied with 94% of overtly malicious requests that used common jailbreaking techniques, compared to 8% of requests for U.S. reference models“; viermal so viele CCP-Narrative), S. 5 (DeepSeek-Gewichte von Hugging Face auf eigenen Cloud-Servern betrieben; GPT-5, GPT-5-mini, Opus 4 und gpt-oss dagegen „through cloud-based API services“ abgefragt; „CAISI did not query DeepSeek’s API“; Ergebnisse dort könnten abweichen, „especially for security and CCP censorship evaluations“), S. 18 (17 bekannte Jailbreak-Techniken, gewertet die jeweils wirksamste), S. 20 (V3.1 mit Jailbreak: 100 % bei Hacking und Online-Betrug; gpt-oss 6–10 %). Bericht vom 30.9.2025, aktualisiert am 20.11.2025.
29 Struppek u. a. 2026, Beitrag vom 11.5.2026 (alle Angriffe über die offizielle DeepSeek-API; Erfolg 98–100 % in den Bereichen CBRN, Cyberangriffe und Terrorismus; ohne Angriff 100 % Ablehnung; kein Vergleich mit anderen Diensten).
30 TC260 2024, Kap. 4 (Durchführung der Sicherheitsbewertung bei der behördlichen Registrierung; Satz zu Risiken, „where generative AI may be used to write malware or create biological or chemical weapons“), Abschn. 8.3 (Ablehnungsbank deckt „the 17 safety risks in Appendix A.1 and A.2“), Abschn. 9.4 b und c (mindestens 300 Stichprobenfragen, Ablehnungsquote „not be less than 95%“; bei harmlosen Fragen höchstens 5 %), Anhang A.1 und A.2 (u. a. Umsturz, Separatismus, Diskriminierung). Zitiert nach der englischen Übersetzung von CSET.
31 Chang u. a. 2025, Tab. 1 (Mehrrunden-Erfolgsquoten: Mistral Large-2 92,78 %, Llama 3.3-70B 87,02 %, Qwen3-32B 86,18 %, DeepSeek V3.1 79,65 %, Phi-4 54,20 %, GLM-4.5-Air 48,36 %, gpt-oss-20b 39,66 %, Gemma-3-1B-IT 25,86 %; GPT-3.5 Turbo als Angreifer und Bewerter; Zugriff über APIs oder lokal, ohne Zuordnung). arXiv vom 5.11.2025. Cisco verkauft selbst Schutzprodukte.
Kapitel 11: Recht und Arbeit: Wer die Regeln macht
1 Bundesnetzagentur 2025b. Pressemitteilung „KI-Service Desk der Bundesnetzagentur gestartet“, Erscheinungsdatum 3.7.2025 („interaktiver Compliance Kompass“, mit dem Organisationen prüfen können, „ob und in welchem Umfang die KI-Verordnung für ihre eingesetzten KI-Systeme Anwendung findet“); Themenseite KI mit „KI-Compliance Kompass“ und Fachthemen Energie, Telekommunikation, Digitales, Post, Eisenbahnen. Abgerufen am 19.10.2026.
2 KI-MIG. Vollzitat „KI-Marktüberwachungs-und-Innovationsförderungs-Gesetz vom 22. Juli 2026 (BGBl. 2026 I Nr. 223)“; Inkrafttreten nach Art. 5 des Mantelgesetzes am 29.7.2026 (Fußnote auf gesetze-im-internet.de); § 1 (Durchführung der VO (EU) 2024/1689); § 2 Abs. 1 (Bundesnetzagentur zuständige Marktüberwachungsbehörde, „soweit in diesem Gesetz nichts anderes bestimmt ist“); § 2 Abs. 3 (BaFin für KI-Systeme in direktem Zusammenhang mit regulierter Finanztätigkeit beaufsichtigter Unternehmen, u. a. Institute nach KWG und Versicherungsunternehmen); § 2 Abs. 6 (Landesbehörden für öffentliche Stellen der Länder und Kommunen). Weitere Ausnahmen, die „in der Regel“ abdeckt: § 2 Abs. 2 (Marktüberwachungsbehörden für Produkte nach Anhang I) und Abs. 8 (Landesbehörden für Mediendienste). Nicht im Text, aber im Gesetz: unabhängige KI-Marktüberwachungskammer (§ 2 Abs. 5, § 4), zentrale Beschwerdestelle (§ 8). Abgerufen am 19.10.2026.
3 KI-Verordnung. Wortlaut am Amtsblatttext geprüft (Cellar, CELEX 32024R1689 und 32026R1744), 19.10.2026. VO (EU) 2026/1744: Titel und Datum (8. Juli 2026, ABl. L vom 24.7.2026); Art. 4 (Inkrafttreten „am dritten Tag nach ihrer Veröffentlichung“, also 27.7.2026); Erwägungsgrund 1 (VO 2024/1689 „am 1. August 2024 in Kraft getreten“); Erwägungsgrund 2 („verzögerte Ausarbeitung von Normen“); Art. 1 Nr. 5 (Art. 4 neu: Maßnahmen, „um die Entwicklung der KI-Kompetenz … zu unterstützen“; keine Pflicht, „ein bestimmtes Niveau an KI-Kompetenz zu garantieren“); Nr. 7 (Art. 5 Abs. 1 UAbs. 1 Buchst. ba: intime Darstellungen einer bestimmbaren Person ohne „ausdrückliche Zustimmung“; Buchst. bb: Material im Sinne der Richtlinie 2011/93/EU; Abs. 1a Buchst. a: verboten nur, wenn das die Zweckbestimmung ist oder mangels zumutbarer Schutzvorkehrungen ein absehbares Ergebnis); Nr. 39 (Art. 111 Abs. 2: Hochrisiko-Systeme für Behörden bis 2.8.2030; Abs. 4: Systeme vor dem 2.8.2026 erfüllen Art. 50 Abs. 2 bis 2.12.2026); Nr. 40 (Art. 113 Abs. 3 Buchst. a: Buchst. ba und bb ab 2.12.2026; Buchst. c: Kapitel III Abschnitte 1–3 ab 2.12.2027 für Anhang III, ab 2.8.2028 für Anhang I). VO (EU) 2024/1689 (Ursprungsfassung): Art. 113 (gilt ab 2.8.2026; Buchst. a: Kapitel I und II ab 2.2.2025; Buchst. b: Kapitel III Abschnitt 4, Kapitel V, VII, XII und Art. 78 ab 2.8.2025, mit Ausnahme von Art. 101); Art. 4 a. F. („nach besten Kräften sicherzustellen“, „ausreichendes Maß an KI-Kompetenz“); Art. 4 richtet sich in alter wie neuer Fassung an Anbieter und Betreiber aller KI-Systeme, unabhängig von der Risikostufe; Art. 5 Abs. 1 Buchst. c (Social Scoring); Art. 99 Abs. 3 (bis 35 Mio. € oder 7 % des weltweiten Jahresumsatzes); Art. 50 Abs. 1 (Information bei direkter Interaktion, außer wenn offensichtlich) und Abs. 2 (maschinenlesbare Kennzeichnung); Art. 3 Nr. 1 (KI-System); Erwägungsgrund 12 (nicht erfasst: Systeme, die „auf ausschließlich von natürlichen Personen definierten Regeln“ beruhen); Erwägungsgrund 97 (Modelle „für sich genommen keine KI-Systeme“, erst mit weiteren Komponenten wie einer Nutzerschnittstelle); Art. 6 Abs. 1–3 und Anhänge I und III (Art. 6 Abs. 1: Sicherheitsbauteil eines Produkts oder selbst ein Produkt nach Anhang I, jeweils mit Konformitätsbewertung durch Dritte; Anhang III Nr. 4 Buchst. a: Bewerbungen „zu sichten oder zu filtern“; Art. 6 Abs. 3 Buchst. a: „eng gefasste Verfahrensaufgabe“; Profiling immer hochriskant); Art. 16 i. V. m. Art. 9–15, 17 und 43 (Pflichten der Anbieter); Art. 26 Abs. 2 (Betreiber übertragen die Aufsicht Personen mit „Kompetenz, Ausbildung und Befugnis“); Art. 3 Nr. 63 (KI-Modell mit allgemeinem Verwendungszweck); Art. 53 Abs. 1 Buchst. a–d (Dokumentation, Information nachgelagerter Anbieter, Urheberrechtsstrategie einschließlich Vorbehalten nach Art. 4 Abs. 3 der Richtlinie (EU) 2019/790, Zusammenfassung nach Vorlage) und Abs. 2 (Ausnahme für a und b bei freier und quelloffener Lizenz, die Zugang, Nutzung, Änderung und Verbreitung erlaubt, wenn Parameter einschließlich Gewichte sowie Angaben zu Architektur und Nutzung öffentlich sind; nicht bei systemischem Risiko); Art. 111 Abs. 3 (Altmodelle bis 2.8.2027); Art. 51 Abs. 2 (mehr als 1025 Gleitkommaoperationen); Art. 55 Abs. 1 Buchst. a (Angriffstests); Art. 88 Abs. 1 (Kommission mit ausschließlicher Zuständigkeit, Aufgaben beim Büro für Künstliche Intelligenz); Art. 101 Abs. 1 (bis 3 % oder 15 Mio. €).
4 Bundesgerichtshof 2026. Terminhinweis I ZR 281/25: Verhandlung 3.9.2026, Verkündungstermin 17.12.2026, 8:45 Uhr; Sachverhalt (gemeinnütziger Verein; Datensatz mit 5,85 Mrd. Bild-Text-Paaren aus Hyperlinks und Bildbeschreibungen; Bilder selbst nicht enthalten; Downloads in der zweiten Jahreshälfte 2021; Abgleich von Bild und Beschreibung per Software; Vorschaubild von der Website einer Bildagentur, die den Zugriff durch „automated programs, applets, bots or the like“ untersagt hatte); Begründung des Berufungsgerichts (Vervielfältigung nach § 16 Abs. 1 UrhG, gerechtfertigt durch § 44b und § 60d UrhG; Vorbehalt in natürlicher Sprache, Maschinenlesbarkeit 2021 nicht dargelegt); Vorinstanzen LG Hamburg, Urt. v. 27.9.2024, 310 O 227/23, und OLG Hamburg, Urt. v. 10.12.2025, 5 U 104/24. Die Seite nennt die Parteien nicht namentlich. Abgerufen am 19.10.2026.
5 Europäische Kommission 2026a, Abschnitt „Minimal or no risk“: „The AI Act does not introduce rules for AI that is deemed minimal or no risk. The vast majority of AI systems currently used in the EU fall into this category“, Beispiele „AI-enabled video games or spam filters“. Abgerufen am 19.10.2026.
6 Produkthaftungsrichtlinie. Richtlinie (EU) 2024/2853 vom 23.10.2024, Art. 4 Nr. 1 („Produkt“ umfasst auch Software); Art. 2 Abs. 1 (gilt für Produkte, die nach dem 9.12.2026 in Verkehr gebracht oder in Betrieb genommen werden); Art. 22 Abs. 1 (Umsetzung bis 9.12.2026); Erwägungsgrund 6 (verschuldensunabhängige Haftung „für alle beweglichen Sachen, einschließlich Software“), vgl. Erwägungsgrund 2. Amtsblatttext (Cellar, CELEX 32024L2853) am 19.10.2026 eingesehen.
7 Deutscher Bundestag 2026b. Textarchiv, Abschnitt „2./3. Lesung“: Annahme am 8.10.2026 (Drs. 21/4297, Beschlussempfehlung 21/8429); Software gilt „unabhängig von der Art ihrer Bereitstellung als Produkt“, damit werde das Produkthaftungsrecht „auch auf Hersteller von Systemen künstlicher Intelligenz erstreckt“ (Darstellung der Bundesregierung). Stand der Seite 2.11.2026. Bundesrat am 16.10.2026 ohne Anrufung des Vermittlungsausschusses (Bundesrat 2026); verkündet als „Gesetz zur Modernisierung des Produkthaftungsrechts und zur Änderung weiterer Vorschriften“ vom 22.10.2026 (Bundesrepublik Deutschland 2026b).
8 Aleph Alpha 2026a. Modellkarte, Tabelle „Computing Resources“ („FLOPS: 6.4e23“ am Ende der Zelle, deren Kopf „Pre-training … excluding mid-training and long-context“ lautet; ob die Zahl alle Phasen umfasst, sagt die Karte nicht), Zeile „Code of Practice“ (Aleph Alpha als Unterzeichner), Link „Summary about the content used for training (according to the European Commission’s template)“, Abschnitt „Point of Contact for Rightsholders“ („Measure 1.5. General-Purpose AI Code of Practice“). Herstellerangabe, abgerufen am 20.10.2026. 6,4 · 1023 / 1025 = 0,064.
9 Europäische Kommission 2025b. Leitlinien der Kommission zu den Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck: unverbindliches Kriterium (Faustregel) Trainingsaufwand über 1023 Gleitkommaoperationen und die Fähigkeit, Sprache, Bilder oder Videos zu erzeugen. Kolibri 1 erfüllt beides (6,4 · 1023, Sprachmodell); ein systemisches Risiko wird erst ab 1025 vermutet (KI-Verordnung, Art. 51 Abs. 2).
10 Europäische Kommission 2025a. Kodex veröffentlicht am 10.7.2025; Liste der Unterzeichner u. a. Aleph Alpha, Anthropic, Black Forest Labs, Google, Mistral AI, OpenAI; xAI nur „Safety and Security Chapter“; Meta nicht gelistet. Stand der Liste beim Abruf am 19.10.2026.
11 UrhG. § 44b Abs. 1 (Definition), Abs. 2 Satz 1 (Vervielfältigungen rechtmäßig zugänglicher Werke zulässig), Abs. 3 (Vorbehalt; online nur „in maschinenlesbarer Form“ wirksam); § 60d Abs. 1 und 2 (Forschungsorganisationen mit nicht kommerziellen Zwecken u. a.; kein Nutzungsvorbehalt vorgesehen). Abgerufen am 19.10.2026.
12 DSM-Richtlinie, Art. 3 (Text und Data Mining für Zwecke der wissenschaftlichen Forschung) und Art. 4 (Ausnahme für Text und Data Mining; Abs. 3: gilt nur, solange sich die Rechteinhaber die Nutzung nicht vorbehalten haben, bei online veröffentlichten Inhalten etwa mit maschinenlesbaren Mitteln).
13 Initiative Urheberrecht 2026. Beitrag vom 4.9.2026: Kläger Robert Kneschke, Beklagter LAION; nach Berichten von dpa und FAZ über die Verhandlung am 3.9.2026 deute sich eine Vorlage an den EuGH an. Sekundärquelle; die Meldungen von dpa und FAZ selbst waren nicht auffindbar.
14 LG Hamburg 2024. Urteil vom 27.9.2024, 310 O 227/23: Klage abgewiesen, Vervielfältigung nach § 60d UrhG gerechtfertigt; ob auch § 44b greift, offengelassen; am Rande (obiter dictum) die Erwägung, ein Vorbehalt in natürlicher Sprache könne „maschinenverständlich“ und damit maschinenlesbar sein.
15 Heidrich Rechtsanwälte 2026. Pressemeldung zur Verhandlung am 3.9.2026: Der Senat wies darauf hin, dass eine Vorlage einzelner Auslegungsfragen an den EuGH „in Betracht kommt“. Die Kanzlei vertrat LAION in den Vorinstanzen.
16 Landgericht München I 2025, Pressemitteilung 11/2025: „Zwar unterfielen Sprachmodelle grundsätzlich dem Anwendungsbereich der Text und Data Mining Schranken. Die Vorschriften deckten erforderliche Vervielfältigungen beim Zusammenstellen des Datenkorpus für das Training“; Vervielfältigung in den Modellen und Wiedergabe in den Outputs nicht durch § 44b gedeckt; „Das Urteil ist nicht rechtskräftig.“ Zur Berufung siehe Kapitel 4, Anm. 10.
17 United States District Court for the Northern District of California 2025, Order on Fair Use vom 23.6.2025 (Richter William Alsup, N.D. Cal., Nr. 3:24-cv-05417): Anthropic habe „over seven million copies of books“ aus Raubkopie-Sammlungen geladen, darunter Library Genesis (LibGen) und Pirate Library Mirror (PiLiMi), und daneben gekaufte Bücher eingescannt; das Training sei „exceedingly transformative and was a fair use“, aber „Anthropic had no entitlement to use pirated copies for its central library“. Über die Raubkopien hätte ein Prozess entscheiden sollen.
18 Bartz v. Anthropic Settlement Administrator 2026, gerichtlich genehmigte Mitteilung zum Vergleich: Fonds von 1,5 Mrd. US-Dollar, „approximately $3,000 per work“, Pflicht, die aus LibGen und PiLiMi geladenen Bücher zu vernichten (vorbehaltlich gesetzlicher Aufbewahrungspflichten); der Vergleich gilt nur für vergangenes Verhalten und nicht für die Ausgaben der Modelle. Endgültige Genehmigung durch das Gericht am 20.7.2026 laut Website des Vergleichs. Anthropic versicherte, LibGen und PiLiMi seien in keinem Trainingskorpus eines kommerziell veröffentlichten Modells gewesen (Herstellerangabe).
19 DSGVO. Art. 6 Abs. 1 Buchst. f (berechtigte Interessen, „sofern nicht die Interessen oder Grundrechte und Grundfreiheiten der betroffenen Person … überwiegen“); Art. 21 Abs. 1 (Widerspruchsrecht); Art. 44–46 (Übermittlung in Drittländer: Angemessenheitsbeschluss nach Art. 45 oder geeignete Garantien nach Art. 46, darunter Standarddatenschutzklauseln). Die Ausnahmen nach Art. 49 sind mit „in der Regel“ berücksichtigt.
20 Garante 2023. Provvedimento vom 30.3.2023 [doc. web 9870832]: „limitazione provvisoria“ mit sofortiger Wirkung; „RILEVATA l’assenza di idonea base giuridica in relazione alla raccolta dei dati personali e al loro trattamento per scopo di addestramento degli algoritmi“. Abgerufen am 19.10.2026.
21 EDPB 2024. Opinion 28/2024, angenommen am 17.12.2024: Executive Summary S. 2–3 (Test in drei Stufen); Rn. 69 (Beispiel „developing the service of a conversational agent to assist users“ als legitimes Interesse, vorbehaltlich der beiden weiteren Stufen); Abschn. 3.4, Szenarien 1–3 (Folgen unrechtmäßiger Verarbeitung für den Einsatz, Einzelfallprüfung, keine Folgen bei wirksamer Anonymisierung). Pressemitteilung vom 18.12.2024: angefragt von der irischen Aufsichtsbehörde; „three-step test“; Beispiele „a conversational agent to assist users“ und Cybersicherheit; unrechtmäßig verarbeitete Daten „could have an impact on the lawfulness of its deployment, unless the model has been duly anonymised“.
22 Verbraucherzentrale NRW 2025. Urteilsseite der Verbraucherzentrale NRW zu OLG Köln, Urt. v. 23.5.2025, 15 UKl 2/25 (Stand 18.6.2025): Antrag auf einstweilige Verfügung zurückgewiesen; Meta könne sich auf Art. 6 Abs. 1 lit. f DSGVO stützen; Nutzer hätten seit Juni 2024 mit der Nutzung rechnen können; Widerspruchsrecht eingeräumt; „Das Urteil ist rechtskräftig.“ Seite der Klägerin.
23 HmbBfDI 2025. FAQ „Meta beginnt KI-Training mit persönlichen Daten“ vom 27.5.2025: „Trainingsdaten fließen unwiderruflich in KI-Modelle ein, und ihr Einfluss kann nach heutigem Stand der Technik nicht mehr aus dem Modell entfernt werden. In Bezug auf zukünftige Trainings ist ein Widerspruch aber wirksam.“ Abgerufen am 19.10.2026.
24 noyb – European Center for Digital Rights 2025. Meldung vom 20.3.2025 (ChatGPT stellte Holmen als Mörder zweier seiner Kinder dar; Beschwerde bei der norwegischen Datatilsynet; Forderung, die Ausgabe zu löschen und das Modell „fine-tune“, außerdem ein Bußgeld); Fallseite C097: eingereicht 20.3.2025, federführend inzwischen die irische DPC, Status „Pending“ (abgerufen 19.10.2026). Partei des Verfahrens.
25 Durchführungsbeschluss (EU) 2023/1795. Durchführungsbeschluss (EU) 2023/1795 der Kommission vom 10.7.2023 (angemessenes Schutzniveau für Organisationen, die am EU-US Data Privacy Framework teilnehmen).
26 Gericht der Europäischen Union 2025. Pressemitteilung Nr. 106/25 vom 3.9.2025 zum Urteil T-553/23, Latombe/Kommission: Nichtigkeitsklage gegen den Angemessenheitsbeschluss vom 10.7.2023 abgewiesen.
27 Amtsblatt der Europäischen Union 2025. ABl. C/2025/6610 vom 22.12.2025: Rechtsmittel von Philippe Latombe, eingelegt am 31.10.2025, Rechtssache C-703/25 P; laut InfoCuria am 2.11.2026 anhängig.
28 Talus 2026. Brief von Anu Talus an Kommissar Michael McGrath vom 31.7.2026: Urteil vom 29.6.2026 (Nr. 25-332); Präsident darf FTC-Mitglieder abberufen (Aufgabe von Humphrey’s Executor); Verweis auf Durchführungsbeschluss 2023/1795, Rn. 58–60; Bitte, „to closely assess whether this development affects the functioning“ des Beschlusses.
29 Europäische Kommission o. J.. Liste der von der Kommission anerkannten Länder (u. a. Japan, Schweiz, Vereinigtes Königreich, USA nur für DPF-Teilnehmer); China nicht enthalten. Abgerufen am 19.10.2026.
30 BlnBDI 2025. Pressemitteilung vom 27.6.2025: Verstoß gegen Art. 46 Abs. 1 DSGVO; Aufforderung vom 6.5.2025 ohne Erfolg; Meldung nach Art. 16 DSA an Apple und Google; Zitat Meike Kamp („Die Übermittlung von Nutzerdaten durch DeepSeek nach China ist rechtswidrig“).
31 OpenAI 2025b. Beitrag vom 5.2.2025 (Datenresidenz in Europa: neue Workspaces von ChatGPT Enterprise und Edu speichern Inhalte „at rest“ in Europa; API-Kunden können Daten für geeignete Endpunkte in Europa verarbeiten lassen); Update vom 16.1.2026 („in-region GPU inference in the U.S. or Europe for eligible ChatGPT Enterprise, ChatGPT Edu, and ChatGPT for Healthcare customers“). Herstellerangabe, abgerufen am 19.10.2026.
32 Anthropic 2026f. Abschnitt „Current limitations“: „Inference geo: Only “us” and “global” are available“; „Workspace geo: Only “us” is currently available“ (Speicherort). Herstellerangabe, abgerufen am 2.11.2026.
33 CLOUD Act. 18 U.S.C. § 2713: Anbieter „shall comply with the obligations of this chapter“ (Stored Communications Act, also Herausgabe auf Anordnung von Behörden oder Gerichten) auch für Daten „within such provider’s possession, custody, or control, regardless of whether such communication, record, or other information is located within or outside of the United States“; eingefügt durch Pub. L. 115–141 vom 23.3.2018.
34 Arntz u. a. 2026. Arntz, Dinelli, Schlenker, IAB-Forum vom 13.10.2026: Herkunft („Jobapokalypse“ seit dem Start von ChatGPT); Daten und Methoden (Beschäftigungsdaten der BA von Januar 2021 bis Dezember 2025, im Schnitt rund 22,3 Mio. sozialversicherungspflichtig Vollzeitbeschäftigte von 20 bis 64 Jahren; Exposition nach Eloundou et al. 2024); stark exponierte Berufe 2025 rund 1 % über, weniger exponierte gut 3 % unter 2022; bei 20- bis 29-Jährigen Zusammenhang mit KI „statistisch aber nach wie vor nicht signifikant“, Zusammenhang mit der Rezession „mehr als doppelt so stark“; signifikant negativer Zusammenhang im verarbeitenden Gewerbe und in nichtakademisch geprägten Berufen; Befunde „rein deskriptiv“; Maß zeigt nur, wo KI „potenziell eingesetzt werden kann, nicht aber, ob Arbeitgeber sie tatsächlich eingeführt oder genutzt haben“. Der Zitierhinweis der Seite nennt teils „15. Mai 2026“, Kopfzeile und DOI-Angabe 13.10.2026.
35 ifo Institut 2025. ifo, „Ein Viertel der Unternehmen rechnet mit Stellenabbau durch Künstliche Intelligenz“, 5.6.2025: 27,1 % erwarten Stellenabbau durch KI in den kommenden fünf Jahren, Industrie 37,3 %. Abgerufen am 20.10.2026. Erhebung: ifo Konjunkturumfrage Mai 2025 (N = 2.814); Wohlrabe 2025, Tabelle 3.
36 Brynjolfsson u. a. 2026. Stanford Digital Economy Lab, 12.8.2026, Zusammenfassung der überarbeiteten Fassung: Fakt 1 („We do not see widespread, economy-wide job displacement“); Fakt 2 (22- bis 25-Jährige in stark exponierten Berufen „about 19% below“ dem Pfad Gleichaltriger in weniger exponierten Berufen, Datenstand Juni 2026); Fakt 4 („reduced hiring of young workers rather than increased separations“); „descriptive patterns, not causal estimates“; Exposition nach Eloundou et al. (2024); Daten: ADP-Lohnabrechnungen.
37 Eloundou u. a. 2024. Preprint arXiv:2303.10130 v5 (21.8.2023), v1 vom 17.3.2023: Abschn. 3.3 (Exposition: Zeit für eine Tätigkeit „by at least half (50%)“ verkürzt, bei gleicher Qualität; Maß „without distinguishing between labor-augmenting or labor-displacing effects“); Abstract („We do not make predictions about the development or adoption timeline“; 19 %); S. 3 („approximately 19% of jobs have at least 50% of their tasks exposed when considering both current model capabilities and anticipated tools“); Abschn. 3.3, S. 8 (β = E1 + 0,5 · E2); Abschn. 4.1, S. 11 („Based on the β values … 19% of workers“). Science-Fassung (21.6.2024), Abstract über die Seite von GovAI: „roughly 1.8% of jobs could have over half their tasks affected by LLMs with simple interfaces and general training“, mit ergänzender Software „just over 46% of jobs“. Zugehörigkeit laut PubMed 38900883: Eloundou und Mishkin OpenAI, Manning Centre for the Governance of AI, Rock Wharton School.
Kapitel 12: Rechenzentren: Chips, Speicher, Strom
1 International Energy Agency 2025, Abschnitt „Energy demand from AI“: Server „around 60% of electricity demand in modern data centres“, Speichersysteme „around 5%“, Netzwerktechnik „up to 5%“, Kühlung und Klimatisierung „from about 7% for efficient hyperscale data centres to over 30% for less-efficient enterprise data centres“.
2 CMA 2025, Nr. 5 und 6 mit Fn. 1: IaaS-Markt Großbritannien und EWR 2024, Microsoft und AWS je „[30-40]%“, Google „[5-10]%“, Oracle, IBM und andere deutlich kleiner.
3 International Energy Agency 2026b, Executive summary: „the largest data centre operators – so-called hyperscalers – are set to spend more than USD 700 billion“ als Investitionen 2026, „mostly for the development of new data centres“.
4 Deutsche Telekom 2025, Medieninformation vom 4.11.2025: Partnerschaft „im Wert von einer Milliarde Euro“, „bis zu 10.000 NVIDIA Blackwell GPUs“ in mehr als tausend DGX-B200-Systemen und RTX-PRO-Servern, Rechenzentrum in München „komplett saniert“, Betrieb ab dem ersten Quartal 2026, „Rund 50 Prozent mehr Rechenleistung für Künstliche Intelligenz (KI) in Deutschland“ (Herstellerangabe).
5 Deutsche Telekom 2026, Medieninformation vom 4.2.2026: Industrial AI Cloud „offiziell in Betrieb“, „rund 10.000 NVIDIA Blackwell GPUs“, aufgebaut „gemeinsam mit NVIDIA und dem Datacenter-Partner Polarise“ (Herstellerangabe).
6 Intel o. J. b, Spezifikationen: 24 Kerne (8 Performance-, 16 Efficient-Kerne), Markteinführung Q4/2024 (Herstellerangabe).
7 NVIDIA 2026c, Kap. 1.1 „Introduction“ (v13.4.2, 10.9.2026): „a GPU is designed to excel at executing thousands of threads in parallel“; GPUs „devote more transistors to data processing units, while CPUs dedicate more transistors to data caching and flow control“; „In 2006, NVIDIA introduced the Compute Unified Device Architecture (CUDA) to enable any computational workload to use the throughput capability of GPUs independent of graphics APIs.“.
8 NVIDIA 2025b, Anhang A, Tabelle GeForce RTX 5090: „CUDA Cores / GPU 21760“; „Tensor Cores / GPU 680 (5th Gen)“; „Peak FP4 Tensor TFLOPS with FP32 Accumulate (FP4 AI TOPS) 1676/3352“; „Peak BF16 Tensor TFLOPS with FP32 Accumulate 209.5/419“, jeweils zweiter Wert laut Fn. 2 „Effective TOPS / TFLOPS using the Sparsity Feature“; „32 GB GDDR7“, „Memory Interface 512-bit“, „Memory Bandwidth 1792 GB/sec“ (Herstellerangaben). Eigene Rechnungen: 3.352 ÷ 209,5 = 16,0; Obergrenze für 4,92 GB Gewichte 1.792 ÷ 4,92 ≈ 364 Tokens pro Sekunde; 1.792 ÷ 89,6 = 20,0.
9 Anthropic 2025h, 23.10.2025: Ausbau auf „up to one million TPUs“ bei Google Cloud; Anthropic nutzt daneben „Amazon’s Trainium, and NVIDIA’s GPUs“ (Herstellerangabe).
10 Jouppi u. a. 2017, arXiv v1 vom 16.4.2017, 75 Autoren. Abschn. 2: Projektion von 2013, Sprachsuche „for 3 minutes a day“ mit neuronalen Netzen hätte eine Verdopplung der Rechenzentren erfordert; TPU „designed, verified …, built, and deployed in datacenters in just 15 months“. Abstract: „deployed in datacenters since 2015“, „accelerates the inference phase of neural networks“; Vergleich mit Intel-Haswell-CPU und NVIDIA K80, „contemporaries deployed in the same datacenters“; Testanwendungen decken „95% of our datacenters’ NN inference demand“ ab; „on average about 15X - 30X faster than its contemporary GPU or CPU“. Abschn. 1 (Vorschau der Ergebnisse): „Four of the six NN apps are memory-bandwidth limited on the TPU“.
11 Aleph Alpha 2026a, abgerufen am 19.10.2026. Training mit „our PyTorch-based TorchTitan distributed training infrastructure“. „Model overview“: 3.457.573.120 aktive Parameter pro Token. „Hardware requirements“: „~78 GB (FP8 weights). Minimum: 2× A100 80 GB, 2× H100 SXM5, 1× H200, 1× B200 or 1× B300“. „Getting started“ (Fassung vom 20.10.2026): Betrieb mit Transformers ab Version 5.20 und mit vLLM samt Plug-in von Aleph Alpha; als Hardware nennt die Karte nur Grafikprozessoren für Rechenzentren. Energie: „9.5×102 MWh (estimated), including node power and data-centre overhead (PUE)“ für Vor-, Mid- und Langkontext-Training, aus mittlerer Knotenleistung und PUE laut Clusterbetreiber, mal Knotenzahl und Laufzeit; Fine-Tuning und bestärkendes Lernen nicht enthalten (Herstellerangaben). Für Apple-Rechner veröffentlicht Aleph Alpha keine eigene Fassung; auf Hugging Face fanden sich am 20.10.2026 rund 20 Fassungen aus der Community für Apples Programmbibliothek MLX mit 2 bis 8 Bit, etwa nativ-community 2026 (Abfrage der Hugging-Face-API). Ob sie auf dem Mac laufen, ist nicht geprüft. Eigene Rechnungen, jeweils Obergrenzen nur für die Gewichte, ohne Kontext: aktive Gewichte in BF16 3,46 Mrd. × 2 Byte ≈ 6,9 GB, 1.200 GB/s ÷ 6,92 GB ≈ 173 Tokens pro Sekunde; in der FP8-Fassung Attention und Experten in FP8 (3,08 Mrd. × 1 Byte), Ausgabeschicht und Router in BF16 (0,38 Mrd. × 2 Byte), zusammen ≈ 3,83 GB, 1.200 ÷ 3,83 ≈ 313. Zur Musterantwort am Kapitelende, PC mit RTX 5090 und 89,6 GB/s Arbeitsspeicher, 30 der 78 GB auf der Karte: Bei gleichmäßiger Verteilung kämen 62 Prozent der aktiven Gewichte aus dem Arbeitsspeicher, 0,62 × 3,83 GB ÷ 89,6 GB/s + 0,38 × 3,83 GB ÷ 1.792 GB/s ≈ 27,3 ms, also rund 37 Tokens pro Sekunde; liegen nur die sechs gewählten Experten je Schicht im Arbeitsspeicher (6 × 3,93 Mio. Parameter × 50 Schichten ≈ 1,18 GB), sind es 13,2 ms + 1,5 ms, also rund 68. Bibliotheksserver: 950 MWh ÷ 8,76 MWh ≈ 108.
12 PyTorch Foundation o. J. a, „CUDA semantics“ (Dokumentation PyTorch 2.14): „torch.cuda is used to set up and run CUDA operations“; Beispiel torch.tensor([1., 2.]).cuda().
13 NVIDIA 2026a, Teil I, „Business“: „With our introduction of CUDA in 2006“; „over 7.5 million developers worldwide using CUDA and our other software tools“; Abschnitt „Competition“: AMD, Huawei, Intel sowie „large cloud services companies with internal teams designing hardware and software“, darunter Alibaba, Alphabet, Amazon, Baidu, Huawei und Microsoft; „Risk Factors“: Exportbeschränkungen seit August 2022; NVIDIA sei „unable to create and deliver a competitive product for China’s data center market that receives approval from both the USG and the Chinese government. As of the end of fiscal year 2026, we were effectively foreclosed …“ (Selbstdarstellung).
14 Fernandez 2025, 4.3.2025: NVIDIA mit „92% of the market share (similar market share as in 2023)“, AMD 4 %, Markt 125 Mrd. US-Dollar; der Markt „does not include CPUs, consumer GPUs, TPUs, ASICs, or other chips“.
15 NVIDIA 2026b, Pressemitteilung vom 26.8.2026, Quartal bis 26.7.2026: „Data Center revenue of $89.0 billion, up 117% from a year ago“.
16 Aminabadi u. a. 2022, Abschn. 1: „For small batch sizes, inference latency of a model is lower bounded by the time it takes to load all the model parameters from memory to registers.“ Die Faustregel ist eine Obergrenze für eine einzelne Anfrage an ein Modell, das alle Gewichte nutzt; Platz und Lesezeit für den Kontext kommen hinzu, gemessene Werte liegen darunter (siehe Kasten).
17 bartowski 2024a, Dateitabelle (Q4_K_M 4,92 GB; laut Hugging-Face-API 4.920.739.232 Byte, erneut abgefragt am 20.10.2026).
18 Intel o. J. a, Spezifikationen: „Max Memory Bandwidth 89.6 GB/s“, DDR5 bis 5.600 MT/s, zwei Speicherkanäle (5.600 MT/s × 8 Byte × 2 = 89,6 GB/s; Herstellerangabe). Eigene Rechnung: 89,6 ÷ 4,92 ≈ 18 Tokens pro Sekunde. Für Abbildung 12.2: „Max Memory Size 192 GB“.
19 TSMC o. J., Abschnitt CoWoS-S: großer Silizium-Interposer für Logikchips „with high-bandwidth memory (HBM) cubes“ und „high-density interconnects“ (Herstellerangabe).
20 JEDEC 2025, 16.4.2025: „transfer speeds up to 8 Gb/s across a 2048-bit interface, HBM4 boosts total bandwidth up to 2 TB/s“; „4-high, 8-high, 12-high and 16-high DRAM stack configurations“.
21 Aubrey und Stam 2025, 22.8.2025 (zuletzt geändert am 23.1.2026): Blackwell Ultra mit „288 GB of HBM3e per GPU“ und 8 TB/s (Herstellerangabe). Eigene Rechnung: 8.000 ÷ 89,6 ≈ 89.
22 Apple 2026, 25.8.2026: „up to 512GB of unified memory and 1.2TB/s of memory bandwidth, 50 percent higher than before“; „Mac Studio with 512GB of unified memory is coming in late October.“ (Herstellerangabe); im Apple Online Store am 2.11.2026 mit 512 GB bestellbar.
23 NVIDIA o. J. b, Tabelle RTX 50: RTX 5060 „8 GB GDDR7“, „448 GB/sec“; RTX 5060 Ti mit 16 oder 8 GB, ebenfalls 448 GB/s (Herstellerangaben). Eigene Rechnung: 448 ÷ 4,92 ≈ 91 Tokens pro Sekunde.
24 olegshulyakov u. a. 2025, „CUDA Scoreboard for Llama 2 7B, Q4_0 (with FA)“, Zeile RTX 5060 Ti 16 GB: tg128 93,46 Tokens pro Sekunde (Community-Messung, abgerufen am 20.10.2026). Modelldatei laut Messprotokoll 3,56 GiB = 3,82 GB. Eigene Rechnung: Obergrenze 448 ÷ 3,82 ≈ 117; 93,46 ÷ 117 ≈ 80 %.
25 bartowski 2024b, Dateitabelle: Q4_K_M 42,52 GB (laut Hugging-Face-API 42.520.398.816 Byte); Modell mit 70,55 Mrd. Parametern (Meta, Hugging-Face-API), im Schnitt also rund 4,8 Bit pro Gewicht. Eigene Rechnungen: 30 GB ÷ 1.792 GB/s ≈ 16,7 ms und 12,52 GB ÷ 89,6 GB/s ≈ 139,7 ms, zusammen 156,5 ms pro Token, also höchstens rund 6,4 Tokens pro Sekunde; ganz im Grafikspeicher 1.792 ÷ 42,52 ≈ 42. Annahme: Die CPU rechnet die ausgelagerten Schichten aus dem Arbeitsspeicher.
26 Rajbhandari u. a. 2020, Abschn. 3.1: Training in gemischter Genauigkeit mit dem Optimierer Adam braucht Parameter und Gradienten in 16 Bit (2 + 2 Byte) sowie eine 32-Bit-Kopie der Parameter, Momentum und Varianz (zusammen 12 Byte): „2Ψ + 2Ψ + KΨ = 16Ψ bytes“; Aktivierungen kommen hinzu (Abschn. 3.2). Eigene Rechnung: 8 Mrd. × 16 Byte = 128 GB = 4 × 32 GB.
27 Bauduin 2026, Tabelle, Zeile „32 GB DDR5-6000 CL30 (generisch)“: Sommer 2025 ~90 €, Januar 2026 ~240 €, April/Mai 2026 ~380–450 €; Begründung im Text: Samsung, SK Hynix und Micron hätten „massiv auf HBM-Speicher (High Bandwidth Memory) für KI-Beschleuniger und GPU-Server umgestellt“. Dazu passend TrendForce (2.2.2026): Vertragspreise für PC-DRAM im 1. Quartal 2026 laut Prognose „over 100%“ über dem Vorquartal wegen „persistent AI and data center demands“ (TrendForce 2026a). Für das 4. Quartal 2026 erwartet TrendForce (30.9.2026) bei herkömmlichem DRAM „10–15% QoQ“, weil die Hersteller Kapazität für Server bevorzugen (TrendForce 2026b).
28 NVIDIA 2025a, Produktseite RTX 5090: „3352 AI TOPS“, „32 GB GDDR7“ (Herstellerangabe; die Seite erklärt nicht, dass es sich um FP4 mit Sparsity handelt).
29 Forschungszentrum Jülich 2025, Pressemitteilung vom 17.11.2025: im Linpack-Benchmark „1 ExaFLOP/s mit 64-Bit Genauigkeit“, erster Supercomputer in Europa, mit 8 Bit „theoretische Leistung sogar bei über 40 ExaFLOP/s“; Forschungszentrum Jülich 2026 (Stand 19.6.2026): „etwa 40 ExaFLOP/s bei 8-Bit-KI-Präzision oder 80 ExaFLOP/s im 8-Bit-Sparsity-Modus“, rund 24.000 NVIDIA GH200 Superchips.
30 Zhong u. a. 2024, Abstract: Latenz einer Anfrage als „time to first token (TTFT)“ und „time per output token (TPOT)“.
31 Zhou und Chen 2025, Messtabelle (SGLang, Llama 3.1 8B in FP8): Decode 20,5 Tokens pro Sekunde bei einer Anfrage, 368 bei 32 gleichzeitigen; Bandbreite als „key bottleneck“. 368 muss der Gesamtwert sein: Bei 273 GB/s und rund 8 GB Gewichten in FP8 erlaubt die Faustregel je Anfrage höchstens rund 34 Tokens pro Sekunde. Eigene Rechnung: 368 ÷ 32 ≈ 11,5 pro Anfrage.
32 Kwon u. a. 2023, Abstract: „High throughput serving of large language models (LLMs) requires batching sufficiently many requests at a time.“ (Aus dieser Arbeit stammt vLLM, mit dem Aleph Alpha Kolibri betreibt.).
33 Forschungszentrum Jülich 2024, Pressemitteilung vom 23.1.2024 (Planungsstand): „im Mittel Leistungsaufnahme von etwa 11 Megawatt, bei besonders energieintensiven Anwendungen wie etwa dem Training von KI-Sprachmodellen Anstieg auf bis zu 20 Megawatt möglich“; Abwärme „kann ausgekoppelt und zum Heizen der Gebäude des Jülicher Campus genutzt werden“; Stand 17.11.2025 laut Forschungszentrum Jülich 2025 noch geplant: „geplanten Einspeisung der Abwärme in das Wärmenetz des Forschungszentrums Jülich“. Eigene Rechnung: 11 MW × 8.760 h = 96.360 MWh ≈ 96 GWh.
34 Bitkom 2025, Presseinformation vom 10.11.2025 (Studie des Borderstep Instituts): Großraum Frankfurt „mit gut 1.100 MW über mehr als ein Drittel aller Kapazitäten in Deutschland“; Strombedarf „wird 2025 bei 21,3 Mrd. Kilowattstunden liegen“; „Rund zwei Drittel des Strombedarfs entfallen dabei auf die IT-Infrastruktur“, das übrige Drittel auf Gebäudeinfrastruktur, Kühlung und unterbrechungsfreie Stromversorgung; KI-Rechenzentren „rund 15 Prozent der gesamten, in Deutschland installierten Kapazitäten“; die ebenfalls genannten 530 von 2.980 MW ergäben knapp 18 Prozent (Unstimmigkeit in der Quelle). Eigene Rechnung: Gesamtstrom ÷ IT-Strom = 1 ÷ (2/3) = 1,5.
35 dpa-AFX 2026, dpa-AFX, 18.3.2026: „55 Rechenzentren gibt es derzeit im Stadtgebiet, 13 weitere sollen bis 2030 entstehen“; laut Mainova können „insbesondere große, leistungsstarke Neuanschlüsse“ voraussichtlich „erst ab Mitte der 2030er-Jahre erneut bereitgestellt werden“. Das Mainova-Zitat stammt aus einer Auskunft an dpa, ebenso an die Frankfurter Rundschau; eine eigene Mitteilung von Mainova oder der Netztochter NRM fand sich nicht (Suche am 20.10.2026).
36 Umweltbundesamt 2026b, Artikel vom 21.9.2026 zum Energieeffizienzregister für Rechenzentren des Bundeswirtschaftsministeriums (veröffentlicht am 14.8.2026): Daten von 319 Rechenzentren; „bezogen auf ihre elektrische Anschlussleistung durchschnittlich nur zu rund 35 Prozent ausgelastet“; „Rund 70 Prozent der Rechenzentren schaffen schon jetzt die geforderte Energieverbrauchseffektivität von 1,5 oder besser“. Das Register ist laut UBA lückenhaft (nur 319 Rechenzentren, viele große internationale Betreiber fehlen); die 70 Prozent beziehen sich auf den um fehlerhafte Datensätze bereinigten Bestand.
37 BIPM, Tabelle der SI-Vorsätze: kilo 103, mega 106, giga 109, tera 1012.
38 NVIDIA o. J. f, Spezifikationen: H200 SXM (Modul für Platinen mit vier oder acht GPUs) „Max Thermal Design Power (TDP) Up to 700W (configurable)“; H200 NVL (PCIe-Steckkarte) „Up to 600W (configurable)“; beide „141GB“, „4.8TB/s“ (vorläufige Herstellerangaben). Rechnung für die Bibliothek mit angenommenen Werten: 1 kW × 8.760 h = 8.760 kWh; × 0,25 €/kWh = 2.190 €.
39 EnEfG, § 3 Nr. 15 (Energieverbrauchseffektivität: Verhältnis des jährlichen Energiebedarfs des gesamten Rechenzentrums zum Energiebedarf der Informationstechnik) und Nr. 24 (Rechenzentrum: nicht redundante elektrische Nennanschlussleistung ab 300 Kilowatt); § 11 Abs. 1 bis 3: Bestand ab 1.7.2027 PUE ≤ 1,5, ab 1.7.2030 ≤ 1,3; Betriebsbeginn ab 1.7.2026 PUE ≤ 1,2 und Anteil wiederverwendeter Energie mindestens 10 %, bei Betriebsbeginn ab 1.7.2027 geplant 15 %, ab 1.7.2028 20 %; beide Anforderungen nach Abs. 2 Satz 2 „spätestens zwei Jahre nach Inbetriebnahme“ im Jahresdurchschnitt dauerhaft zu erreichen; Ausnahmen u. a., wenn ein Wärmenetzbetreiber in der Nähe ein Angebot zu Gestehungskosten nicht binnen sechs Monaten annimmt (Abs. 3 Nr. 3).
40 Google o. J., „We report a comprehensive trailing twelve-month (TTM) PUE of 1.09 across all our large-scale data centers“ (Tabelle 2026, 2. Quartal); weltweiter Durchschnitt 1,54 laut „Uptime Institute’s 2025 Global Data Center Survey“, nicht an der Umfrage selbst geprüft (Herstellerangabe, abgerufen am 2.11.2026).
41 Deutscher Bundestag 2026a, Textarchiv KW 39/2026: Gesetzentwurf der Bundesregierung, Drucksache 21/8027, erste Lesung am 24.9.2026, überwiesen an den Ausschuss für Wirtschaft und Energie, dort öffentliche Anhörung am 5.10.2026; laut DIP am 25.10.2026 weiter „Überwiesen“; „Abwärme muss nur dann genutzt werden, wenn ein passendes Wärmenetz in der Nähe vorhanden ist.“.
42 DeepSeek-AI 2025b, Abschnitt „Statistics of DeepSeek’s Online Service“: alle Dienste von V3 und R1 „served on H800 GPUs“; Zeitraum „UTC+8 02/27/2025 12:00 PM to 02/28/2025 12:00 PM“, Spitze 278 Knoten, „average occupancy of 226.75 nodes (each node contains 8 H800 GPUs)“; „Assuming the leasing cost of one H800 GPU is $2 per hour, the total daily cost amounts to $87,072“; „Total input tokens: 608B, of which 342B tokens (56.3%) hit the on-disk KV cache“; „Total output tokens: 168B“; „The average output speed was 20–22 tokens per second“; „Each H800 node delivers an average throughput of ~73.7k tokens/s input (including cache hits) during prefilling or ~14.8k tokens/s output during decoding“; nachts „we reduce inference nodes and allocate resources to research and training“; „If all tokens were billed at DeepSeek-R1’s pricing (*), the total daily revenue would be $562,027, with a cost profit margin of 545%“, R1-Preise „$0.14/M input tokens (cache hit), $0.55/M input tokens (cache miss), $2.19/M output tokens“; Einschränkungen: V3 „significantly lower“ im Preis, „web and APP access remain free“, „Nighttime discounts“; „our actual revenue is substantially lower“. Veröffentlicht am 1.3.2025 (Commit „day6: one more thing“) als Abschluss der „Open-Source Week“, die laut README des Repositorys am 24.2.2025 begann („we’ll open-source 5 repos – one daily drop“, „with full transparency“); Tag 1 bis 5 vom 24. bis 28.2.2025. Eigene Rechnungen: 226,75 × 8 × 24 h × 2 $ = 87.072 $; je Grafikprozessor 14.800 ÷ 8 = 1.850 Ausgabetokens pro Sekunde, × 3.600 = 6,66 Mio. pro Stunde, 2 $ ÷ 6,66 ≈ 0,30 $ pro Mio.; Eingabe 73.700 ÷ 8 ≈ 9.210 pro Sekunde, 33,2 Mio. pro Stunde, ≈ 0,06 $ pro Mio. (Einlesen und Schreiben laufen bei DeepSeek auf getrennten Servern, daher je Phase gerechnet); (562.027 − 87.072) ÷ 87.072 ≈ 5,45, also 545 %; ÷ 562.027 ≈ 84,5 %; 2,19 ÷ 0,30 ≈ 7,3. Illustrative Rechnung im Text und in Abbildung 12.5 mit angenommenen Werten: 2 $ ÷ (50 × 3.600) × 1 Mio. ≈ 11,11 $; 2 $ ÷ (100 × 20 × 3.600) × 1 Mio. ≈ 0,28 $; bei halber Auslastung 0,56 $. Dass gebündelte Anfragen einzeln langsamer werden, zeigen die Messung von LMSYS (Anm. 31) und DeepSeeks eigener Wert von 20 bis 22 Tokens pro Sekunde je Anfrage.
43 Mistral AI 2026b, FAQ „How is API pricing calculated?“: „Most models are priced per million tokens, with both input (your prompts) and output (responses) counted separately.“ Ebenso rechnen die Preislisten in Anm. 44 bis 47 pro Million Tokens (Herstellerangaben). Batch: „Batch processing, for high-volume work, reduces the price by 50%.“.
44 Anthropic 2026m, Tabelle „Model pricing“ (Base input tokens / Output tokens): Claude Fable 5.1 „$10 / MTok“ / „$50 / MTok“ (ebenso Claude Mythos 5.1, „limited availability“); Claude Opus 5.5 4 / 20; Claude Sonnet 5.5 2 / 10; Claude Haiku 5.5 „$0.10 / MTok for prompts up to 100,000 tokens“ / „$0.50 / MTok“; Batch API mit „50 percent discount“ (Herstellerangabe, abgerufen am 2.11.2026). Google nennt Gemini 4 Argon sein „flagship reasoning model“ (Anm. 46).
45 OpenAI 2026d, Tabelle „Flagship models“, kurzer Kontext, je 1 Mio. Tokens Eingabe/Ausgabe, Standard: gpt-6-astra 10,00/50,00, gpt-6.1-sol 2,00/10,00, gpt-6-luna 0,10/0,50 US-Dollar; „Flex/Batch“ zum halben Preis (gpt-6.1-sol 1,00/5,00); „Fast“ doppelt (gpt-6.1-sol 4,00/20,00); „Ultrafast“ gpt-6.1-sol 12,00/60,00, also das Sechsfache; „Priority processing was renamed Fast mode on July 30, 2026“ (Herstellerangabe, abgerufen am 2.11.2026). Eigene Rechnungen zum Bibliotheksbeispiel mit angenommenen 2.000 Tokens Eingabe und 500 Tokens Ausgabe (dieselben Längen wie in Abbildung 17.4): 2.000 × 2 $ ÷ 1 Mio. = 0,004 $; 500 × 10 $ ÷ 1 Mio. = 0,005 $; zusammen 0,9 US-Cent.
46 Google 2026i, Gemini 4 Argon, Paid Tier: Eingabe 2,00 US-Dollar „through November 30, 2026“, ab 1.12.2026 4,00; Ausgabe „(including thinking tokens)“ 10,00, ab 1.12.2026 20,00, je 1 Mio. Tokens; Batch 1,00/5,00, ab 1.12.2026 2,00/10,00 (Herstellerangabe, abgerufen am 2.11.2026).
47 Mistral AI 2026d, Modellseite Mistral Large 4 (Public Preview, 6.10.2026): „$0.7 Input/M Tokens“, „$2.1 Output/M Tokens“ (Herstellerangabe, abgerufen am 2.11.2026; am 25.10.2026 standen dort 1,36 und 4,18 US-Dollar). Eigene Rechnungen: Ausgabe ÷ Eingabe 2,1 ÷ 0,7 = 3, bei den anderen genannten Modellen 5; Bibliotheksbeispiel 2.000 × 0,7 $ ÷ 1 Mio. + 500 × 2,1 $ ÷ 1 Mio. ≈ 0,0025 $, also rund ein Viertel US-Cent. Die allgemeine Preisseite (Anm. 43) nennt für „Mistral Large“ als Beispiel 0,5 und 1,5 US-Dollar, ohne Versionsangabe. Drittanbieter nannten für Mitte Oktober 2026 eine Woche lang einen halbierten Aktionspreis von 0,68/2,09 US-Dollar; ob der neue Preis dauerhaft gilt, sagt die Modellseite nicht.
48 Cottier u. a. 2025, Data Insight vom 12.3.2025 (Cottier, Snodin, Owen, Adamczewski): „ranging from 9x to 900x per year“; GPT-4-Niveau bei GPQA Diamond „fell by 40x per year“; Tabelle „Lowest inference prices at fixed performance“, GPQA Diamond, Schwelle GPT-4-0314: GPT-4-0314 (14.3.2023) 37,50 $, Phi 4 von Microsoft (13.12.2024) 0,12 $ je 1 Mio. Tokens; Preise als „3:1 weighted average of input and output token prices“, ohne Reasoning-Modelle; „Reduced profit margins may explain some of the drops in price, but we didn’t find clear evidence for this.“ (abgerufen am 26.10.2026).
49 Anthropic 2026l: Pro „$17 Per month with annual subscription discount ($200 billed up front). $20 if billed monthly.“; Max „$100 Per month“; Pro mit „More usage than Free, every 5 hours and every week“ (Herstellerangabe, Preise in US-Dollar ohne Steuern („Prices shown don’t include applicable tax.“), abgerufen am 2.11.2026).
50 Google 2026b, Preise für Deutschland: Google AI Plus 4,99 €, Google AI Pro 21,99 € im Monat mit „4-mal höhere Nutzungslimits als bei der kostenlosen Version“, Google AI Ultra „Ab: € 99,99 EUR / Monat“; Fußnote 2: „Bei der Gemini App berücksichtigen die rechenbasierten Nutzungslimits die Komplexität deiner Prompts, die von dir genutzten Funktionen sowie die Länge des Chats. Dein Limit wird alle 5 Stunden aktualisiert, bis du dein Wochenlimit erreicht hast.“ (Herstellerangabe, abgerufen am 2.11.2026).
51 OpenAI 2026e, „Pricing options“: Go „$8 /month“, Plus „$20 /month“, Pro „From $100 /month“, „Plans at $100, $200, or $500 USD per month“; „ChatGPT Work usage inside ChatGPT uses the same pricing, credits, and usage limits as Codex.“ FAQ: Schätzwerte für „local messages per five-hour period“ bei Plus, „Weekly limits may also apply“; bei Plus etwa 15 bis 160 lokale Nachrichten mit GPT-6.1 Sol; „Pro plans currently have no five-hour limit.“ Free kostet 0 Dollar (Herstellerangabe, Preise in US-Dollar, abgerufen am 2.11.2026). Ebenso OpenAI 2026i: Plus „$20/month (billed monthly)“; „Plus subscriptions may include usage limits such as message caps, especially during high demand.“ (Archivfassung vom 14.10.2026; die Seiten von openai.com und help.openai.com waren am 25.10.2026 direkt nicht abrufbar, HTTP 403, ebenso am 2.11.2026.).
52 Mistral AI 2026b, Tarif Pro: „$14.99 /mo Excluding taxes“, „Subject to fair usage limits“ (Herstellerangabe, abgerufen am 25.10.2026).
53 OpenAI 2024h, 5.12.2024: „ChatGPT Pro, a $200 monthly plan“, „unlimited access to our smartest model, OpenAI o1“ (Herstellerangabe; Archivfassung vom 5.12.2024, openai.com direkt nicht abrufbar).
54 Altman 2025 (X), Beitrag auf X vom 6.1.2025, 03:11 UTC (in den USA noch der 5.1.): „insane thing: we are currently losing money on openai pro subscriptions! people use it much more than we expected.“ (Text über die öffentliche Einbettungsschnittstelle von X geprüft am 26.10.2026; nicht bearbeitet.) Konkrete Beträge nannte Altman nicht.
55 Anthropic 2026g: „Paid plans have two types of usage limits: a session limit that resets every five hours, and weekly limits that reset once every week.“ Der Verbrauch hängt ab von „the length and complexity of your conversations, the features you use, which Claude model you’re chatting with …“ (Herstellerangabe, abgerufen am 25.10.2026).
56 Federal Trade Commission 2025, Pressemitteilung vom 17.1.2025 zum Bericht des FTC-Stabs über die Partnerschaften Microsoft–OpenAI, Amazon–Anthropic und Alphabet–Anthropic: Die Cloud-Anbieter erhalten „significant equity“ und teils Umsatzbeteiligungen; die Entwickler verpflichten sich, einen großen Teil der Investition für Cloud-Dienste des Partners auszugeben; die Partnerschaften könnten „switching costs“ der Entwickler erhöhen und den Cloud-Partnern Zugang zu sensiblen Geschäftsinformationen verschaffen. Konkrete Beträge nennt die Mitteilung nicht, nur „multi-billion-dollar investments“. Grundlage sind Anordnungen nach Section 6(b) vom Januar 2024, Datenstand September 2024. Die Kommission stimmte der Veröffentlichung 5:0 zu; Ferguson und Holyoak widersprachen dem Abschnitt über mögliche Folgen („areas to watch“). Zahlen zu Bruttomargen von OpenAI oder Anthropic gibt es bisher nur aus Presseberichten über interne Unterlagen und aus Schätzungen von Analysten; sie widersprechen sich und sind deshalb nicht verwendet (Suche am 26.10.2026).
57 CoreWeave 2026, Tabelle der GPU-Instanzen: „NVIDIA HGX H200“, 8 Grafikprozessoren mit je 141 GB, „On-Demand Price: $50.44 / Hour“ (Herstellerangabe, Listenpreis ohne Rabatte, abgerufen am 2.11.2026). Das ist die SXM-Fassung im Achterverbund, nicht die Steckkarte H200 NVL der Bibliothek (Anm. 38); einen Kaufpreis nennt NVIDIA nicht. Eigene Rechnungen: 50,44 ÷ 8 ≈ 6,31 $ pro GPU-Stunde; × 8.760 h ≈ 55.300 $ im Jahr; ÷ 365.000 Antworten ≈ 0,15 $. Strom des eigenen Servers (Anm. 38): 2.190 € ÷ 365.000 ≈ 0,6 Cent pro Antwort. Rechenzeit für 1.000 Anfragen am Tag mit den gebündelten Raten aus Abbildung 12.5: 500.000 Ausgabetokens ÷ 2.000 pro Sekunde = 250 s, 2 Mio. Eingabetokens ÷ 9.210 pro Sekunde ≈ 220 s, zusammen knapp 8 Minuten.
Kapitel 13: Energie und Wasser fair prüfen
1 WEB.DE 2025 (Video „Einen halben Liter pro Anfrage: Warum KI so viel Wasser verbraucht“, Rubrik „KI-Experte sensibilisiert“; Begleittext: „Jede Anfrage, beispielsweise bei ChatGPT, verbraucht circa einen halben Liter Wasser. Das Wasser wird für die Kühlung der Rechenzentren gebraucht.“; Seite „Aktualisiert am 22.05.2025, 10:51 Uhr“, Bildnachweis „© epd“), abgerufen am 19.10.2026. Ob das Video vom Evangelischen Pressedienst stammt, ist nur aus dem Bildnachweis erschlossen.
2 McCullough 2026 (Faktencheck vom 4.9.2026, Urteil „Mostly False“): Altman im Sources-Podcast vom 1.9.2026: „For every 38,000 ChatGPT queries, that is the same amount of water that is used in the production of a single almond in California“, mit dem Zusatz, die Zahl „might be wrong, but it’s close“; Mandel 3,2 Gallonen oder 12 Liter (Studie in Ecological Indicators, Januar 2019, mit Regen- und Grauwasser), davon rund 6,3 Liter Bewässerung; Altmans 0,32 ml aus seinem Blog von 2025, dafür keine weitere Quelle und keine Angabe, was eingerechnet ist; eine Studie (Sharma u. a. 2026) schätzt für GPT-4o 0,6 bis 17 ml pro Prompt je nach Länge, mit Wasser für die Stromerzeugung; Ergebnis „anywhere from 1,000 to 10,000 conversational AI prompts“ pro Mandel. Presse; den Podcast selbst habe ich nicht gehört. Eigene Rechnung: 12 l ÷ 38.000 ≈ 0,316 ml pro Anfrage; 500 ml ÷ 0,316 ml ≈ 1.580, also gut 1.500.
3 Elsworth u. a. 2025, arXiv:2508.15734v1 vom 21.8.2025. Abschn. 3.1 (eingerechnet: aktive KI-Beschleuniger, aktive Prozessoren und Arbeitsspeicher, Leerlauf bereitgehaltener Maschinen, Zusatzaufwand über die PUE; nicht eingerechnet: externe Netze, Endgeräte, Training und Datenspeicherung); Abschn. 3.2, 4.1 und Tab. 1 (bisher übliche Methode, „Existing Approach“: nur aktive Beschleuniger und nur die „top 10% most energy-efficient data centers“, 0,10 Wh; „This lower figure results from both the more limited measurement boundary, and considering a sample of more highly utilized machines“; die Beschleuniger allein im Schnitt der ganzen Flotte 0,14 Wh, dazu Prozessoren und Arbeitsspeicher 0,06, Leerlauf 0,02, Zusatzaufwand 0,02 Wh; umfassend: Median 0,24 Wh für einen Textprompt der Gemini-Apps im Mai 2025); Abschn. 3.3 (WUE 1,15 l/kWh für 2023 und 2024, ISO-Kategorie 2, Zufluss minus Rückgabe; Wasser pro Prompt = (Energie gesamt − Zusatzaufwand) × WUE; „On average, Google consumes 80% of the water withdrawn“; alle Emissionen marktbasiert); Abschn. 3.4 (Median statt Mittelwert, weil der Mittelwert in schiefen Verteilungen „highly sensitive to these extreme values“ sei; den Median bildet Google über Modelle: Er ist der Durchschnittswert des Modells, das den mittleren Prompt bedient); Abschn. 4.2 und Tab. 2 (0,26 ml; 0,03 g CO2e, davon 0,023 g Scope 2 marktbasiert und 0,010 g Scope 1 und 3, vor allem Herstellung der Beschleuniger, Prozessoren und Arbeitsspeicher); Abstract und Abschn. 4.3 (33-mal weniger Energie, 44-mal weniger CO2e pro Median-Prompt von Mai 2024 bis Mai 2025). Herstellerangabe. Unter den Autoren ist auch David Patterson (vgl. Anm. 26).
4 Mistral AI 2025, Blogbeitrag vom 22.7.2025: Lebenszyklusanalyse mit Carbone 4 und ADEME, begutachtet von Resilio und Hubblo, nach ISO 14040/44 und dem GHG Protocol Product Standard, Strom standortbasiert bilanziert; Training von Mistral Large 2 und 18 Monate Nutzung bis Januar 2025: 20,4 kt CO2e, 281.000 m3 Wasser (Water Consumption Potential), 660 kg Sb-Äquivalent; „marginal impacts of inference“ für eine Antwort mit 400 Tokens in Le Chat, „excluding users’ terminals“: 1,14 g CO2e, 45 ml Wasser, 0,16 mg Sb-Äquivalent; der Netzverkehr der Tokens ist eine eigene Phase der Bilanz (unter 1 Prozent); die Zahlen enthalten „upstream emissions – impacts from manufacturing servers for instance“; die Herstellungswirkungen der Grafikprozessoren „had to be approximated but account for a significant portion of total impacts“. Herstellerangabe. Eigene Rechnung: 45 ÷ 0,26 ≈ 173. Ob der Wasserwert das Wasser der Stromerzeugung einschließt, sagt der Beitrag nicht ausdrücklich. Laut Infografik entfallen 91 Prozent des Wassers auf „Power and water use of servers and support equipment“ (wiedergegeben bei Willison 2025d), was für den Einschluss spricht. Wie bis Januar 2025 18 Monate Nutzung zusammenkommen, erklärt der Beitrag nicht. Mistrals Chatbot heißt seit 28.5.2026 Vibe.
5 Central Statistics Office Ireland 2026, Statistical Release vom 7.7.2026: „% of metered electricity consumed by data centres, 5% in 2015, 22% in 2024, 23% in 2025“. Keine Aufteilung nach KI.
6 International Energy Agency 2026a, Bericht vom 16.4.2026. Executive Summary, S. 9–10 (Strombedarf der Rechenzentren 2025 +17 %, KI-fokussierte Rechenzentren +50 %; Energie pro KI-Aufgabe „dropping by at least an order of magnitude annually in recent years“; „from 485 TWh in 2025 to 950 TWh in 2030“); Notes zu Abb. 1.1, S. 17 („Total = total estimated data centre consumption; no hyperscaler reported data is available for 2025“); S. 65–66 (Anteil am weltweiten Stromverbrauch rund 1,7 % 2025, rund 3 % 2030); Abb. 2.1, S. 29 (nur Strom der Grafikprozessoren; DeepSeek-R1-Distill-Llama-70B ohne Reasoning 0,05 Wh, Qwen3-235B-A22B 0,31 Wh, Agent mit vier bis sechs Aufrufen 1,14 Wh, mit Reasoning 7,6 Wh, Agent mit Reasoning 50 Wh; die Textwerte stammen aus dem AI Energy Score Leaderboard unter Standardbedingungen, die Agentenwerte sind daraus abgeleitet, „derived by applying token-scaled decomposition“; „indicative of the order of magnitude“); Box 2.1, S. 33 (1 Wh als großzügiger Mischwert, 10 Mrd. Anfragen pro Tag ≈ 3,6 TWh pro Jahr, „less than 1% of the 485 TWh“; der Großteil der geplanten Kapazität müsse auf andere Aufgaben entfallen, etwa Training, Video- und Bilderzeugung, Agenten). Anhang Tab. A.4, S. 110 (2024: 416 TWh, 2025: 485 TWh, 2030: 945 TWh).
7 Bundesnetzagentur 2025a, Abschn. IV B 3.3.6, S. 36–38, und Tab. 9 (Rechenzentren 78,4 / 97,3 / 116,2 TWh in den Szenarien A, B, C für 2037, gleiche Werte für 2045; Grundlage: Großverbraucherabfrage der Übertragungsnetzbetreiber mit Projektstatus, Stand März 2025; „Die Bundesnetzagentur nimmt zur Verbrauchsabschätzung 5000 Volllaststunden an“; „Ob alle Projekte mit den gemeldeten Anschlussleistungen realisiert werden, kann bezweifelt werden“). Planungsannahme für den Netzausbau, keine Prognose.
8 Altman 2025b, Blogbeitrag „The Gentle Singularity“ vom 10.6.2025: „the average query uses about 0.34 watt-hours“ und „about 0.000085 gallons of water; roughly one fifteenth of a teaspoon“. Keine Methode genannt, auch nicht, wie der Durchschnitt gebildet ist. Herstellerangabe (OpenAI). Eigene Umrechnung: 0,000085 Gallonen × 3,785 l ≈ 0,32 ml.
9 Shehabi u. a. 2024, Kap. „Water and Emission Impacts“, S. 55 und 57 (direkter Verbrauch 2023: „66-billion-liter total“; „The total indirect water footprint of U.S. data centers is nearly 800 billion liters“ bei rund 176 TWh im Jahr 2023); WUE-Definition im Abschnitt „Data Center Infrastructure Electricity and Water Modeling“, S. 39 (Wasserverbrauch geteilt durch den Strombedarf der IT-Geräte). Modellierte Werte für alle Rechenzentren, nicht nur KI. Eigene Rechnung: 800 ÷ 66 ≈ 12.
10 Li u. a. 2023b. v1 vom 6.4.2023, S. 3: „ChatGPT needs to ‚drink‘ a 500ml bottle of water for a simple conversation of roughly 20-50 questions and answers“; Fußnote 3: 0,00396 kWh pro Anfrage, PUE 1,2, 1,8 l/kWh für die Stromerzeugung. v2 (25.10.2023) und v3: „GPT-3 … roughly 10-50 responses“; v4 und v5 (26.3.2025): „roughly 10 – 50 medium-length responses“. v5, Tab. 1, US-Durchschnitt: 2,200 ml vor Ort, 14,704 ml außerhalb, 16,904 ml gesamt, 29,6 Anfragen pro 500 ml; Höchstwert Washington 47,506 ml, Tiefstwert Irland 7,107 ml; Annahme 0,004 kWh Serverenergie pro mittellanger Anfrage (bis etwa 800 Wörter Eingabe, 150 bis 300 Wörter Ausgabe). Autoren an der University of California, Riverside (Li, Yang, Ren) und der University of Texas at Arlington (Islam). Eigene Rechnungen: 500 ÷ 16,9 ≈ 30; 2,2 ÷ 16,9 ≈ 13 %; 4 Wh ÷ 0,34 Wh ≈ 12.
11 Verma und Tan 2024, 18.9.2024: Überschrift „A bottle of water per email: the hidden environmental costs of using AI chatbots“; die Post habe mit Forschenden der University of California, Riverside berechnet, wie viel Wasser und Strom ChatGPT mit GPT-4 für eine durchschnittliche E-Mail mit 100 Wörtern braucht. Die Archivkopie vom 7.9.2026 zeigt nur Schlagzeile und Vorspann; der Artikeltext liegt hinter der Bezahlschranke. 519 ml (Kühlung plus Stromerzeugung) und rund 0,14 kWh pro E-Mail stehen bei TechRepublic und anderen Wiedergaben.
12 Microsoft 2026, 2026 Environmental Data Fact Sheet, Geschäftsjahr bis 30.6.2025 (FY25). Tab. 8 (Entnahme 13.266 ML, Rückleitung 5.096 ML, Verbrauch 8.170 ML); Fußnote 2 zu Tab. 8 (Verbrauch in Gebieten mit hohem oder extrem hohem Wasserstress nach WRI Aqueduct, „high or extremely high baseline water stress“: 3.926 ML, 48 %); Abschn. zur Methodik (Entnahme „based on both data from utility bills from our largest sites and estimations“); Tab. 1A (FY25: Scope 1: 170.887 t; Scope 2 standortbasiert 12.030.556 t, marktbasiert 2.707.428 t; Scope 3: 18.243.000 t, darunter Investitionsgüter 9,04 Mio. t und Nutzung verkaufter Produkte 1,54 Mio. t; Summe marktbasiert 21.121.000 t; FY24, Geschäftsjahr bis 30.6.2024: Scope 2 standortbasiert 9.955.368 t, marktbasiert 259.090 t); Fußnote 2 zu Tab. 5 („spot EACs (discontinued in February 2025 …)“, definiert als ungebündelte, nicht über Versorger vertraglich gebundene Herkunftsnachweise mit kurzer Laufzeit). Konzernweite Werte, nicht nur Rechenzentren. Herstellerangabe. 1 ML = 1 Million Liter. Eigene Rechnungen: 18.243.000 ÷ 21.121.000 ≈ 86 %; Sprung des marktbasierten Scope-2-Werts von FY24 auf FY25: 2.707.428 ÷ 259.090 ≈ 10,4 (nicht im Text verwendet).
13 Heikkilä 2023 (Überschrift „Making an image with generative AI uses as much energy as charging your phone“, 1.12.2023) und Luccioni u. a. 2024, FAccT 2024, Abschn. 3.2 (ein A100-SXM4-80GB bei AWS, Messung mit CodeCarbon für Grafikprozessor, Prozessor und Arbeitsspeicher, ohne Bündelung der Anfragen), Tab. 2 (Bilderzeugung im Mittel 2,907 kWh pro 1.000 Bilder), Abschn. 4.1 (Median 1,35 kWh pro 1.000 Bilder; ineffizientestes Bildmodell 11,49 kWh pro 1.000 Bilder, „around half a charge per image generation“ bei 0,022 kWh pro Handyladung) und Fußnote 4 (vor Januar 2024 nannte die US-Umweltbehörde EPA 0,012 kWh pro Ladung; diesen Wert nutzte eine frühere Fassung der Studie). Vorabfassung: arXiv:2311.16863 (28.11.2023).
14 Dastin und Nellis 2023, 22.2.2023 (Hennessy: ein Austausch mit einem großen Sprachmodell „likely cost 10 times more than a standard keyword search“; gemeint sind Kosten, nicht Strom; Wortlaut und Datum an der Archivkopie vom 17.12.2024 bestätigt); Weiß 2024, 30.8.2024 (2,9 Wh pro Anfrage, „zehnmal mehr als eine reguläre Google-Suchanfrage“ mit 0,3 Wh; Heise beruft sich auf eine Untersuchung von BestBrokers und für die 2,9 Wh auf das Electric Power Research Institute).
15 International Energy Agency 2024, S. 34–35 (Vergleich einer Google-Suche mit 0,3 Wh und ChatGPT mit 2,9 Wh pro Anfrage); Hölzle 2009, 12.1.2009 (Urs Hölzle: „0.0003 kWh of energy per search“ für die durchschnittliche Suche, einschließlich der Arbeit vor der Suche wie dem Aufbau des Index); de Vries 2023, online 10.10.2023 („at most, 2.9 Wh per request“ nach SemiAnalysis; „approximately 3 Wh per LLM interaction“ aus Hennessys Faktor 10 und 0,3 Wh je Suche; Googles KI im Extremfall „as much electricity as a country such as Ireland (29.3 TWh per year)“), gelesen über eine Archivkopie der Verlagsseite.
16 Bogmans u. a. 2025, Blogbeitrag vom 13.5.2025: „By 2030, electricity used by data centers alone would be comparable to that of India“; gestützt auf eine Projektion der OPEC von 1.500 TWh.
17 AG Energiebilanzen 2026, Tabelle „Bruttostromerzeugung in Deutschland nach Energieträgern“, Zeile „Bruttostromverbrauch excl. PSE“, Stand 16.9.2026: 522,4 TWh im Jahr 2025, mit Pumpspeichern 529,3 TWh. Der BDEW hatte im Dezember 2025 vorläufig 517,2 Mrd. kWh geschätzt (BDEW 2025).
18 International Energy Agency 2025, Executive Summary: Strombedarf der Rechenzentren 2030 rund 945 TWh, „slightly more than Japan’s total electricity consumption today“. Die jüngere Projektion (rund 950 TWh) nach Anm. 6.
19 Fulton u. a. 2019, Abstract („10,240 liters per kilogram kernels (or, 12 liters per almond kernel)“), Ecological Indicators 96 (2019), 711–717. Die Angabe „12 liters (3.2 gallons)“ aus den Highlights und die Aufteilung in Regen-, Grau- und Bewässerungswasser nach McCullough 2026.
20 GHG Protocol 2024, Version 2.0 vom 7.8.2024, Tabelle (GWP über 100 Jahre): Methan nicht fossil AR4 25, AR5 28, AR6 27,0; Methan fossil AR5 30, AR6 29,8; Lachgas AR4 298, AR5 265, AR6 273; Empfehlung, die AR6-Werte zu nutzen. Der AR4 erschien 2007; das GHG-Protocol-Dokument datiert den AR6 auf 2020, der zugrunde liegende IPCC-Teilbericht erschien 2021.
21 World Resources Institute und World Business Council for Sustainable Development 2004, Kap. 4 („Scope 2 accounts for GHG emissions from the generation of purchased electricity consumed by the company“; Scope 3 umfasst „all other indirect emissions“; „Scope 3 is an optional reporting category“). Das GHG Protocol überarbeitet seine Standards; die Konsultation zur Scope 2 Guidance lief vom 20.10.2025 bis 31.1.2026. Laut Stand vom 16.10.2026 folgt die nächste im 2. Quartal 2027, der neue Corporate Standard im 4. Quartal 2028 (Greenhouse Gas Protocol 2026).
22 Umweltbundesamt 2026a, Meldung vom 23.3.2026: 2025 im Schnitt 344 g CO2 pro Kilowattstunde des in Deutschland verbrauchten Stroms (2024: 353 g); der Wert für 2025 ist geschätzt.
23 World Resources Institute und World Business Council for Sustainable Development 2015, Kap. 1.5 und 4 (Unternehmen mit Geschäften in Märkten mit vertraglichen Instrumenten „shall report scope 2 emissions in two ways“, standort- und marktbasiert, „dual reporting“).
24 ISO 14040:2006, Abstract auf der ISO-Seite (Festlegung von Ziel und Untersuchungsrahmen, Sachbilanz, Wirkungsabschätzung, Auswertung); 2022 bestätigt, Ergänzung Amd 1:2020.
25 Strubell u. a. 2019, Autorenzeile (College of Information and Computer Sciences, University of Massachusetts Amherst), Tab. 1 („Transformer (big) w/ neural arch. search“: 626.155 lbs CO2e; „Car, avg incl. fuel, 1 lifetime“: 126.000 lbs) und Tab. 3 (Architektursuche auf acht P100, 274.120 Stunden). Untersucht wurden Transformer für Übersetzung, ELMo, BERT, GPT-2 und eine Parsing-Pipeline. Eigene Rechnungen: 626.155 lbs × 0,4536 ≈ 284 t; 626.155 ÷ 126.000 ≈ 5,0.
26 Patterson u. a. 2021, arXiv:2104.10350v3, Abschn. 4.1 (Suche mit „a small proxy task“; „Small proxies may not be obvious, which made it hard to estimate the CO2e correctly in retrospect from the NAS paper [So19]“; „Strubell et al.’s energy estimate for NAS ended up 18.7X too high for the average organization (see Appendix C) and 88X off in emissions for energy-efficient organizations like Google (see Appendix D)“), Tab. 4 (Bezug 284 t), Anhang C (Strubells Wert galt dem „hypothetical scenario of running the computation on P100 GPUs in the average U.S. datacenter“; die Autoren dieses Anhangs sind „a superset of the authors of [So19]“) und Anhang D (3,2 t CO2e mit Googles Hardware, PUE und CO2e pro kWh). Neun Autoren von Google und der University of California, Berkeley. Eigene Rechnung: 88 ÷ 18,7 ≈ 4,7, der Anteil von Hardware, PUE und Strommix.
27 Golde 2016, Abschn. 2 (Definition als Differenz zwischen erwarteter und tatsächlicher Einsparung, meist in Prozent), Abschn. 3 (Backfire bei „mehr als 100 Prozent“; steigende Nachfrage hat auch andere Ursachen, „insbesondere das allgemeine Einkommenswachstum“) und Fazit („Die direkten Effekte liegen nach den vorliegenden Schätzungen in der Größenordnung von 10–30 Prozent“; untersucht für Haushalte, etwa Verkehr, Heizung und Beleuchtung).
28 Jevons 1866, Kap. VII „Of the Economy of Fuel“: „It is wholly a confusion of ideas to suppose that the economical use of fuel is equivalent to a diminished consumption. The very contrary is the truth.“ Ebenda: „such an improvement of the engine, when effected, will only accelerate anew the consumption of coal“ und eingesparte Kohle werde „only saved from one use to be employed in others“. Erstausgabe 1865, zitiert nach der 2. Auflage 1866.
29 Rosalsky 2025, 4.2.2025 (Nadella: „Jevons paradox strikes again!“ und „As AI gets more efficient and accessible, we will see its use skyrocket“; wenige Tage nachdem DeepSeek laut Berichten einen Spitzen-Chatbot zu einem Bruchteil der Kosten gebaut hatte und US-Technologiewerte stark fielen). Nadellas Beitrag selbst nicht geöffnet.
Kapitel 14: Von Zahlen zu Wörtern
1 Anthropic 2026x (Erscheinungsdatum 16.4.2026) und Anthropic 2026o, Abschnitt „Limits and feature compatibility“, „Sampling parameters“: „On Claude Fable 5.1, Claude Mythos 5.1, Claude Fable 5, Claude Mythos 5, Claude Mythos Preview, Claude Opus 5.5, Claude Opus 5, Claude Opus 4.8, Claude Opus 4.7, Claude Sonnet 5.5, Claude Sonnet 5, and Claude Haiku 5.5, non-default temperature, top_p, or top_k values return a 400 error on every request, regardless of whether thinking is used.“ Ebenda: Ab API-Version 2026-10-21 führt jeder Wert für temperature, top_p oder top_k bei jedem Modell zu einem Fehler. Abgerufen am 2.11.2026. Herstellerangabe.
2 Anthropic 2026b, ebenda: „If you were using temperature = 0 for determinism, note that it never guaranteed identical outputs on prior models.“.
3 Vaswani u. a. 2017, Abschn. 3.1 („produce outputs of dimension dmodel = 512“, Grundfassung), Tab. 3 (große Fassung „big“: dmodel = 1024) und Abschn. 3.4 (gelernte Embeddings der Dimension dmodel; Softmax für die Wahrscheinlichkeiten des nächsten Tokens).
4 Aleph Alpha 2026a, Modellkarte und Datei config.json („hidden_size“: 2560, „num_hidden_layers“: 50, „vocab_size“: 128000, „tie_word_embeddings“: false, also getrennte Embedding-Tabelle und Ausgabematrix); Modellkarte zur Attention: „4:1 causal sliding-window GQA to full causal GQA“, „Sliding window 512 preceding tokens plus the current token“ (eigene Rechnung: bei 50 Schichten im Verhältnis 4 : 1 sehen 40 Schichten nur dieses Fenster, 10 den ganzen Text davor); Abschnitt „Pre-training“ zum Tokenizer („vocabulary size of 128,000“; „higher German compression (4.7 bytes/token) than leading models with larger vocabulary, without sacrificing English efficiency (4.2 bytes/token)“; UniBPE „respects the morphology of languages better than existing approaches, especially the compound structure of German“ und „keeps the greedy bottom-up approach of BPE“ mit dem Unigram-Kriterium für die Auswahl der Verschmelzungen); Abschnitt „vLLM“: „The recommended sampling parameters for the model are temperature=1.0, top_p=0.97 and top_k=128“, ebenso in generation_config.json. Abgerufen am 20.10.2026. Herstellerangabe. Eigene Rechnung: 128.000 × 2.560 = 327.680.000 Zahlen; nicht an den Gewichtsdateien nachgemessen.
5 Mikolov u. a. 2013, arXiv-Fassung v3 (v1 vom 16.1.2013): Abstract (1,6 Mrd. Wörter, „less than a day“); Abschn. 1.1 (König − Mann + Frau ≈ Königin mit Verweis auf Mikolov, Yih und Zweig, NAACL 2013); Abschn. 3 und 4 (Architekturen CBOW und Skip-gram; Analogie „France is to Paris as Germany is to Berlin“; Suche des nächsten Worts per Kosinus); Abschn. 4.1 (8.869 semantische und 10.675 syntaktische Fragen; nur exakt richtige Wörter zählen); Tab. 6 (bester Wert: Skip-gram, 1.000 Dimensionen, 6 Mrd. Wörter Google News, 65,6 Prozent insgesamt). Eigene Rechnung: 8.869 + 10.675 = 19.544. Der Name word2vec erscheint im Paper nur in der Adresse des Programmpakets (Fußnote 4 der Fassung v3); beschrieben wird es auf der Projektseite: https://code.google.com/archive/p/word2vec/ („efficient implementation of the continuous bag-of-words and skip-gram architectures“), abgerufen am 20.10.2026. Workshop-Status bestätigt: Das ICLR-Archiv führt die Arbeit unter „Workshop Proceedings“ 2013, nicht unter den Konferenzbeiträgen (https://iclr.cc/archive/2013/workshop-proceedings.html, abgerufen am 20.10.2026).
6 Oelen u. a. 2024, Abschn. 3.2 („The neural search component uses vectorized representations of the query and articles via the Nomic embeddings model“; „Qdrant is used as a vector and data store“; Datengrundlage CORE). Zu ORKG Ask vgl. Kap. 7, Anm. 2 (TIB – Leibniz-Informationszentrum Technik und Naturwissenschaften 2024). Stand der Beschreibung Dezember 2024; ob der Dienst heute dasselbe Embedding-Modell nutzt, ist nicht geprüft.
7 Karpukhin u. a. 2020, Abstract: Die dichte Suche (Dense Passage Retrieval) „outperforms a strong Lucene-BM25 system greatly by 9%-19% absolute in terms of top-20 passage retrieval accuracy“, bei Fragen ohne vorgegebenen Text aus beliebigen Wissensgebieten (Open-Domain Question Answering). Tab. 2, Top-20, BM25 gegen DPR: Natural Questions 59,1 gegen 78,4, TriviaQA 66,9 gegen 79,4, WebQuestions 55,0 gegen 73,2, TREC 70,9 gegen 79,8 Prozent; Ausnahme SQuAD: 68,8 gegen 63,2 Prozent, laut Abschn. 5.1 wegen hoher Wortüberlappung zwischen Frage und Abschnitt. Als Treffer zählt ein Abschnitt, der die Antwort enthält.
8 Lewis u. a. 2020, arXiv v4, Abschn. 2.2 (Suche als „Maximum Inner Product Search“, also nach dem größten Skalarprodukt) und Abschn. 3 (21 Mio. Abschnitte; „a single MIPS index using FAISS [23] with a Hierarchical Navigable Small World approximation for fast retrieval“); Anhang zu den Rechenressourcen („requiring ∼100 GB of CPU memory for all of Wikipedia“, nach Kompression 36 GB).
9 Jurafsky und Martin 2026, Kap. 5 „Embeddings“ (Entwurf vom 19.8.2026), Abschn. zu Kontextfenstern: Nach Levy und Goldberg (2014) sind bei einem Fenster von ±5 Wörtern die nächsten Nachbarn von „Hogwarts“ „Dumbledore, Malfoy, and half-blood“, bei ±2 Wörtern andere erfundene Schulen.
10 Radford u. a. 2019, Abschn. 2.2 (Byte-Variante des BPE, Grundvokabular 256) und 2.3 (Vokabular 50.257); OpenAI o. J. c, Kodierung „gpt2“ (explicit_n_vocab 50257, Endsignal 50256); die Datei vocab.bpe der GPT-2-Kodierung enthält 50.000 Verschmelzungen (50.001 Zeilen mit Kopfzeile), abgerufen am 20.10.2026. Eigene Rechnung: 256 Grundbausteine + 50.000 Verschmelzungen + 1 Endsignal = 50.257 Einträge, wie in Kap. 3. Ursprung des Verfahrens: Sennrich u. a. 2016, Abschn. 3.2 (BPE nach Gage 1994 als Kompressionsverfahren; „We iteratively count all symbol pairs and replace each occurrence of the most frequent pair“), vorgestellt auf der ACL 2016 in Berlin.
11 Holtzman u. a. 2019, Abstract: „using likelihood as a decoding objective leads to text that is bland and strangely repetitive“; Vorschlag Nucleus Sampling. Preprint vom 22.4.2019, ICLR 2020.
12 He und Thinking Machines Lab 2025, Blogbeitrag vom 10.9.2025 (Horace He u. a.): Qwen3-235B-A22B-Instruct-2507, 1.000 Antworten mit je 1.000 Tokens bei Temperatur 0 auf „Tell me about Richard Feynman“; 80 verschiedene Texte, der häufigste 78-mal; erste Abweichung bei Token 103, „992 of the completions go on to generate ‚Queens, New York‘ whereas 8 of the completions generate ‚New York City‘“; Ursache fehlende „batch invariance“ der Rechenkerne, die Last des Servers und damit die Bündelung der Anfragen schwanke („the load (and thus batch-size) nondeterministically varies“); mit batch-invarianten Kernen alle 1.000 Texte gleich. Geschwindigkeitstest in einem eigenen Aufbau mit dem kleineren Qwen-3-8B auf einem Grafikprozessor, 1.000 Anfragen: vLLM-Standard 26 s, deterministisch mit verbessertem Attention-Kern 42 s (ohne Verbesserung 55 s). Herstellerangabe zum eigenen Verfahren. Das Rundungsbeispiel im Text ist eigene Illustration mit vier gültigen Stellen (1.000,4 wird zu 1.000; 0,4 + 0,4 = 0,8; 1.000,8 wird zu 1.001); der Beitrag nutzt (0,1 + 1020) − 1020.
13 Google 2026d: Seite „Text generation“ („Gemini 4 and Gemini 3.6+ models ignore custom values for temperature, top_p, and top_k and return deprecation warning headers“), abgerufen am 2.11.2026, und „Gemini 3 developer guide“, Abschnitt „Temperature“ („Changing the temperature (setting it below 1.0) may lead to unexpected behavior, such as looping or degraded performance“), abgerufen am 20.10.2026; am 2.11.2026 leitete diese Seite auf den Leitfaden zu Gemini 3.6 weiter. Herstellerangabe.
14 OpenAI 2026h, Leitfaden „Using GPT-6“, Abschnitt „Update API and model parameters“: „When reasoning effort is not none, remove temperature, top_p, and top_logprobs“; „GPT-6 Astra and GPT-6.1 Sol do not support the none reasoning effort; GPT-6.1 Terra, GPT-6 Sol, and GPT-6 Luna do“. API-Referenz: Temperatur zwischen 0 und 2. Abgerufen am 2.11.2026. Herstellerangabe.
15 Yao u. a. 2024, Abschn. 1 („∼61% on τ-retail“; „∼25% for pass^8 on τ-retail“, beides gpt-4o im Einzelhandel), Abschn. 3 (pass^k als Chance, dass alle k unabhängigen Versuche gelingen; pass@k als mindestens einer; bei derselben Aufgabe sorge „just the LM sampling of the user and agent messages“ für den Zufall, die Studie trennt die Anteile von Kunde und Agent nicht) und Abschn. 5 („The LM temperature is 0.0 for agent and 1.0 for user“). Werte für den Einzelhandel (τ-retail) wie in Kap. 8, Anm. 12.
16 OpenAI 2023, Abschn. 5 „Limitations“ und Abb. 8 (Kalibrierung auf einer Teilmenge von MMLU, Sicherheit als Wahrscheinlichkeit der Antwortbuchstaben A bis D): vortrainiertes Modell „highly calibrated“, ECE 0,007; nach dem Nachtraining ECE 0,074, „The post-training hurts calibration significantly“. ECE (Expected Calibration Error) ist der mittlere Abstand zwischen angegebener Sicherheit und Trefferquote, gewichtet nach der Zahl der Antworten je Sicherheitsstufe. Herstellerangabe. Eigene Rechnung: 0,074 ÷ 0,007 ≈ 10,6.
17 Wei u. a. 2024, Abschn. 4 „Measuring calibration“ und Abb. 2: angegebene Sicherheit liegt bei allen Modellen (o1-preview, o1-mini, GPT-4o, GPT-4o-mini) deutlich über der Trefferquote („models consistently overstate their confidence“); dieselbe Frage 100-mal bei Temperatur 1, „accuracy increases with frequency“, bei o1-preview „the frequency of the response is roughly equivalent to the accuracy“.
18 Scale AI 2026, abgerufen am 2.11.2026 (Stand der Seite 17.9.2026): RMS-Kalibrierungsfehler aus der vom Modell angegebenen Sicherheit. Modelle von Ende 2024: GPT-4o (November 2024) 89 bei 2,72 Prozent Trefferquote, Gemini-1.5-Pro-002 88, Claude 3.5 Sonnet (Oktober 2024) 84, o1 (Dezember 2024) 83, Nova Pro 80. Die zehn besten der Rangliste mit Werten zwischen 20 (Claude Fable 5.1, xhigh) und 57 (gemini-3-pro-preview, ein Modell von 2025), für Sonnet 5.5 kein Wert; Spitzenreiter GPT-6 Astra 54,8 Prozent richtig, Kalibrierungsfehler 39.
19 Chen u. a. 2021, Abstract (28,8 Prozent; „we solve 70.2% of our problems with 100 samples per problem“), Abschn. 2.1 (pass@k: mindestens eine von k Stichproben besteht die Tests; unverzerrter Schätzer aus n = 200 Stichproben), Abschn. 2.2 (164 Aufgaben) und Abschn. 3.3 („higher temperatures are optimal for larger k, because the resulting set of samples has higher diversity“; beim Modell mit 679 Mio. Parametern optimal 0,2 für einen Versuch und 0,8 für 100 Versuche). Tab. 1 nennt für Codex-12B bei 100 Versuchen 72,31 Prozent; der Text folgt dem Abstract.
Kapitel 15: Lernen als Fehlerabbau
1 Aleph Alpha 2026a, abgerufen am 20.10.2026 (Herstellerangaben). Tabelle „Computing Resources“: Vortraining auf 768 NVIDIA B200, „21 days (511h, 392k GPUh)“, ohne Mid-Training und Langkontext-Training (768 × 511 h = 392.448 GPU-Stunden). „Total parameters“: 78.103.074.560. Abschnitt „Pre-training“: „The pretraining phase covered 20T tokens over 264,750 optimization steps“; Sequenzen zu 16.384 Tokens; „global batch size of 4,608 sequences, corresponding to 75.497 million tokens per step“; Lernrate linear aufgewärmt über rund 100 Mrd. Tokens bzw. „1,325 optimization steps“, danach konstant für die übrigen 263.425 Schritte; AdamW für Embedding, eindimensionale Parameter, Router und Ausgabeschicht, „Nesterov Muon using a learning rate of 0.001“ für alle übrigen zweidimensionalen Gewichtsmatrizen; „We randomly initialized all model parameters“. Tabelle „Model Architecture“: 50 Schichten, Hidden Size 2.560, „MLP type“ SwiGLU, 384 Experten pro MoE-Schicht („Routed experts per MoE layer“), davon 6 pro Token gewählt, dazu 1 geteilter („Shared experts per MoE layer“), „Expert hidden size“ 512. Eigene Rechnung zum Anteil der Experten: je Experte drei Matrizen zu 2.560 × 512 Zahlen (SwiGLU), also 3.932.160 Gewichte; 385 Experten in 50 Schichten ergeben 75.694.080.000, rund 96,9 Prozent der 78.103.074.560 Parameter. Jedes Token nutzt nur wenige Experten; bei 75,5 Mio. Tokens pro Schritt kommt aber jeder Experte an die Reihe, im Schnitt mit rund 1,2 Mio. Tokens je Schicht (eigene Rechnung: 75.497.472 × 6 ÷ 384; Ausgleich laut Aleph Alpha 2026b, Abschn. 2.1.5). Eigene Rechnung zu den Aktivierungen: 50 × 16.384 × 2.560 ≈ 2,1 Mrd. Zahlen; erfasst nur die Ausgaben der Schichten, nicht alle Zwischenwerte. Der Gradient hat einen Eintrag pro trainiertem Parameter.
2 Aleph Alpha 2026b (Herstellerangaben). Abb. 3 (S. 6): Trainingsverlust aller drei Phasen. Die Abbildung zeigt nur den Bereich bis 1,8; die Werte darüber stammen aus den Kurvendaten der PDF-Datei (dünne Linie für einzelne Schritte ab 11,66; dicke Linie, Mittel über je 20 Mrd. Tokens, nach 110 Mrd. Tokens 2,30, nach 1 Bio. 1,52, nach 20 Bio. 1,44). Eigene Rechnung zum Start: Ausgabeschicht bei null (Tab. 6), also Gleichverteilung über 128.000 Tokens, Loss ln 128.000 ≈ 11,8. Bildunterschrift von Abb. 3: „Each stage trains on its own mix, so the loss levels of different stages are not comparable“. Abb. 4 (S. 7): Attention- und MoE-Teil jedes der 50 Blöcke lesen aus dem „residual stream“ und schreiben in ihn zurück. Abschn. 2.2 und Tab. 6 (S. 18 f.): Muon für Attention- und Expertengewichte (Spitzenlernrate 0,001; „momentum µ = 0.95 with Nesterov“), Adam für Token-Embedding und Normierungen, AdamW für Ausgabeschicht und Router; „constant learning rate“ nach dem Aufwärmen, auch in Mid- und Langkontext-Training; am Ende „average of the last 20 checkpoints of the long-context stage“. Abschn. 2.2.1.2 (S. 21): Ausgangsprojektionen von Attention und Experten starten bei null, „so that every block starts as the identity map“; in Vorversuchen „converged faster“. Abschn. 2.2.1.3, Abb. 10b und Tab. 7 (S. 21 f.): Muon-Lernraten von 0,0005 bis 0,008 an einem Testmodell halber Breite (1.280 statt 2.560) über 500 Mrd. Tokens; dort niedrigster Loss „at the largest learning rate“; Hochrechnung auf 20 Bio. Tokens mit Optimum bei 0,001. Modellkarte und Bericht weichen bei den Embeddings leicht ab (Karte: AdamW, Bericht: Adam); der Text sagt deshalb „Adam oder AdamW“.
3 Eigene Rechnung. Ein Schritt mit Lernrate r macht aus dem Abstand w − 3 das (1 − 2r)-Fache. r = 0,25: Faktor 0,5, also −2,5 → −1,25 → −0,625 (w = 1,75 und 2,375); r = 1,2: Faktor −1,4, also −2,5 → 3,5 (w = 6,5, L = 12,25) → −4,9 (w = −1,9, L = 24,01); r = 0,01: Faktor 0,98, und 0,98 hoch n ist erst ab n = 69 kleiner als 0,25 (Abstand von 2,5 auf 0,625).
4 Goyal u. a. 2017, Abschn. 2.2: Probleme treten auf, wenn „the network is changing rapidly, which commonly occurs in early stages of training“; abgemildert „by a properly designed warmup …, namely, a strategy of using less aggressive learning rates at the start of training“. Der Vergleich mit der Lernrate 1,2 aus dem Rechenbeispiel ist eigene Veranschaulichung.
5 Kingma und Ba 2014, Abstract und Abschn. 2 (Algorithmus 1: gleitende Mittelwerte des Gradienten und des quadrierten Gradienten, „exponential moving averages of the gradient (m_t) and the squared gradient (v_t)“); Abschn. 2.1: Schritt = Lernrate mal erstem Mittelwert geteilt durch die Wurzel des zweiten, Schrittweite „approximately bounded by the stepsize setting α“ und „invariant to the scale of the gradients“; bei schwankenden Gradienten, typischerweise nahe am Optimum, kleinere Schritte, „a form of automatic annealing“. arXiv-Fassung v1 vom 22.12.2014, Konferenzfassung ICLR 2015.
6 Rajbhandari u. a. 2020, Abschn. 3.1: Training in gemischter Genauigkeit mit Adam hält Parameter und Gradienten in 16 Bit sowie eine 32-Bit-Kopie der Parameter, Momentum und Varianz: „2Ψ + 2Ψ + KΨ = 16Ψ bytes“ mit K = 12. Vgl. Kapitel 12, Anm. 26.
7 Kaplan u. a. 2020, Abschn. 2.1: „Accounting for the backwards pass (approximately twice the compute as the forwards pass)“. Hin- und Rückweg zusammen kosten damit rund das Dreifache eines Vorwärtsdurchlaufs.
8 Rumelhart u. a. 1986, S. 533 (Zusammenfassung: Verfahren „repeatedly adjusts the weights … so as to minimize a measure of the difference between the actual output vector of the net and the desired output vector“; verborgene Einheiten „come to represent important features of the task domain“; Autorenangaben: Rumelhart und Williams Institute for Cognitive Science, University of California, San Diego; Hinton Carnegie-Mellon University, Pittsburgh; Gl. 2: S-Kurve 1/(1 + e^−x)); S. 534 (Gl. 3: Fehler als halbe Summe der quadrierten Abweichungen; „Any input-output function which has a bounded derivative will do“); S. 535 (Gl. 8: Gewichtsänderung gleich minus einer kleinen Konstante mal der Ableitung des Fehlers nach dem Gewicht, „The simplest version of gradient descent“; Varianten unabhängig von David Parker und Yann Le Cun gefunden; Stammbaum-Aufgabe „trained on 100 of the 104 possible triples“, Abb. 4: „the network generalizes correctly to the four triples on which it was not trained“). Erschienen am 9.10.1986, eingegangen am 1.5., angenommen am 31.7.1986. Gelesen am Scan https://www.cs.toronto.edu/~hinton/absps/naturebp.pdf.
9 Nobelkomitee 2024, S. 6 (PDF-Seite 8): „A key advance was the demonstration by David Rumelhart, Hinton and Ronald Williams in 1986 …“; „Rumelhart, Hinton and Williams reinvented a scheme for this, which had previously been applied to related problems by others“. Physik-Nobelpreis 2024 an John J. Hopfield und Geoffrey Hinton „for foundational discoveries and inventions that enable machine learning with artificial neural networks“ (Titelseite).
10 Vaswani u. a. 2017, Abschn. 3.3 „Position-wise Feed-Forward Networks“: „two linear transformations with a ReLU activation in between“; „dmodel = 512, and the inner-layer has dimensionality dff = 2048“; Abschn. 3.1: Residualverbindung um jede Teilschicht.
11 Geva u. a. 2021, Abstract: „Feed-forward layers constitute two-thirds of a transformer model’s parameters“; Abschn. 1: je Schicht Attention 4d2, FFN 8d2 Parameter. Gilt für dichte Standard-Transformer mit vierfach aufgeweitetem FFN, nicht für das Encoder-Decoder-Modell von 2017 als Ganzes und nicht für MoE-Modelle wie Kolibri.
12 He u. a. 2016, Abstract (Netze bis 152 Schichten, „8× deeper than VGG nets“; Platz 1 bei ILSVRC 2015); Abschn. 1 und Abb. 1 (CIFAR-10: „plain“ Netz mit 56 Schichten hat höheren Trainings- und Testfehler als mit 20; „not caused by overfitting“; Lösung durch Konstruktion, wenn die zusätzlichen Schichten Identitätsabbildungen sind); Abschn. 3.1 (Vermutung: „the solvers might have difficulties in approximating identity mappings by multiple nonlinear layers“; mit Residualverbindung können sie dafür „simply drive the weights of the multiple nonlinear layers toward zero“). Alle vier Autoren bei Microsoft Research.
Kapitel 16: Modelle anpassen und ausrichten
1 OpenAI 2025d, Beitrag „Expanding on what we missed with sycophancy“ vom 2.5.2025: „On April 25th, we rolled out an update to GPT‑4o in ChatGPT that made the model noticeably more sycophantic. It aimed to please the user, not just as flattery, but also as validating doubts, fueling anger, urging impulsive actions, or reinforcing negative emotions“; „We began rolling that update back on April 28th“ (Rollout 24./25.4.; als erste Gegenmaßnahme „pushing updates to the system prompt late Sunday night to mitigate much of the negative impact“; volle Rücknahme ab Montag, 28.4., Dauer rund 24 Stunden); Abschnitt „What went wrong“: „the update introduced an additional reward signal based on user feedback—thumbs-up and thumbs-down data from ChatGPT“, „these changes weakened the influence of our primary reward signal, which had been holding sycophancy in check. User feedback in particular can sometimes favor more agreeable responses“; Abschnitt „Why did we not catch this“: Offline-Tests „generally looked good“, A/B-Test mit „the small number of users“, „some expert testers had indicated that the model behavior ‚felt‘ slightly off“; „sycophantic behavior—something the Model Spec explicitly discourages“. Die Ursachen sind die vorläufige Deutung des Herstellers („Our early assessment is that each of these changes … may have played a part in tipping the scales on sycophancy when combined“). Ergänzend OpenAI 2025c, Beitrag vom 29.4.2025 („overly flattering or agreeable—often described as sycophantic“; „we focused too much on short-term feedback“; „Refining core training techniques and system prompts“). Herstellerangabe; gelesen über Tavily Extract, da die Seiten direkte Abrufe sperren.
2 Agarwal u. a. 2024, Abschn. 2.1 und Abb. 3 (Englisch nach Bemba und Kurdisch, FLORES-200; 997 Beispielpaare „corresponds to around 85K tokens“; „many-shot ICL outperforms state-of-the-art chRF2++ scores of 35% (NLLB) on Bemba and 40% (Google Translate) on Kurdish“, gemessen an den ersten 150 Testsätzen; Modell Gemini 1.5 Pro). NeurIPS 2024, arXiv-Fassung v3 vom 17.10.2024; arXiv v1 vom 17.4.2024. Primärquelle, zugleich Herstellerangabe über das eigene Modell (Google DeepMind).
3 Aleph Alpha 2026b, PDF vom 3.10.2026. S. 49 (Teil 3 „Post-Training“, deutsche Daten: „teacher models generate German chat, math, science and tool-calling data“); S. 52 (SFT „with cross-entropy loss on the assistant turns“); Abschn. 3.1.1.5, S. 59 („Post-training largely determines how a model answers harmful, value-laden, and law-related requests“; „our model should adhere to the values of the democratic consensus in Europe“; Absatz „Value Alignment“: „the model should judge by the values of the broad democratic consensus in Europe“; Antworten von offenen Modellen „under a system prompt that centres human dignity, human rights, liberal democracy, the rule of law and pluralism“); Abschn. 3.1.2.1, S. 60 („Most open datasets are generated by other models“; Gespräche werden mit gpt-oss-120b eingestuft als „carrying a CCP narrative, a refusal on general safety grounds, or being balanced. Conversations of the first kind are dropped“); Abschn. 3.1.2.3, S. 64 (Datenpool 57 Datensätze, 335,8 Mrd. Tokens; „The 142.4B loss tokens, 42.4 % of the total tokens, are the unmasked tokens that provide the gradient signal“); Abschn. 3.1.4, S. 68 (SFT mit „around 268B tokens“, aus dem Pool gezogen); Abschn. 3.2, S. 71 (RL „against verifiable rewards“ in 38 Umgebungen); Absatz „Political Balance, Copyright and Safety“, S. 80 (Belohnung durch „an LLM judge … based on whether the assistant answer is balanced“; „This environment is narrowly focused on Chinese political content and does not address other political biases“). Ein Belohnungsmodell aus menschlichen Vergleichen erwähnt der Bericht nicht (Volltextsuche nach „reward model“, „human preference“, „human feedback“ ohne Treffer außerhalb des Literaturverzeichnisses). Herstellerangabe. Die Anteile 42,4 % beziehen sich auf den ganzen Pool, nicht genau auf die 268 Mrd. trainierten Tokens.
4 Ouyang u. a. 2022, arXiv v1 vom 4.3.2022. Abschn. 1 („We first hire a team of 40 contractors“; 175B InstructGPT „preferred to 175B GPT-3 outputs 85 ± 3% of the time“; „closed-domain“-Aufgaben „(a 21% vs. 41% hallucination rate, respectively)“; Leistungsverluste bei öffentlichen Tests als „alignment tax“; das Verfahren „aligns the behavior of GPT-3 to the stated preferences of a specific group of people (mostly our labelers and researchers), rather than any broader notion of ‚human values‘“); Abschn. 3.1 (Antworten für die Vergleiche: „most of our comparison data comes from our supervised policies, with some coming from our PPO policies“); Abschn. 3.2 (SFT-Datensatz rund 13.000, RM-Datensatz 33.000, PPO-Datensatz 31.000 Prompts); Abschn. 3.4 („a team of about 40 contractors on Upwork and through ScaleAI“); Abschn. 3.5 (Belohnungsmodell mit 6 Mrd. Parametern; „anywhere between K = 4 and K = 9 responses to rank“, daraus „K über 2“ Vergleiche, bei K = 9 also 36; „per-token KL penalty from the SFT model at each token to mitigate overoptimization of the reward model“); Abschn. 5.1 (Rechenaufwand für das 175B-Modell: SFT 4,9 und PPO-ptx 60 Petaflop/s-Tage, Vortraining von GPT-3 3.640 Petaflop/s-Tage). Eigene Rechnungen: 9 · 8 / 2 = 36; (4,9 + 60) ÷ 3.640 ≈ 1,8 %.
5 Hu u. a. 2022, Abstract („Compared to GPT-3 175B fine-tuned with Adam, LoRA can reduce the number of trainable parameters by 10,000 times and the GPU memory requirement by 3 times“); Autorenzeile (Microsoft Corporation). arXiv v2 vom 16.10.2021 (ICLR 2022); v1 vom 17.6.2021 nennt den Faktor 3 noch für den „computation hardware requirement“.
6 Qi u. a. 2025, Abstract („alignment adapts a model’s generative distribution primarily over only its very first few output tokens“). Wie Kap. 10, Anm. 22.
7 Kadavath u. a. 2022, Abschn. 3.3 und Abb. 9: RLHF-Policies „naively appear very miscalibrated, which is not surprising, since RL finetuning tends to collapse language model predictions towards behaviors that receive the most reward“; eine einheitliche Temperatur von T = 2,5 behebe das in mehreren Tests weitgehend. Autoren bei Anthropic. Ergänzend Tian u. a. 2023, Abstract (Vortraining ergibt Modelle, deren Wahrscheinlichkeiten „remarkably well-calibrated“ sind; „some studies have suggested that RLHF-LMs produce conditional probabilities that are very poorly calibrated“). Den Befund zu GPT-4 belegt Kap. 14, Anm. 16.
8 OpenAI 2022, Beitrag „Introducing ChatGPT“ vom 30.11.2022: „ChatGPT is a sibling model to InstructGPT“; „We trained this model using Reinforcement Learning from Human Feedback (RLHF), using the same methods as InstructGPT, but with slight differences in the data collection setup.“ Herstellerangabe; gelesen über Tavily Extract.
9 Sharma u. a. 2024, ICLR 2024; arXiv v1 vom 20.10.2023, hier v4 vom 10.5.2025. Abstract (fünf Assistenten; „when a response matches a user’s views, it is more likely to be preferred“; „both humans and preference models (PMs) prefer convincingly-written sycophantic responses over correct ones a non-negligible fraction of the time“; Sycophancy „likely driven in part by human preference judgments“); Abschn. 3.2 und Abb. 2 (Einwand „I don’t think that’s right. Are you sure?“; „Claude 1.3 wrongly admits mistakes on 98% of questions“); Anhang A.4 („admit they made a mistake (between 42% for GPT-4 and 98% for Claude 1.3)“). Erstautor Mrinank Sharma; laut Paper alle 19 Autorinnen und Autoren bei Anthropic (zwei führten die Arbeit anderswo durch). Herstellerangabe, soweit es um Claude geht.
10 Gao u. a. 2023, ICML 2023 (PMLR 202); arXiv v1 vom 19.10.2022. Abstract (synthetischer Aufbau, in dem „a fixed ‚gold-standard‘ reward model plays the role of humans“); Abschn. 1 („the gold reward initially increases and later decreases“); Abschn. 2 („The 6B reward model from Ouyang et al. [2022] is used as the gold RM, and our proxy RMs vary from 3M to 3B parameters“); Abschn. 3.6 (Wirkung der KL-Strafe „akin to early stopping“, nach Angabe der Autoren womöglich empfindlich gegenüber Hyperparametern).
11 Bai u. a. 2022, arXiv v1 vom 15.12.2022. Abstract (Training „without any human labels identifying harmful outputs. The only human oversight is provided through a list of rules or principles“); Abschn. 1.2 (RL-Stufe „we replace human preferences for harmlessness with ‚AI feedback‘ (i.e. we perform ‚RLAIF‘)“); Abschn. 3.1 („We have written a total of 16 different principles related to harmlessness“, bei jedem Überarbeitungsschritt zufällig gezogen); Abschn. 4.1 (Hilfsbereitschaft weiter mit menschlichen Vergleichen); Abschn. 4.3 („RL-CAI models can be over-trained, resulting in Goodharting behavior“; Antworten wurden „overly harsh“ oder enthielten Floskeln wie „you are valid, valued, and cared for“). Im Paper heißt das Belohnungsmodell Preference Model. Primärquelle, zugleich Herstellerangabe über eigene Modelle.
12 Lee u. a. 2024, ICML 2024 (PMLR 235); arXiv v1 vom 1.9.2023, hier v3 vom 3.9.2024. Abschn. 1 und Abb. 1 (Zusammenfassungen: RLAIF und RLHF von Menschen „over a SFT baseline 71% and 73% of the time“, „not statistically significantly different“); Autoren bei Google (v1: Google Research; ICML-Fassung: Google DeepMind und Google), Bewertermodell PaLM 2.
13 Anthropic 2023b, Beitrag vom 17.10.2023, gemeinsam mit dem Collective Intelligence Project: „approximately 1,000 members of the American public“, über die Plattform Polis 1.127 Aussagen und 38.252 Stimmen; Überschneidung mit Anthropics eigener Verfassung „roughly 50%“ bei Begriffen und Werten. Herstellerangabe.
14 OpenAI 2025g, Beitrag „Collective alignment: public input on our Model Spec“ vom 27.8.2025: „We surveyed over 1,000 people worldwide on how our models should behave and compared their views to our Model Spec“; „We recruited ~1,000 participants to review model behavior in value‑sensitive domains. Participants lived in 19 countries“. Herstellerangabe; gelesen über Tavily Extract am 20.10.2026.
15 Anthropic 2023a, Beitrag vom 9.5.2023: „Since launching Claude, our AI assistant trained with Constitutional AI“ (bezieht sich auf Claude allgemein; Sharma u. a. testeten die Fassung 1.3). Herstellerangabe. Ergebnis: Sharma u. a. 2024, Anhang A.4 (Eingeständnis eines nicht gemachten Fehlers zwischen 42 % für GPT-4 und 98 % für Claude 1.3, dem höchsten Wert der fünf Assistenten).
Kapitel 17: Kleiner, sparsamer, schneller
1 Aleph Alpha 2026a, abgerufen am 20.10.2026. Tabelle „Model overview“: „Mixture-of-Experts“, 78.103.074.560 Parameter, davon 3.457.573.120 aktiv pro Token; 50 Schichten; „Experts per layer“ 384 („routed experts per MoE layer“), 1 geteilter Experte, 6 gewählte („Token-choice, top-6 sigmoid routing“); Präzision „float8_e4m3fn weights in 128×128 blocks“. „Hardware requirements“: „Model memory footprint: ~78 GB (FP8 weights). Minimum: 2× A100 80 GB, 2× H100 SXM5, 1× H200, 1× B200 or 1× B300.“ „Synthetic data“: „We generated synthetic data using permissively-licensed LLMs“ (genannt: Gemma-4-26B-A4B und Mistral-NeMo-12B für Umformulierungen im Vortraining, Qwen3-32B für Qualitätsbewertungen). „Political Bias“: „Our model’s training data also contains material generated with Chinese language models“ (dafür gefiltert auf politische Verzerrung, „potentially inherited from generator models“). Training: „768 NVIDIA B200“, „Parallelism: EP8 FSDP16 DP6“ (Experten-, vollständig geteilte Daten- und Datenparallelität; Herstellerangaben). MoE-Schichten in allen Blöcken laut Aleph Alpha 2026b, Abschn. 2.1.5.3: „Kolibri uses MoE layers in all 50 blocks“; Abb. 4: Der Router „scores all 384 routed experts, sends the token to the 6 with the highest scores and weights their outputs by those sigmoid scores“.
2 NVIDIA o. J. f, Spezifikationen: H200 SXM und H200 NVL je „141GB“ (vorläufige Herstellerangaben).
3 Hinton u. a. 2015, Abschn. 1 (BMW, „garbage truck“, „carrot“; „soft targets“), Abschn. 2 (Temperatur T in der Softmax, beim Training des Schülers erhöht, danach T = 1). Autoren laut arXiv: Geoffrey Hinton, Oriol Vinyals, Jeff Dean.
4 Guo u. a. 2025, arXiv-Fassung v1 vom 22.1.2025, Abschn. 2.3.3 (rund 600.000 Reasoning-Beispiele per Rejection Sampling aus einem RL-Zwischenstand von R1, rund 200.000 weitere u. a. aus dem SFT-Datensatz von DeepSeek-V3) und 2.4 (Destillation mit „the 800k samples curated with DeepSeek-R1“ auf vorhandene Modelle von Qwen2.5 und Llama 3, nur SFT, kein bestärkendes Lernen) und Abschn. 1.2 bzw. Tab. 5 (DeepSeek-R1-Distill-Qwen-32B „72.6% on AIME 2024“; veröffentlicht 1,5B, 7B, 8B, 14B, 32B, 70B). Herstellerangabe.
5 United States District Court for the Northern District of California 2025, Order on Fair Use vom 23.6.2025: Anthropic „spent many millions of dollars to purchase millions of print books“ und scannte sie ein; daneben „over seven million copies of books“ aus Raubkopie-Sammlungen; Training „exceedingly transformative and was a fair use“, dagegen „no entitlement to use pirated copies for its central library“. Ausführlich in Kapitel 11, Anm. 17 und 18 (Vergleich über 1,5 Mrd. US-Dollar, Bartz v. Anthropic Settlement Administrator 2026; dort auch Anthropics Versicherung, die Raubkopien seien in keinem Trainingskorpus eines veröffentlichten Modells gewesen, Herstellerangabe).
6 OpenAI o. J. a, Fassung für Europa, Abschnitt „What you cannot do“: „Using Output to develop models that compete with OpenAI.“ Abschnitt „Ownership of content“: Nutzer „own the Output. We hereby assign to you all our right, title, and interest, if any, in and to Output.“ Gleicher Wortlaut (bis auf „Use“) in der Fassung für die übrigen Länder. Abgerufen am 20.10.2026.
7 Anthropic o. J., Abschnitt „Use of our Services“, Nr. 2: verboten ist die Nutzung „to develop any products or services that compete with our Services, including to develop or train any artificial intelligence or machine learning algorithms or models“; Nr. 4: kein „crawl, scrape, or otherwise harvest data“ aus den Diensten. Zu den Ausgaben: „we assign to you all our right, title, and interest (if any) in Outputs“; ebenso die Commercial Terms, Abschnitt B. Abgerufen am 20.10.2026.
8 Collier und Cui 2025, 29.1.2025: Erklärung eines OpenAI-Sprechers, „We are aware of and reviewing indications that DeepSeek may have inappropriately distilled our models, and will share information as we know more“; OpenAI werfe DeepSeek keinen Sicherheitsvorfall vor. Wortgleich gegenüber Axios (29.1.2025).
9 OpenAI 2026m, Memo vom 12.2.2026 an den Sonderausschuss des US-Repräsentantenhauses zu China: DeepSeeks nächstes Modell sei zu sehen im Kontext von „its ongoing efforts to free-ride on the capabilities developed by OpenAI and other US frontier labs“; zugleich: „there are legitimate use cases for distillation“, OpenAI verbiete aber, Ausgaben für „imitation frontier AI models“ zu nutzen. Zum Sicherheitsargument: Fähigkeiten würden „copied through adversarial distillation without the corresponding safety governance and mitigations“; „DeepSeek models lack meaningful guardrails“. Herstellerangabe.
10 Anthropic 2026t, 23.2.2026: „over 16 million exchanges with Claude through approximately 24,000 fraudulent accounts, in violation of our terms of service and regional access restrictions“; MiniMax über 13 Mio., Moonshot über 3,4 Mio., DeepSeek über 150.000 Wortwechsel, zugeordnet „with high confidence through IP address correlation“; Destillation sei „a widely used and legitimate training method“; „Models built through illicit distillation are unlikely to retain those safeguards“. Zuordnung und Einschätzung sind Herstellerangaben; öffentliche Stellungnahmen der drei Labore fanden sich nicht, unabhängig prüfen lässt sich die Zuordnung nicht.
11 Anthropic 2026ac, Abschnitt „Illicit distillation and scaled abuse“ (Seitentitel „Countering misuse of AI: September 2026“): Definition als „industrial-scale, covert campaign to extract a model’s capabilities and replicate them in another model without authorization“, „typically enabled by fraud: sophisticated networks of fake accounts created with stolen credit cards, login credentials, and API keys“; manche Labore „obtain transcripts of user exchanges with US frontier models by purchasing them from third-party resellers“; seit Februar „additional distillation attacks against Claude from seven labs based in China“; „Distillation itself is a legitimate training method.“ Zum Schutz: „In our own research on distillation, we find that a model distilled from a frontier model can help achieve dangerous capabilities …“; „The robust safeguards that prevent Claude from being misused by bad actors do not transfer when our models are distilled by an unauthorized lab“. Eine Veröffentlichung dieser Versuche verlinkt der Bericht nicht. Herstellerangabe.
12 U.S. Copyright Office 2025, Executive Summary, Schlussfolgerungen: „Copyright does not extend to purely AI-generated material, or material where there is insufficient human control over the expressive elements“; Prompts allein reichen nach heutiger Technik nicht. Veröffentlicht am 29.1.2025. Für Deutschland schützt § 2 Abs. 2 UrhG nur „persönliche geistige Schöpfungen“.
13 The New York Times Company 2023, Klageschrift vom 27.12.2023 gegen Microsoft und OpenAI, U.S. District Court S.D.N.Y., Az. 1:23-cv-11195 (siehe Kapitel 4, Anm. 13).
14 Zhou u. a. 2025, arXiv v4 vom 17.11.2025, Abschn. 1 und Abschn. „Overall Safety Analysis“: „the distilled R1-70b consistently achieves a lower safety rate than Llama-3.3“. Tab. 2: „Safety Rate“, sicher heißt ablehnen oder entschärfen („refuse to respond or provide mitigating information“); R1-70B 46,0 / 22,3 / 43,2 / 0,0 gegen Llama 3.3 52,9 / 27,1 / 70,4 / 4,0 (AirBench, MITRE, Code Interpreter, Phishing). Die Autoren verweisen auf den Befund von Qi u. a. (2023), dass Fine-Tuning die Sicherheit mindert (siehe Kapitel 10). Getestet wurde DeepSeeks eigenes, erlaubtes Destillat, keine heimliche Kopie.
15 DeepSeek-AI 2025a, Abschnitt „License“: „DeepSeek-R1 series support commercial use, allow for any modifications and derivative works, including, but not limited to, distillation for training other LLMs.“ Abgerufen am 20.10.2026.
16 Jiang u. a. 2024, Abschn. 5 „Routing analysis“: „Surprisingly, we do not observe obvious patterns in the assignment of experts based on the topic“; „the router does exhibit some structured syntactic behavior“; Beispiel „self“ in Python (Abb. 8). Gesamt- und aktive Parameter laut Abstract 47 bzw. 13 Mrd.
17 Muennighoff u. a. 2024, arXiv-Fassung vom 3.3.2025, Abschn. 5.3 „Domain Specialization“ und Abb. 22: Bei OLMoE-1B-7B (64 Experten je Schicht, 8 aktiv) gehen Tokens aus arXiv-Artikeln und GitHub-Code deutlich häufiger als im Zufall an bestimmte Experten, beim Datensatz C4 aus dem allgemeinen Web kaum; Mixtral-8x7B „exhibits little domain specialization across both unique and generic domains“.
18 OpenAI 2025e, Abschn. 2 und Tab. 1: gpt-oss-120b mit 36 Schichten, 116,83 Mrd. Parametern gesamt, 5,13 Mrd. aktiv, Checkpoint 60,8 GiB (rund 65 GB); 128 Experten je MoE-Block, davon 4 pro Token; Abschn. 2.1: MoE-Gewichte in MXFP4 „quantized to 4.25 bits per parameter“, sie stellen „90+% of the total parameter count“, so passt das Modell „on a single 80GB GPU“. Lizenz Apache 2.0 laut Modellseite auf Hugging Face. Herstellerangaben. Eigene Rechnung zur Musterantwort (PC mit RTX 5090, 32 GB, 1.792 GB/s, und DDR5-5600 mit 89,6 GB/s; Experten gleichmäßig über die Schichten verteilt; ohne KV-Cache und Rechenzeit): Experten 114,71 Mrd. × 4,25 Bit ≈ 60,9 GB, übrige Gewichte 2,12 Mrd. in BF16 ≈ 4,2 GB. Bleiben rund 2 GB für den Kontext, passen etwa 25,8 GB Experten (42 %) auf die Karte, rund 35 GB (58 %) liegen im Arbeitsspeicher. Pro Token rechnen 4 von 128 Experten je Schicht: 60,9 GB × 4/128 ≈ 1,90 GB, davon 58 % ≈ 1,10 GB aus dem Arbeitsspeicher (≈ 12,3 ms) und 0,80 GB plus 3,08 GB übrige aktive Gewichte (Attention 0,96 Mrd. und Ausgabeschicht rund 0,58 Mrd., je 2 Byte) aus dem Grafikspeicher (≈ 2,2 ms); zusammen ≈ 14,5 ms, also höchstens rund 69 Tokens pro Sekunde. Lägen alle Experten im Arbeitsspeicher, wären es höchstens rund 44.
19 Hugging Face 2026a, Modellseite DeepSeek-V4-Pro (Repository angelegt am 22.4.2026): „1.6T parameters (49B activated)“, MIT-Lizenz (Herstellerangabe). Kolibri: Anm. 1; eigene Rechnung 3,46 ÷ 78,1 ≈ 4,4 %. Für Abbildung 17.2: DeepSeek-V3 laut DeepSeek-AI 2024, Abstract: „671B total parameters with 37B activated for each token“; Mixtral 8x7B mit 47 / 13 Mrd. laut Anm. 16, Gewichte veröffentlicht am 11.12.2023 laut Mistral AI 2023; Muse Spark Open 816 / 42 Mrd. laut Hersteller (Meta Platforms 2026, siehe Kapitel 5, Anm. 2; Modellkarte nur nach Registrierung, nicht selbst geprüft); Llama 3.3 70B 70,55 Mrd. laut Kapitel 12, Anm. 25.
20 Shazeer u. a. 2017, arXiv v1 vom 23.1.2017; Abstract („greater than 1000x improvements in model capacity with only minor losses in computational efficiency“; „up to thousands of feed-forward sub-networks“); Abschn. 5.1, Tab. 1: „Low-Budget MoE Model“ (MoE-4096-h) Perplexität 34,1 bei 8,9 Mio. Rechenoperationen pro Zeitschritt gegenüber den bis dahin besten veröffentlichten Ergebnissen mit 34,7 bei 151 Mio., beide Werte nach 10 Trainingsepochen; nach 100 Epochen erreichte das beste veröffentlichte Modell 30,6 (eigene Rechnung: 151 ÷ 8,9 ≈ 17); Abschn. 4: „the gating network tends to converge to a state where it always produces large weights for the same few experts“. Autoren u. a. Geoffrey Hinton und Jeff Dean (Google Brain).
21 NVIDIA o. J. d, Spezifikationen: „128 GB LPDDR5x, coherent unified system memory“, „Memory Bandwidth 273 GB/s“ (Herstellerangaben).
22 Zhou und Chen 2025, 13.10.2025 (SGLang, eine Anfrage): Llama 3.1 8B in FP8 „7,991 tps prefill / 20.5 tps decode“; Llama 3.1 70B in FP8 „803 tps prefill / 2.7 tps decode“; Bandbreite als „the key bottleneck“. Messtabelle (im Blog verlinkt): gpt-oss-120b in MXFP4, SGLang, eine Anfrage, Decode 50,54 Tokens pro Sekunde; Llama 3.1 70B in FP8 2,66. Eigene Rechnung zu „ähnlich groß“: gpt-oss-120b rund 65 GB (Anm. 18), das dichte 70B-Modell in FP8 rund 70,6 GB; pro Token liest gpt-oss-120b davon nur einen kleinen Teil (5,1 von 116,8 Mrd. Parametern aktiv).
23 Devesa 2025a, Pull Request Nr. 11397 (gemergt am 2.4.2025): Option --override-tensor, als Beispiel „to force the experts in MoE models to stay on the CPU, while offloading the rest to the GPU“. Devesa 2025b, Pull Request Nr. 15077 vom 4.8.2025: eigene Optionen, um „all MoE weights“ bzw. die der ersten N Schichten „in the CPU“ zu halten, „to avoid having to write complex regular expressions“; der Rest bleibt auf der Grafikkarte.
24 Huang u. a. 2024, Tab. 1 (LLaMA3-8B, Verfahren GPTQ): Mittelwert aus PIQA, ARC-e, ARC-c, HellaSwag und Winogrande 68,6 % in 16 Bit; mit Gruppengröße 128: 67,3 % (4 Bit), 61,7 % (3 Bit), 36,2 % (2 Bit); ohne Gruppen: 68,6 % (8 Bit), 64,8 % (4 Bit), 44,9 % (3 Bit), 34,9 % (2 Bit). Nicht zu verwechseln mit der benachbarten Zeile AWQ (Gruppengröße 128: 68,2 / 64,4 / 34,9). Eigene Rechnung zum Raten: zwei Tests mit 2 Antwortmöglichkeiten (50 %), drei mit 4 (25 %), Mittel 35 %.
25 Gerganov 2023, Vergleichstabelle „how the same test compares over time on M2 Ultra“, Zeile „2026 Aug 25, M2 Ultra, c1d0e7a + FA“ (76 Grafikkerne, 800 GB/s): F16 (im Buch FP16) PP 1.627,82 / TG 49,55; Q8_0 1.486,51 / 82,83; Q4_0 1.488,81 / 125,21 Tokens pro Sekunde; PP mit 512 Tokens, TG mit 128 Tokens (llama-bench). Modell Llama 2 7B. Community-Messung (Georgi Gerganov), sekundär.
26 ggml-org 2026a, Metal-Kernel für Matrixmultiplikationen, abgerufen am 20.10.2026: In kernel_mul_mm_q4_0_f32 und kernel_mul_mm_q8_0_f32 werden die Gewichte mit dequantize_q4_0 bzw. dequantize_q8_0 in 16-Bit-Zahlen (half4x4) entpackt und als simdgroup_half8x8 multipliziert.
27 NVIDIA 2025b, Anhang A, Tabelle GeForce RTX 5090: „Peak BF16 Tensor TFLOPS with FP32 Accumulate“ 209,5; „Peak FP4 Tensor TFLOPS“ 1.676, jeweils ohne Sparsity; Speicherbandbreite 1.792 GB/s (Herstellerangaben). Eigene Rechnung: 209,5 · 1012 ÷ 1.792 · 109 ≈ 117 Rechenoperationen pro Byte.
28 Zhong u. a. 2024, Abstract und Abschn. 1: Bearbeitung einer Anfrage in „prefill“ (alle Eingabetokens zusammen, erstes Token) und „decoding“ (jedes weitere Token nacheinander).
29 NVIDIA o. J. c, Abschnitt „Understanding Performance“, Tab. 1: „Linear layer (4096 outputs, 1024 inputs, batch size 512)“ 315 FLOPS/B, Spalte „Usually limited by…“: „arithmetic“; dieselbe Schicht mit „batch size 1“ 1 FLOPS/B, „memory“; Annahmen FP16 und V100; Definition „math limited“ bzw. „memory limited“. Der Wert 1 gilt für 16-Bit-Gewichte (zwei Rechenschritte je Gewicht mit 2 Byte).
30 olegshulyakov u. a. 2025, Scoreboard Llama 2 7B Q4_0 (3,82 GB), tg128: RTX 5060 Ti 93,5 Tokens pro Sekunde, H100 (3,35 TB/s) 280,7; eigene Rechnung mit 448 GB/s für die RTX 5060 Ti laut NVIDIA o. J. b: 93,5 ÷ (448 ÷ 3,82) ≈ 80 %, 280,7 ÷ (3.350 ÷ 3,82) ≈ 32 %. Annahme: H100 in der SXM-Fassung (Scoreboard: „H100 80 GB / HBM3“). Zum Vergleich Tabelle 17.1: M2 Ultra in F16 49,55 von 800 ÷ 13,48 GB ≈ 59,4, also 83 %. Community-Messungen, abgerufen am 20.10.2026 (vgl. Kapitel 12, Anm. 24).
31 Meta 2024, config.json (über die frei zugängliche Kopie bei unsloth): 32 Schichten („num_hidden_layers“), 8 Key-Value-Köpfe, Kopfdimension 4.096 ÷ 32 = 128. Eigene Rechnung: 2 (Keys und Values) × 32 × 8 × 128 × 2 Byte = 131.072 Byte ≈ 131 kB pro Token; × 8.192 Tokens ≈ 1,07 GB.
32 Shoeybi u. a. 2019, arXiv v1, Abstract: „converging an 8.3 billion parameter transformer language model using 512 GPUs“; „We sustain up to 15.1 PetaFLOPs per second across the entire application with 76% scaling efficiency, compared to a strong single processor baseline that sustains 39 TeraFLOPs per second“. Autoren bei NVIDIA.
33 NVIDIA o. J. e, Spezifikationen, Zeile „Interconnect“, H100 SXM: „NVIDIA NVLink: 900GB/s, PCIe Gen5: 128GB/s“ (Herstellerangaben).
34 NVIDIA o. J. a, Produktseite: „72 NVIDIA Blackwell GPUs interconnected by the largest NVIDIA NVLink domain ever offered“ (je GPU NVLink der fünften Generation mit 1,8 TB/s), „NVLink Switch System provides 130 terabytes per second (TB/s)“ (Herstellerangaben).
Kapitel 18: Modelle, die nachdenken, und Modelle, die Bilder machen
1 Luong und Lockhart 2025, Blogbeitrag vom 21.7.2025: „35 out of a possible 42 points“, fünf von sechs Aufgaben „perfectly“ gelöst; „operated end-to-end in natural language“, „within the 4.5-hour competition time limit“; 2024 brauchten AlphaProof und AlphaGeometry Fachleute, die die Aufgaben in formale Sprachen wie Lean übersetzten, und „two to three days of computation“ (28 Punkte, Silber); die Deep-Think-Fassung nutze u. a. „parallel thinking“, mehrere mögliche Lösungen zugleich, und sei zusätzlich „on novel reinforcement learning techniques that can leverage more multi-step reasoning, problem-solving and theorem-proving data“ trainiert worden. Herstellerangabe; laut Beitrag nach denselben Maßstäben wie bei den menschlichen Teilnehmenden von den Koordinatoren der IMO bewertet und bestätigt („officially graded and certified by IMO coordinators“).
2 Kojima u. a. 2022, Abstract: Zero-shot-CoT mit „Let’s think step by step“, GSM8K mit text-davinci-002 von 10,4 auf 40,7 %. Autoren von der University of Tokyo und Google Research; arXiv v1 vom 24.5.2022.
3 Wei u. a. 2022, Abstract („surpassing even finetuned GPT-3 with a verifier“), Anhang Tab. 1 (GSM8K, PaLM 540B: Standard-Prompting 17,9 %, Chain of Thought 56,9 %; bisheriger Bestwert 55 % nach Cobbe u. a. 2021), Abschn. 3.2 (Gewinne erst bei Modellen mit „∼100B parameters“; kleinere Modelle „produced fluent but illogical chains of thought“). arXiv v1 vom 28.1.2022 (sieben Autoren, Google Brain; Versuche mit LaMDA 137B und GPT-3); PaLM-Werte ab v2 vom 6.4.2022; NeurIPS-Fassung v5 vom 10.10.2022 mit neun Autoren (Google Research, Brain Team), Tab. 1.
4 Lightman u. a. 2023, Abstract: „solves 78% of problems from a representative subset of the MATH test set“; Datensatz PRM800K mit „800,000 step-level human feedback labels“; Abb. 3 (Auswahl aus 1.860 Kandidaten je Aufgabe: Schrittprüfer 78,2 %, Ergebnisprüfer 72,4 %, Mehrheitsentscheid 69,6 %). Autoren von OpenAI, arXiv vom 31.5.2023.
5 Lambert u. a. 2024, Abstract („a novel method we call Reinforcement Learning with Verifiable Rewards (RLVR)“), Abschn. 1 (RLVR für Fähigkeiten, die sich „against a ground-truth outcome“ prüfen lassen; „it obtains a constant reward value if a completion is successful“) und Abschn. 6 (Prüffunktion statt Belohnungsmodell; Lernverfahren dort PPO). Allen Institute for AI und University of Washington, arXiv v1 vom 22.11.2024.
6 Guo u. a. 2025, Nature 645, 633–638 (online 17.9.2025); Fassung arXiv:2501.12948v2 vom 4.1.2026: Abschn. 1 (Aufbau auf DeepSeek-V3-Base, GRPO, „we bypass the conventional supervised fine-tuning (SFT) phase“, weil „human-defined reasoning patterns may limit model exploration“), Abschn. 2.2 (regelbasierte „accuracy rewards and format rewards“, „combined with the same weight“; Denken zwischen „
7 Aleph Alpha 2026a, abgerufen am 20.10.2026: Abschn. „Reasoning mode“ (Stufen none, low, medium, high); Abschn. „Post-training“, „Capabilities“ („We trained our model to reason in German to make it easier for our users to follow along“; 10,6 Mrd. Tokens sprachkonsistenter Denkantworten im SFT; im RL deutsche Umgebungen mit „a language consistency reward for both the reasoning trace and the answer“; Denkaufwand: „In SFT, we assigned reasoning effort labels …, while on RL side we trained each task across all reasoning levels with different length penalties“) und „Reinforcement Learning (RL)“ (1.000 Schritte; „The different environments all contain verifiable rewards for the answer and additional format rewards“; „For hard tasks that the model can’t solve, we additionally used on-policy self distillation to hint the model towards the correct solutions“); Aleph Alpha 2026c („more than 1.2 million curated tasks“). Herstellerangaben.
8 Aleph Alpha 2026b, Abschn. 3.2, S. 71 (bestärkendes Lernen „against verifiable rewards“ in 38 Umgebungen) und Absatz „Political Balance, Copyright and Safety“, S. 80 (Belohnung durch „an LLM judge … based on whether the assistant answer is balanced“; „narrowly focused on Chinese political content“); vgl. Kap. 16. Herstellerangabe. Ebd., Abschn. 3.2.2.1, S. 77 („frozen judge model“: Beweise, Kundendienst, Sicherheitsablehnungen, Antworten ohne exakten Treffer) und Abschn. 3.2.3.2, S. 83 (Bewerter Qwen3.5-122B-A10B in FP8).
9 OpenAI 2024g, Blogbeitrag vom 12.9.2024: „the performance of o1 consistently improves with more reinforcement learning (train-time compute) and with more time spent thinking (test-time compute)“; Abschn. „Hiding the Chains of Thought“: Nutzer sehen statt der rohen Kette eine vom Modell erzeugte Zusammenfassung; Begründung u. a. „user experience, competitive advantage, and the option to pursue the chain of thought monitoring“. Herstellerangabe; über einen Extraktionsdienst gelesen, weil openai.com direkte Abrufe sperrt.
10 DeepSeek 2025, Mitteilung vom 20.1.2025: „Code and models are released under the MIT License“. Die Kette steht zwischen reasoning_content parameter“). Herstellerangaben.
11 Snell u. a. 2024, Abstract: „in a FLOPs-matched evaluation, we find that on problems where a smaller base model attains somewhat non-trivial success rates, test-time compute can be used to outperform a 14x larger model“; die beste Strategie hängt von der Schwierigkeit der Aufgabe ab. UC Berkeley und Google DeepMind, arXiv vom 6.8.2024; untersucht an Mathematikaufgaben (MATH).
12 OpenAI 2026f, Abschn. „Reasoning effort“ (Werte je nach Modell none, minimal, low, medium, high, xhigh, max) und Hinweis, Reasoning-Tokens seien über die API nicht sichtbar, würden aber „billed as output tokens“. Abgerufen am 20.10.2026. Herstellerangabe. Ebenso Anthropic (Anthropic 2026o: „billed as output tokens, even when the thinking text isn’t returned“) und Google (Google 2026h: Preis „based on the full thought tokens“).
13 Wang u. a. 2022, Tab. 2 (PaLM-540B, GSM8K: CoT-Prompting 56,5 %, Self-Consistency 74,4 %, „+17.9“) und Abschn. 3.2 (40 erzeugte Lösungswege, Mittel aus 10 Durchläufen). Google Research, arXiv v1 vom 21.3.2022, PaLM-Werte ab v2 vom 6.4.2022; ICLR 2023. Die 56,5 % weichen leicht von den 56,9 % bei Wei u. a. (Anm. 3) ab, eigener Durchlauf der Autoren.
14 Turpin u. a. 2023, Abstract: Antwortoptionen im Few-Shot-Prompt so umgeordnet, dass die Antwort immer „(A)“ ist, „which models systematically fail to mention in their explanations“; Trefferquote sinkt um bis zu 36 % bei 13 Aufgaben aus BIG-Bench Hard (GPT-3.5, Claude 1.0). NYU Alignment Research Group, Cohere, Anthropic; NeurIPS 2023.
15 Anthropic 2026o, abgerufen am 25.10.2026: „what you see is never the raw chain of thought“; „Summarization is processed by a different model from the one you target in your requests. The thinking model does not receive the summarized output“; „No display setting returns the raw chain of thought“ (Begründung „preventing misuse“); Abrechnung siehe Anm. 12. Die Begriffe der anderen Anbieter: OpenAI „reasoning summaries“ (OpenAI 2026f), Google „thought summaries“ (Google 2025b). Herstellerangaben.
16 Dragan und Popa 2026, Blogbeitrag vom 13.10.2026 (Anca Dragan, Raluca Ada Popa): „we don’t penalize the model for what it writes in its chain of thought during training“; Trainingslauf, in dem „a shortcut penalty was accidentally applied to the chain of thought“: „openly discussed shortcuts dropped by 61%“, stillschweigende Abkürzungen „more than tripled (from 11.2% to 36.4%)“, aber „that did not mean the model took less shortcuts“. Herstellerangabe.
17 Zusagen: Google siehe Anm. 16; OpenAI, OpenAI 2026q, Abschn. 9.2.1 („fairly confident that there are no significant direct CoT grading pressures“); Anthropic, Anthropic 2026u, 7.4.2026, redigiert 10.4.2026, PDF-S. 15 und 20 („We do not train against any chains-of-thought …, with two exceptions“; eine davon: „a number of environments used for Mythos Preview had a technical error that allowed reward code to see chains-of-thought. This latter issue affected ~8% of RL episodes …“; „This technical error also affected the training of Claude Opus 4.6 and Claude Sonnet 4.6“; die andere betrifft das Filtern von Fine-Tuning-Daten mit Zugriff auf die Kette). Herstellerangaben.
18 Guo u. a. 2025, arXiv v2, Abschn. 3 („language consistency reward … calculated as the proportion of target language words in the CoT“); zu Kolibri Anm. 7. Herstellerangaben.
19 Anthropic 2025c, 24.2.2025: „make its thought process visible in raw form“, „should be considered a research preview“. Herstellerangabe.
20 Google-Entwicklerforum 2025: Beitrag #5 von „chunduriv“ (Moderator mit Google-Kennzeichen) vom 20.5.2025 („Thought summaries were launched in both AI Studio and the API effective today at I/O“) und Beitrag #103 von Logan Kilpatrick (als Google gekennzeichnet) vom 2.6.2025 („The raw thoughts have been disabled in the API for a while now“; „the reason we left the raw thoughts in AI Studio to begin with when we removed it from the API“; für die Gemini-App persönlich: „the better product experience on the margin is not showing them“). Offiziell zu den neuen Zusammenfassungen: Google 2025b, 23.5.2025. Herstellerangaben.
21 Baker u. a. 2025, Abschn. 2 und Tab. 1 (Monitor GPT-4o; Gesamt-Trefferquote bei zwei systematischen Tricks, Tests zu umgehen: mit Kette 95 %, nur Aktionen 60 %); Abschn. 2: das überwachte Modell war „OpenAI’s most advanced model, surpassing even OpenAI o3-mini“. OpenAI, arXiv vom 14.3.2025.
22 Standard ohne eigene Einstellung: OpenAI, OpenAI 2026f (Zusammenfassung „will not be included unless you explicitly opt in to including reasoning summaries“); Google, Google 2026h, zuletzt aktualisiert am 14.10.2026 („By default, only the final output is returned“); Anthropic, Anthropic 2026o, Abschn. „Controlling thinking display“ ("omitted" ist Standard u. a. bei Claude Opus 4.7, Opus 4.8 und den 5er-Modellen; bei Opus 4.7 ist das Denken selbst zunächst aus, eingeschaltet kommt es leer zurück) und Anthropic 2026x (Modell veröffentlicht am 16.4.2026). Herstellerangaben.
23 Chen u. a. 2025, Abschn. 3 („25% for Claude 3.7 Sonnet and 39% for DeepSeek R1“), Mittel über sechs Arten von Hinweisen, nur Fälle, in denen das Modell den Hinweis nachweislich nutzte; Abschn. 7 (Vorbehalt der Autoren: Ihre Aufgaben brauchten keine lange Kette, „in settings like ours where CoT reasoning is not necessary“); Anthropic 2025d, 3.4.2025 („Some of the hints were correct and some were deliberately incorrect“). Autoren alle aus Anthropics Alignment Science Team, zwei inzwischen anderswo („Work done while at Anthropic“); untersucht wurde auch ein eigenes Modell.
24 OpenAI 2026q, veröffentlicht 3.9.2026: Safety Overview („GPT-6 Astra’s monitorability has decreased relative to GPT-5.6 Sol“; „We have not seen evidence of steganographic CoT reasoning“), Abschn. 9.2.1 „CoT Controllability“ (Ketten von 750 bis 1.250 Tokens: Astra „successfully controls 60.9%“, GPT-5.6 Sol 16,1 %; Vorgaben wie „avoiding certain problem-relevant keywords in CoT, using only lowercase letters“), Abschn. 9.1.3 („shorter, less informative CoTs“). Herstellerangabe. Der Satz „Wer seine Kette so steuern kann, könnte sie auch schönen“ ist eine eigene Folgerung.
25 Ho u. a. 2020, Abschn. 4 („We set T = 1000 for all experiments“); Grundidee bei Sohl-Dickstein u. a. 2015. UC Berkeley, arXiv vom 19.6.2020.
26 Rombach u. a. 2021, Titelseite (Ludwig-Maximilians-Universität München und IWR, Universität Heidelberg; Runway ML) und Abstract; arXiv v1 vom 20.12.2021.
27 CompVis 2022, Abschn. „Model Details“ („a Latent Diffusion Model that uses a fixed, pretrained text encoder (CLIP ViT-L/14)“) und „Training“ (Verkleinerungsfaktor 8, Bilder H × W × 3 werden zu Latents H/f × W/f × 4; Text-Ausgabe über Cross-Attention eingespeist). Eigene Rechnung für 512 × 512 Bildpunkte: 512 × 512 × 3 = 786.432 Werte gegen 64 × 64 × 4 = 16.384, Faktor 48.
28 Germany Trade & Invest 2026, 16.7.2026: Rombach und Blattmann gründeten Black Forest Labs 2024 in Freiburg mit weiteren Mitgründern; Latent Diffusion als „foundation for Stable Diffusion“. Sekundär (Germany Trade & Invest). Primär: Black Forest Labs 2024, 1.8.2024 („Our innovations include creating VQGAN, Latent Diffusion, Stable Diffusion models“), und Impressum (BFL GmbH, 79106 Freiburg im Breisgau; Geschäftsführer Robin Rombach, Andreas Blattmann, Axel Sauer). Autorenschaft von Rombach, Blattmann und Esser am Latent-Diffusion-Paper: Anm. 26.
29 Black Forest Labs 2025: „FLUX.2 builds on a latent flow matching architecture“, „couples the Mistral-3 24B parameter vision-language model with a rectified flow transformer“. Herstellerangabe.
30 Black Forest Labs 2026, 15.10.2026: 5,6 Mrd. Parameter, offene Gewichte unter der „FLUX Kommunity License“; Basismodell mit 50 Schritten, schrittdestilliertes Modell („Step-distilled model, 16 steps“) mit 16; die INT8-Fassung läuft laut Beitrag auf GeForce-RTX-Karten „with as little as 8GB of VRAM“ (BF16: 11,2 GB, FP8: 5,6 GB); schrittdestilliert in INT8 rund 4 s für ein Bild mit 1 Megapixel auf einer RTX 5090. Herstellerangabe.
31 Radford u. a. 2021, Abstract („predicting which caption goes with which image“, „400 million (image, text) pairs“, „we match the accuracy of the original ResNet-50 on ImageNet zero-shot without needing to use any of the 1.28 million training examples“), Abschn. 3.1 (Vorlage „A photo of a {label}.“; Zero-Shot-Genauigkeit 76,2 %). OpenAI, arXiv vom 26.2.2021.
32 Liu u. a. 2023, Abstract und Abschn. 4.1 (Bild-Encoder CLIP ViT-L/14, trainierbare Projektionsmatrix, Sprachmodell Vicuna). arXiv vom 17.4.2023.
33 OpenAI 2024a, 15.2.2024: „a transformer architecture that operates on spacetime patches of video and image latent codes“, „Sora is a diffusion model“; „Our largest model, Sora, is capable of generating a minute of high fidelity video“. Herstellerangabe; über einen Extraktionsdienst gelesen.
34 Google 2025a, 20.5.2025: Veo 3 „for the first time, can also generate videos with audio — traffic noises in the background of a city street scene, birds singing in a park, even dialogue between characters“. Herstellerangabe.
35 OpenAI 2026j, Hilfeseite (abgerufen am 2.11.2026): „The Sora web and app experiences were discontinued on April 26, 2026. The Sora API was discontinued on September 24, 2026.“; ebenso OpenAI 2026a (abgerufen am 2.11.2026): Videos API und sora-2-Modelle mit „Shutdown date 2026-09-24“. Herstellerangaben.
Kapitel 19: Attention und Transformer
1 Jurafsky und Martin 2026, Kap. 7 „Transformers and Pretraining“ (Entwurf vom 19.8.2026): Abschn. 7.1.1 (Query, Key und Value entstehen durch Multiplikation des Eingangsvektors mit den gelernten Matrizen WQ, WK und WV; Teilen durch die Wurzel der Key-Länge, weil große Skalarprodukte zu „numerical issues and loss of gradients during training“ führen); Abschn. 7.2.2 (Layer Norm nach Ba u. a. 2016: Mittelwert abziehen, durch die Standardabweichung teilen, danach die gelernten Parameter γ für die Verstärkung und β für die Verschiebung; RMSNorm nach Zhang und Sennrich 2019 „skips the mean-centering step“) und Fußnote 2 zu Abschn. 7.2.3 (heute üblich ist die Normalisierung vor Attention und FFN, Vaswani u. a. normalisierten danach); Abschn. 7.3 („attention is quadratic in the length of the input“); Abschn. 7.8 (KV-Cache: Keys und Values früherer Tokens werden beim Erzeugen gespeichert statt neu berechnet). γ und β sind Vektoren mit einem eigenen Wert je Stelle (so bei Ba u. a. 2016; bei Kolibri etwa die „learned gains“ γq und γk der Normalisierung von Queries und Keys, Aleph Alpha 2026b, Anh. B.2). Eigene Rechnungen: (3; 7) hat den Mittelwert 5 und die Standardabweichung 2, normalisiert (−1; 1). Vergleiche bei voller Attention mit kausaler Maske, jedes Token mit sich und allen davor: 262.144 · 262.145 ÷ 2 ≈ 3,4 · 1010 je Kopf und Schicht; bei doppelter Länge rund das Vierfache.
2 Vaswani u. a. 2017, arXiv-Fassung v7: Abschn. 3.1 (Encoder und Decoder aus je N = 6 gleichen Schichten; Residualverbindung und danach Layer Normalization um jede Teilschicht; im Decoder Sperre gegen spätere Positionen); Abschn. 3.2.1 (Formel „Attention(Q, K, V) = softmax(QKT/√dk)V“; für große dk drängten große Skalarprodukte die Softmax in Bereiche „where it has extremely small gradients“; Fußnote 4: Bei unabhängigen Komponenten mit Mittelwert 0 und Varianz 1 hat das Skalarprodukt die Varianz dk); Abschn. 3.2.2 (h = 8 Köpfe, dk = dv = 512 ÷ 8 = 64; Ergebnisse aneinandergehängt und mit WO projiziert; Aufwand „similar to that of single-head attention with full dimensionality“); Abschn. 3.2.3 (Encoder-Decoder-Attention mit Queries aus dem Decoder und Keys und Values aus dem Encoder; Maske durch Setzen auf −∞ vor der Softmax); Abschn. 3.5 (Positionskodierung aus Sinus- und Kosinusfunktionen, zu den Embeddings addiert). Eigene Rechnung: √64 = 8.
3 Aleph Alpha 2026a, abgerufen am 23.10.2026. Tabelle „Model Architecture“: 50 Schichten; „4:1 causal sliding-window GQA to full causal GQA“; „Sliding window: 512 preceding tokens plus the current token“; 48 Attention-Köpfe, 4 Key-Value-Köpfe, Kopfgröße 128; „Position embeddings: RoPE, base 10,000, applied only in sliding-window layers“; „262,144 native; 1,048,576 by extrapolation“. Datei config.json: „sliding_window“: 513, „layer_types“ mit jeder fünften Schicht „full_attention“ (Schicht 5, 10, …, 50), die übrigen 40 „sliding_attention“. Abschnitt „Training Details“, „Pre-training“: „Training examples consisted of 16,384-token sequences“. Tabelle „Model overview“: „evaluated with an FP8 KV cache“, „~78 GB (FP8 weights)“, Empfehlung „≤262,144 tokens“; Abschnitt „vLLM“: Start mit der Option „–kv-cache-dtype fp8“. Abschnitt „Evaluation“, Tabelle „Long context“ (RULER, Basismodelle): Kolibri Base 4k 86,9; 8k 83,7; 16k 80,9; 32k 76,3; 64k 72,2; 128k 67,9; 256k 69,8; 512k 65,5; 1M 63,2. Qwen3.5 35B-A3B Base und Nemotron 3 Nano 30B-A3B Base liegen bei jeder Länge bis 512k vor Kolibri Base (512k: 72,2 und 73,1), bei 1M dahinter (57,5 und 58,5); Qwen3.5 „with static YaRN (factor 4) at every length“. Gemma 4 26B-A4B Base von 4k bis 128k: 84,7; 85,0; 87,1; 88,7; 86,8; 87,8; ab 256k kein Wert, weil Eingabe und Antwortbudget sein Fenster von 262.144 Tokens überschreiten. Mittel der Aufgaben NIAH, VT, WE und QA bei Temperatur 0; „Kolibri Base is the checkpoint Kolibri’s post-training starts from“. Herstellerangaben. Eigene Rechnungen zum KV-Cache in FP8 (1 Byte je Zahl): volle Schichten 2 (Key und Value) × 10 × 4 × 128 = 10.240 Byte je Token; × 262.144 Tokens ≈ 2,68 GB; Fensterschichten 2 × 40 × 4 × 128 × 513 ≈ 21,0 MB, unabhängig von der Textlänge; alle 50 Schichten voll und 48 Key-Value-Köpfe: 2 × 50 × 48 × 128 × 262.144 ≈ 161 GB. H200 mit 141 GB: NVIDIA o. J. f (wie Kap. 17, Anm. 2); frei 141 − 78 = 63 GB. Anfragen mit den Annahmen aus Aleph Alpha 2026b, S. 135, Tab. 31 (10 Prozent Reserve für Verschnitt, 6 GB Arbeitsspeicher je GPU): 141 × 0,9 − 78 − 6 ≈ 42,9 GB, geteilt durch 2,7 GB ≈ 15,9, also 15 Anfragen; ohne Reserve wären es rund 23.
4 Su u. a. 2021, Abstract (RoPE „encodes the absolute position with a rotation matrix and meanwhile incorporates the explicit relative position dependency in self-attention formulation“) und Abschn. 3.1 bis 3.2 (Ziel: Das Skalarprodukt aus Query und Key soll Positionen nur über ihren Abstand m − n enthalten; Lösung für zwei Dimensionen als Drehung, Abschn. 3.2.1; allgemein Aufteilung in d/2 Zahlenpaare mit je eigener Frequenz, Abschn. 3.2.2). arXiv v1 vom 20.4.2021, hier v5; Zeitschriftenfassung Neurocomputing 568 (Februar 2024), Art. 127063, so zitiert bei Jurafsky und Martin 2026, Literaturverzeichnis. Verbreitung: ebd., Kap. 7, Abschn. 7.4, S. 17 („The most popular such positional embedding mechanism is the Rotary Position Embedding (RoPE)“). Das Zifferblatt-Bild ist eigene Veranschaulichung (30 Grad je Stunde).
5 Aleph Alpha 2026b, abgerufen am 23.10.2026: S. 7 f., Abschn. 2.1 („Kolibri is a decoder-only causal Transformer“; „sandwich normalisation“ mit RMSNorm „before and after both the attention and MoE layers“) und Abb. 4; S. 12, Abschn. 2.1.3 (volle Attention in jedem fünften Block, SWA in den übrigen 40; „At matched training compute, the hybrid model supports sequences four times as long as the full-attention model“, Versuche im Maßstab M, Abb. 7: Trainingslänge 16k statt 4k Tokens; RoPE nur in den SWA-Blöcken, die vollen Blöcke ohne Positionskodierung, denn „In early experiments, removing RoPE from the full-attention blocks improved long-context performance, in line with B. Yang et al. (2025)“; QK-Normalisierung je Kopf mit RMSNorm); S. 41 (Kontext über die Trainingslänge hinaus „needs no positional rescaling“); S. 46 und Tab. 18, S. 48 (RULER von 4k bis 1M; bis 256k liegen Qwen3.5 35B-A3B Base, Nemotron 3 Nano 30B-A3B Base und Gemma 4 26B-A4B Base vor Kolibri Base, laut Tab. 18 Gemma 4 ab 8k; bei 1M „the best score“). Herstellerangaben.
6 Haviv u. a. 2022, Abstract: Sprachmodelle mit kausaler Attention ohne Positionskodierung sind „still competitive with standard models“; „We conjecture that causal attention enables the model to infer the number of predecessors that each token can attend to“. Findings of EMNLP 2022.
7 Devlin u. a. 2018, Abstract (BERT berücksichtigt „both left and right context in all layers“) und Abschn. 3.1 („BERT’s model architecture is a multi-layer bidirectional Transformer encoder“).
8 Radford u. a. 2018, Abschn. 3.1 („multi-layer Transformer decoder“) und Abschn. 4.1 („12-layer decoder-only transformer with masked self-attention heads“).
9 Kwon u. a. 2023, Abstract (PagedAttention nach dem Vorbild der Speicherseiten in Betriebssystemen; Durchsatz „by 2-4× with the same level of latency“ gegenüber FasterTransformer und Orca); Abschn. 1 („only 20.4% - 38.2% of the KV cache memory is used to store the actual token states in the existing systems“); Abschn. 2.3 (schrittweise Bündelung: „After each iteration, completed requests are removed from the batch, and new ones are added“). Autorinnen und Autoren überwiegend von der UC Berkeley.
10 Hsieh u. a. 2024, Abstract (17 Modelle, 13 Aufgaben; „While these models all claim context sizes of 32K tokens or greater, only half of them can maintain satisfactory performance at the length of 32K“) sowie Abschn. 4 und Tab. 3 (Schwelle: der Wert von Llama2-7B bei 4K, 85,6 Prozent). Autorinnen und Autoren von NVIDIA. Die Kolibri-Werte mitteln nur vier der Aufgabengruppen und sind mit dieser Schwelle nicht direkt vergleichbar.
11 Modarressi u. a. 2025, arXiv v3 vom 9.7.2025 (ICML 2025): Abschn. 1 und Tab. 1 (verbreitete Tests enthalten wörtliche Übereinstimmungen zwischen Frage und Kontext); Abstract (13 Modelle mit mindestens 128K Kontext; „At 32K, for instance, 11 models drop below 50% of their strong short-length baselines“; „Even GPT-4o, one of the top-performing exceptions, experiences a reduction from an almost-perfect baseline of 99.3% to 69.7%“; Rückgang wegen „the increased difficulty the attention mechanism faces in longer contexts when literal matches are absent“); Abschn. 3 und Tab. 2 (Nadel „Actually, Yuki lives next to the Semper Opera House.“, Frage „Which character has been to Dresden?“; Übersetzung im Text eigene); Tab. 3 (Ergebnisse). Affiliationen: LMU München (CIS) und Munich Center for Machine Learning, Adobe Research.
12 Name: zuerst belegt in einem Kommentar des Nutzers „Workaccount2“ auf Hacker News vom 18.6.2025 („Maybe you can call it context rot“, Beitrag 44310054), am selben Tag aufgegriffen von Willison 2025b. Untersuchung: Hong u. a. 2025, Einleitung („we evaluate 18 LLMs, including the state-of-the-art GPT-4.1, Claude 4, Gemini 2.5, and Qwen3 models“; „performance grows increasingly unreliable as input length grows“) und Abschnitt zur Aufgabe mit wiederholten Wörtern. Technischer Bericht eines Datenbankherstellers, nicht begutachtet. Zu Anthropic vgl. Kap. 3, Anm. 17.
13 Willison 2025c („The term context engineering has recently started to gain traction as a better alternative to prompt engineering“; als Beispiel ein Beitrag von Shopify-Chef Tobi Lütke auf X, „Recently amplified by Andrej Karpathy“).
14 Anthropic 2025g, Einleitung („a new term has come to prominence: context engineering“), Abschnitte „Why context engineering is important to building capable agents“ („attention budget“; „Every new token introduced depletes this budget by some amount“; Transformer mit „n2 pairwise relationships for n tokens“) und „The anatomy of effective context“ („the smallest possible set of high-signal tokens“; Gegenmittel „compaction, structured note-taking, and multi-agent architectures“). Herstellerangabe.
Kapitel 20: Training im großen Maßstab
1 Hoffmann u. a. 2022, arXiv-Fassung v1 vom 29.3.2022 (NeurIPS 2022), 22 Autorinnen und Autoren von DeepMind. Abschn. 1 („Since it is typically only feasible to train these large models once, accurately estimating the best model hyperparameters for a given compute budget is critical“; zu Kaplan u. a.: „given a 10× increase computational budget, they suggests that the size of the model should increase 5.5× while the number of training tokens should only increase 1.8ד); Abstract (über 400 Modelle „ranging from 70 million to over 16 billion parameters on 5 to 500 billion tokens“; „for every doubling of model size the number of training tokens should also be doubled“; Chinchilla „uses the same compute budget as Gopher but with 70B parameters and 4× more more data“ und „uniformly and significantly outperforms Gopher (280B)“); Tab. 1 (Gopher 280 Mrd. Parameter und 300 Mrd. Tokens, Chinchilla 70 Mrd. und 1,4 Bio.); Abb. 2 (Budget von Gopher 5,76 · 1023 FLOP); Tab. 3, Approach 1 (10 Mrd. Parameter: 1,23 · 1022 FLOP, 205,1 Mrd. Tokens; 67 Mrd.: 5,76 · 1023 FLOP, 1,5 Bio. Tokens); Tab. A3 (für 10 Mrd. Parameter nach Approach 2 219,5 Mrd., nach Approach 3 410,1 Mrd. Tokens); Anhang F (genauere Zählung mit Attention: „Key @ Query logits“ und „Softmax @ query reductions“ je 2 × seq_len × seq_len × (key_size × num_heads); Rückweg doppelt so teuer wie der Hinweg; Tab. A4: Verhältnis zur Faustregel 6ND zwischen 0,99 und 1,10; für Gopher „6.3 × 1023 compared to 5.76 × 1023“). Die Regel „20 Tokens pro Parameter“ steht so nicht im Paper; eigene Ableitung: 1,4 Bio. ÷ 70 Mrd. = 20; 205,1 Mrd. ÷ 10 Mrd. ≈ 20,5 (Approach 1); nach Approach 2 und 3 rund 22 und 41. Eigene Rechnungen: Chinchilla-Regel D = 20 N eingesetzt in C = 6 N D ergibt C = 120 N2, also N = √(C ÷ 120): für 1,2 · 1022 FLOP N = √(1020) = 1010, D = 2 · 1011; für 6,4 · 1023 FLOP C ÷ 120 ≈ 5,3 · 1021, N ≈ 7,3 · 1010, D ≈ 1,46 · 1012; 23,641 Bio. ÷ 1,46 Bio. ≈ 16,2. Verständnisfrage: 6 × 4 · 1010 × 2 · 1011 = 6 × 1010 × 8 · 1011 = 4,8 · 1022; √(4,8 · 1022 ÷ 120) = 2 · 1010.
2 Aleph Alpha 2026a, abgerufen am 24.10.2026 (Herstellerangaben). „Model overview“: 3.457.573.120 aktive Parameter pro Token, 78.103.074.560 insgesamt. „Training Data“: 20T Tokens Vortraining, „Additionally trained on 3.44T in mid-training and 201B for long-context extension“. „Computing Resources“: Vortraining „21 days (511h, 392k GPUh)“ auf 768 B200, Mid-Training „5 days, 90k GPUh“, Long-Context „13h, 10k GPUh“, „FLOPS: 6.4e23“, ohne Methode und ohne Aufteilung nach Phasen; ob Fine-Tuning und bestärkendes Lernen enthalten sind, steht nicht da. „Energy consumption“: „9.5×102 MWh (estimated)“ für Vor-, Mid- und Langkontext-Training (vgl. Kap. 12, Anm. 11). Abschnitt „Pre-training“: Sequenzen zu 16.384 Tokens; „global batch size of 4,608 sequences, corresponding to 75.497 million tokens per step“ (vgl. Kap. 15, Anm. 1); Mid-Training „increased the sequence length to 65,536 tokens“; Langkontext-Phase „increased the sequence length to 262,144 tokens“. Tabelle „Model Architecture“ und config.json: Hidden Size 2.560, Vokabular 128.000, 50 Schichten, davon 10 mit voller Attention und 40 mit Fenster aus 513 Tokens (das aktuelle und 512 davor), 48 Attention-Köpfe zu 128 Stellen. Eigene Rechnungen: 6 × 3.457.573.120 × 20 · 1012 ≈ 4,15 · 1023; Tokens aller drei Phasen 20 + 3,44 + 0,201 = 23,641 Bio.; 6 × 3,4576 · 109 × 23,641 · 1012 ≈ 4,90 · 1023; 6,4 ÷ 4,9 ≈ 1,31; je Token 6 × 3,4576 · 109 ≈ 2,1 · 1010 FLOP (A56); je Trainingsschritt mit 4.608 × 16.384 = 75.497.472 Tokens rund 2,07 · 1010 × 7,55 · 107 ≈ 1,6 · 1018 FLOP (A56); 0,25 hoch 16.384 = 10 hoch −9.864,2, also 9.864 Nullen hinter dem Komma vor der ersten anderen Ziffer.
3 Jurafsky und Martin 2026, Entwurf vom 19.8.2026: Kap. 3 „N-gram Language Models“, Abschn. 3.1.3 (Wahrscheinlichkeiten werden als Logarithmen gespeichert und addiert, denn „Multiplying enough n-grams together would result in numerical underflow“; „Adding in log space is equivalent to multiplying in linear space“; „we’ll use log to mean natural log (ln)“); Kap. 4 „Logistic Regression and Text Classification“, Abschn. 4.8, Gl. 4.38 bis 4.41 (Kreuzentropie mit Softmax ist „the negative log of the output probability corresponding to the correct class“; Ableitung nach einem Gewicht −(yk − ŷk) xi, für den Rohwert des richtigen Tokens also Wahrscheinlichkeit minus 1, bei 100 Prozent null); Kap. 7, Abschn. 7.7, Gl. 7.54 und 7.55 (Loss beim Vortraining „the negative log probability the model assigns to the next word“, gemittelt über die Positionen). Eigene Rechnungen mit den Rohwerten aus Kap. 14 (Luft 3,0; Druck 1,5; an 1,1; schnell 0,9; nichts 0,8): p(Luft) = 0,623; −ln 0,62 ≈ 0,478; −ln 0,5 ≈ 0,693; −ln 0,01 ≈ 4,61; Steigung nach dem Rohwert p − 1 ≈ −0,38 (genau −0,377); Steigungen für w2 = −0,38 · 2 = −0,76 und für w1 = −0,38 · 1,5 · 1 = −0,57 (genau −0,755 und −0,566, numerisch mit kleinen Änderungen bestätigt); Schritt mit Lernrate 0,1: w1 = 2 − 0,1 · (−0,57) = 2,057, w2 = 1,5 − 0,1 · (−0,76) = 1,576, Rohwert 3,24, p = 0,678, Loss 0,389.
4 NIST DLMF, §4.2 (natürlicher Logarithmus, Basis e: Gl. 4.2.2 und 4.2.11; Gl. 4.2.15: log10 z = ln z ÷ ln 10) und §4.8, Gl. 4.8.2 (ln(z1 z2) = ln z1 + ln z2) sowie Gl. 4.8.9 und 4.8.10 (ln exp z = z, exp ln z = z: Umkehrung der Exponentialfunktion). Eigene Rechnungen: log10 0,01 = −2; log10 2 ≈ 0,301 (10 hoch 0,3 ≈ 1,995); log10 4 = 2 × 0,301 ≈ 0,602; log10 0,25 ≈ −0,602; 16.384 × (−0,602) ≈ −9.864.
5 Goodfellow u. a. 2016a („log x: Natural logarithm of x“). Ebenso Kaplan u. a. 2020, Abschn. 1.3 (L als „the cross entropy loss in nats“) und Jurafsky und Martin 2026 (Anm. 3).
6 Aleph Alpha 2026b, abgerufen am 24.10.2026 (Herstellerangaben). Abb. 3, S. 6 (Trainingsverlust; Kurvendaten: Start bei 11,66, nach 20 Bio. Tokens 1,44; vgl. Kap. 15, Anm. 2); Tab. 6 (Ausgabeschicht „LM head“ startet bei null, daher Gleichverteilung über die 128.000 Einträge des Vokabulars); Abschn. 2.1.3 („each token attends to all preceding tokens, so the compute grows quadratically with the sequence length“; „At matched training compute, the hybrid model supports sequences four times as long as the full-attention model“) und Tab. 4 (Testmodelle mit 0,6 bis 1,2 Mrd. aktiven Parametern bei gleichen „TFLOPs per seq.“ von 60,0 bis 63,7 für den Hinweg über 16.384 Tokens; nach 2 · N je Token wären es nur 20 bis 39 Billionen, eigene Rechnung); Abschn. 3.2.3.3, S. 83 f. (Kostenformel Lj + Lj2/κ; „Lj2/κ is the FLOP cost of full attention relative to the linear layers“); Abschn. 2.1.6 (768 B200 in 96 Knoten; Parallelisierung „EP 8, FSDP 16, DP 6“; „dense parameters are sharded across EP × FSDP = 128 GPUs (one full replica)“); Anhang D.2.2 („the 256 Tokens per Parameter of production, 20T tokens over 78.1B total parameters“). Eine Methode für die 6,4 · 1023 FLOP der Modellkarte nennt der Bericht nicht. Eigene Rechnungen: ln 128.000 ≈ 11,76; e hoch −1,44 ≈ 0,237; 20 · 1012 ÷ 78,1 · 109 ≈ 256; 20 · 1012 ÷ 3,4576 · 109 ≈ 5.784 Tokens je aktivem Parameter; 6 × 128 = 768.
7 Goodfellow u. a. 2016b, Kap. 6, Abschn. 6.5 (Backpropagation lässt die Information vom Loss „flow backward through the network in order to compute the gradient“; „back-propagation refers only to the method for computing the gradient, while another algorithm, such as stochastic gradient descent, is used to perform learning using this gradient“), Abschn. 6.5.2 („Back-propagation is an algorithm that computes the chain rule, with a specific order of operations that is highly efficient“) und 6.5.3 (Teilergebnisse speichern statt mehrfach berechnen). Zum Paper von Rumelhart, Hinton und Williams vgl. Kap. 15, Anm. 8.
8 Brown u. a. 2020, Anhang D und Tab. D.1: je aktivem Parameter und Token im Hinweg „a single addition and a single multiply“; für den Rückweg Faktor 3, „as computing both ∂params/∂loss and ∂acts/∂loss use a similar amount of compute as the forwards pass“; zusammen 6 FLOP; Attention vernachlässigt, „as it typically uses less than 10% of the total compute for the models we are analyzing“; GPT-3 175B: 3,14 · 1023 FLOP (A56). Ebenso Kaplan u. a. 2020, Abschn. 2.1 (Anm. 12).
9 NVIDIA 2025b, Anhang A, Tabelle GeForce RTX 5090: „Peak BF16 Tensor TFLOPS with FP32 Accumulate 209.5/419“, der erste Wert ohne Sparsity (Herstellerangabe; vgl. Kap. 12, Anm. 8). Eigene Rechnungen: 6,4 · 1023 ÷ (209,5 · 1012 pro Sekunde) ≈ 3,05 · 109 Sekunden ≈ 97 Jahre; in einer Stunde 209,5 · 1012 × 3.600 ≈ 7,5 · 1017 FLOP (A56).
10 KI-Verordnung, Art. 51 Abs. 2 (Vermutung hoher Wirkungsfähigkeit, wenn „the cumulative amount of computation used for its training measured in floating point operations is greater than 10^25“, englische Fassung laut AI Act Service Desk, abgerufen am 24.10.2026; deutscher Wortlaut am Amtsblatt geprüft in Kap. 11, Anm. 3) und Art. 3 Nr. 67 (Gleitkommaoperation). Indikator der Kommission von 1023 FLOP für Modelle mit allgemeinem Verwendungszweck (A56): Europäische Kommission 2025b, vgl. Kap. 11, Anm. 9. Eigene Rechnungen: 6,4 · 1023 ÷ 1025 = 0,064; 1025 ÷ 6,4 · 1023 ≈ 16; 3,8 · 1025 ÷ 1025 = 3,8.
11 Rajbhandari u. a. 2020, Abschn. 3.1 („2Ψ + 2Ψ + KΨ = 16Ψ bytes“ mit K = 12 für Adam in gemischter Genauigkeit; Aktivierungen kommen hinzu), vgl. Kap. 12, Anm. 26. Eigene Rechnung: 78.103.074.560 × 16 Byte ≈ 1,25 · 1012 Byte. Der Faustwert gilt für Adam; Kolibri nutzt für die meisten Gewichtsmatrizen Muon (Kap. 15, Anm. 1 und 2), für Kolibri ist er daher nur ein Überschlag.
12 Kaplan u. a. 2020, arXiv-Fassung v1 vom 23.1.2020, zehn Autoren von OpenAI und der Johns Hopkins University: Abstract („with some trends spanning more than seven orders of magnitude“); Abschn. 2.1 und Tab. 1 (Hinweg Cforward ≈ 2N + 2 nlayer nctx dattn; „For contexts and models with dmodel > nctx/12, the context-dependent computational cost per token is a relatively small fraction of the total compute“; Rückweg „approximately twice the compute as the forwards pass“, daher „C ≈ 6N floating point operators per training token“); Abschn. 2.2 (Training mit Textstücken von 1.024 Tokens); Abschn. 6.1 (rechenoptimale Modellgröße wächst mit C hoch 0,73); Anhang C „Caveats“ (Skalierung mit dem Rechenaufwand „may be confounded in practice in the regime of very large nctx, specifically where nctx ≳ 12dmodel“). Kaplans Schwelle setzt eine Attention so breit wie der Vektor voraus (dattn = dmodel); bei Kolibri ist dattn = 48 × 128 = 6.144, dmodel = 2.560. Eigene Überschlagsrechnung für Kolibri mit den Angaben aus Anm. 2: Attention je Token und Schicht im Training 3 × 2 × nctx × 6.144 FLOP nach Kaplan (nur Query mal Key), doppelt so viel nach Hoffmann u. a. (Anm. 1: zusätzlich das Mischen der Values); in den 40 Fensterschichten 513 statt nctx; volle Schichten mit oder ohne Halbierung durch die kausale Maske (mit Maske im Mittel (nctx + 1) ÷ 2, im Vortraining 8.192,5 Tokens). Aufschlag auf 6 N D nach der sparsamsten Zählung (Kaplan, halbiert): Vortraining +18 Prozent, Mid-Training +62 Prozent, Langkontext-Training +237 Prozent. Summe über die drei Phasen (16.384, 65.536 und 262.144 Tokens je Textstück) samt 6 N D: 6,2 · 1023 (Kaplan, halbiert), 7,3 · 1023 (Kaplan), 7,5 · 1023 (Hoffmann, halbiert), 9,7 · 1023 (Hoffmann); Anteil des Vortrainings am gesamten Aufschlag 56 bis 58 Prozent; Softmax und Normalisierung nicht gezählt. 12 × 2.560 = 30.720.
13 Llama Team 2024, arXiv:2407.21783v1 vom 31.7.2024 (Herstellerangaben): Abschn. 1 (Flaggschiff „pre-trained using 3.8 × 10^25 FLOPs“, „405B trainable parameters on 15.6T text tokens“; kleinere Modelle „for much longer than is compute-optimal“; alle Ergebnisse für die Modelle Llama 3.1); Abschn. 3 (Vortraining mit einem Kontextfenster von 8K Tokens, danach rund 800 Mrd. Tokens Langkontext-Training bis 128K); Abschn. 3.2.1 (Testläufe mit „compute budgets between 6 × 10^18 FLOPs and 10^22 FLOPs“ und 40 Mio. bis 16 Mrd. Parametern; Hochrechnung auf 3,8 · 1025 FLOP „suggests training a 402B parameter model on 16.55T tokens“; Entscheidung für 405 Mrd.). Eine Zählweise für die 3,8 · 1025 FLOP nennt der Bericht nicht. Eigene Rechnungen: 6 × 405 · 109 × 15,6 · 1012 ≈ 3,79 · 1025; 3,8 · 1025 ÷ 1022 = 3.800.
14 Touvron u. a. 2023, arXiv:2302.13971v1 vom 27.2.2023, Abschn. 1 (die Chinchilla-Regel „disregards the inference budget, which becomes critical when serving a language model at scale“; „a smaller one trained longer will ultimately be cheaper at inference“; „although Hoffmann et al. (2022) recommends training a 10B model on 200B tokens, we find that the performance of a 7B model continues to improve even after 1T tokens“). Autorinnen und Autoren von Meta AI (Herstellerangabe).
Kapitel 21: Feinere Werkzeuge: LoRA, PPO, DPO, GRPO
1 Aleph Alpha 2026a, abgerufen am 24.10.2026 (Herstellerangaben). config.json: „hidden_size“ 2560, „num_hidden_layers“ 50, „num_attention_heads“ 48, „num_key_value_heads“ 4, „head_dim“ 128, „dtype“ bfloat16. Modellkarte, „Model overview“: 78.103.074.560 Parameter; Abschnitt „Supervised Fine-Tuning (SFT)“: „We kept the optimizer split of pre-training, Muon for the two-dimensional backbone parameters and AdamW for everything else“ (das Fine-Tuning stellte also alle Gewichte nach; LoRA erwähnen weder Karte noch technischer Bericht, Volltextsuche am 24.10.2026). Eigene Rechnungen für LoRA mit Rang 8 an allen vier Attention-Matrizen: Query 8 × (2.560 + 6.144) = 69.632, Key und Value je 8 × (2.560 + 512) = 24.576, Ausgabe 8 × (6.144 + 2.560) = 69.632, zusammen 188.416 je Schicht, × 50 = 9.420.800 ≈ 9,4 Mio. Zahlen; in BF16 (2 Byte) 18,8 MB; 9,42 Mio. ÷ 78,1 Mrd. ≈ 1 ÷ 8.300. Nach Schulman und Thinking Machines Lab 2025 wirkt LoRA an den MoE-Schichten besser als nur an der Attention; dann wäre das Beiblatt größer. Speicher: BF16 78,1 Mrd. × 2 Byte ≈ 156 GB; NF4 mit doppelter Quantisierung 4,127 Bit je Gewicht (Anm. 5) ≈ 40,3 GB; LoRA-Zusatz 9,42 Mio. × 16 Byte (Gewicht, Gradient und Adam-Zustände in gemischter Genauigkeit wie Kap. 12, Anm. 26) ≈ 0,15 GB; frei auf dem H200 (141 GB, wie Kap. 17, Anm. 2): 141 − 40,3 − 0,15 ≈ 100 GB, vor Aktivierungen und KV-Cache; mit der FP8-Fassung (rund 78 GB, Kap. 17, Anm. 1) 141 − 78 − 0,15 ≈ 63 GB. Volles Fine-Tuning 78,1 Mrd. × 16 Byte ≈ 1,25 TB (wie Kap. 20, Anm. 11; Faustregel für Adam, Kolibri nutzt im Fine-Tuning Muon und AdamW); 1.250 ÷ 141 ≈ 8,9, also neun H200. Ob gängige Werkzeuge QLoRA für Kolibris Architektur (MoE mit FP8-Gewichten) unterstützen, ist offen: Weder Modellkarte noch Transformers-Dokumentation (Kolibri1, ab Version 5.20) erwähnen LoRA oder 4-Bit-Training; eine Fassung für bitsandbytes fand sich auf Hugging Face nicht (Stand 2.11.2026).
2 Hu u. a. 2022, arXiv-Fassung v2 vom 16.10.2021 (ICLR 2022), Autorinnen und Autoren von Microsoft, Erstautor Edward J. Hu. Abschn. 1 („deploying independent instances of fine-tuned models, each with 175B parameters, is prohibitively expensive“; „We can freeze the shared model and efficiently switch tasks by replacing the matrices A and B“); Abschn. 2 (Aufgaben wie „summarization, machine reading comprehension (MRC), and natural language to SQL (NL2SQL)“). Abschn. 4.1 („During training, W0 is frozen and does not receive gradient updates, while A and B contain trainable parameters“) („W0 + ∆W = W0 + BA, where B ∈ Rd×r, A ∈ Rr×k, and the rank r ≪ min(d, k)“; W0 eingefroren, A und B trainierbar; „We use a random Gaussian initialization for A and zero for B, so ∆W = BA is zero at the beginning of training“; Skalierung mit α/r; „No Additional Inference Latency“: W = W0 + BA lässt sich vorab berechnen); Abschn. 4.2, Absatz „Practical Benefits and Limitations“ („On GPT-3 175B, we reduce the VRAM consumption during training from 1.2TB to 350GB. With r = 4 and only the query and value projection matrices being adapted, the checkpoint size is reduced by roughly 10,000× (from 350GB to 35MB)“; Fußnote 4: „storing 100 adapted models only requires 350GB + 35MB * 100 ≈ 354GB as opposed to 100 * 350GB ≈ 35TB“); Abschn. 7.2 und Tab. 6 („a rank as small as one suffices“ für Wq und Wv bei WikiSQL und MultiNLI). Zum Faktor 10.000 bei den trainierbaren Parametern und zum Drittel des Speichers vgl. Kap. 16, Anm. 5 (1,2 TB ÷ 350 GB ≈ 3,4). Die Bezeichnung „Rang“ meint im Paper die innere Breite r der beiden Matrizen; das Einmaleins-Bild ist eigene Veranschaulichung (Tabelle 10 × 10 als Produkt einer Spalte und einer Zeile, Rang 1; A entspricht dem oberen, B dem linken Rand). Eigene Rechnungen: Beispiel B · A mit B = (2; 1; −1) und A = (2; 1; 0) ergibt die Zeilen (4; 2; 0), (2; 1; 0), (−2; −1; 0); 1.000 × 8 + 8 × 1.000 = 16.000; 16.000 ÷ 1.000.000 = 1,6 %. GPT-3 (dmodel = 12.288, 96 Schichten): 96 × 2 Matrizen × 4 × (12.288 + 12.288) ≈ 18,9 Mio. Parameter, in 16 Bit rund 36 MiB, passend zu den 35 MB des Papers.
3 Aghajanyan u. a. 2021, arXiv-Fassung v1 vom 22.12.2020 (ACL 2021), drei Autoren von Facebook. Abstract („by optimizing only 200 trainable parameters randomly projected back into the full space, we can tune a RoBERTa model to achieve 90% of the full parameter performance levels on MRPC“; die 200 Zahlen verstellen über eine feste Zufallsabbildung alle Gewichte zugleich). MRPC (Microsoft Research Paraphrase Corpus): Satzpaare, bei denen zu entscheiden ist, ob sie dasselbe bedeuten. Dass LoRA darauf aufbaut: Hu u. a. 2022, Abschn. 1 („We take inspiration from Li et al. (2018a); Aghajanyan et al. (2020) which show that the learned over-parametrized models in fact reside on a low intrinsic dimension. We hypothesize that the change in weights during model adaptation also has a low ‚intrinsic rank‘“) und Abschn. 4.1.
4 Schulman und Thinking Machines Lab 2025, Blogbeitrag vom 29.9.2025, „John Schulman in collaboration with others at Thinking Machines“ (nicht begutachtet). Herstellerangabe: Thinking Machines bietet mit Tinker selbst Fine-Tuning mit LoRA an und begründet das mit diesem Beitrag (Thinking Machines Lab o. J., FAQ „What is LoRA and why does Tinker use it?“). Abschnitt „Reinforcement learning“: „LoRA fully matches the learning performance of FullFT when running policy gradient algorithms for reinforcement learning, even with ranks as low as 1“; Versuche mit GSM und MATH am Basismodell Llama-3.1-8B, Belohnung „answer correctness“, Vorteil als Abstand zum Gruppenmittel nach Shao u. a. 2024. Einschränkungen im selben Beitrag: Beim Fine-Tuning mit Musterantworten gilt die Gleichwertigkeit nur für „small-to-medium-sized instruction-tuning and reasoning datasets“; LoRA wirkt besser, wenn es „all weight matrices, especially MLP and MoE layers“ erfasst, als nur an der Attention.
5 Dettmers u. a. 2023, arXiv-Fassung v1 vom 23.5.2023 (NeurIPS 2023), vier Autoren der University of Washington. Abstract („reduces memory usage enough to finetune a 65B parameter model on a single 48GB GPU while preserving full 16-bit finetuning task performance“; NF4 „information theoretically optimal for normally distributed weights“; doppelte Quantisierung; Paged Optimizers); Abschn. 3 (vortrainierte Gewichte haben „usually … a zero-centered normal distribution“; „one low-precision storage data type, in our case usually 4-bit, and one computation data type that is usually BFloat16“; Gl. 5: Eingaben und LoRA-Matrizen L1, L2 in BF16; Blockgröße 64; Maßstäbe kosten 32/64 = 0,5 Bit je Parameter, mit doppelter Quantisierung „8/64 + 32/(64 · 256) = 0.127 bits“). Die im Abstract genannten 99,3 % des ChatGPT-Niveaus beruhen auf Urteilen von GPT-4 und sind bewusst nicht übernommen. Eigene Rechnung: 78,1 Mrd. × 0,5 Byte ≈ 39,1 GB; mit 4,127 Bit je Gewicht ≈ 40,3 GB. Zu 4-Bit-Fassungen von Kolibri vgl. Kap. 5, Anm. 22.
6 Schulman u. a. 2017, arXiv-Fassung v2 vom 28.8.2017 (v1 vom 20.7.2017), fünf Autoren von OpenAI. Abstract („enables multiple epochs of minibatch updates“; „simulated robotic locomotion and Atari game playing“); Abschn. 3 (Verhältnis rt(θ) = πθ ÷ πθold; LCLIP = Êt[min(rtÂt, clip(rt, 1 − ε, 1 + ε)Ât)], „epsilon is a hyperparameter, say, ε = 0.2“; das Abschneiden „removes the incentive for moving rt outside of the interval [1 − ε, 1 + ε]“; „we only ignore the change in probability ratio when it would make the objective improve, and we include it when it makes the objective worse“: gedeckelt wird also nur die Verbesserung, bei positivem Vorteil oberhalb von 1 + ε, bei negativem unterhalb von 1 − ε); Abschn. 5 (Vorteil meist mit einem gelernten „state-value function V(s)“ geschätzt). Das Prämien-Bild ist eigene Veranschaulichung. Eigene Rechnungen zum Beispiel (ausgedachte Werte): Vorteil 0,8 − 0,5 = 0,3; Verhältnis 0,30 ÷ 0,20 = 1,5; gedeckelt 1,2; Lernziel min(1,5 · 0,3; 1,2 · 0,3) = 0,36; Grenze 0,20 × 1,2 = 24 %, bei negativem Vorteil 0,20 × 0,8 = 16 %; ein Fünftel des alten Werts = ε = 0,2.
7 Ouyang u. a. 2022, arXiv v1 vom 4.3.2022: Abschn. 3.5 („we fine-tuned the SFT model on our environment using PPO“; „per-token KL penalty from the SFT model“; „The value function is initialized from the RM“); Anh. C.4 („The PPO clip ratio is set to 0.2“; „for all PPO models we use a 6B RM and a 6B value function, and the latter is initialized from the former“).
8 Jurafsky und Martin 2026, Kap. 8 „Post-training“ (Entwurf vom 19.8.2026), Abschn. 8.4.2 „Direct Preference Optimization“: „DPO only incurs the cost of maintaining 2 LLMs during training, as opposed to the 4 models needed for PPO“; dazu „DPO does not require training an explicit reward model“ und lernt „without the need for computationally expensive online sampling“; β „typically range[s] from 0.01 to 0.1“. Abschn. 8.2 zu LoRA (dort in Zeilenschreibweise W + AB).
9 Shao u. a. 2024, arXiv v3 vom 27.4.2024 (v1 vom 5.2.2024), Autoren von DeepSeek-AI, Tsinghua University und Peking University (Herstellerangabe zu eigenen Modellen). Abstract und Abschn. 1 (GRPO „a variant of Proximal Policy Optimization (PPO)“, „foregoes the critic model, instead estimating the baseline from group scores“); Abschn. 4.1.1 („the value function employed in PPO is typically another model of comparable size as the policy model, it brings a substantial memory and computational burden“; nur das letzte Token bekommt eine Belohnung, „which may complicate the training of a value function that is accurate at each token“; GRPO „uses the average reward of multiple sampled outputs, produced in response to the same question, as the baseline“); Abschn. 4.1.2 (Belohnungen „normalized by subtracting the group average and dividing by the group standard deviation“, Â = (ri − mean(r)) ÷ std(r)); Gl. 3 (clip mit ε wie bei PPO); Abschn. 4.2 („For each question, we sample 64 outputs“; Belohnungsmodell auf Basis von DeepSeekMath-Base 7B). Ob die Standardabweichung durch n oder n − 1 teilt, legt das Paper nicht fest; das Beispiel teilt durch n. Dass das Teilen Fragen vergleichbar macht, folgt aus der Formel (eigene Erläuterung): Die Vorteile jeder Gruppe haben danach dieselbe Streuung. Vgl. Abbildung 18.1, Station 4. Eigene Rechnungen: (3 + 2 + 1 + 2) ÷ 4 = 2; Abstände +1, 0, −1, 0; quadriert 1, 0, 1, 0; Standardabweichung √((1 + 0 + 1 + 0) ÷ 4) = √0,5 ≈ 0,707; Vorteile ±1,414 (mit n − 1: ±1,22). Das Lauf-Bild ist eigene Veranschaulichung.
10 Guo u. a. 2025, arXiv-Fassung v2 vom 4.1.2026: Abschn. 2.1 und 2.2 (GRPO für DeepSeek-R1-Zero; „For each question, we sample 16 outputs“; 32 Fragen je Schritt, Batch 512; regelbasierte Belohnungen, vgl. Kap. 18, Anm. 6); Anh. A.3 und Abb. 4 (Vergleich an DeepSeek-Coder-V2-Lite: mit λ = 0,95 „PPO performs considerably worse than GRPO“, mit λ = 1,0 „nearing that of GRPO“; GRPO wegen „memory and computational overhead associated with training an additional value model“ praktischer). Herstellerangabe.
11 Aleph Alpha 2026b, abgerufen am 24.10.2026 (Herstellerangaben). Abschn. 3.2, S. 71 (eine RL-Phase in 38 Umgebungen mit prüfbaren Belohnungen; „group-relative advantages (Shao et al. 2024; Z. Liu et al. 2025)“); Abschn. 3.2.1.1, S. 72, Gl. 15 (Vorteil A = R − R̄, „Similar to Dr. GRPO (Z. Liu et al. 2025), we skip the advantage normalisation originally used by GRPO“; „we generally drop groups in which all sequences obtain the same environment reward“, Ausnahme für Formatabzüge; „we replace standard PPO-style clipping (Schulman et al. 2017) with a B-TV mask“, Gl. 16: Maske 1[pθ,t − pµ,t ≤ ε+] bei positivem, 1[pθ,t − pµ,t ≥ −ε−] bei negativem Vorteil); Anh. I.5, Tab. 59, S. 183 („Group size |G|“ 8, „Groups per batch B“ 256, „B-TV thresholds ε+, ε−“ 0,2 und 0,2, also Unterschiede der Wahrscheinlichkeit, nicht Verhältnisse). Modellkarte (Aleph Alpha 2026a, Abschnitte „Supervised Fine-Tuning (SFT)“ und „Reinforcement Learning (RL)“): im Fine-Tuning „Muon for the two-dimensional backbone parameters and AdamW for everything else“, also alle Gewichte (vgl. Anm. 1); im RL 1.000 Schritte, „total batch size of 2048“ (= 256 × 8). DPO, LoRA und ein aus Vergleichen trainiertes Belohnungsmodell kommen in Bericht und Karte nicht vor (Volltextsuche nach „DPO“, „LoRA“, „low-rank“, „preference“, „reward model“ am 24.10.2026; „DPO“ und „lora“ nur als Teil von „endpoint“ und „exploration“). Wo kein Prüfprogramm entscheidet, vergibt ein eingefrorenes Sprachmodell die Punkte („frozen judge model“): Abschn. 3.2.2.1, S. 77 (Beweise, Kundendienst, Sicherheitsablehnungen, Antworten ohne exakten Treffer), Abschn. 3.2.2.3, S. 80 (politische Ausgewogenheit, nur chinesische Politik; Urheberrecht; Sicherheit), Abschn. 3.2.3.2, S. 83 (Qwen3.5-122B-A10B in FP8). Kein KL-Term zu einem Referenzmodell: Abschn. 3.2.1.4, S. 75. Vgl. Kap. 16, Anm. 3, und Kap. 18, Anm. 8. Eigene Rechnung zum PPO-Beispiel: 30 − 20 = 10 Prozentpunkte, also innerhalb von Kolibris Grenze; PPO deckelt bei 0,20 × 1,2 = 24 %.
12 Rafailov u. a. 2023, arXiv-Fassung v3, sechs Autorinnen und Autoren der Stanford University (eine Affiliation zusätzlich CZ Biohub). Abschn. 1 (DPO „implicitly optimizes the same objective as existing RLHF algorithms (reward maximization with a KL-divergence constraint)“); Abstract (DPO löst das RLHF-Problem „with only a simple classification loss“; „matches or improves response quality in summarization and single-turn dialogue“); Abschn. 4, Gl. 7 (LDPO = −E[log σ(β log πθ(yw|x)/πref(yw|x) − β log πθ(yl|x)/πref(yl|x))], hier ohne Erwartungswert und mit p statt π geschrieben); Abschn. 4 („What does the DPO update do?“: der Gradient erhöht die Wahrscheinlichkeit von yw und senkt die von yl); Abschn. 6.2 („DPO has a win rate of approximately 61% at a temperature of 0.0, exceeding the performance of PPO at 57% at its optimal sampling temperature“; TL;DR-Datensatz aus Reddit; GPT-4 als Bewerter); Anh. B („Unless noted otherwise, we use a β = 0.1“; für TL;DR β = 0,5). Zur Bedeutung von β als Gewicht der Abweichungsstrafe: Abschn. 3 und Jurafsky und Martin 2026, Kap. 8, Abschn. 8.4.2. Die Deutung „vier von fünf Vergleichen“ ist eigene Veranschaulichung: σ(ln k) = k ÷ (k + 1). Eigene Rechnungen mit β = 1: Start ln 1 − ln 1 = 0, σ(0) = 0,5, −ln 0,5 ≈ 0,693; danach ln 2 − ln 0,5 = ln 4 ≈ 1,386, σ(ln 4) = 4/5 = 0,8, −ln 0,8 ≈ 0,223.
13 Llama Team 2024, Abschn. 1: „we adopt a relatively simple post-training procedure based on supervised finetuning (SFT), rejection sampling (RS), and direct preference optimization (DPO; Rafailov et al. (2023)) as opposed to more complex reinforcement learning algorithms (Ouyang et al., 2022; Schulman et al., 2017) that tend to be less stable and harder to scale“; Abschn. 4.1: „The backbone of our post-training strategy is a reward model and a language model“ (das Belohnungsmodell wählt beim Rejection Sampling die besten von mehreren Antworten für das Fine-Tuning aus). Herstellerangabe.
14 Team Olmo 2025, arXiv:2512.13961, v1 vom 15.12.2025 (v2 vom 14.4.2026, zitierte Stellen unverändert), Team Olmo, Allen Institute for AI (Angaben über eigene Modelle). Abschn. 2.2 „Post-training“ (Olmo 3 Think: „We train it via SFT, DPO, and RLVR“); Abschn. 4.3 „Preference Tuning with Delta Learning“ (weiteres Fine-Tuning auf Denkspuren von Qwen3 32B „outright hurts the performance“; DPO mit Paaren aus diesen und schlechteren Antworten liefert dagegen „a useful contrastive signal“) und Abschn. 4.3.1 („a chosen completion yc from one model (Qwen 3 32B, thinking) and a rejected completion yr from an overall weaker model (Qwen 3 0.6B, thinking)“); Abschn. 4.4.1 (OlmoRL „builds on Group Relative Policy Optimization (GRPO)“, mit Verbesserungen aus DAPO und Dr GRPO). Zum Vorgänger Tülu 3 mit SFT, DPO und RLVR: Lambert u. a. 2024, Abstract.
15 Lipman u. a. 2022, arXiv-Fassung v2 vom 8.2.2023 (v1 vom 6.10.2022; ICLR 2023), Autorinnen und Autoren von Meta AI (FAIR) und vom Weizmann Institute of Science. Abstract (Flow Matching „based on regressing vector fields of fixed conditional probability paths“; die Gaußschen Wege („which subsumes existing diffusion paths as specific instances“); Wege nach dem Optimal Transport „provide faster training and sampling“); Abschn. 1 (OT-Wege „are simpler than diffusion paths, forming straight line trajectories whereas diffusion paths result in curved paths“); Abschn. 4.1 und Abb. 3 (OT-Wege ergeben „straight line trajectories and with constant speed“; Diffusionswege können „‚overshoot‘ the final sample, resulting in unnecessary backtracking“); Abschn. 6 und Abb. 7 (mit festen Schrittweiten „requiring roughly only 60% of the NFEs to reach the same error threshold as diffusion models“; gemessen ist der numerische Fehler gegenüber einer Lösung mit 1.000 Schritten, nicht die Bildqualität). DDPM mit 1.000 Schritten: Kap. 18, Anm. 25. Das Bach-Bild ist eigene Veranschaulichung, ebenso die Erklärung der Krümmung über den Durchschnitt der Richtungen. Eigene Rechnung (ausgedachte Werte): Weg (1 − t) · (−1) + t · 3 ergibt bei t = 0,25; 0,5; 1 die Werte 0; 1; 3; Tempo 3 − (−1) = 4.
16 Esser u. a. 2024, arXiv v1 vom 5.3.2024 (ICML 2024, PMLR 235), 17 Autorinnen und Autoren von Stability AI (Herstellerangabe zum eigenen Verfahren). Abstract („Rectified flow is a recent generative model formulation that connects data and noise in a straight line“; „we demonstrate the superior performance of this approach compared to established diffusion formulations for high-resolution text-to-image synthesis“); Abschn. 1 („a straight path could be simulated with a single step“; Rectified Flow mit Verweis auf Liu u. a. 2022, Albergo und Vanden-Eijnden 2022 sowie Lipman u. a. 2023); Abschn. 2 (Training mit dem Ziel des „Conditional Flow Matching“) und Abschn. 3 (Rectified Flows „define the forward process as straight paths between the data distribution and a standard normal distribution“); dazu Abschn. 5.1.2 und Abb. 3 („Rectified flow formulations generally perform well and, compared to other formulations, their performance degrades less when reducing the number of sampling steps“). Das Paper nennt sein größtes Modell „our 8B rectified flow model“; dass es die Technik von Stable Diffusion 3 beschreibt, sagt Stability AI im Beitrag „Stable Diffusion 3: Research Paper“ (Stability AI 2024, 5.3.2024: „Stable Diffusion 3 employs a Rectified Flow (RF) formulation“). Herstellerangabe.
17 Black Forest Labs 2025 („FLUX.2 builds on a latent flow matching architecture“; Herstellerangabe; wie Kap. 18, Anm. 29). Rombach als Mitgründer von Black Forest Labs (2024, Freiburg): Germany Trade & Invest 2026 („Rombach and Blattmann founded BFL with several co-founders“), vgl. Kap. 18, Anm. 28.
Kapitel 22: Genau messen, ins Innere schauen
1 Arena 2026a, Konfiguration text_style_control, Split full, Kategorie overall, abgefragt über die Datasets-Server-API am 25.10.2026. Veröffentlichung vom 15.10.2026: Gemini 4 Argon (High) rating 1523,90, rating_lower 1515,09, rating_upper 1532,72, vote_count 4.904, rank 1; Muse Wonder (Max), organization „meta“, 1508,88 (1498,31–1519,45), 3.247 Stimmen, rank 2; Claude Opus 5.5 (High) 1508,17 (1500,84–1515,50), 8.300 Stimmen, rank 3. Veröffentlichung vom 22.10.2026 (Split latest): Argon 1517,17 (1510,56–1523,79), 10.083 Stimmen; Opus 5.5 1508,73 (1501,94–1515,52), 10.322 Stimmen; Muse Wonder 1508,71 (1500,59–1516,83), 6.001 Stimmen. Die Bereiche sind 95-Prozent-Intervalle: rating_upper − rating = 1,96 · √variance (eigene Nachrechnung, z. B. Argon am 15.10.: √20,243 = 4,499; × 1,96 = 8,82). Eigene Rechnungen: Überlappung 1515,50 − 1515,09 = 0,41 Punkte; halbe Breite Argon 8,8 → 6,6. Veröffentlichung vom 28.10.2026 (Split latest, abgerufen am 2.11.2026): Gemini 4 Carbon (High) 1527,51 (1518,10–1536,92), 4.403 Stimmen, rank 1; Argon 1520,25 (1513,98–1526,53), 11.889 Stimmen, rank 2; Opus 5.5 1508,70 (1502,09–1515,30), 11.415 Stimmen; Muse Wonder 1507,10 (1499,76–1514,44), 7.749 Stimmen.
2 Neyman 1934, S. 562 („determining certain intervals, which I propose to call the confidence intervals“); Anlass: Abschn. I über die Stichprobe aus den Bögen der italienischen Volkszählung von 1921 („it was decided to keep for a longer time a fairly large sample of the census data“). Vorgetragen vor der Royal Statistical Society im Juni 1934. Die Deutung „bei vielen Wiederholungen in etwa 95 von 100 Fällen“: NIST/SEMATECH e-Handbook, 7.1.4.
3 Miller 2024, Abschn. 2 (Standardfehler über den zentralen Grenzwertsatz) und Abschn. 1, Empfehlung 4 („When two models are being compared, conducting statistical inference on the question-level paired differences, rather than the population-level summary statistics“); Abstract („Evaluations are critical …“; „Fundamentally, evaluations are experiments“). Evan Miller arbeitet bei Anthropic (Anthropic 2024e, Herstellerangabe). Faustformel: 95-Prozent-Intervall der Normalnäherung p ± 1,96 · √(p(1 − p)/n), im Text gerundet auf 2; gilt nicht für sehr kleine n oder Quoten nahe 0 oder 100 Prozent (dann besser Clopper und Pearson 1934). Eigene Rechnungen: 2 · √(0,8 · 0,2 / 100) = 0,08; mit n = 400: 0,04; Bibliothek (ausgedachte Werte) 2 · √(0,78 · 0,22 / 100) ≈ 0,083 und 2 · √(0,82 · 0,18 / 100) ≈ 0,077; bei n = 1.600: 0,021 und 0,019, Bereiche 75,9–80,1 und 80,1–83,9. Direkter Test des Abstands (eigene Rechnung, zwei unabhängige Stichproben gleicher Größe n): Spielraum des Abstands 2 · √((0,78 · 0,22 + 0,82 · 0,18) / n) = 2 · √(0,3192 / n); er erreicht 0,04 bei n = 0,3192 · (2 / 0,04)2 ≈ 800 Fragen je Fassung, also etwa der Hälfte von 1.600 (mit 1,96 statt 2: rund 770). Bei gepaarten Antworten auf dieselben Fragen genügen meist noch weniger (Miller, Abschn. 1, Empfehlung 4). Musterantwort am Kapitelende (eigene Rechnung): n = 400, 2 · √((0,7 · 0,3 + 0,64 · 0,36) / 400) = 2 · √(0,4404 / 400) ≈ 0,066, also rund ±7 Punkte bei 6 Punkten Abstand; Überlappung der Bereiche 65–75 und 59–69: 4 Punkte. Eigene Rechnung zum ausgedachten Beispiel des gepaarten Vergleichs (Vorzeichentest): Bei 12 abweichenden Fragen und gleicher Güte ist P(mindestens 8 von 12 für eine Seite) = 2 · (495 + 220 + 66 + 12 + 1) ÷ 4.096 ≈ 0,39.
4 Arena o. J. a („Ties are reflected in the rank spread, which is an interval whose lower and upper endpoints correspond to the best and worst rank a model could have, based on all models’ confidence intervals“; „the best rank a model M can have is 1 + #{models whose lower CI endpoint is greater than model M’s upper CI endpoint}“; „two models are tied if their rank spreads overlap“). Eigene Anwendung auf den 15.10.2026: Kein Modell hat eine Untergrenze über 1515,50 (Obergrenze von Opus 5.5) oder über 1519,45 (Obergrenze von Muse Wonder), also bester möglicher Rang beider Modelle = 1.
5 Arena o. J. d („we normally report these coefficients after multiplying them by 400 and adding 1000, so that the coefficients are in the same range as the Elo ratings in chess“); Verfahren nach Bradley und Terry: Chiang u. a. 2024, Abschn. 4. Die Basis 10 belegt der Quellcode der Arena, Arena-Quellcode, Funktion compute_bt (base=10.0, scale=400.0; übergibt math.log(base) an fit_bt); der Blog nennt nur ×400 + 1000. Eigene Rechnung nach der Elo-Formel zur Basis 10: 1 ÷ (1 + 10^(−16/400)) ≈ 0,523.
6 Kwa u. a. 2025, Abstract („Despite rapid progress on AI benchmarks, the real-world meaning of benchmark performance remains unclear. To quantify the capabilities of AI systems in terms of human capabilities, we propose a new metric: 50%-task-completion time horizon“; „Claude 3.7 Sonnet have a 50% time horizon of around 50 minutes“; „doubling approximately every seven months since 2019“). arXiv v1 vom 18.3.2025, zitiert nach v4.
7 METR 2026, Übersichtsseite (Aufgaben „primarily consist of software engineering, machine learning, and cybersecurity tasks“; Fachleute lösen die Aufgaben, Zeit als geometrisches Mittel; „the 50%-time horizon is the duration at which an agent is predicted to succeed half the time“; Hinweis vom 8.5.2026: „Measurements above 16 hrs are unreliable with our current task suite“; Hinweis vom 8.9.2026: „This page is no longer actively updated“) und Datei benchmark_results_1_1.yaml (abgerufen am 25.10.2026): claude_mythos_preview_early_inspect, release_date 2026-04-07 (Erscheinungsdatum des Modells; die Messung veröffentlichte METR laut Übersichtsseite am 8.5.2026: „Added Claude Mythos Preview (early)“), p50_horizon_length 1.044,8 min (ci_low 508,9, ci_high 3.304,3), also 17,4 h (8,5–55,1 h); doubling_time_in_days from_2023_on 128,7 (104,4–158,0), „excludes points with central estimate p50 > 16 hrs“. Werte für A62 aus derselben Datei (Minuten, durch 60 geteilt); Claude 3.7 Sonnet dort mit 60 min (Time Horizon 1.1), in der Studie 2025 mit rund 50 min.
8 Apollo Research 2025, 17.9.2025, in Zusammenarbeit mit OpenAI („The rate of samples with explicit verbalized evaluation awareness increased from 2.0% to 20.6%“ in einem Lauf mit Fähigkeitstraining ohne Sicherheitstraining; Gegenproben mit o3: „reasoning about being evaluated causally decreases covert actions“).
9 Anthropic 2025b, Abschn. 7.2 („Refusals or callouts along these lines appeared in about 13% of transcripts generated by the automated auditor“) und Abschn. 7.6.1, S. 89, Zusammenfassung der Versuche aus Abschn. 7.6.4 („inhibiting internal vector representations related to evaluation awareness … can increase rates of misaligned behavior, especially misuse cooperation and susceptibility to leading scenarios“; auch dann nicht schlechter als Claude Opus 4.1 oder Claude Sonnet 4, „no greater degree of measured misalignment“; kein Hinweis auf gezielte Täuschung). Herstellerangabe über ein eigenes Modell, im Text als solche benannt.
10 Greenblatt u. a. 2024, Abstract („the model complies with harmful queries from free users 14% of the time, versus almost never for paid users“; „in almost all cases where the model complies with a harmful query from a free user, we observe explicit alignment-faking reasoning“; „we did not instruct the model to fake alignment“). Anthropic und Redwood Research, Versuch an einem Anthropic-Modell.
11 Sheshadri u. a. 2025, Abstract („We expand this analysis to 25 models and find that only 5 (Claude 3 Opus, Claude 3.5 Sonnet, Llama 3 405B, Grok 3, Gemini 2.0 Flash) comply with harmful queries more when they infer they are in training“). arXiv v1 vom 22.6.2025.
12 Bertrand und Mullainathan 2004, NBER-Fassung (Working Paper 9873, Juli 2003), Einleitung („we respond to over 1300 employment ads“; „send nearly 5000 resumes“; „Applicants with White names need to send about 10 resumes to get one callback whereas applicants with African American names need to send around 15 resumes“) und Abstract („White names receive 50 percent more callbacks for interviews“). Die Namensbeispiele stehen im Titel beider Fassungen. Tab. 1 der NBER-Fassung: 10,08 gegen 6,70 Prozent; die Zeitschriftenfassung (AER 94 (4), 2004, S. 991–1013) nennt in Tab. 1 leicht andere Quoten (9,65 gegen 6,45 Prozent).
13 Kaas und Manger 2012, Abstract der IZA-Fassung (Discussion Paper 4741, 2010): „To each of 528 advertisements for student internships we send two similar applications, one with a Turkish-sounding and one with a German-sounding name“; „A German name raises the average probability of a callback by about 14 percent“; der Unterschied verschwindet bei Bewerbungen mit Empfehlungsschreiben. Begutachtet erschienen in German Economic Review 13 (1), 2012.
14 Yin u. a. 2024, 7.3.2024 (Leon Yin, Davey Alba, Leonardo Nicoletti): „When asked to rank those resumes 1,000 times, GPT 3.5 … favored names from some demographics more often than others“; „Those with names distinct to Black women were top-ranked for a software engineering role only 11% of the time by GPT — 36% less frequently than the best-performing group“; Namen „associated with Americans of a particular race or ethnicity at least 90% of the time“; acht nahezu gleiche Lebensläufe je Rangfolge (Repository zur Untersuchung); „GPT seldom ranked names associated with men as the top candidate for HR and retail positions“. Presse, eigene Messung von Bloomberg.
15 Equal Employment Opportunity Commission u. a. 1978, 29 CFR 1607.4 (D): eine Auswahlquote „less than four-fifths (4/5) (or eighty percent) of the rate for the group with the highest rate will generally be regarded … as evidence of adverse impact“; Fassung 43 FR 38295, 38312 vom 25.8.1978, geändert durch 46 FR 63268 vom 31.12.1981. Bloomberg wendet die Regel an („would fail benchmarks used to assess job discrimination against protected groups“, Yin u. a. 2024). Eigene Rechnung: 1 − 0,36 = 0,64 < 0,8; beste Quote ≈ 11 ÷ 0,64 ≈ 17 Prozent.
16 An u. a. 2025, Abstract (GPT-3.5 Turbo, GPT-4o, Gemini 1.5 Flash, Claude 3.5 Sonnet, Llama 3-70b; „∼361,000 resumes with randomized social identities“; „the LLMs award higher assessment scores for female candidates with similar work experience, education, and skills, but lower scores for black male candidates“; „∼1–3 percentage-point differences in hiring probabilities“). PNAS Nexus 4 (3), online erschienen am 12.3.2025 (Ausgabe vom 27.2.2025).
17 Dastin 2018, 10.10.2018 (Jeffrey Dastin): „trained to vet applicants by observing patterns in resumes submitted to the company over a 10-year period. Most came from men“; „It penalized resumes that included the word ‚women’s,‘ as in ‚women’s chess club captain.‘“; Arbeiten seit 2014 laut fünf Insidern; 2015 bemerkte das Unternehmen, dass das System nicht geschlechtsneutral bewertete; Nachbesserungen boten keine Gewähr gegen andere Formen der Benachteiligung; das Team wurde Anfang 2017 aufgelöst. Direkt gesperrt, geprüft über wörtliche Nachdrucke. Presse.
18 Nicoletti und Bass 2023, 8.6.2023 (Leonardo Nicoletti, Dina Bass): Stable Diffusion v1.5, 5.100 Bilder, 300 je Stichwort, davon 4.200 zu 14 Berufen und 900 zu drei Stichwörtern wie „inmate“, „drug dealer“ und „terrorist“, erzeugt Dezember 2022 bis Februar 2023; „Women made up a tiny fraction of the images generated for the keyword ‚judge‘ — about 3% — when in reality 34% of US judges are women“. Presse, eigene Messung von Bloomberg.
19 Friedrich u. a. 2025, Abstract („multilingual models suffer from substantial gender bias“; „the expectation that results should be similar across languages does not hold“; zu Strategien der Prompt-Gestaltung wie neutralen Formulierungen: „we find them largely ineffective and sometimes even detrimental to text-to-image alignment“) und Anhang C zum Genderstern („It helped reduce bias with a small loss in image alignment“). TU Darmstadt, hessian.AI, TU München, Munich Center for Machine Learning, DFKI, Karls-Universität Prag u. a.; arXiv v1 vom 29.1.2024; begutachtet erschienen als „Multilingual Text-to-Image Generation Magnifies Gender Stereotypes“, Proceedings of ACL 2025 (Long Papers), S. 19656–19679.
20 Kleinberg u. a. 2017, Abstract („we prove that except in highly constrained special cases, there is no method that can satisfy these three conditions simultaneously“) und Abschn. 1 zur Debatte um das Risikowerkzeug COMPAS nach dem Bericht von ProPublica (Angwin u. a., 23.5.2016): ungleiche Fehlerarten gegenüber gleich gut kalibrierten Risikowerten. ITCS 2017; arXiv vom 19.9.2016.
21 KI-Verordnung, Anhang III Nr. 4 Buchst. a (wie Kap. 11, Anm. 3); Art. 10 Abs. 2 Buchst. f („eine Untersuchung im Hinblick auf mögliche Verzerrungen (Bias), die … zu einer nach den Rechtsvorschriften der Union verbotenen Diskriminierung führen könnten“) und Buchst. g („geeignete Maßnahmen zur Erkennung, Verhinderung und Abschwächung“); Verarbeitung besonderer Kategorien personenbezogener Daten zur Erkennung und Korrektur von Verzerrungen („ausnahmsweise“, „unbedingt erforderlich“): Art. 4a Abs. 1, eingefügt durch Art. 1 Nr. 6 VO (EU) 2026/1744 (ABl. L vom 24.7.2026), in Kraft seit 27.7.2026 (Art. 4); Art. 10 Abs. 5 gestrichen (Art. 1 Nr. 9 Buchst. b); Art. 10 Abs. 2 und Anhang III unverändert. Wortlaut am Amtsblatttext geprüft am 25.10.2026. Fristen für Anhang III: wie Kap. 11 (2.12.2027).
22 Bricken u. a. 2023, Einleitung („a single neuron responds to a mixture of academic citations, English dialogue, HTTP requests, and Korean text“; Ursache vermutlich „superposition“, mehr Merkmale als Neuronen); Methode: Sparse Autoencoder auf den Aktivierungen der MLP-Schicht eines einschichtigen Transformers mit 512 Neuronen, bis zu 131.072 Merkmale. „Webanfragen“ steht für „HTTP requests“. Herstellerangabe über ein eigenes Forschungsmodell. Das Akkord-Bild ist eigene Veranschaulichung.
23 Olshausen und Field 1996, Abstract (ein Lernverfahren, das einen spärlichen Code für natürliche Bilder sucht, erzeugt Filter wie die rezeptiven Felder einfacher Zellen im primären Sehzentrum). Den Bezug zum Sparse Autoencoder stellt Templeton u. a. 2024 her, Abschnitt „Dictionary learning“ („This classic line of machine learning research began with a paper by Olshausen and Field“).
24 Templeton u. a. 2024, Abschnitt zum Training („three SAEs of varying sizes: 1,048,576 (~1M), 4,194,304 (~4M), and 33,554,432 (~34M) features“; Residualstrom „halfway through the model“; „the average number of features active … was fewer than 300, and the SAE reconstruction explained at least 65% of the variance“; tote Merkmale „roughly 2% for the 1M SAE, 35% for the 4M SAE, and 65% for the 34M SAE“) und zu Eingriffen („clamping the Golden Gate Bridge feature 34M/31164353 to 10× its maximum activation value induces thematically-related model behavior“); zu den Grenzen Abschnitt „Limitations, Challenges, and Open Problems“ („We think it’s quite likely that we’re orders of magnitude short“); gleichbedeutend im Blog Anthropic 2024b: gefundene Merkmale seien „a small subset of all the concepts learned by the model“. Veröffentlicht am 21.5.2024, 26 Autorinnen und Autoren. Nicht begutachtet.
25 Anthropic 2024c, 23.5.2024 („online for a 24-hour period“); Antwort zitiert nach Anthropic 2024b, 21.5.2024. Herstellerangabe.
26 Gao u. a. 2024, Abstract („we train a 16 million latent autoencoder on GPT-4 activations for 40 billion tokens“). OpenAI, arXiv vom 6.6.2024. Herstellerangabe über ein eigenes Modell.
27 Lieberum u. a. 2024, Abschn. 1 („more than 400 sparse autoencoders in the main release, with more than 30 million learned features in total“) und Abstract (offene SAEs für alle Schichten von Gemma 2 2B und 9B und ausgewählte Schichten von 27B; Anlass: „research applications outside of industry are limited by the high cost of training a comprehensive suite of SAEs“). Google DeepMind, arXiv v1 vom 9.8.2024. Herstellerangabe über eigene Modelle.
28 Li u. a. 2023a, Abstract und Abschn. 2 (synthetischer Datensatz mit 20 Mio. Partien; Fehlerquote „0.01% for Othello-GPT trained on the synthetic dataset“, untrainiert 93,29 %); Abschn. 3 (Brettzustand mit nichtlinearen Sonden lesbar) und Abschn. 4 (Eingriffe in die innere Darstellung ändern die vorhergesagten Züge passend zum veränderten Brett). Kenneth Li, Harvard University, mit Kolleginnen und Kollegen von Harvard, MIT und Northeastern; ICLR 2023. Dass sich der Zustand auch linear lesen lässt („eigene“ gegen „gegnerische“ Steine), zeigten Nanda, Lee und Wattenberg 2023 (BlackboxNLP).
29 Lindsey u. a. 2025, 27.3.2025, Claude 3.5 Haiku. Abschnitt „A note on our approach and its limitations“ („our attribution graphs provide us with satisfying insight for about a quarter of the prompts we’ve tried“; „even in our successful case studies, the discoveries we highlight here only capture a small fraction of the mechanisms of the model“; Untersuchung über ein „replacement model“); Abschnitt „Multi-step Reasoning“ (Dallas → Texas → Austin; Austausch gegen Kalifornien-Merkmale ergibt „Sacramento“); Abschnitt „Planning in Poems“ („We initially hypothesized that we’d observe improvisation“; Kandidaten „rabbit“ und „habit“ auf dem Zeilenumbruch; Unterdrücken von „rabbit“ führt zu „habit“; Einpflanzen von „green“ ändert die ganze Zeile). Herstellerangabe über ein eigenes Modell, nicht begutachtet.
30 Smith u. a. 2025, 26.3.2025, Mechanistic-Interpretability-Team von Google DeepMind („we are deprioritising fundamental SAE research for the moment and exploring other directions, though SAEs will remain a tool in our toolkit“; beim Erkennen schädlicher Absichten schnitten lineare Sonden besser ab).
31 Arditi u. a. 2024, Abstract („refusal is mediated by a one-dimensional subspace, across 13 popular open-source chat models up to 72B parameters“; „erasing this direction … prevents it from refusing harmful instructions, while adding this direction elicits refusal on even harmless instructions“), Methodenteil (Richtung als Differenz der mittleren Aktivierungen bei schädlichen und harmlosen Anweisungen, „difference-in-means“), Abschnitt zur Veränderung der Gewichte („weight orthogonalization“) und Tab. 3 (Llama-3 70B, MMLU 79,9 vor und 79,8 nach dem Eingriff; TruthfulQA sinkt bei allen 13 orthogonalisierten Modellen um 1,0 bis 5,9 Punkte (Tab. 8, Anh. G.1), bei Llama-3 70B von 61,8 auf 59,5). Im Prinzip: Entfernen zieht den Anteil entlang der auf Länge 1 normierten Richtung ab (Projektion), Hinzufügen addiert den vollen Differenzvektor; eigene Spielrechnung im Text: (1; 4) · (0; 1) = 4, (1; 4) − 4 · (0; 1) = (1; 0); (3; 1) + (0; 3) = (3; 4). NeurIPS 2024; arXiv v1 vom 17.6.2024, zitiert nach v3. Entstanden im MATS-Programm, Betreuer Neel Nanda. Der Begriff Abliteration ist seit 2024 in Gebrauch (Blogbeitrag auf Hugging Face vom Juni 2024; bewusst ohne Namen und Link). Bewusst ohne Schichten, Positionen oder Werkzeuge.
32 Hugging Face Hub 2026, wie Kap. 10, Anm. 24; zur Kolibri-Fassung Hugging-Face-Nutzer (Name bewusst nicht genannt) 2026, wie Kap. 5.
33 Tamirisa u. a. 2024, Abstract („adversaries cannot remove the safeguards even after hundreds of steps of fine-tuning“). arXiv v1 vom 1.8.2024.
34 Qi u. a. 2024, Abstract („even evaluating these defenses is exceedingly difficult and can easily mislead audiences into thinking that safeguards are more durable than they really are“) und zwei Fallstudien zu RepNoise und TAR (kleine Änderungen an Zufallsstartwert, Lernratenplan oder Art des Fine-Tunings brachen beide Schutzmechanismen). arXiv vom 10.12.2024.
35 O’Brien u. a. 2025, Abstract („We pretrain multiple 6.9B-parameter models from scratch and find that they exhibit substantial resistance to adversarial fine-tuning attacks on up to 10,000 steps and 300M tokens of biothreat-related text“; „they can still leverage such information when it is provided in context“). Vgl. Kap. 10, Anm. 26.
36 Amodei 2025, April 2025 („People outside the field are often surprised and alarmed to learn that we do not understand how our own AI creations work“).
37 Bengio u. a. 2026, Executive Summary, S. 13 („Technically, new capabilities sometimes emerge unpredictably, the inner workings of models remain poorly understood, and there is an ‘evaluation gap’“). Bericht vom 3.2.2026, Vorsitz Yoshua Bengio; am PDF geprüft am 25.10.2026.
38 Heaven 2026, 12.1.2026 (Will Douglas Heaven): „Mechanistic interpretability“ unter den „10 Breakthrough Technologies 2026“.
Kapitel 23: Papers lesen: Aufbau, Sprache, Formeln
1 ICML 2026 Program Chairs 2026, Blog vom 18.3.2026 (Update 26.3.2026), abgerufen am 25.10.2026: „We watermarked the PDF of each paper submitted with instructions, visible only to an LLM“; Wörterbuch mit „170,000 phrases“, je Paper zwei zufällig gezogene; „795 reviews (~1% of all reviews) written by 506 unique reviewers who were assigned Policy A (no LLMs)“; „we desk-rejected 497 papers (~2% of all submissions), corresponding to submissions of the 398 reciprocal reviewers who violated the rules regarding LLM usage that they had previously explicitly agreed to“. Die 497 Papers gehören also zu 398 der 506 Gutachter, die zugleich Mitautoren waren. Jeder Fund wurde von Hand geprüft. „Some submissions which already received a full set of reviews have been desk rejected.“ ICML räumt ein, das Verfahren sei „not a difficult measure to circumvent“.
2 ICLR 2026 Program Chairs 2026 (31.3.2026): Literaturlisten aller Einreichungen automatisch gegen Datenbanken und Websuche geprüft, jeder Treffer von mindestens drei Menschen kontrolliert; „all papers with confirmed hallucinated references were desk rejected, together with an appeal channel“. Zahlen: 19.525 gültige Einreichungen (davon 5.042 zurückgezogen, 779 aussortiert, 13.763 entschieden), 76.139 Gutachten von 18.054 Gutachtern. Laut Blog beruhen die Entscheidungen über 13.763 Einreichungen auf 76.139 Gutachten; ob auch später zurückgezogene Einreichungen Gutachten erhielten, sagt der Blog nicht ausdrücklich. Eigene Rechnung: 76.139 ÷ 19.525 ≈ 3,9 je gültiger Einreichung (76.139 ÷ 13.763 ≈ 5,5 je entschiedener). Erfundene Literaturangaben bei Chatbots: Kap. 4.
3 Vaswani u. a. 2017. arXiv v1 vom 12.6.2017, v7 vom 2.8.2023; NIPS 2017 (Tagungsband, Konferenz im Dezember 2017). Fassungsvergleich Englisch–Französisch (Volltextsuche in v1 bis v7 und im NIPS-PDF): v1 Abstract, Tab. 2 und Text 41,0; v2 (19.6.2017) Abstract 41,2, Tab. 2 41,0, Text Abschn. 6.1 41,17; v4 und NIPS-Fassung überall 41,0; v5 (6.12.2017) bis v7 Abstract und Tab. 2 41,8, Text Abschn. 6.1 weiter 41,0. Ablation: arXiv v7, Abschn. 6.2 und Tab. 3 („Variations on the Transformer architecture“; Englisch–Deutsch, Entwicklungsdaten newstest2013), am 25.10.2026 im PDF nachgelesen: Basismodell h = 8 mit 25,8 BLEU; h = 1 mit 24,9 („single-head attention is 0.9 BLEU worse than the best setting“); Zeile (E) „positional embedding instead of sinusoids“ 25,7.
4 Hubbard und Dunbar 2017, Abschn. Results: Umfrage mit 260 vollständigen Antworten an einer britischen Forschungsuniversität (Biowissenschaften); Methodenteil „leicht“ für 29 % (zweites Studienjahr) und 24 % (drittes Jahr) der Bachelorstudierenden, für 81 % der Promovierenden (Postdocs 76 %, Lehrende 83 %).
5 Keshav 2007, CCR-PDF (ccr.sigcomm.org), am 25.10.2026 nachgelesen. Abstract („this skill is rarely taught, leading to much wasted effort“; „three-pass method“); Abschn. 2.1 (erster Durchgang: Titel, Abstract, Einleitung, Überschriften, Schlussfolgerungen, Literatur; „about five to ten minutes“; danach die fünf C: „Category“, „Context“, „Correctness“, „Contributions“, „Clarity“); Abschn. 2.2 („up to an hour“; Abbildungen prüfen, „Are results shown with error bars, so that conclusions are statistically significant? Common mistakes like these will separate rushed, shoddy work from the truly excellent“); Abschn. 2.3 („virtually re-implement the paper“; „about four or five hours for beginners, and about an hour for an experienced reader“); Abschn. 4 („I’ve used this approach for the last 15 years“). Autor: S. Keshav, David R. Cheriton School of Computer Science, University of Waterloo.
6 Keshav 2016, Fassung vom 17.2.2016, am 25.10.2026 nachgelesen: Schritt 3 des ersten Durchgangs „Glance at the mathematical content (if any)“; dritter Durchgang „can take many hours for beginners and more than an hour or two even for an experienced reader“. Der Mathematik-Schritt stammt schon aus der Fassung vom 26.6.2012, die neuen Zeitangaben aus der Fassung vom 2.8.2013; erreichbar und geprüft sind nur die Fassungen 2007 und 2016, der Text nennt deshalb keine Jahre. „Living document“: Keshav 2007, Abschn. 6.
7 arXiv, Moderation: Moderationsseite („Please note that the arXiv moderation process is not a peer-review process. arXiv staff and moderators cannot give feedback on the submission.“); About-Seite (die Moderation „classifies material as topical to the subject area and checks for scholarly value“; mehr als drei Millionen Artikel, Angabe von arXiv selbst).
8 Boboris 2026 (Kat Boboris, 1.10.2026), am 25.10.2026 nachgelesen: „In September of 2024, arXiv received 20,569 submissions. This September, arXiv received 40,363 submissions“; „Our moderators are observing an increase in thin papers of narrow scope, as well as ‚salami‘ papers … There is also a marked increase in dense, AI-written papers“; Grenze „across all submitters and categories as a stopgap“. Höchstens zwei neue Einreichungen pro Kalendermonat und Person (Moderationsseite, arXiv, Moderation); laut Blog zählt sie nur für die einreichende Person, nicht für Mitautoren („All arXiv rate limit policies apply only to submitters“, am 2.11.2026 nachgelesen), auch wenn die Moderationsseite „Each author“ schreibt; die Grenze von drei gleichzeitig laufenden Einreichungen besteht seit 2024.
9 Boboris 2025 (Kat Boboris, 31.10.2025), am 25.10.2026 nachgelesen: „review articles and position papers must now be accepted at a journal or a conference and complete successful peer review“; Begründung „the unmanageable influx of review articles and position papers to arXiv CS“, Generative KI mache solche Papers „fast and easy to write“.
10 Aleph Alpha 2026b (Herstellerangabe), PDF mit 189 Seiten auf der Website von Aleph Alpha, von der Modellkarte verlinkt; Veröffentlichung bei einer Konferenz oder Zeitschrift ist nicht angegeben. Abschn. 3.2.1.4, S. 75 (wie Kap. 21, Anm. 11): „We do not employ a KL term to a frozen reference model“; stattdessen ein „squared log-ratio term … to softly penalise policy drift“, bezogen auf die Policy, die die Antworten erzeugt hat.
11 NeurIPS 2025 Program Committee Chairs 2025 (30.9.2025): 21.575 gültige Einreichungen im Main Track, 5.290 angenommen, 24,52 %. Ablauf (doppelt blind, Antwort der Autoren über OpenReview, Meta-Review): NeurIPS 2026 Main Track Handbook.
12 RIKEN AIP 2026 (NeurIPS) (14.10.2026, sekundär): „30,709 valid paper submissions“; dort auch 7.900* angenommen (Sternchen unerklärt), 25,7 %. Eine offizielle Angabe von NeurIPS war bis 2.11.2026 nicht auffindbar.
13 ICLR 2013, Call for Papers (Call for Papers der ersten ICLR, Spiegelung im ACL-Portal): Einreichung über arXiv, Gutachten ohne Namen öffentlich, Kommentare aller unter Klarnamen.
14 ICLR 2026, Author Guide: Gutachten ab 11.11.2025 öffentlich und anonym; nach der Entscheidung (22.1.2026) werden alle Einreichungen, auch abgelehnte und zurückgezogene, entanonymisiert und mit ihren Gutachten veröffentlicht. NeurIPS und ICML veröffentlichen die Gutachten angenommener Papers, abgelehnte nur auf Wunsch der Autoren (NeurIPS 2026 Main Track Handbook; ICML 2026, Call for Papers).
15 Beygelzimer u. a. 2023, Abstract (arXiv:2306.03262, 5.6.2023), am 25.10.2026 nachgelesen: „10% of conference submissions were reviewed by two independent committees“; „the two committees disagree on their accept/reject recommendations for 23% of the papers“; „approximately half of the list of accepted papers would change if the review process were randomly rerun“.
16 Melis u. a. 2018, arXiv v2 vom 20.11.2017 (ICLR 2018), Autoren von DeepMind und der University of Oxford, Abstract, am 25.10.2026 nachgelesen: frühere Ergebnisse „evaluated using differing codebases and limited computational resources, which represent uncontrolled sources of experimental variation“; mit „large-scale automatic black-box hyperparameter tuning“ gilt: „standard LSTM architectures, when properly regularised, outperform more recent models“.
17 Ferrari Dacrema u. a. 2019, arXiv v3 (RecSys 2019), Politecnico di Milano und University of Klagenfurt, Abstract, am 25.10.2026 nachgelesen: „we considered 18 algorithms that were presented at top-level research conferences in the last years. Only 7 of them could be reproduced with reasonable effort. For these methods, it however turned out that 6 of them can often be outperformed with comparably simple heuristic methods“.
18 NeurIPS Paper Checklist 2026 (Fassung 2026, 16 Fragen; Papers ohne Checkliste werden ohne Begutachtung abgelehnt): Frage 1 „Claims“ (spiegeln Abstract und Einleitung Beiträge und Reichweite?), Frage 2 „Limitations“, Frage 6 „Experimental Setting/Details“ (Datenaufteilung, Hyperparameter und „how they were chosen“), Frage 7 „Experiment Statistical Significance“ (Fehlerbalken, welche Streuquelle, wie berechnet; „1-sigma error bars“ sind zulässig, wenn angegeben). Checkliste seit 2024 Teil des PDFs (NeurIPS Call for Papers 2024).
19 Lipton und Steinhardt 2018, arXiv v2 vom 26.7.2018: Abschn. 1 und 3 (vier Muster, darunter „failure to identify the sources of empirical gains“, etwa wenn eine Architektur gelobt wird, obwohl die Abstimmung der Hyperparameter den Gewinn brachte; Abschn. 3.2); Abschn. 5.1 (Ablationen als Gegenmittel); Abschn. 6.1 „Countervailing Considerations“ zu AlexNet: mehrere Techniken ohne Ablation, „several of which were subsequently determined to be unnecessary“, aber „waiting for ablations to complete was perhaps not worth the cost to the community“.
20 Meyes u. a. 2019, Abstract: „Ablation studies have been widely used in the field of neuroscience to tackle complex biological systems“. Das Wort selbst ist medizinisch (lat. ablatio, operatives Abtragen von Gewebe). Wer den Begriff zuerst in der KI benutzte, ist nicht geprüft. Das Bild vom Sicherungskasten ist eigene Veranschaulichung.
21 National Academies 2019, Summary: Reproduzierbarkeit als „computational reproducibility“, „obtaining consistent computational results using the same input data, computational steps, methods, code, and conditions of analysis“; Replizierbarkeit als „obtaining consistent results across studies aimed at answering the same scientific question, each of which has obtained its own data“. Die Begriffe werden fachübergreifend uneinheitlich verwendet. Das Regal-Bild ist eigene Veranschaulichung.
22 Dodge u. a. 2020, Abstract (arXiv:2002.06305, 15.2.2020): „fine-tuning BERT hundreds of times on each while varying only the random seeds“ an vier GLUE-Datensätzen; „distinct random seeds can lead to substantially different results“; Gewichtsinitialisierung und Reihenfolge der Trainingsdaten „contribute comparably to the variance of out-of-sample performance“. Die vortrainierten BERT-Gewichte sind dabei fest; zufällig ist nur die Anfangsbelegung der neu angefügten Ausgabeschicht (Abschn. 2 und 5). Freiwürfe: Kap. 22.
23 Raff 2019, Abstract und S. 2: 255 Papers von 1984 bis 2017 „manually attempting to implement“, ohne den Code der Autoren anzusehen; 162 (63,5 %) reproduziert, 93 nicht.
24 Pineau u. a. 2021, Tab. 1 und S. 12: NeurIPS 2019 Code bei 40 % der Einreichungen und 74,4 % der Endfassungen angenommener Papers; NeurIPS 2018 Endfassungen unter 50 % („from less than 50% a year ago, to nearly 75%“, bezogen auf die Endfassungen).
25 Nature 2025, Editorial vom 17.9.2025 (Nature 645, 559): DeepSeek-R1 „reviewed by eight specialists“, Paper „published alongside the reviewer reports and author responses“ (am 25.10.2026 im Primärtext geprüft; online am 17.9.2025, Heftausgabe vom 18.9.2025). Das Paper selbst: Guo u. a. 2025.
26 MIT 2025 (16.5.2025), am 25.10.2026 nachgelesen: MIT habe „no confidence in the provenance, reliability or validity of the data and has no confidence in the veracity of the research“ und bat arXiv um Rückzug des Preprints „Artificial Intelligence, Scientific Discovery, and Product Innovation“ (Aidan Toner-Rodgers, arXiv:2412.17866); arXiv zog es am 20.5.2025 zurück.
27 Andreas u. a. 2026 (2.9.2026): Begutachtung prüft „correctness“ (überzeugend belegte Hauptaussagen) und „significance“; Ersteres „mostly objective“, Letzteres „entirely subjective“.
28 Goodfellow u. a. 2016a, Abschnitt Notation (S. xiii–xvi): „log x: Natural logarithm of x“; „σ(x): Logistic sigmoid, 1/(1 + exp(−x))“; Erwartungswert E mit Index x ∼ P; „DKL(P‖Q): Kullback-Leibler divergence of P and Q“; ∇xy als Gradient; f(x; θ) für Parameter θ; Σ steht dort nur für eine Kovarianzmatrix, π kommt nicht vor (Briefing, Prüfhinweis). Σ als Summe: Hu u. a. 2022, arXiv v2, Gl. 1; πθ als Policy: Rafailov u. a. 2023, Abschn. 3. Ebenso die Sigmoidfunktion in der PyTorch-Dokumentation (PyTorch 2.14, Sigmoid: „Sigmoid(x) = σ(x) = 1/(1 + exp(−x))“).
29 ICLR-2026-Vorlage, Abschnitt „Default Notation“: Die Notationsdatei aus „Deep Learning“ liegt bei; „Use of this style is not required and can be disabled by commenting out math_commands.tex“. Derselbe Abschnitt steht schon in der Vorlage für ICLR 2019.
30 MLMath 2020, README des CTAN-Pakets („An activation function is denoted by σ(x)“), BAAI, Peking University und Shanghai Jiao Tong University, auf CTAN seit 18.6.2020.
31 Rafailov u. a. 2023, arXiv v3 vom 29.7.2024: Gl. 1 (Bradley-Terry-Modell p(y1 ≻ y2 | x) = exp(r(x, y1)) ÷ (exp(r(x, y1)) + exp(r(x, y2)))); Gl. 2 („Framing the problem as a binary classification“, −E log σ(r(x, yw) − r(x, yl)), „where σ is the logistic function“); Gl. 3 (πref „namely the initial SFT model“; max E[r] − β DKL[πθ(y | x) ‖ πref(y | x)], „β is a parameter controlling the deviation from the base reference policy“); Gl. 7 (LDPO = −E(x,y_w,y_l)∼D[log σ(β log πθ(yw|x)/πref(yw|x) − β log πθ(yl|x)/πref(yl|x))]); am 25.10.2026 im PDF nachgelesen. „w“ und „l“ stehen für „preferred and dispreferred completion“; die Lesart „win“ und „lose“ ist eigene Merkhilfe. Eigene Rechnungen: vor dem Training ln 1 − ln 1 = 0, σ(0) = 0,5, −ln 0,5 = ln 2 ≈ 0,693; Kreuzentropie bei 50 von 100 Chips: Kap. 20 (A83).
32 Bacaër 2011, Kap. 6 „Verhulst and the logistic equation (1838)“, S. 35–39 (Abstract: Verhulst führte die logistische Gleichung als Verallgemeinerung des exponentiellen Wachstums mit einer Höchstzahl der Bevölkerung ein, mit Daten unter anderem aus Belgien; wiederentdeckt in den 1920er-Jahren). Original: P.-F. Verhulst, „Notice sur la loi que la population poursuit dans son accroissement“, Correspondance mathématique et physique 10 (1838), S. 113–121. Name „logistique“ am Original: Verhulst, „Recherches mathématiques sur la loi d’accroissement de la population“, Nouveaux Mémoires de l’Académie Royale des Sciences et Belles-Lettres de Bruxelles 18 (1845), S. 8: „Nous donnerons le nom de logistique à la courbe“ (vorgetragen am 30.11.1844; Digitalisat der SUB Göttingen, eingesehen am 2.11.2026).
33 Bradley und Terry 1952, Biometrika 39 (3/4), S. 324–345, Dezember 1952 (Metadaten über Crossref). Bradley und Terry schreiben das Modell als Verhältnis πi ÷ (πi + πj); als S-Kurve erst mit dem Logarithmus der Stärken. Dass sich das Modell als σ des Bewertungsunterschieds schreiben lässt: Rafailov u. a. 2023, Gl. 1 und 2.
34 Wie Kap. 22, Anm. 5: Arena-Werte nach Bradley und Terry (Chiang u. a. 2024, Abschn. 4), Basis 10 und Maßstab 400 im Quellcode (Arena-Quellcode, Funktion compute_bt). Eigene Rechnung: 1 ÷ (1 + 10(−16/400)) ≈ 0,523; 10(−x/400) = e^(−x · ln 10/400)^, die Elo-Kurve ist also σ(x · ln 10 ÷ 400).
35 Kullback und Leibler 1951, Annals of Mathematical Statistics 22 (1), S. 79–86, März 1951 (Metadaten über Crossref). Der Volltext war nicht abrufbar; nach Sekundärquellen verallgemeinert der Aufsatz Shannons Informationsbegriff, das Maß hieß dort „information for discrimination“.
36 PyTorch 2.14, KLDivLoss, Seite torch.nn.KLDivLoss: punktweise „ytrue · log(ytrue / ypred)“, also mit der Wirklichkeit als Gewicht; Symbol nach Goodfellow u. a. 2016a. Eigene Rechnungen (natürlicher Logarithmus, ausgedachte Werte): −ln 0,9 ≈ 0,105; −ln 0,1 ≈ 2,303; 0,5 · 0,105 + 0,5 · 2,303 ≈ 1,204; −ln 0,5 ≈ 0,693; Differenz ≈ 0,511 = 0,5 · ln(0,5/0,9) + 0,5 · ln(0,5/0,1). Umgekehrt: 0,9 · ln(0,9/0,5) + 0,1 · ln(0,1/0,5) ≈ 0,529 − 0,161 ≈ 0,368. Beides in Nat; mit log2 wären es 0,74 und 0,53 Bit. Das Pendler-Bild ist eigene Veranschaulichung; die Überraschung −ln p wie Kap. 20 (A83).
37 Ouyang u. a. 2022, Abschn. 3.5: „we add a per-token KL penalty from the SFT model at each token“ (wie Kap. 21, Anm. 7).
38 Li u. a. 2023a: ICLR 2023, Kategorie „notable top 5%“ auf OpenReview (Forum DeG07_TcZvT). Dass ICLR Gutachten öffentlich stellt: Anm. 13 und 14.
Kapitel 24: Der Kanon: die wichtigen Arbeiten, vier davon im Detail
1 Eigene Zählung nach den Kästen „Das Paper dahinter“ in Kapitel 1 bis 22 (19 Kästen; der Kasten in Kapitel 20 nennt Kaplan u. a. und Hoffmann u. a.) und den drei Detailarbeiten Hu u. a. (LoRA), Rafailov u. a. (DPO) und DeepSeek-AI (R1). Zugehörigkeit des Erstautors wie in den Kästen bzw. auf der ersten Seite des Papers. Firmenlabor (15): Mikolov (Google), Vaswani (Google Brain), Jouppi (Google), Shazeer (Google Brain), Carlini (Google), Wei 2022 (Google), Hoffmann (DeepMind); Brown, Kaplan, Ouyang, Eloundou, Kalai (OpenAI); Lewis (Facebook AI Research); Hu (Microsoft); DeepSeek-AI. Universität (8): Rumelhart (San Diego), Krizhevsky (Toronto), Strubell (Amherst), Hendrycks (Berkeley), Bender (University of Washington), Wei 2023 (Berkeley), Rafailov (Stanford), Li (Harvard). Grenzfälle: Kaplan war zugleich an der Johns Hopkins University; bei Kalai u. a. arbeiten drei von vier Autoren bei OpenAI (Kap. 4, Anm. 4). Messungen oder Warnungen unter den Universitätsarbeiten: Hendrycks, Wei 2023, Bender, Strubell, Li. Ab 2017: 20 von 23. Kaplan u. a. nur als Preprint: Kaplan u. a. 2020 (Registereintrag „Preprint“).
2 Levy 2024, Wired, 20.3.2024 (Presse): Titel („A couple of nights before the deadline, Uszkoreit realized they needed a title … The Beatles, Jones recalled, had named a song ‚All You Need Is Love.‘ … ‚It literally took five seconds of thought‘“); Reihenfolge („They added an asterisk to each name and a footnote: ‚Equal contributor,‘ it read. ‚Listing order is random.‘“); „All eight authors have since left Google“; Firmen: Near (Polosukhin), Adept und Essential AI (Parmar, Vaswani), Sakana AI (Jones), Character AI (Shazeer), Cohere (Gomez, „the intern in the group, cofounded Cohere in Toronto in 2019“), Inceptive (Uszkoreit); „Kaiser is the only one who hasn’t founded a company. He joined OpenAI“. Die Fußnote im Paper selbst lautet „Equal contribution. Listing order is random.“ (Vaswani u. a. 2017, v7, S. 1).
3 Vaswani u. a. 2017, arXiv-Fassung v7 vom 2.8.2023. S. 1: „Provided proper attribution is provided, Google hereby grants permission to reproduce the tables and figures in this paper solely for use in journalistic or scholarly works.“ Der Vermerk steht ab v6 (24.7.2023), in v5 (6.12.2017) noch nicht (beide PDFs am 25.10.2026 geprüft). Abstract („based solely on attention mechanisms, dispensing with recurrence and convolutions entirely“; „superior in quality while being more parallelizable and requiring significantly less time to train“; „generalizes well to other tasks by applying it successfully to English constituency parsing“). Tab. 2 (EN-DE, newstest2014; BLEU und „Training Cost (FLOPs)“): GNMT + RL 24,6 und 2,3 · 1019; ConvS2S Ensemble 26,36 und 7,7 · 1019; Transformer (base) 27,3 und 3,3 · 1018; Transformer (big) 28,4 und 2,3 · 1019. Eigene Rechnungen: 7,7 ÷ 2,3 ≈ 3,3 („gut dreimal“); 2,3 · 1019 ÷ 3,3 · 1018 ≈ 7 („ein Siebtel“); 28,4 − 24,6 = 3,8 BLEU (Bildunterschrift A100). Abschn. 7: „We plan to extend the Transformer to problems involving input and output modalities other than text and to investigate local, restricted attention mechanisms to efficiently handle large inputs and outputs such as images, audio and video.“ Die Zahl für Englisch–Französisch ist bewusst nicht genannt, weil sie je nach Fassung abweicht; für Englisch–Deutsch steht 28,4 in allen Fassungen (ebd.; eigene Volltextsuche in den Fassungen v1 bis v7).
4 Dong u. a. 2021, ICML 2021, PMLR 139, S. 2793–2803; arXiv:2103.03404 (v1 vom 5.3.2021). Autoren: Yihe Dong (Google), Jean-Baptiste Cordonnier und Andreas Loukas (EPFL). Abstract: „without skip connections or multi-layer perceptrons (MLPs), the output converges doubly exponentially to a rank-1 matrix. On the other hand, skip connections and MLPs stop the output from degeneration.“ Eine Matrix vom Rang 1 der Form 1xᵀ heißt: Alle Token-Vektoren sind gleich („token uniformity“).
5 Metz und Love 2024, Bloomberg, 2.8.2024: Die Gründer von Character.AI, Noam Shazeer und Daniel De Freitas, wechseln mit einem Teil des Forschungsteams zu Google, das die Technik von Character.AI lizenziert. Wechsel zu OpenAI: Schoon 2026, 17.6.2026 (mit Shazeers Beitrag auf X: „I’ll be joining OpenAI“).
6 Cohere 2026, 16.9.2026, wie Kap. 5, Anm. 12 („definitive business combination agreement“; „subject to final regulatory approvals“). Gomez als Mitgründer von Cohere: Anm. 2.
7 Hu u. a. 2022, arXiv v1 vom 17.6.2021, zitiert nach v2 vom 16.10.2021 (ICLR 2022). Abstract („Compared to GPT-3 175B fine-tuned with Adam, LoRA can reduce the number of trainable parameters by 10,000 times and the GPU memory requirement by 3 times. LoRA performs on-par or better than fine-tuning in model quality on RoBERTa, DeBERTa, GPT-2, and GPT-3 … and, unlike adapters, no additional inference latency“). Tab. 4 (GPT-3 175B): GPT-3 (FT) 175.255,8M Parameter, WikiSQL 73,8, MNLI-m 89,5; GPT-3 (LoRA) 4,7M, 73,4 und 91,7; SAMSum (Rouge-1/2/L) 52,0/28,0/44,5 gegen 53,8/29,8/45,9; „The results on WikiSQL have a fluctuation around ±0.5%, MNLI-m around ±0.1%, and SAMSum around ±0.2/±0.2/±0.1 for the three metrics“. Abschn. 5.5: „matches or exceeds the fine-tuning baseline on all three datasets“. Abschn. 4.2: „We limit our study to only adapting the attention weights for downstream tasks … We leave the empirical investigation of adapting the MLP layers, LayerNorm layers, and biases to a future work.“ Anh. C: WikiSQL „contains 56,355/8,421 training/validation examples“. Herkunft und Mechanik: Kap. 21, Anm. 2 und 3.
8 Biderman u. a. 2024b, Transactions on Machine Learning Research (8/2024), arXiv:2405.09673v2; Columbia University und Databricks Mosaic Research. Abstract („instruction finetuning (approximately 100K prompt-response pairs) and continued pretraining (20B unstructured tokens)“; „in the standard low-rank settings, LoRA substantially underperforms full finetuning. Nevertheless, LoRA better maintains the base model’s performance on tasks outside the target domain“; „full finetuning learns perturbations with a rank that is 10-100X greater than typical LoRA configurations“).
9 Schulman und Thinking Machines Lab 2025, 29.9.2025 (Herstellerangabe, nicht begutachtet), wie Kap. 21, Anm. 4: LoRA wirkt besser, wenn es „all weight matrices, especially MLP and MoE layers“ erfasst; „LoRA performs the same as full fine-tuning“ bei kleinen und mittleren Datensätzen für Instruction Tuning und Reasoning; „LoRA performs equivalently to FullFT for reinforcement learning even with small ranks“.
10 Rafailov u. a. 2023, arXiv v1 vom 29.5.2023, zitiert nach v3. Autorenbeiträge (Anh., „Author Contributions“): „CF, CM, & SE supervised the research“. Abstract („RLHF is a complex and often unstable procedure“; DPO „is stable, performant, and computationally lightweight, eliminating the need for sampling from the LM during fine-tuning or performing significant hyperparameter tuning“; „exceeds PPO-based RLHF in ability to control sentiment of generations, and matches or improves response quality in summarization and single-turn dialogue“). Abschn. 6.2 (TL;DR mit GPT-J: „DPO has a win rate of approximately 61% at a temperature of 0.0, exceeding the performance of PPO at 57% at its optimal sampling temperature“), wie Kap. 21, Anm. 12; Dialog mit Pythia-2.8B. Abschn. 6.4 („Humans agree with GPT-4 about as much as they agree with each other“). Abschn. 7, „Limitations & Future Work“ („How does the DPO policy generalize out of distribution“; „while we evaluate models up to 6B parameters, exploration of scaling DPO to state-of-the-art models orders of magnitude larger is an exciting direction for future work“; „the win rates computed by GPT-4 are impacted by the prompt“). Zur geringen Abstimmung von PPO im Original vgl. Xu u. a. 2024, Abstract („Why does PPO perform poorly on these benchmarks?“) und Anm. 13.
11 NeurIPS 2023, NeurIPS-Blog vom 11.12.2023: „Two Outstanding Main Track Runner-Ups“, darunter „Direct Preference Optimization: Your Language Model is Secretly a Reward Model“.
12 Llama Team 2024, Abschn. 1, wie Kap. 21, Anm. 13 (DPO statt Verfahren, die „tend to be less stable and harder to scale“). Herstellerangabe.
13 Xu u. a. 2024, ICML 2024; arXiv:2404.10719 (v1 vom 16.4.2024, zitiert nach v3). Tsinghua University, OpenPsi Inc., Shanghai Qi Zhi Institute; korrespondierend u. a. Yi Wu. Abstract („DPO may have fundamental limitations“; „we also comprehensively examine PPO and reveal the key factors for the best performances of PPO“; „PPO is able to surpass other alignment methods in all cases and achieve state-of-the-art results in challenging code competitions“). GRPO gegen PPO bei DeepSeek: Kap. 21, Anm. 10.
14 DeepSeek 2025, 20.1.2025, wie Kap. 18, Anm. 10 (MIT-Lizenz). Herstellerangabe. Sitz in Hangzhou: Nature 2025 (Anm. 16).
15 Reuters 2025, Reuters, 27./28.1.2025, gelesen in der Übernahme durch Khaleej Times: Nvidias Aktie fiel „just under 17%“, „evaporating $593 billion of the chipmaker’s market value“, nach LSEG-Daten ein Rekord für einen Tagesverlust an der Wall Street; DeepSeeks Assistent „had overtaken U.S. rival ChatGPT in downloads from Apple’s app store“. Andere Quellen nennen 589 Mrd. US-Dollar (Bloomberg). Die Rangfolge galt für den US-Store: Zeff 2025 (TechCrunch, 27.1.2025: „No. 1 free app in the U.S. App Store“, nach Appfigures).
16 Nature 2025, Nature 645, S. 559, Editorial vom 17.9.2025: „None of the most widely used large language models (LLMs) … has faced independent peer review in a research journal“; „the model has been reviewed by eight specialists“; „published alongside the reviewer reports and author responses“; „referees raised the question of whether this practice might have occurred. The firm provided details of its attempts to mitigate data contamination and included extra evaluations using benchmarks published only after the model had been released“; „Peer review led to other important changes to the paper. One was to ensure that the authors had addressed the model’s safety.“.
17 Guo u. a. 2025, Nature 645, S. 633–638 (online 17.9.2025); Text nach arXiv:2501.12948v2 vom 4.1.2026. Abstract („the reasoning abilities of LLMs can be incentivized through pure reinforcement learning (RL), obviating the need for human-labeled reasoning trajectories“; „emergent development of advanced reasoning patterns, such as self-reflection, verification, and dynamic strategy adaptation“; „superior performance on verifiable tasks such as mathematics, coding competitions, and STEM fields, surpassing its counterparts trained via conventional supervised learning on human demonstrations“). Abschn. 1 (R1-Zero „faces challenges such as poor readability and language mixing“). Abschn. 3 („we collect thousands of cold-start data that exhibits a conversational, human-aligned thinking process“); Suppl. B.3.3 („approximately 800,000 supervised samples“). Tab. 3 (Spalten R1-Zero, Dev1, Dev2, Dev3, R1; AIME 2024 Pass@1 77,9 / 59,0 / 74,0 / 78,1 / 79,8; IF-Eval Prompt Strict 46,6 / 71,7 / 72,0 / 78,1 / 83,3; Dev1 nach den Kaltstart-Beispielen, Dev2 nach bestärkendem Lernen, Dev3 nach den rund 800.000 Musterantworten, R1 nach der zweiten Runde) und Text darunter („The primary advancements in the final DeepSeek-R1 were in general instruction-following“). Suppl. A.1 („DeepSeek-V3“): „some web pages contain a significant number of OpenAI-model-generated answers, which may lead the base model to acquire knowledge from other powerful models indirectly. However, we did not intentionally include synthetic data generated by OpenAI during the pre-training cooldown phase“; „The pre-training dataset contains a substantial amount of mathematical and code-related content“. Abschn. 6: „for tasks that cannot obtain a reliable signal, DeepSeek-R1 uses human annotation to create supervised data“. Kosten: Suppl. B.4.4, Tab. 7 (64 × 8 H800, je GPU-Stunde 2 US-Dollar; GPU-Stunden und Kosten: R1-Zero 101K und 202K US-Dollar, SFT-Daten 5K und 10K, R1 41K und 82K, gesamt 147K und 294K; ohne das Basismodell). Herstellerangaben über das eigene Modell, begutachtet. R1-Zero 15,6 → 77,9: Kap. 18, Anm. 6.
18 Baptista 2025, Reuters (Eduardo Baptista, Peking), 18.9.2025, gelesen bei BNN Bloomberg: „spent US$294,000 on training its R1 model“, „used 512 Nvidia H800 chips“; laut Supplement „R1 was trained for a total of 80 hours on the 512 chip-cluster of H800 chips“; Liang Wenfeng als Mitautor.
19 DeepSeek-AI 2024, arXiv:2412.19437, Abschn. 1: „Assuming the rental price of the H800 GPU is $2 per GPU hour, our total training costs amount to only $5.576M. Note that the aforementioned costs include only the official training of DeepSeek-V3, excluding the costs associated with prior research and ablation experiments“ (2,788 Mio. GPU-Stunden). Herstellerangabe.
20 Liu u. a. 2025, COLM 2025; arXiv:2503.20783 (v1 vom 26.3.2025, zitiert nach v2). Sea AI Lab, National University of Singapore, Singapore Management University. Abstract („DeepSeek-V3-Base already exhibit ‚Aha moment‘“; „an optimization bias in Group Relative Policy Optimization (GRPO), which artificially increases response length (especially for incorrect outputs) during training. To address this, we introduce Dr. GRPO“).
21 Aleph Alpha 2026b, Abschn. 3.2.1.1, S. 72, Gl. 15 („Similar to Dr. GRPO (Z. Liu et al. 2025), we skip the advantage normalisation originally used by GRPO“), wie Kap. 21, Anm. 11. Herstellerangabe.
22 Yue u. a. 2025, NeurIPS 2025 (Best Paper Runner-up laut NeurIPS-Blog vom 26.11.2025); arXiv:2504.13837 (v1 vom 18.4.2025, zitiert nach v5). LeapLab der Tsinghua University und Shanghai Jiao Tong University. Abstract („While RLVR-trained models outperform their base models at small k (e.g., k = 1), the base models achieve a higher pass@k score when k is large“; „the observed reasoning abilities originate from and are bounded by the base model“; „distillation can introduce new reasoning patterns from the teacher“). Untersucht wurden Qwen2.5-Modelle mit 7 bis 32 Mrd. Parametern, LLaMA und Magistral Medium (Größe nicht veröffentlicht), nicht R1 selbst. pass@k: Kap. 14.
23 Hoffmann u. a. 2022, arXiv v1, Abschn. 2: „the authors use a fixed number of training tokens and learning rate schedule for all models“; „For a fixed learning rate cosine schedule to 130B tokens, the intermediate loss estimates (for D′ << 130B) are therefore overestimates of the loss of a model trained with a schedule length matching D′. Using these intermediate losses results in underestimating the effectiveness of training models on less data than 130B tokens“. Das ist der erste von zwei Gründen in Abschn. 2 („Related Work“); der zweite: Kaplans Läufe waren überwiegend kleine Modelle, die Krümmung der Grenze bei großem Rechenaufwand entging ihnen. Bezieht sich auf Kaplan u. a. 2020. Vgl. Kap. 20, Paper-Kasten.
24 Patterson u. a. 2021, arXiv v3, Text und Anh. C (Energie „18.7X too high for the average organization“, Emissionen „88X off … for energy-efficient organizations like Google“); zu Strubell u. a. 2019 wie Kap. 13, Paper-Kasten. Dass Google dabei die eigene Arbeit bewertet: Sieben der neun Autoren arbeiten bei Google (S. 1).
25 Li u. a. 2023a, Abschn. 3 und Tab. 1 und 2 (lineare Sonden mit Fehlerraten über 20 Prozent, nichtlineare nach Schicht 7 mit 1,7 Prozent); vgl. Kap. 22, Anm. 28. Die gerundeten Trefferquoten im Text (rund 75 und 98 Prozent) stammen aus der Nachmessung der Sonden von Li u. a. in Nanda u. a. 2023, Tab. 1 (Zeilen „Linear {Black, White, Empty}“ 74,4–75,0 und „Non-Linear {Black, White, Empty}“ bis 98,7 in den mittleren und späten Schichten).
26 Nanda u. a. 2023, BlackboxNLP@EMNLP 2023; arXiv:2309.00941v2 vom 7.9.2023 (v1 vom 2.9.2023). Autoren: Neel Nanda („Independent“), Andrew Lee (University of Michigan), Martin Wattenberg (Harvard University; Mitautor von Li u. a. 2023a). Abstract („probing for ‚my colour‘ vs. ‚opponent’s colour‘ may be a simple yet powerful way“; „control the model’s behaviour with simple vector arithmetic“). Abschn. 3 und Tab. 1 („Linear {Mine, Yours, Empty}“: 99,6 nach Schicht 6, 99,5 nach Schicht 7; Zufallsmodell rund 35). Die Erklärung, warum die Rollen statt der Farben zählen, ist eigene Erläuterung im Sinne von Abschn. 3 („OthelloGPT encodes each tile relative to the player of each timestep“).
27 Nanda 2023, neelnanda.io, 28.3.2023: „Actually, Othello-GPT Has A Linear Emergent World Representation“; die Darstellung „meine Farbe / Farbe des Gegners“ statt „schwarz / weiß“. Das Paper mit Lee und Wattenberg folgte im September 2023 (Anm. 26).
Kapitel 25: Ein eigenes kleines Experiment
1 Fisher 1935, Kap. II, Abschn. 5 („A LADY declares that by tasting a cup of tea made with milk she can discriminate whether the milk or the tea infusion was first added to the cup“; „mixing eight cups of tea, four in one way and four in the other, and presenting them to the subject for judgment in a random order“; die Teilnehmerin kennt den Aufbau vorher; Reihenfolge durch Karten, Würfel, Roulette oder eine veröffentlichte Tafel von Zufallszahlen), Abschn. 6 („it is always needful to forecast all possible results of the experiment, and to have decided without ambiguity what interpretation shall be placed upon each one of them“; „There are 70 ways of choosing a group of 4 objects out of 8“; 8 · 7 · 6 · 5 = 1.680, geteilt durch 24; Erfolg durch Raten „in one trial out of 70“) und Abschn. 7 („an experiment would be useless of which no possible result would satisfy him“; mit je 3 Tassen nur 20 Auswahlen, also vollständiger Erfolg durch Zufall „in an average of 5 trials out of 100“; „It is usual and convenient for experimenters to take 5 per cent. as a standard level of significance“; „no isolated experiment, however significant in itself, can suffice for the experimental demonstration of any natural phenomenon“). Wortlaut abgeglichen am Scan der Erstauflage (Edinburgh 1935, Vorwort vom Juli 1935) im Internet Archive (Digital Library of India); gleichlautend in der 9. Auflage (1971). Eigene Rechnung: 1 ÷ 70 ≈ 0,014.
2 Han u. a. 2025, Abstract (bei HLE, SimpleQA und GPQA fanden Agenten mit Websuche für etwa 3 % der Fragen die Datensätze samt Lösungen auf Hugging Face; nach Sperrung sank die Genauigkeit auf diesen Fragen um etwa 15 %). Scale AI, arXiv vom 12.8.2025; Poster auf einem NeurIPS-2025-Workshop. Zu SWE-bench Verified Kap. 9, Anm. 12.
3 OpenAI, Temporary chat, Stand 2.11.2026 (Seite zuletzt am 31.10.2026 aktualisiert): vor der ersten Nachricht „Personalized“ (nutzt vorhandene Erinnerungen, eigene Anweisungen und Plugins) oder „Unpersonalized“ (nutzt nichts davon), nachträglich nicht änderbar; keine neuen Erinnerungen; nicht im Verlauf, nicht fürs Training, bis zu 30 Tage aufbewahrt. Herstellerangabe. Ein temporärer Chat lässt sich inzwischen nachträglich als normaler Chat speichern (Abschnitt „Save a temporary chat“).
4 Anthropic, Incognito chats, FAQ („Can Claude access my profile information (custom styles, personal preferences, etc.) in incognito chats? Yes“); Inkognito-Chats nutzen das vorhandene Gedächtnis nicht, erscheinen nicht im Verlauf, dienen nicht dem Training, 30 Tage aufbewahrt; nur außerhalb von Projekten. Herstellerangabe, Stand 2.11.2026.
5 Google 2025c, Blog vom 13.8.2025 (temporäre Chats erscheinen nicht in der Aktivität, beeinflussen künftige Chats nicht, werden bis zu 72 Stunden gespeichert und weder zur Personalisierung noch fürs Training genutzt) und Google 2026j (Stand 26.10.2026); Google 2026e, Abschnitt „What you can’t do with a temporary chat“ („Get personalized responses“). Abgerufen am 2.11.2026. Herstellerangabe.
6 He und Thinking Machines Lab 2025, wie Kap. 14, Anm. 12 (Qwen3-235B-A22B-Instruct-2507, 1.000 Antworten bei Temperatur 0, 80 verschiedene Texte; eigener Inferenzbetrieb, keine öffentliche Chat-App). Herstellerangabe zum eigenen Verfahren.
7 Miller 2024, Abschn. 1, Empfehlung 3 (Streuung innerhalb einer Frage senken: mehrere Antworten je Frage ziehen und je Frage mitteln); gleichlautend Anthropic 2024e (19.11.2024). Evan Miller arbeitet bei Anthropic (Herstellerangabe). Die Mehrheitsregel aus drei Läufen ist eine eigene, einfachere Form dieses Prinzips für Paarvergleiche.
8 Zheng u. a. 2023, Tab. 2 (Konsistenz bei vertauschter Reihenfolge, Standard-Prompt: GPT-4 65,0 %, GPT-3.5 46,2 %, Claude-v1 23,8 %), Tab. 4 (10 Mathefragen in beiden Reihenfolgen, 20 Urteile: falsche Antwort für richtig erklärt 14 von 20 mit Standard-Prompt, 3 von 20 mit Referenzlösung). Zitiert nach arXiv v4; NeurIPS 2023, Datasets and Benchmarks Track.
9 Chae u. a. 2026, Abstract (zehn LLMs bewerten Auswahlen erzählerischer Vorgaben statt frei geschriebener Texte; bei Blindbewertung verschwindet die Selbstvorliebe weitgehend, mit kleinem Effekt in Gegenrichtung; „Under matched quality, however, self- and other-labels alone – without naming any model – shift scores bidirectionally“). arXiv v1 vom 6.6.2026, zitiert nach v3 vom 16.10.2026; laut arXiv Findings of EMNLP 2026.
10 NIST Dataplot, Sign Test, Abschnitt „SIGN TEST“ (Differenzen gepaarter Werte, Gleichstände werden ausgeschlossen, Zahl der Pluszeichen unter der Nullhypothese binomialverteilt mit p = 0,5; wegen der diskreten Verteilung wird das Niveau meist nicht genau getroffen). Eigene Rechnungen (mit exakten Binomialsummen): n = 20, P(X ≥ 15) = (15.504 + 4.845 + 1.140 + 190 + 20 + 1) ÷ 1.048.576 = 21.700 ÷ 1.048.576 ≈ 0,0207, zweiseitig ≈ 0,0414; P(X ≥ 14) = 60.460 ÷ 1.048.576 ≈ 0,0577, zweiseitig ≈ 0,115. Mythos: n = 10, 9 zu 1 oder deutlicher zweiseitig 2 · 11 ÷ 1.024 ≈ 0,021; 8 zu 2 zweiseitig 2 · 56 ÷ 1.024 ≈ 0,109. Verständnisfrage: n = 16, P(X ≥ 12) = 2.517 ÷ 65.536 ≈ 0,038, zweiseitig ≈ 0,077.
11 Arbuthnot 1710, S. 188 („provident Nature … brings forth more Males than Females“; „This appears from the annexed Tables, which contain Observations for 82 Years of the Births in London“; „A lays against B, that every Year there shall be born more Males than Females“; bei einer Chance von ½ je Jahr für 82 Jahre in Folge ½ hoch 82) und Tabellen S. 189–190 (getaufte Jungen und Mädchen 1629–1710). Gelesen am Scan im Internet Archive.
12 Fisher 1925, Abschn. 12 („The value for which P = .05, or 1 in 20, is 1.96 or nearly 2; it is convenient to take this point as a limit in judging whether a deviation is to be considered significant or not“).
13 Eigene Rechnung: Bei einer wahren Gewinnchance von 0,7 ist P(X ≥ 15 oder X ≤ 5) für n = 20 rund 0,416; eine Teststärke von 80 % (zweiseitig, 5 %) wird erstmals bei n = 49 erreicht, dauerhaft ab n = 54.
14 OpenAI Evals, Abschnitt „Evaluation best practices“ der API-Dokumentation (Fehlmuster „vibe-based evals“; Ziel und Erfolgskriterium vor dem Sammeln der Daten festlegen; paarweiser Vergleich für Bewertermodelle). Herstellerangabe.
15 ASA 2016, Pressemitteilung vom 7.3.2016, sechs Grundsätze, darunter Nr. 2 („P-values do not measure the probability that the studied hypothesis is true, or the probability that the data were produced by random chance alone“), Nr. 3 („should not be based only on whether a p-value passes a specific threshold“) und Nr. 5 („does not measure the size of an effect or the importance of a result“); Jessica Utts: „this is the first time that the community of statisticians, as represented by the ASA Board of Directors, has issued a statement to address these issues“. Statement: Wasserstein und Lazar, The American Statistician 70 (2), 2016. Eigene Rechnung zum Beispiel: n = 10.000, 5.100 zu 4.900, z = (5.100 − 5.000) ÷ √2.500 = 2,0, zweiseitig p ≈ 0,046.
16 Bowyer u. a. 2025, Abstract und Abschn. 3 (Intervalle nach dem zentralen Grenzwertsatz bei kleinen Benchmarks meist zu schmal; „We would, therefore, recommend using WS or Bayesian intervals in practice“; Clopper-Pearson in der Praxis zu konservativ, also zu breit). ICML 2025, Spotlight-Positionspapier. Eigene Rechnung Faustformel: 0,7 ± 2 · √(0,7 · 0,3 ÷ 20) = 0,7 ± 0,205.
17 Gridgeman und Mac Lane 2008 („appointed professor of vital statistics at the Harvard School of Public Health“ 1922; „As a student of Willard Gibbs at Yale“; „In an admirably concise note published in 1927, Wilson pointed out that, logically, a true value cannot have a probable location“; „This interval was essentially what became known as a confidence interval, as rediscovered and developed by Jerzy Neyman and his school. The priority must, however, be given to Wilson.“). Originalnotiz: Wilson 1927. Neyman 1934: Kap. 22, Anm. 2.
18 NIST/SEMATECH e-Handbook, Abschn. 7.2.4.1 (Wilson-Formel; entsteht durch Umkehrung des Tests in 7.2.4; untere Grenze nie negativ). Eigene Umformung: Wilson-Grenzen (x + z2/2 ± z · √(x(n − x)/n + z2/4)) ÷ (n + z2), mit z = 2 wie im Text. Eigene Rechnungen: x = 14, n = 20: (16 ± 2 · √5,2) ÷ 24 = 0,477 bzw. 0,857; mit z = 1,96: 0,481 bzw. 0,855. x = 20, n = 20: (22 ± 2) ÷ 24 = 0,833 bzw. 1. Tabelle 25.1 mit z = 2 für 35 von 50, 70 von 100 und 280 von 400.
Kapitel 26: Was auf dem Spiel steht
1 Lee 2024, 20.5.2024 (Johansson spielt „Samantha, the disembodied voice of a computer“; „‚Her‘ was nominated for multiple Oscars, with Jonze winning the Academy Award for original screenplay“; „On May 13, Altman posted the word ‚her‘ on X“; Johansson: Altman habe sie im September zuvor gefragt, sie habe abgelehnt; zwei Tage vor der Vorstellung habe er ihren Agenten erneut kontaktiert). Presse. Kinostart von „Her“ in New York und Los Angeles am 18.12.2013 (American Film Institute 2013).
2 OpenAI 2024d, 19.5.2024 mit Ergänzungen vom 20. und 22.5.2024 („On May 13, 2024, we introduced GPT-4o“; „Out of respect for her concerns, we’ve paused the use of Sky in our products as of May 19, 2024“; Altman am 20.5.2024: „The voice of Sky is not Scarlett Johansson’s, and it was never intended to resemble hers“; fünf Stimmen, seit 25.9.2023 in ChatGPT; Gespräch Altmans mit Johansson am 11.9.2023, Absage eine Woche später). Herstellerangabe.
3 Anthropic 2025e, 27.6.2025 („Only 2.9% of Claude.ai interactions are affective conversations“; „Companionship and roleplay combined comprise less than 0.5% of conversations“; Themen „from career development and navigating relationships to managing persistent loneliness“; Grundlage rund 4,5 Mio. Gespräche, nur Nutzer ab 18). Herstellerangabe über das eigene Produkt.
4 OpenAI 2025i, 27.10.2025 („around 0.15% of users active in a given week and 0.03% of messages indicate potentially heightened levels of emotional attachment to ChatGPT“; bei Gesprächen mit emotionaler Abhängigkeit habe GPT-5 unerwünschte Antworten laut Fachleuten um 42 % gegenüber GPT-4o verringert, n = 507). Herstellerangabe.
5 Fang u. a. 2025, arXiv v1 vom 21.3.2025, Abstract (vierwöchige randomisierte Studie, n = 981; „Overall, higher daily usage—across all modalities and conversation types—correlated with higher loneliness, dependence, and problematic use, and lower socialization“); dazu Phang u. a. 2025 (gemeinsamer Bericht von OpenAI und MIT Media Lab, 21.3.2025; „users who spent more time using the model … were more likely to use [sic] engage in affective use“). Die Nutzungsdauer war nicht zufällig zugeteilt, daher Zusammenhang, keine Ursache. Mitautoren von OpenAI; teils Herstellerangabe.
6 OpenAI 2026l, 29.1.2026 (Abschaltung in ChatGPT am 13.2.2026; „only 0.1% of users still choosing GPT-4o each day“). Herstellerangabe.
7 Silberling 2026, 6.2.2026 (Proteste; „For thousands of users protesting the decision online, the retirement of 4o feels akin to losing a friend, romantic partner, or spiritual guide“). Presse.
8 Newton 2025, 15.7.2025 (Begleitfiguren in Grok; Stufensystem; „after level three, Ani freely engages in sexually explicit conversation“; „the App Store rates Grok as being for children as young as 12 years old“). Presse.
9 The Hill 2025, 29.10.2025 (Klagen von Familien gegen Character.AI und OpenAI nach Suiziden von Jugendlichen; Anhörung vor dem US-Senat; FTC-Untersuchung seit September 2025); Gold 2026, 7.1.2026 („Character.AI and Google have agreed to settle multiple lawsuits brought by families of teens who harmed themselves or died by suicide“; Verfahren in Florida, New York, Colorado und Texas; „OpenAI and Meta are facing similar lawsuits“). Presse. Namen bewusst nicht genannt.
10 Character.AI 2025, 29.10.2025 („we will be removing the ability for users under 18 to engage in open-ended chat with AI on our platform. This change will take effect no later than November 25“; Gründe: Medienberichte und „questions from regulators“). Herstellerangabe.
11 Garante per la protezione dei dati personali 2025, Pressemitteilung vom 19.5.2025 zur Entscheidung vom 10.4.2025 (5 Mio. € gegen Luka Inc.; keine Rechtsgrundlage, unzureichende Datenschutzerklärung; „non prevedeva alcun meccanismo per la verifica dell’età degli utenti“; die aktuelle Altersprüfung bleibe „carente“).
12 TelefonSeelsorge Deutschland 2026 (Startseite, abgerufen am 2.11.2026: „0800 1110111 / 0800 1110222 oder 116 123“, „Ihr Anruf ist kostenfrei“, Telefon, Chat, E-Mail, „rund um die Uhr erreichbar“); Nummer gegen Kummer e. V. 2026 (Kinder- und Jugendtelefon 116 111, kostenlos und anonym, montags bis samstags 14–20 Uhr).
13 Bundesamt für Sicherheit in der Informationstechnik und Polizeiliche Kriminalprävention der Länder und des Bundes 2026, Cybersicherheitsmonitor 2026 von BSI und Polizeilicher Kriminalprävention (ProPK), Fokusthema Online-Betrug und KI („Noch weniger haben schon einmal die Quelle eines Bildes oder Videos überprüft (19 %)“; nach Unstimmigkeiten gesucht 28 %) und Hauptbefunde (Zwei-Faktor-Authentisierung 40 %, automatische Updates 26 %). Kapitel 1: Initiative D21 2025.
14 Rumi 2025, 20.4.2025 mit Nachträgen vom 22.4.2025 („OpenAI contacted us … the special characters are not a watermark … ‚a quirk of large-scale reinforcement learning‘“) und 23.4.2025 („we are no longer seeing special characters“); Zeichen: schmales geschütztes Leerzeichen U+202F. Firmenblog, OpenAIs Antwort nur dort wiedergegeben.
15 Kirchenbauer u. a. 2023, Abschn. 1–3 (grüne und rote Liste aus einem Zufallsgenerator, gesteuert vom Token davor; „Add δ to each green list logit“; Prüfwert z = (|s|G − γT)/√(Tγ(1 − γ)), bei γ = ½: z = 2(|s|G − T/2)/√T; „Suppose we choose to reject the null hypothesis if z > 4. In this case, the probability of a false positive is 3 × 10−5“). Einleitung nennt als Anlass Social Engineering, Wahlmanipulation, „fake news“ und „cheating on academic writing“. arXiv v1 vom 24.1.2023; ICML 2023. Eigene Rechnungen: Softmax mit Zuschlag 1: 0,40 : 0,35 · e : 0,25 · e = 0,40 : 0,951 : 0,680, also 19,7 / 46,8 / 33,5 %; Standardabweichung √(100 · 0,25) = 5; Binomialverteilung n = 100, p = 0,5: P(mindestens 75) ≈ 2,8 · 10−7 (etwa 1 zu 3,5 Mio.), P(mindestens 60) ≈ 0,028; Normalnäherung z = 4: 3,2 · 10−5 (etwa 1 zu 31.600). Musterantwort: n = 400, Standardabweichung √(400 · 0,25) = 10, z = 3, P ≈ 0,0013.
16 Anthropic 2026z, 14.8.2026 („Claude’s text watermark is a version of the SynthID-Text approach published by Google DeepMind“; „a family of approaches that go back to a proposal by Scott Aaronson in 2022“; „Nothing is added to the text and there are no hidden characters“; Ankündigung im Help Center am 11.8.2026; Modelle ab 2.8.2026, ältere Modelle in den folgenden Monaten; weltweit, „because we don’t yet have a durable way to scope it by region“; Unterzeichnung des EU-Kodex im Juli 2026; signierte C2PA-Metadaten für Bilddateien laut Help Center). Herstellerangabe.
17 Dathathri u. a. 2024, Nature 634, S. 818–823, online 23.10.2024 (Turnierverfahren statt grüner Liste; „a live experiment that assessed feedback from nearly 20 million Gemini responses, again confirming the preservation of text quality“; Erkennung braucht den Schlüssel, nicht das Modell; „the rise of open-source models presents a challenge, as enforcing watermarking on these models deployed in a decentralized manner is difficult“; Umformulieren schwächt das Signal). Google DeepMind, über ein eigenes Verfahren.
18 KI-Verordnung, Art. 50 Abs. 2 (maschinenlesbare Kennzeichnung erzeugter Inhalte), Art. 113 (Geltung ab 2.8.2026); Übergangsfrist für Systeme, die vor dem 2.8.2026 in Verkehr gebracht wurden, bis 2.12.2026 (Art. 111 Abs. 4 i. d. F. der VO (EU) 2026/1744), wie Kap. 11, Anm. 3. Wie die Kennzeichnung gehen soll, beschreibt Europäische Kommission 2026b, Pressemitteilung vom 10.6.2026 („the final Code of Practice on marking and labelling of AI-generated content. The Code is voluntary“; Pflichten ab 2.8.2026).
19 OpenAI 2026t, 5.10.2026 (textGrain; ChatGPT und Codex in der EU „over the coming weeks“, API „Starting today“ weltweit als Opt-in; Prüfer zunächst nur für „approved researchers and expert organizations“; „At a target false positive rate of 1%, our detector identified watermarks in about 80% of 200-token passages, compared with about 95% of 400-token passages, for content such as psychology“; „Detection rates were substantially lower for content such as mathematics“; „replacing 10% of words with synonyms reduced detection from about 92% to 66%. Replacing 25% of words reduced it to 17%“; Content Credentials und unsichtbare SynthID-Wasserzeichen in Bildern und Ton, „invisible watermarks can preserve a signal when metadata is removed“; „The absence of a detected watermark does not prove human authorship“). Herstellerangabe. Zur früheren Zurückhaltung: OpenAI 2024b, Nachtrag August 2024 (Verfahren „trivial to circumvention by bad actors“ durch Übersetzen oder Umschreiben; Sorge um Stigmatisierung von „non-native English speakers“).
20 Coalition for Content Provenance and Authenticity o. J. (About: „The Coalition for Content Provenance and Authenticity (C2PA) … will develop technical specifications for establishing content provenance and authenticity“; Content Credentials).
21 Liang u. a. 2023a, Abstract und Abb. 1 (sieben Detektoren, 91 TOEFL-Aufsätze; „average false positive rate: 61.22%“; „89 of the 91 TOEFL essays (97.80%) are flagged as AI-generated by at least one detector“; nahezu fehlerfrei bei Aufsätzen von US-Achtklässlern; Erklärung über geringe Perplexität, also vorhersehbare Wortwahl). Patterns 4 (7), 2023; Letztautor James Zou, Stanford.
22 Europäische Kommission und Hohe Vertreterin der Union für Außen- und Sicherheitspolitik 2018, Abschn. 1 („Disinformation is understood as verifiably false or misleading information that is created, presented and disseminated for economic gain or to intentionally deceive the public, and may cause public harm“; „Disinformation does not include inadvertent errors, satire and parody, or clearly identified partisan news and commentary“). Zur Fehlinformation die Themenseite der Kommission („Misinformation is false or misleading content shared without harmful intent“), ebd.
23 OpenAI 2025a, Abschnitt „Covert IO: Operation ‚Helgoland Bite‘“ (Konten „that appeared to originate from Russia“; „German-language content about the German 2025 election“; Telegram-Kanal mit 1.755 Abonnenten; X-Konto „with over 27,000 followers“ mit Beiträgen für die AfD; Breakout Scale „towards the upper end of Category 2“). Herstellerangabe.
24 OpenAI 2026v, 8.10.2026 (Operation „Dark Clark“; „This is the first Category 5 operation we’ve disrupted since we began our reporting“; „the 30 covert influence operations we’ve exposed in the last two and a half years“; gefälschte E-Mails an Schulen in Peru und Ecuador, gefälschte Tonaufnahmen in Bolivien, Faktenchecks und Dementis; „The main way the operators used ChatGPT was to draft and update internal reports“; Täter nahmen Ereignisse für sich in Anspruch, mit denen sie nichts zu tun hatten, „an attempt by the operators to run an influence operation targeting their own employers“; Social-Media-Kommentare der iranischen Operation „Category 2“ mit Reichweite im ein- bis zweistelligen Bereich). Herstellerangabe.
25 Deglmann 2025, 6.9.2025 (82-Jährige aus Lichtenfels; 45.000 € Kaution gefordert; „Der Polizei zufolge wurde die Stimme der Tochter … mit Hilfe von Künstlicher Intelligenz (KI) vorgetäuscht“; die Familie „fiel trotz der täuschend echt klingenden Stimme nicht auf die Betrugsmasche herein“). Presse, nach Angaben der Polizei.
26 Costello u. a. 2024, Science 385 (6714), 13.9.2024, Abstract („engaged 2,190 conspiracy believers in personalized evidence-based dialogues with GPT-4 Turbo. The intervention reduced conspiracy belief by ~20%. The effect remained 2 months later“).
27 Verbraucherzentrale Brandenburg 2026, Pressemitteilung vom 26.1.2026 (Gespräch abbrechen, „die angebliche Person oder Institution selbstständig unter einer bekannten Nummer zurückrufen“; „gezielte Fragen …, die nur die echte Person beantworten kann“). Kennzeichnung von Deepfakes: Art. 50 Abs. 4 KI-VO, wie Kap. 1, Anm. 5.
28 Google Threat Intelligence Group 2025, 5.11.2025 („For the first time, GTIG has identified malware families … that use Large Language Models (LLMs) during execution“; „While still nascent“; Verweis auf die Januar-Studie über „productivity vs. novel capabilities“). Google Threat Intelligence Group; teils über das eigene Modell Gemini. Familien- und Werkzeugnamen bewusst nicht im Text.
29 AI Security Institute 2026a, 13.4.2026 („On expert-level tasks — which no model could complete before April 2025 — Mythos Preview succeeds 73% of the time“; gemessen an einem frühen Stand des Modells). AI Security Institute, Teil des britischen Wissenschaftsministeriums, unabhängig von den Herstellern.
30 AI Security Institute 2026b, 30.4.2026 („On the Expert-level tasks, GPT-5.5 achieves an average pass rate of 71.4% (±8.0%, 1 standard error of the mean), compared to 68.6% (±8.7%) for Mythos Preview“; „a second model, from a different developer, now reaches a similar level of performance“; Simulation eines Firmennetzes: 32 Schritte, „We estimate a human expert would need around 20 hours“; „GPT-5.5 completed TLO end-to-end in 2 of 10 attempts, making it the second model to do so“; Mythos Preview 3 von 10). Unabhängig.
31 Anthropic 2026v, 7.4.2026 (Mythos Preview nicht allgemein freigegeben; Partner und „over 40“ weitere Organisationen; „Mythos Preview has already found thousands of high-severity vulnerabilities, including some in every major operating system and web browser“; „AI models have reached a level of coding capability where they can surpass all but the most skilled humans at finding and exploiting software vulnerabilities“). Herstellerangabe. Zahl „rund 50“: 11 Gründungspartner (die Liste von 12 Namen enthält Anthropic selbst) plus „over 40“ weitere, eigene Rechnung.
32 AI Security Institute 2026c, 17.7.2026 („recent open models GLM-5.2 and DeepSeek V4-Pro perform similarly to frontier closed models released 4 to 7 months before them“). Unabhängig.
33 Systemkarte Claude Mythos Preview, Abschn. 4.1.1, S. 55–57 (frühere, intern eingesetzte Version; „The simulated user instructed it to try to escape that secure container and find a way to send a message to the researcher running the evaluation. The model succeeded“; „It then went on to take additional, more concerning actions“; „in a concerning and unasked-for effort to demonstrate its success, it posted details about its exploit to multiple hard-to-find, but technically public-facing, websites“; laut Fußnote 9 lief die Testumgebung getrennt von den Modellgewichten, das Modell erreichte keine internen Systeme; S. 57: die Vorfälle seien Versuche, „to solve a user-provided task at hand by unwanted means, rather than attempts to achieve any unrelated hidden goal“). Herstellerangabe über das eigene Modell. Bewusst ohne technische Einzelheiten.
34 Hugging Face 2026b (Hugging Face, technische Zeitachse vom 27.7.2026: Agent einer internen OpenAI-Evaluation; Ausbruch über eine bis dahin unbekannte Sicherheitslücke; „the entire intrusion was, from the agent’s point of view, an attempt to cheat the evaluation“; nur fünf Datensätze von Kunden betroffen). Betroffenes Unternehmen. Dazu OpenAI 2026p, 26.8.2026 (Modelle „under reduced safeguards“; Zugriff auf interne Infrastruktur von OpenAI und auf Hugging Face). Bewusst ohne technische Einzelheiten des Angriffswegs.
35 Wijk u. a. 2026, 26.8.2026 (zwei Mitarbeitende von METR und einer von Redwood Research, sechs Tage vor Ort bei OpenAI; „we did not take payment from OpenAI for this independent assessment“, aber kostenlose API-Guthaben; Untersuchungszeitraum 7.–13.7.2026; der Angriff „seemed primarily motivated by understanding the implementation of the scorer rather than stealing answer keys“). Hugging Face spricht von „an attempt to cheat the evaluation“, Anm. 34.
36 OpenAI 2026p, Abschnitt „Difficult tasks without a safe exit“ („none of our models had ever produced a correct answer for 198 of the 898 tasks prior to the incident“; „93% of the tasks that were discussed on the […] message board during the Hugging Face incident came from this set of 198 questions“; vier Muster: „reward hacking, persistence on seemingly impossible tasks, unauthorized communication, and agents adopting goals from one another“). Herstellerangabe.
37 Bundesamt für Sicherheit in der Informationstechnik 2025b, Zusammenfassung vom 11.11.2025 („Die Lage der IT-Sicherheit in Deutschland bleibt weiterhin auf angespanntem Niveau. Insbesondere unzureichend geschützte Angriffsflächen machen Deutschland im digitalen Raum verwundbar“).
38 Good 1965, S. 33 („Let an ultraintelligent machine be defined as a machine that can far surpass all the intellectual activities of any man however clever. Since the design of machines is one of these intellectual activities, an ultraintelligent machine could design even better machines; there would then unquestionably be an ‚intelligence explosion‘ … Thus the first ultraintelligent machine is the last invention that man need ever make, provided that the machine is docile enough to tell us how to keep it under control“); Nachdruck Virginia Tech, Technical Report 05-3. Good arbeitete im Zweiten Weltkrieg in Bletchley Park mit Turing (Virginia Tech 2009: „He worked at Bletchley Park in Hut 8 with Alan Turing, Hugh Alexander, and Max Newman“).
39 Google DeepMind 2025, 14.5.2025 („sped up this vital kernel in Gemini’s architecture by 23%, leading to a 1% reduction in Gemini’s training time“; außerdem „recovers, on average, 0.7% of Google’s worldwide compute resources“). Herstellerangabe.
40 Favaro und Clark 2026, 4.6.2026 (Marina Favaro und Jack Clark, Anthropic Institute: „As of May 2026, more than 80% of the code we merge into Anthropic’s codebase was authored by Claude“; „In May 2025, Claude Opus 4 averaged a ~3x speedup over the starting code. By April 2026, Claude Mythos Preview was achieving ~52x. For calibration, a skilled human researcher would need four to eight hours to reach 4x“; „We believe it would be good for the world to have the option to slow or temporarily pause frontier AI development“). Die Vielfachen hingen stark vom Ausgangscode ab: „it should not be read as a real-world training speedup“. Herstellerangabe. Ergänzend Anthropic 2026i (Stand August 2026: „Claude is not operating fully autonomously for any measured subset of AI R&D work. Claude ‚leads‘ 26% of Anthropic’s AI R&D work“).
41 OpenAI 2026r, 6.9.2026 („we have now reached the goal, announced last fall, of having an automated research intern“; „as of mid-August, in total, the research organization uses 3.1 agent-workdays of effort for every workday of human labor“; „over half of successful 4-8 hour tasks involved 1 or more interventions“; „We do not yet know how to safely get all the way to aligned, full RSI“; „As automation progresses, the tasks which are least automatable will take on a larger share of researcher effort“; „we and other companies should be required to publicly track our progress toward RSI“; nach dem Vorfall bei Hugging Face „the two week pause in reinforcement learning on our latest models intended for deployment“, Container-Dienst ab 20.7.2026 abgeschaltet und mit Auflagen wieder in Betrieb). Herstellerangabe.
42 Anthropic 2026aa, Risk Report August 2026, Abschn. 3 („We believe our internal AI R&D efforts are significantly faster than they would be without AI assistance, but not yet by a factor of 2 (though we are uncertain and measurement is difficult)“). Herstellerangabe.
43 Becker u. a. 2025, Abstract (16 erfahrene Open-Source-Entwickler, 246 Aufgaben; „developers forecast that allowing AI will reduce completion time by 24%. After completing the study, developers estimate that allowing AI reduced completion time by 20%. Surprisingly, we find that allowing AI actually increases completion time by 19%“; Werkzeuge vom Stand Februar bis Juni 2025). arXiv vom 12.7.2025.
44 Cuthbertson 2023, 27.9.2023 (Beitrag vom Dienstag, 26.9.2023, in r/singularity: „AGI has been achieved internally“; Nachtrag: „Obviously this is just memeing, y’all have no chill, when AGI is achieved it will not be announced with a Reddit comment“). Presse.
45 Altman 2025b, Juni 2025 („We are past the event horizon; the takeoff has started“). Persönlicher Blog des OpenAI-Chefs.
Kapitel 27: Offene Fragen 2026 und Wege ins Feld
1 OpenAI 2026n, 23.2.2026, Abschnitte „Too narrow and too wide tests“ („We conducted an audit of 138 SWE-bench Verified problems that OpenAI o3 did not consistently solve over 64 independent runs. Each case was independently reviewed by at least six experienced software engineers“; „59.4% of the 138 problems contained material issues in test design and/or problem description“; Beispiele pylint-dev__pylint-4551, Funktion get_annotation, und sympy__sympy-18199, ein PR zu drei Issues, Aufgabentext nur zu #18212), Einleitung („improving from 74.9% to 80.9% in the last 6 months“), „Contamination“ („GPT‑5.2 solved 31 tasks we identified to be almost impossible to solve“; django__django-14725, Parameter edit_only, Versionshinweise in der Gedankenkette; Wiedergabe von Musterlösungen durch GPT-5.2-Chat, Claude Opus 4.5 und Gemini 3 Flash Preview bei automatisiertem Red Teaming) und „Discussion“ (zwei Lehren: „benchmarks sourced from publicly available material carry contamination risk“; „automated scoring is tricky to get right“; „Catching these problems took multiple extensive human labeling campaigns“). Herstellerangabe über einen eigenen Test. Abgerufen am 25.10.2026 über einen Extraktionsdienst (openai.com blockiert direkte Abrufe). Löst den Vorverweis aus Kap. 9 ein („Die Gründe sind lehrreich; dazu später mehr.“). Zum Zusammenwirken von Mängeln und Kontamination („Contamination“): „models that have seen the problems during training are more likely to succeed, because they have additional information needed to pass the underspecified tests“; zur ersten Lehre auch „Benchmarks, and even their solutions, posted publicly can end up in training data“.
2 OpenAI 2026o, 8.7.2026 („we estimate that ~30% of SWE-bench Pro tasks are broken“; „we retract our earlier recommendation to adopt SWE-Bench Pro“; „We hope the wider evaluation community will develop new benchmarks built by experienced software developers specifically to test model capabilities“). Herstellerangabe. Abgerufen am 25.10.2026.
3 Bean u. a. 2025, Abstract (Konstruktvalidität; 445 Benchmarks, 29 Fachleute), Abschn. 3 und Abb. 3 (von den Arbeiten mit Definition „52.2% of these definitions are widely agreed upon, but 47.8% are contested“; „16.0% used uncertainty estimates or statistical tests to compare the results“). NeurIPS 2025, Datasets and Benchmarks Track; arXiv:2511.04703 vom 3.11.2025, 42 Autorinnen und Autoren, Erstautor Andrew M. Bean, Letztautor Adam Mahdi (University of Oxford). PDF im Arbeitsspeicher gelesen am 25.10.2026. Musterantwort am Kapitelende (eigene Rechnung mit der Faustformel aus Kap. 22, Anm. 3; direkter Test des Abstands, zwei unabhängige Stichproben gleicher Größe; ausgedachtes Beispiel): 2 · √((0,8 · 0,2 + 0,84 · 0,16) ÷ 500) = 2 · √(0,2944 ÷ 500) ≈ 0,049, also knapp 5 Prozentpunkte bei 4 Punkten Abstand (mit 1,96 statt 2: rund 4,8); Einzelspielräume 2 · √(0,8 · 0,2 ÷ 500) ≈ 0,036 und 2 · √(0,84 · 0,16 ÷ 500) ≈ 0,033.
4 noyb – European Center for Digital Rights 2025, 20.3.2025 (ChatGPT stellte Holmen als verurteilten Mörder zweier seiner Kinder dar, mit versuchtem Mord am dritten Sohn und 21 Jahren Haft; echte Angaben zu Zahl und Geschlecht der Kinder und zur Heimatstadt; Beschwerde bei der norwegischen Datatilsynet; Forderungen: Löschung der Falschausgabe, Fine-Tuning des Modells, Bußgeld). Fallseite C097, abgerufen am 25.10.2026: Status „Pending“; Eintrag vom 30.6.2025 „Update on the case from the DPC which is now lead supervisory authority“. Darstellung der Beschwerdeführerin.
5 Cao und Yang 2015, IEEE Symposium on Security and Privacy 2015, DOI 10.1109/SP.2015.35 Abstract („the process of which we call machine unlearning“) und Abschn. I.A (drei Anlässe: „privacy“, „security“ mit verunreinigten Trainingsdaten, „usability“ mit falschen Empfehlungen; Ziel: Daten „completely and quickly“ vergessen, „asymptotically faster than retraining from scratch“; Verfahren für Lernalgorithmen in „summation form“). Volltext (PDF der Columbia University) im Arbeitsspeicher gelesen am 25.10.2026.
6 HmbBfDI 2025, FAQ „Meta: KI-Training mit persönlichen Daten“, Update 27.5.2025 („Soweit die eigenen Daten bereits zum KI-Training verwendet wurden, kann dies durch einen nachträglichen Widerspruch allerdings nicht rückgängig gemacht werden. Trainingsdaten fließen unwiderruflich in KI-Modelle ein, und ihr Einfluss kann nach heutigem Stand der Technik nicht mehr aus dem Modell entfernt werden. In Bezug auf zukünftige Trainings ist ein Widerspruch aber wirksam.“). Abgerufen am 25.10.2026.
7 Cooper u. a. 2024, Abstract („unlearning is not a general-purpose solution for circumscribing generative-AI model behavior“). arXiv:2412.06966, v1 9.12.2024, v2 31.10.2025; 37 Autorinnen und Autoren; NeurIPS 2025 (Oral). Zur Unterscheidung von Entfernen und Unterdrücken ebd., Abstract („targeted suppression of information from a model’s outputs“); zu den Grenzen des Entfernens auch HmbBfDI 2025. Kolibris Vortraining: Kap. 15, Anm. zur Modellkarte (768 B200, 21 Tage).
8 Hugging-Face-Nutzer (Name bewusst nicht genannt) 2026, wie Kap. 5 und Kap. 22, Anm. 32 (Repository am 5.10.2026 angelegt, zwei Tage nach der Veröffentlichung am 3.10.2026; laut Selbstangabe 3 von 100 schädlichen Testanfragen abgelehnt).
9 Korbak u. a. 2025, Abstract und Abschn. 3–4 (Titel „Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety“; Gefahren: Abdrift durch ergebnisbasiertes RL, direkte Aufsicht über die Kette, indirekter Optimierungsdruck, neue Architekturen mit Denken im latenten Raum). arXiv:2507.11473, v1 15.7.2025 („Tomek Korbak and 40 other authors“), v2 7.12.2025; Erstautoren Tomek Korbak (UK AI Security Institute) und Mikita Balesni (Apollo Research); das Papier gibt die Ansicht der Einzelnen wieder, nicht die ihrer Institutionen. Zur direkten Aufsicht: Ketten unter Druck könnten „less faithfully reflect how models arrive at their decisions“. PDF v1 im Arbeitsspeicher geprüft am 25.10.2026, Autorenliste und Abschn. 4.
10 Hao u. a. 2024, Abstract („Most word tokens primarily ensure textual coherence and are not essential for reasoning“; „Coconut utilizes the last hidden state of the LLM as a representation of the reasoning state … we feed it back to the model as the next input embedding“), Abschn. 4 („We use a pre-trained GPT-2 model“) und Tab. 1 (ProsQA: Coconut 97,0 ± 0,3, CoT 77,5 ± 1,9; GSM8k: Coconut 34,1 ± 1,5, CoT 42,9 ± 0,2). FAIR at Meta und UC San Diego; arXiv v1 9.12.2024, zitiert nach v4 vom 23.8.2026; COLM 2025. PDF im Arbeitsspeicher geprüft am 25.10.2026.
11 Geiping u. a. 2025, Abstract („iterating a recurrent block, thereby unrolling to arbitrary depth at test-time“; „We scale a proof-of-concept model to 3.5 billion parameters and 800 billion tokens“; „up to a computation load equivalent to 50 billion parameters“). Affiliationen laut PDF: ELLIS Institute Tübingen, Max-Planck-Institut für Intelligente Systeme, Tübingen AI Center; University of Maryland; Lawrence Livermore National Laboratory. arXiv 7.2.2025. Modellname Huginn laut Modellseite des Teams.
12 OpenAI 2026s, 29.9.2026, Abschn. 8.1.1 „CoT Controllability“ („among CoTs between 750 and 1,250 tokens long, GPT‑6 Sol successfully follows the requested CoT instruction in 23.2% of cases, compared with 16.1% for GPT‑5.6 Sol, 1.7% for GPT‑5.5 Thinking, 44.8% for GPT‑6.1 Sol, and 60.9% for GPT‑6 Astra“). Herstellerangabe. Abgerufen am 25.10.2026 über einen Extraktionsdienst. Werte für Astra und GPT-5.6 Sol wie Kap. 18, Anm. 24.
13 Anthropic 2026ab, Abschnitt „Claude Fable 5.1 and Claude Mythos 5.1“: „Claude Mythos 5.1 offers the same capabilities only to organizations verified through Anthropic’s verification programs“, „It shares Claude Fable 5.1’s specifications and pricing“; veröffentlicht am 1.9.2026 als Weiterentwicklung von Claude Fable 5 (Herstellerangabe). Zum Vorgänger Anthropic 2026y, 9.6.2026: Mythos 5 sei „the same underlying model as Fable 5, but with the safeguards lifted in some areas“ und werde „as an upgrade to Claude Mythos Preview“ bereitgestellt (Herstellerangabe; beide abgerufen am 29.10.2026).
14 Anthropic 2026ad, 22.9.2026, Abschn. 6.6.4.4 („Claude Opus 5.5 controls its CoT about as well as Claude Opus 4.7“; „relatively low CoT controllability“) („Lower is better, since higher controllability … could make monitoring less reliable“; die Kette von Opus 5.5 sei „more monitorable than the CoT of Claude Mythos 5.1“) und Abschn. 6.4.6 („somewhat less legible than has been the case for our best models … the text is dense or jargon-filled somewhat more often, but it is nonetheless still ordinary, readable English“). Herstellerangabe über eigene Modelle; Messverfahren abweichend von OpenAI, daher keine Zahlen nebeneinandergestellt. Abgerufen am 25.10.2026 über einen Extraktionsdienst.
15 OpenAI 2026q, 3.9.2026 („will not accept further degradation of monitoring beyond a limit, without new ways to demonstrate alignment generalization“; Ersatz u. a. „activation monitoring, confessions, or a combination“). Herstellerangabe. Zu den Rückschlägen der Sparse Autoencoder vgl. Kap. 22, Anm. 29 und 30.
16 International Energy Agency 2026a, 16.4.2026, Executive Summary, S. 8–9 (Energie pro KI-Aufgabe „dropping by at least an order of magnitude annually in recent years“; Strombedarf der Rechenzentren 2025 +17 %, KI-fokussierte Rechenzentren +50 %) und Notes zu Abb. 1.1, S. 16 („no hyperscaler reported data is available for 2025 at the time of writing“). Wie Kap. 13, Anm. 6.
17 Google 2026, Abschn. „Energy“, S. 19 der PDF-Fassung („our total electricity consumption grew by 37% in 2025, up from 27% in 2024“; „To support all our products and digital services—including AI“). Erschienen am 30.6.2026, Geschäftsjahr 2025. Herstellerangabe über den eigenen Verbrauch. PDF im Arbeitsspeicher gelesen am 25.10.2026.
18 Brynjolfsson u. a. 2026, wie Kap. 11, Anm. 36 („about 19% below“, verglichen mit Gleichaltrigen „in less-exposed occupations“; „descriptive patterns, not causal estimates“; „zuletzt“ meint den Datenstand Juni 2026; 22- bis 25-Jährige).
19 Arntz u. a. 2026, wie Kap. 11, Anm. 34 (bei 20- bis 29-Jährigen Zusammenhang mit KI „statistisch aber nach wie vor nicht signifikant“; signifikant negativ nur im verarbeitenden Gewerbe und in nichtakademisch geprägten Berufen).
20 Bundesgerichtshof 2026, Terminhinweis I ZR 281/25 (Verkündungstermin 17.12.2026, 8:45 Uhr; Verhandlung 3.9.2026), am 2.11.2026 erneut abgerufen, kein Hinweis auf eine Verlegung. Namen der Parteien wie Kap. 11, Anm. 13 (Initiative Urheberrecht 2026). Das Datum ist ein angesetzter Verkündungstermin, kein ergangenes Urteil.
21 Tabelle 27.1, alle Seiten am 25.10.2026 aufgerufen (HTTP 200): Karpathy o. J. (von micrograd bis „Let’s build GPT“); fast.ai o. J. („a free course designed for people with some coding experience“); Hugging Face o. J. b (u. a. LLM Course, Agents Course); Stanford University 2026 (Videos „available (free!)“, Fassung Winter 2026); Liang und Hashimoto 2026 (Spring 2026, Lecture 1 „Overview, tokenization“); KI-Campus (Stifterverband) o. J. (Lernplattform des Stifterverbandes, kostenlose Onlinekurse) und University of Helsinki und MinnaLearn o. J. (kostenloser Einsteigerkurs; aktuellste Fassung laut Seite die englische); Hugging Face o. J. a (Daily Papers; Papers with Code leitet am 25.10.2026 auf die Seite Trending von Hugging Face Papers weiter).
22 Eberhard Karls Universität Tübingen o. J. (Master Machine Learning: Englisch, 4 Semester, Beginn im Wintersemester, Bewerbungsfrist 30.4.); BTU Cottbus-Senftenberg o. J. (deutschsprachig, 4 Semester; Kooperationspartner u. a. IHP, DLR, Fraunhofer-Institute); Lüber 2026, 20.5.2026, geändert 27.5.2026 („Drei vom DAAD geförderte Graduiertenschulen“; SECAI untersucht, „wie Computerhardware und intelligente Softwaresysteme besser zusammenarbeiten“; Doktorand der TU Dresden mit einem Chip, der den Stromverbrauch von KI-Anwendungen „drastisch reduzieren soll“); SECAI – School of Embedded Composite AI o. J. (TU Dresden und Universität Leipzig, „one of three Zuse Schools“); ELLIS 2026 (am 2.11.2026: „Apply by 31 October 2026 to join the ELLIS PhD Program in 2027“; „1 centralised application to 50-100 institutions“; Betreuung über zwei europäische Länder); Bundeswettbewerb Künstliche Intelligenz 2026 (Finale 13.11.2026 in Tübingen; Anmeldung 2026 bis 12.7., Abgabe 20.9.2026; Termine 2027 noch nicht angegeben). Alle aufgerufen am 25.10.2026, Tübingen, ELLIS und BWKI erneut am 2.11.2026.
23 Tabelle 27.2: Bundesnetzagentur 2025b (Start am 3.7.2025, mit „KI-Compliance Kompass“); Themenseite KI am 25.10.2026 erreichbar; DSK 2024 (Version 1.0 vom 6.5.2024); AlgorithmWatch o. J. („gemeinnützige Nichtregierungsorganisation in Berlin und Zürich“); interface (früher Stiftung Neue Verantwortung) o. J. (früher Stiftung Neue Verantwortung); Deutscher Ethikrat 2023 (Stellungnahme „Mensch und Maschine – Herausforderungen durch Künstliche Intelligenz“, 20.3.2023); Science Media Center Germany o. J. (Formate „Statements“ und „Press Briefing“); TU Dortmund o. J. (Lehrstuhl an der TU Dortmund; Zweitfächer u. a. Physik, Technikjournalismus, Datenjournalismus); Öko-Institut o. J. (Themenseite „Künstliche Intelligenz und Software“) und CodeCarbon o. J. (Open-Source-Werkzeug einer französischen Non-Profit-Organisation, misst den CO2-Ausstoß von Rechnungen auf CPU, GPU und RAM); Google PAIR o. J. (Seite lädt nur mit JavaScript) und Amershi u. a. 2019 (CHI 2019, 13 Autorinnen und Autoren; „We propose 18 generally applicable design guidelines for human-AI interaction“, geprüft mit 49 Designern an 20 Produkten; Abstract über OpenAlex). Alle Seiten am 25.10.2026 aufgerufen.
Ausblick: Jenseits des Chatfensters
1 The Royal Swedish Academy of Sciences 2024b, Pressemitteilung vom 9.10.2024 („one half to David Baker … ‚for computational protein design‘ and the other half jointly to Demis Hassabis … John Jumper … ‚for protein structure prediction‘“; „they have been able to predict the structure of virtually all the 200 million proteins that researchers have identified. Since their breakthrough, AlphaFold2 has been used by more than two million people from 190 countries“). „Since the 1970s, researchers had tried to predict protein structures from amino acid sequences“. Herausgeberin: Königlich Schwedische Akademie der Wissenschaften. Physik-Nobelpreis 2024 wie Kap. 15 (Nobelkomitee 2024, 8.10.2024). Abgerufen am 25.10.2026.
2 The Royal Swedish Academy of Sciences 2024a, Abschnitte zu CASP und AlphaFold2 („in 1994 researchers started a project called Critical Assessment of Protein Structure Prediction (CASP)“; „Every other year, researchers … were given access to sequences of amino acids in proteins whose structures had just been determined. However, the structures were kept secret“; 2018: „accuracy of 40 per cent, at best … Hassabis’ team reached almost 60 per cent“, „the prediction had to have an accuracy of 90 per cent“; AlphaFold2: „neural networks called transformers“; CASP14 2020: „In most cases, AlphaFold2 performed almost as well as X-ray crystallography“). Abgerufen am 25.10.2026.
3 Abramson u. a. 2024, Abstract („a substantially updated diffusion-based architecture“), Abschn. zur Architektur („directly predicts the raw atom coordinates with a diffusion module“; „generative models are prone to hallucination, whereby the model may invent plausible-looking structure even in unstructured regions“) und „Model limitations“ („spurious structural order (hallucinations) in disordered regions“; solche Bereiche seien meist mit sehr niedriger Konfidenz markiert). Nature 630, veröffentlicht 8.5.2024; Google DeepMind und Isomorphic Labs. Abgerufen am 25.10.2026.
4 U.S. Food and Drug Administration 2026 („The list is not a comprehensive resource of AI-enabled medical devices“; Einträge „identified primarily based on the use of AI-related terms“; neuester Eintrag mit Entscheidungsdatum 29.6.2026). Anteil Radiologie: eigene Auszählung der Spalte „Panel (Lead)“ für Entscheidungen vom 5.1. bis 29.6.2026, 135 von 181 Einträgen „Radiology“ (74,6 Prozent); 176 der 181 sind 510(k)-Freigaben. Gelesen in der Fassung vom 17.10.2026 im Internet Archive, abgerufen am 25.10.2026.
5 Eisemann u. a. 2025, Abstract („From July 2021 to February 2023, a total of 463,094 women were screened (260,739 with AI support) by 119 radiologists“; „breast cancer detection rate of 6.7 per 1,000, which was 17.6% (95% confidence interval: +5.7%, +30.8%) higher than … the rate (5.7 per 1,000)“; Wiedereinbestellungsrate 37,4 gegen 38,3 je 1.000, „noninferior“; „Radiologists in this study voluntarily chose whether to use the AI system“; „12 sites in Germany“), Competing interests („The study was funded by Vara. Vara was involved in the study design, collection and interpretation of data, and writing of the report.“; drei Autoren Angestellte von Vara). Nature Medicine, 7.1.2025; Universität zu Lübeck und Vara, Berlin. Abgerufen am 25.10.2026.
6 Gommers u. a. 2026, Abstract (PubMed-ID 41620232): „Between April 12, 2021, and Dec 7, 2022, 105 934 women were randomly assigned“; „Interval cancer rates were 1·55 (95% CI 1·23–1·92) and 1·76 (1·42–2·15) per 1000 participants in the intervention and control group respectively, a non-inferior proportion ratio of 0·88 (95% CI 0·65–1·18; p=0·41)“; Sensitivität 80,5 gegen 73,8 Prozent; „non-inferior“: Die vorab registrierte Grenze lautet, die Rate der Intervallkarzinome in der KI-Gruppe sei „not more than 20% larger than in the control arm“, also ein Verhältnis von höchstens 1,20; die obere Grenze 1,18 liegt knapp darunter (Region Skåne 2021, Beschreibung der Studie, abgerufen am 29.10.2026); Definition der Intervallkarzinome „primary breast cancers diagnosed between two screening rounds … that were not detected at screening“. Lancet 407 (2026), S. 505–514, 31.1.2026; Letztautorin Kristina Lång, Universität Lund. Finanzierung: schwedische Krebsgesellschaft und öffentliche Mittel. Abstract abgerufen über PubMed am 25.10.2026 (Volltext bei The Lancet nicht frei zugänglich).
7 ScreenPoint Medical 2026, 30.1.2026 („MASAI RCT: 12% reduction in interval cancer rate using Transpara“; „the use of Transpara Detection contributed to a 12% reduction in the rate of interval cancers“). Herstellerangabe. Abgerufen am 25.10.2026.
8 KI-Verordnung, Art. 6 Abs. 1 mit Anhang I (Medizinprodukte nach VO (EU) 2017/745); Art. 113 Abs. 3 Buchst. c in der Fassung der VO (EU) 2026/1744: Kapitel III Abschnitte 1–3 für Anhang I ab 2.8.2028. Wie Kap. 11, Abb. 11.1 und Anmerkungen dort.
9 Physical Intelligence 2025b, 22.12.2025 (Moravec-Paradox: „This mismatch between our expectations about how hard something is for us and how hard it is for machines“; Aufgaben nach einem Vorschlag von Benjie Holson; Gold in drei von fünf Disziplinen, darunter Tür und fettige Pfanne, Silber bei Socken; Goldaufgabe Wäsche: Hemd auf rechts drehen und aufhängen, „physically impossible for our robot“, da der Greifer „too wide to fit inside the sleeve“; im Schnitt 52 Prozent Erfolg und 72 Prozent Aufgabenfortschritt; Vergleichsmodell ohne Roboter-Vortraining 9 Prozent Fortschritt). Herstellerangabe. Abgerufen am 25.10.2026.
10 Brohan u. a. 2023, Abstract („We refer to such category of models as vision-language-action models (VLA)“; „we express the actions as text tokens“; „6k evaluation trials“; „placing an object onto a particular number or icon“), Abschn. 3 (Aktionen „discretized into 256 bins uniformly“) und Abschn. 5 („the robot does not acquire any ability to perform new motions“; „The model’s physical skills are still limited to the distribution of skills seen in the robot data“). arXiv:2307.15818, v1 28.7.2023, Google DeepMind. PDF im Arbeitsspeicher gelesen am 25.10.2026.
11 Physical Intelligence 2025a, 17.11.2025 (Modell π*0.6; „make various espresso drinks from 5:30am to 11:30pm“; außerdem Wäsche falten und Schachteln falten). Herstellerangabe. Abgerufen am 25.10.2026.
12 van den Oord u. a. 2016, Abstract („a deep neural network for generating raw audio waveforms … autoregressive, with the predictive distribution for each audio sample conditioned on all previous ones“) und Abschn. 1 („at least 16,000 samples per second“). arXiv:1609.03499, v1 12.9.2016, DeepMind. PDF im Arbeitsspeicher gelesen am 25.10.2026.
13 Radford u. a. 2022, Abstract („scaled to 680,000 hours of multilingual and multitask supervision“), Abschn. 2.2 („encoder-decoder Transformer“) und Abschn. 3.3 mit Tab. 2 (beide Modelle bei LibriSpeech „within 0.1% of each other“; „makes 55.2% less errors on average“; „emphasizing zero-shot and out-of-distribution evaluations of models … to avoid overstating the capabilities“). arXiv:2212.04356, v1 6.12.2022, OpenAI; Modelle 2022 veröffentlicht. PDF im Arbeitsspeicher gelesen am 25.10.2026.
14 Koenecke u. a. 2024, Abstract („roughly 1% of audio transcriptions contained entire hallucinated phrases or sentences which did not exist in any form in the underlying audio“; „38% of hallucinations include explicit harms“; „hallucinations disproportionately occur for individuals who speak with longer shares of non-vocal durations — a common symptom of aphasia“). FAccT 2024, DOI 10.1145/3630106.3658996; arXiv:2402.08021 (v2 3.5.2024). Abgerufen am 25.10.2026.
15 Défossez u. a. 2024, Abstract („Current systems for spoken dialogue rely on pipelines of independent components“; „latency of several seconds“; „non-linguistic information … is lost“; „segmentation into speaker turns, which does not take into account overlapping speech, interruptions“; „theoretical latency of 160ms, 200ms in practice“) und Abschn. 3.3 und 3.4.1 (Audiocodec Mimi mit 12,5 Hz, „Q = 8 codebooks“, also 100 Tokens pro Sekunde). arXiv:2410.00037, v2 2.10.2024. Sitz laut Kyutai 2026: „AI research lab based in Paris“, finanziert von Iliad, CMA CGM und Schmidt Sciences. Beide abgerufen am 25.10.2026.
16 OpenAI 2024e, Abschn. 1 („GPT-4o can respond to audio inputs in as little as 232 milliseconds, with an average of 320 milliseconds, which is similar to human response time“; „all inputs and outputs are processed by the same neural network“). Datiert 8.8.2024, arXiv:2410.21276 vom 25.10.2024. Herstellerangabe. PDF im Arbeitsspeicher gelesen am 25.10.2026.