Ich bin Jay Derinbogaz. Ich habe drei Unternehmen gegründet und brachte große Sprachmodelle in die Produktion, drei Jahre bevor ChatGPT daraus einen Jobtitel machte.
Ich war vor der API hier
November 2022 war der Moment, als die meisten Menschen ein Sprachmodell kennenlernten. Ich lieferte bereits seit 2019 damit aus.
OpenAI staffelte die Veröffentlichung von GPT-2 über das Jahr, weil sie das vollständige 1,5-Milliarden-Parameter-Modell für zu gefährlich hielten, um es zu veröffentlichen. Ich feinabstimmte die Checkpoints, sobald sie erschienen. Kein Chat-Endpunkt, kein System-Prompt, kein Anbieter, den man anrufen konnte – man scrapete seinen eigenen Datensatz, trainierte selbst und brachte es auf Hardware zum Laufen, die nie dafür ausgelegt war.
NameKrea entstand daraus. GPT-2 355M, feinabgestimmt auf 100.000 Domains, die ich aus dem Majestic Million scrapete und mit der Meta-Beschreibung dessen paarte, was jede Seite tatsächlich war, sodass es Namen generierte, die etwas bedeuteten, statt Rauschen. Dreißig Minuten Training auf zwei GPUs. Es wurde als Live-Produkt ausgeliefert, ist MIT-lizenziert, und Leute forken es Jahre später immer noch.
Jede bedeutende Open-Release dieser Ära lief über meine GPUs – gpt-2-simple, finetune-gpt2xl, aitextgen auf Multi-GPU SageMaker, dann GPT-J 6B auf Consumer-VRAM. Ich bekam das volle 1,5B GPT-2 XL auf einer einzigen 16-GB-Karte zum Laufen, als die allgemeine Antwort war, dass das nicht ginge. Das war die ganze Disziplin damals: Die Modelle waren kostenlos und die Rechenleistung war die Hürde, also bestand die gesamte Ingenieursarbeit darin, diese Hürde zu umgehen.
Die Industrie gibt heute Milliarden für dieselbe Frage aus, die ich 2019 in einem Schlafzimmer beantwortete. Was braucht es, um dieses Ding auf Hardware in Produktion zu bringen, die man sich tatsächlich leisten kann?
TextCortex
Ich habe TextCortex 2021 in Berlin mitgegründet und bin der technische Gründer. Wir bauen KI-Agenten für Unternehmen, die darauf achten müssen, wo ihre Daten leben – europäische Infrastruktur, echte Governance, eingesetzt bei Firmen wie Siemens und Lamborghini.
Unterstützt von b2venture, Speedinvest und Entrepreneur First. Über zwei Millionen Nutzer. Von Gartner, G2 und Capterra als Kategorie-Führer ausgezeichnet, #20 am schnellsten wachsendes Produkt 2024 und #10 beste KI-Software 2025.
Ich lese immer noch die Diffs. Das meiste, was ich heute baue, sind die Werkzeuge rund um die Modelle, nicht die Modelle selbst, und beide meiner aktuellen Open-Source-Projekte entstanden direkt aus Problemen, die wir beim Engineering in großem Maßstab hatten.
Juror lässt mehrere Frontier-Modelle parallel über denselben Pull Request laufen, denn ein Reviewer bedeutet genau einen blinden Fleck, und du wirst nie von innen erfahren, wie er aussieht.
GitRank löst die andere Hälfte. Es bewertet jeden gemergten Pull Request mit Claude – klassifiziert die Arbeit nach Komponente und Schweregrad, gewichtet einen P1-Authentifizierungs-Fix anders als eine Copy-Änderung – und wandelt das in Leaderboards, Geschwindigkeitsmetriken, Bug-Hotspots, Feature-Ownership und Erkennung von Wissenssilos um. Engineering-Leistungsbeurteilung ist immer noch meistens Bauchgefühl, und die Daten, um es richtig zu machen, lagen die ganze Zeit in jedermanns Git-Historie. Selbst hostbar, EU-Infrastruktur, kostenlos für nicht-kommerzielle Nutzung.
Drei Unternehmen
TextCortex ist das dritte.
Mit 22 gründete ich ein AR/VR-Unternehmen, das für Renault und Nokia entwickelte. Mit 24 gründete ich Grafentek in Deutschland, um Graphen-Batteriematerialien herzustellen – Deep Tech, harte Wissenschaft, und die deutsche Wirtschaftspresse widmete dem ein Buchkapitel. Dazwischen leitete ich Data Engineering bei trivago.
Ich studierte Maschinenbau mit Schwerpunkt Computational Mechanics – numerische Methoden auf sehr großen Matrizen, was ein viel kürzerer Weg zum Trainieren neuronaler Netze ist, als es klingt. Ich gelangte über Graphen und Virtual Reality zu Sprachmodellen, und in jedem dieser Felder war der schwierige Teil nie die Demo.
Was du hier findest
Build-Logs, Post-Mortems und Belege. Ich veröffentliche die tatsächlichen Zahlen – was es gekostet hat, was es erwischt hat, was es verpasst hat – denn in dieser Branche tut das fast niemand, und die Rechnung ist meist das gesamte Argument.
Über diese Seite
Statisches Astro, deployed auf Cloudflare Workers. Beiträge sind Markdown-Dateien in einem Git-Repo. Jeder Beitrag wird von einer GitHub Action in acht weitere Sprachen übersetzt, einschließlich des URL-Slugs – diese Übersetzungen sind maschinell erstellt und als solche gekennzeichnet.
Die GitHub- und LinkedIn-Links in der Seitenleiste sind der schnellste Weg, mich zu erreichen.