Ik ben Jay Derinbogaz. Ik heb drie bedrijven opgericht en ik zette grote taalmodellen al in productie drie jaar voordat ChatGPT daar een functietitel van maakte.
Ik was er al vóór de API
November 2022 is wanneer de meeste mensen kennis maakten met een taalmodel. Ik leverde er al sinds 2019 op.
OpenAI spreidde de GPT-2-release over dat jaar omdat ze het volledige model met 1,5 miljard parameters te gevaarlijk vonden om te publiceren. Ik fine-tunede de checkpoints zodra ze uitkwamen. Geen chat-endpoint en niemand om een ticket naar te sturen. Je schraapte je eigen dataset, je trainde het zelf, en je zorgde dat het paste op hardware die er nooit voor ontworpen was.
NameKrea kwam daaruit voort. GPT-2 355M, gefine-tuned op 100.000 domeinen die ik van de Majestic Million had geschraapt en gekoppeld aan de meta description van wat elke site daadwerkelijk was, zodat het namen genereerde die iets betekenden in plaats van ruis. Dertig minuten training over twee GPU’s. Het werd gelanceerd als een live product, het heeft een MIT-licentie en mensen forken het nog steeds jaren later.
Elke significante open release uit die tijd ging over mijn GPU’s:
gpt-2-simple, finetune-gpt2xl, aitextgen op multi-GPU SageMaker, en daarna
GPT-J 6B draaiend op consumenten-VRAM. Ik kreeg de volledige 1,5B GPT-2 XL
trainend op een enkele 16 GB-kaart terwijl het geaccepteerde antwoord was dat
dat niet kon. Dat was de hele discipline in die tijd: de modellen waren gratis
en de compute was de muur, dus de engineering zat hem helemaal in hoe je om die
muur heen kwam.
De industrie geeft nu miljarden uit aan dezelfde vraag die ik in 2019 in een slaapkamer beantwoordde. Wat kost het om dit ding in productie te krijgen op hardware die je je daadwerkelijk kunt veroorloven?
TextCortex
Ik heb TextCortex in 2021 in Berlijn mede-opgericht en ik ben de technisch oprichter. We bouwen AI-agents voor ondernemingen die moeten weten waar hun data leeft. Europese infrastructuur, echte governance, geïmplementeerd bij bedrijven als Siemens en Lamborghini.
Gesteund door b2venture, Speedinvest en Entrepreneur First. Meer dan twee miljoen gebruikers. Door Gartner, G2 en Capterra uitgeroepen tot categorieleider, #20 snelst groeiende product van 2024 en #10 beste AI-software van 2025.
Ik lees nog steeds de diffs. Het meeste wat ik nu bouw is de tooling rondom de modellen in plaats van de modellen zelf, en mijn twee huidige open source-projecten komen allebei rechtstreeks voort uit problemen die we tegenkwamen bij het draaien van engineering op schaal.
Juror draait meerdere frontier-modellen parallel over dezelfde pull request, omdat één reviewer precies één blinde vlek betekent en je de vorm daarvan nooit van binnenuit leert kennen.
GitRank lost de andere helft op. Het scoort elke gemergde pull request met Claude, classificeert het werk op component en ernst en weegt een P1-authenticatiefix anders dan een tekstwijziging, en vertaalt dat naar leaderboards, velocity-metrieken, bug-hotspots, feature-eigenaarschap en detectie van kennissilo’s. Engineering-performancebeoordeling is nog steeds vooral onderbuikgevoel, en de data om het goed te doen heeft de hele tijd al in ieders git-geschiedenis gezeten. Self-hostable, EU-infrastructuur, gratis voor niet-commercieel gebruik.
Drie bedrijven
TextCortex is de derde.
Op mijn 22e richtte ik een AR/VR-bedrijf op dat bouwde voor Renault en Nokia. Op mijn 24e richtte ik Grafentek in Duitsland op om grafeen-batterijmaterialen te maken. Deep tech, harde wetenschap, en de Duitse zakenpers publiceerde er een boekhoofdstuk over. Daartussen leidde ik data-engineering bij trivago.
Ik studeerde werktuigbouwkunde met een focus op computationele mechanica: numerieke methoden op zeer grote matrices, wat een veel kortere weg is naar het trainen van neurale netwerken dan het klinkt. Ik kwam bij taalmodellen via grafeen en virtual reality, en in elk van die vakgebieden was het moeilijke deel nooit de demo.
Wat je hier vindt
Build-logs en bonnetjes. Ik publiceer wat het kostte en wat het miste, omdat in deze industrie bijna niemand dat doet en de rekenkunde meestal het hele argument is.
Over deze site
Statische Astro, gedeployed naar Cloudflare Workers. Posts zijn markdown- bestanden in een git-repo. Elke post wordt door een GitHub Action in acht extra talen vertaald, inclusief de URL-slug. Die vertalingen zijn machinegegenereerd en worden als zodanig gelabeld.
De GitHub- en LinkedIn-links in de zijbalk zijn de snelste manier om me te bereiken.