Je suis Jay Derinbogaz. J’ai fondé trois entreprises, et je mettais de grands modèles de langage en production trois ans avant que ChatGPT ne transforme ça en intitulé de poste.
J’étais là avant l’API
Novembre 2022, c’est le moment où la plupart des gens ont rencontré un modèle de langage. Moi, je livrais des produits dessus depuis 2019.
OpenAI a échelonné la sortie de GPT-2 sur cette année-là parce qu’ils jugeaient le modèle complet de 1,5 milliard de paramètres trop dangereux à publier. Je faisais du fine-tuning sur les checkpoints au fur et à mesure de leur sortie. Pas d’endpoint de chat et personne à qui ouvrir un ticket. Tu scrapais ton propre dataset, tu l’entraînais toi-même, et tu le faisais tenir sur du matériel qui n’avait jamais été conçu pour ça.
NameKrea est né de ça. GPT-2 355M, fine-tuné sur 100 000 domaines que j’avais scrapés depuis le Majestic Million et appariés avec la meta description de ce qu’était réellement chaque site, pour qu’il génère des noms qui veulent dire quelque chose au lieu de bruit. Trente minutes d’entraînement sur deux GPU. Il est sorti comme produit en production, il est sous licence MIT, et les gens le forkkent encore des années plus tard.
Chaque sortie open source significative de cette époque est passée sur mes GPU : gpt-2-simple, finetune-gpt2xl, aitextgen sur SageMaker multi-GPU, puis GPT-J 6B qui tournait sur de la VRAM grand public. J’ai réussi à faire tourner l’entraînement du GPT-2 XL complet de 1,5 Md de paramètres sur une seule carte de 16 Go alors que la réponse admise était que c’était impossible. C’était toute la discipline à l’époque : les modèles étaient gratuits et la puissance de calcul était le mur, donc toute l’ingénierie consistait à contourner ce mur.
L’industrie dépense aujourd’hui des milliards sur la même question à laquelle je répondais dans une chambre en 2019. Qu’est-ce que ça prend pour mettre ce truc en production sur du matériel que tu peux réellement te permettre ?
TextCortex
J’ai cofondé TextCortex à Berlin en 2021 et j’en suis le fondateur technique. Nous construisons des agents IA pour les entreprises qui doivent faire attention à l’endroit où vivent leurs données. Infrastructure européenne, vraie gouvernance, déployé chez des entreprises comme Siemens et Lamborghini.
Soutenu par b2venture, Speedinvest et Entrepreneur First. Plus de deux millions d’utilisateurs. Désigné leader de sa catégorie par Gartner, G2 et Capterra, #20 produit à la croissance la plus rapide de 2024 et #10 meilleur logiciel IA de 2025.
Je lis encore les diffs. La plupart de ce que je construis maintenant, c’est l’outillage autour des modèles plutôt que les modèles eux-mêmes, et mes deux projets open source actuels sont sortis directement des problèmes qu’on a rencontrés en faisant tourner l’ingénierie à l’échelle.
Juror fait tourner plusieurs modèles de pointe sur la même pull request en parallèle, parce qu’un seul reviewer signifie exactement un angle mort, et tu n’en apprendras jamais la forme de l’intérieur.
GitRank résout l’autre moitié. Il note chaque pull request fusionnée avec Claude, classifie le travail par composant et par sévérité, et pondère un correctif d’authentification P1 différemment d’un changement de copie, puis transforme ça en classements, métriques de vélocité, points chauds de bugs, propriété des fonctionnalités et détection de silos de connaissances. L’évaluation de la performance en ingénierie repose encore surtout sur des impressions, et les données pour la faire correctement sont restées dans l’historique git de tout le monde pendant tout ce temps. Auto-hébergeable, infrastructure UE, gratuit pour un usage non commercial.
Trois entreprises
TextCortex est la troisième.
À 22 ans, j’ai fondé une entreprise AR/VR qui construisait pour Renault et Nokia. À 24 ans, j’ai fondé Grafentek en Allemagne pour fabriquer des matériaux de batteries au graphène. Deep tech, science dure, et la presse économique allemande a publié un chapitre de livre dessus. Entre les deux, j’ai dirigé l’ingénierie des données chez trivago.
J’ai étudié le génie mécanique avec une spécialisation en mécanique computationnelle : des méthodes numériques sur de très grandes matrices, ce qui est un chemin bien plus court vers l’entraînement de réseaux de neurones que ce que ça en a l’air. Je suis arrivé aux modèles de langage par le graphène et la réalité virtuelle, et dans chacun de ces domaines, la partie difficile n’a jamais été la démo.
Ce que vous trouverez ici
Des journaux de build et des reçus. Je publie ce que ça a coûté et ce que ça a raté, parce que dans cette industrie presque personne ne le fait, et l’arithmétique est généralement tout l’argument.
À propos de ce site
Astro statique, déployé sur Cloudflare Workers. Les articles sont des fichiers markdown dans un dépôt git. Chaque article est traduit dans huit autres langues par une GitHub Action, y compris le slug d’URL. Ces traductions sont générées par machine et étiquetées comme telles.
Les liens GitHub et LinkedIn dans la barre latérale sont le moyen le plus rapide de me joindre.