Je suis Jay Derinbogaz. J’ai fondé trois entreprises, et je mettais en production de grands modèles de langage trois ans avant que ChatGPT n’en fasse un intitulé de poste.
J’étais là avant l’API
Novembre 2022, c’est le moment où la plupart des gens ont rencontré un modèle de langage. Moi, je les déployais depuis 2019.
OpenAI a échelonné la sortie de GPT-2 sur cette année parce qu’ils jugeaient le modèle complet de 1,5 milliard de paramètres trop dangereux pour le publier. Je faisais du fine-tuning sur les checkpoints au fur et à mesure qu’ils arrivaient. Pas de endpoint de chat, pas de system prompt, pas de fournisseur à appeler — vous scrappiez votre propre jeu de données, vous l’entraîniez vous-même, et vous le faisiez tenir sur du matériel qui n’avait jamais été conçu pour ça.
NameKrea est né de ça. GPT-2 355M, fine-tuné sur 100 000 domaines que j’ai scrappés depuis le Majestic Million et associés à la meta description de ce qu’était réellement chaque site, pour qu’il génère des noms qui aient du sens au lieu de bruit. Trente minutes d’entraînement sur deux GPU. Il a été livré comme un produit en production, il est sous licence MIT, et des gens le forkkent encore des années plus tard.
Chaque sortie open source significative de cette époque est passée sur mes GPU — gpt-2-simple, finetune-gpt2xl, aitextgen sur SageMaker multi-GPU, puis GPT-J 6B tournant sur de la VRAM grand public. J’ai réussi à faire tourner l’entraînement du GPT-2 XL complet de 1,5B sur une seule carte de 16 Go alors que la réponse admise était que c’était impossible. C’était toute la discipline à l’époque : les modèles étaient gratuits et le calcul était le mur, donc l’ingénierie consistait entièrement à contourner le mur.
L’industrie dépense aujourd’hui des milliards pour la même question à laquelle je répondais dans une chambre en 2019. Que faut-il pour mettre ce truc en production sur du matériel que vous pouvez réellement vous permettre ?
TextCortex
J’ai cofondé TextCortex à Berlin en 2021 et j’en suis le fondateur technique. Nous construisons des agents IA pour les entreprises qui doivent se soucier de l’endroit où vivent leurs données — infrastructure européenne, gouvernance réelle, déployés chez des entreprises comme Siemens et Lamborghini.
Soutenu par b2venture, Speedinvest et Entrepreneur First. Plus de deux millions d’utilisateurs. Désigné leader de catégorie par Gartner, G2 et Capterra, #20 Produit à la croissance la plus rapide de 2024 et #10 Meilleur logiciel IA de 2025.
Je lis encore les diffs. La plupart de ce que je construis maintenant, c’est l’outillage autour des modèles plutôt que les modèles eux-mêmes, et mes deux projets open source actuels sont directement issus de problèmes que nous avons rencontrés en faisant tourner l’ingénierie à grande échelle.
Juror exécute plusieurs modèles de pointe sur la même pull request en parallèle, car un seul relecteur signifie exactement un angle mort et vous n’en apprendrez jamais la forme de l’intérieur.
GitRank résout l’autre moitié. Il note chaque pull request fusionnée avec Claude — en classant le travail par composant et sévérité, en pondérant différemment un correctif d’authentification P1 d’un changement de copie — et transforme cela en classements, métriques de vélocité, points chauds de bugs, propriété des fonctionnalités et détection de silos de connaissances. L’évaluation des performances en ingénierie repose encore principalement sur des impressions, et les données pour le faire correctement sont restées dans l’historique git de tout le monde pendant tout ce temps. Auto-hébergeable, infrastructure UE, gratuit pour un usage non commercial.
Trois entreprises
TextCortex est la troisième.
À 22 ans, j’ai fondé une entreprise AR/VR qui travaillait pour Renault et Nokia. À 24 ans, j’ai fondé Grafentek en Allemagne pour fabriquer des matériaux de batterie au graphène — deep tech, science dure, et la presse économique allemande a publié un chapitre de livre à ce sujet. Entre les deux, j’ai dirigé l’ingénierie des données chez trivago.
J’ai étudié le génie mécanique avec une spécialisation en mécanique numérique — méthodes numériques sur de très grandes matrices, ce qui est un chemin bien plus court vers l’entraînement de réseaux de neurones qu’il n’y paraît. Je suis arrivé aux modèles de langage via le graphène et la réalité virtuelle, et dans chacun de ces domaines, la partie difficile n’a jamais été la démo.
Ce que vous trouverez ici
Journaux de construction, post-mortems et reçus. Je publie les chiffres réels — ce que ça a coûté, ce que ça a attrapé, ce que ça a manqué — parce que dans cette industrie presque personne ne le fait, et l’arithmétique est généralement tout l’argument.
À propos de ce site
Astro statique, déployé sur Cloudflare Workers. Les articles sont des fichiers markdown dans un dépôt git. Chaque article est traduit dans huit autres langues par une GitHub Action, y compris le slug d’URL — ces traductions sont générées automatiquement et étiquetées comme telles.
Les liens GitHub et LinkedIn dans la barre latérale sont le moyen le plus rapide de me joindre.