Jestem Jay Derinbogaz. Założyłem trzy firmy, a wdrażałem duże modele językowe do produkcji trzy lata zanim ChatGPT zmienił to w nazwę stanowiska.
Byłem tu przed API
Listopad 2022 to moment, w którym większość ludzi poznała model językowy. Ja wdrażałem je od 2019 roku.
OpenAI rozłożyło wydanie GPT-2 na cały rok, ponieważ uznali, że pełny model z 1,5 miliarda parametrów jest zbyt niebezpieczny, by go opublikować. Ja dostrajałem punkty kontrolne w miarę ich pojawiania się. Żadnego endpointu czatu, żadnego system prompt, żadnego dostawcy, do którego można zadzwonić — samodzielnie skrobałeś swój zbiór danych, sam go trenowałeś i sprawiałeś, że działał na sprzęcie, który nigdy nie był do tego zaprojektowany.
NameKrea powstało z tego. GPT-2 355M, dostrojony na 100 000 domen, które wyciągnąłem z Majestic Million i sparowałem z meta opisem tego, czym każda strona faktycznie była, dzięki czemu generował nazwy, które coś znaczyły, zamiast być szumem. Trzydzieści minut treningu na dwóch GPU. Został wydany jako działający produkt, jest na licencji MIT, a ludzie wciąż go forkowali lata później.
Każde znaczące otwarte wydanie tamtej ery przeszło przez moje GPU — gpt-2-simple, finetune-gpt2xl, aitextgen na wielo-GPU SageMaker, potem GPT-J 6B działający na konsumenckiej pamięci VRAM. Udało mi się wytrenować pełny 1,5B GPT-2 XL na pojedynczej karcie 16 GB, podczas gdy powszechnie uważano, że to niemożliwe. Taka była wtedy cała dyscyplina: modele były darmowe, a moc obliczeniowa była ścianą, więc cała inżynieria polegała na tym, jak tę ścianę obejść.
Branża wydaje teraz miliardy na to samo pytanie, na które odpowiadałem w sypialni w 2019 roku. Co trzeba zrobić, aby wdrożyć to na sprzęt, na który naprawdę cię stać?
TextCortex
Współzałożyłem TextCortex w Berlinie w 2021 roku i jestem założycielem technicznym. Budujemy agentów AI dla przedsiębiorstw, które muszą dbać o to, gdzie żyją ich dane — europejska infrastruktura, prawdziwe zarządzanie, wdrożone w firmach takich jak Siemens i Lamborghini.
Wspierane przez b2venture, Speedinvest i Entrepreneur First. Ponad dwa miliony użytkowników. Uznane za lidera kategorii przez Gartner, G2 i Capterra, #20 Najszybciej Rosnący Produkt 2024 roku i #10 Najlepsze Oprogramowanie AI 2025 roku.
Wciąż czytam diffy. Większość tego, co teraz buduję, to narzędzia wokół modeli, a nie same modele, a oba moje obecne projekty open source wzięły się bezpośrednio z problemów, na które natknęliśmy się, prowadząc inżynierię na dużą skalę.
Juror uruchamia kilka modeli granicznych na tym samym pull requeście równolegle, ponieważ jeden recenzent oznacza dokładnie jedną martwą strefę, a jej kształtu nigdy nie poznasz od środka.
GitRank rozwiązuje drugą połowę. Ocenia każdy scalony pull request za pomocą Claude — klasyfikując pracę według komponentu i ważności, ważąc poprawkę uwierzytelniania P1 inaczej niż zmianę w kopii — i przekształca to w tablice wyników, metryki prędkości, gorące punkty błędów, własność funkcji i wykrywanie silosów wiedzy. Przegląd wydajności inżynierii wciąż opiera się głównie na odczuciach, a dane potrzebne do zrobienia tego porządnie leżały w historii git każdego przez cały czas. Możliwy do samodzielnego hostowania, infrastruktura UE, darmowy do użytku niekomercyjnego.
Trzy firmy
TextCortex jest trzecią.
W wieku 22 lat założyłem firmę AR/VR budującą dla Renault i Nokii. W wieku 24 lat założyłem Grafentek w Niemczech, aby produkować materiały na baterie grafenowe — głęboka technologia, twarda nauka, a niemiecka prasa biznesowa opublikowała o tym rozdział książki. Pomiędzy tym kierowałem inżynierią danych w trivago.
Studiowałem inżynierię mechaniczną ze specjalizacją w mechanice obliczeniowej — metody numeryczne na bardzo dużych macierzach, co jest o wiele krótszą drogą do trenowania sieci neuronowych, niż się wydaje. Do modeli językowych trafiłem przez grafen i rzeczywistość wirtualną, a w każdej z tych dziedzin najtrudniejszą częścią nigdy nie było demo.
Co tu znajdziesz
Logi budowania, analizy pośmiertne i rachunki. Publikuję rzeczywiste liczby — ile to kosztowało, co złapało, co przegapiło — ponieważ w tej branży prawie nikt tego nie robi, a arytmetyka jest zwykle całym argumentem.
O tej stronie
Statyczny Astro, wdrożony na Cloudflare Workers. Wpisy to pliki markdown w repozytorium git. Każdy wpis jest tłumaczony na osiem dodatkowych języków przez GitHub Action, włączając w to slug URL — te tłumaczenia są generowane maszynowo i oznaczone jako takie.
Linki do GitHub i LinkedIn na pasku bocznym to najszybszy sposób, aby się ze mną skontaktować.