Jestem Jay Derinbogaz. Założyłem trzy firmy i wdrażałem duże modele językowe do produkcji trzy lata zanim ChatGPT zamienił to w nazwę stanowiska.
Byłem tu przed API
W listopadzie 2022 większość ludzi poznała model językowy. Ja wdrażałem je od 2019 roku.
OpenAI rozłożyło wydanie GPT-2 na cały rok, bo uznali, że pełny model o 1,5 miliarda parametrów jest zbyt niebezpieczny, by go opublikować. Ja dostrajałem checkpointy w miarę jak się pojawiały. Żadnego endpointu czatu i nie było do kogo zgłosić ticketa. Scrapowałeś własny zbiór danych, sam go trenowałeś i musiałeś sprawić, żeby zmieścił się na sprzęcie, który nigdy do tego nie był zaprojektowany.
NameKrea powstał właśnie z tego. GPT-2 355M, dostrojony na 100 000 domen, które zeskrobałem z Majestic Million i sparowałem z opisem meta tego, czym faktycznie była każda strona, dzięki czemu generował nazwy, które coś znaczyły, zamiast szumu. Trzydzieści minut treningu na dwóch GPU. Wyszedł jako działający produkt, jest na licencji MIT i ludzie wciąż robią forki lata później.
Każde istotne otwarte wydanie tamtej ery przeszło przez moje GPU: gpt-2-simple, finetune-gpt2xl, aitextgen na wielo-GPU SageMaker, potem GPT-J 6B działający na konsumenckim VRAM. Udało mi się wytrenować pełny GPT-2 XL o 1,5B parametrów na jednej karcie 16 GB, gdy oficjalna odpowiedź brzmiała, że to niemożliwe. Cała ta dyscyplina polegała wtedy na tym: modele były darmowe, a moc obliczeniowa była ścianą, więc cała inżynieria sprowadzała się do tego, jak tę ścianę obejść.
Branża wydaje teraz miliardy na to samo pytanie, na które odpowiadałem w sypialni w 2019 roku. Co trzeba zrobić, żeby wdrożyć to do produkcji na sprzęcie, na który naprawdę cię stać?
TextCortex
Współzałożyłem TextCortex w Berlinie w 2021 roku i jestem założycielem technicznym. Budujemy agentów AI dla przedsiębiorstw, które muszą dbać o to, gdzie żyją ich dane. Europejska infrastruktura, prawdziwe zarządzanie, wdrożenia w firmach takich jak Siemens i Lamborghini.
Wspierany przez b2venture, Speedinvest i Entrepreneur First. Ponad dwa miliony użytkowników. Uznany za lidera kategorii przez Gartner, G2 i Capterra, #20 Najszybciej rozwijający się produkt 2024 i #10 Najlepsze oprogramowanie AI 2025.
Wciąż czytam diffy. Większość tego, co teraz buduję, to narzędzia wokół modeli, a nie same modele, a oba moje obecne projekty open source wzięły się wprost z problemów, na które trafiliśmy, prowadząc inżynierię na dużą skalę.
Juror uruchamia kilka modeli frontier równolegle na tym samym pull requeście, bo jeden recenzent to dokładnie jedna martwa strefa, a jej kształtu nigdy nie poznasz od środka.
GitRank rozwiązuje drugą połowę. Ocenia każdy scalony pull request za pomocą Claude, klasyfikując pracę według komponentu i wagi oraz ważąc poprawkę uwierzytelniania P1 inaczej niż zmianę tekstu, a potem zamienia to w rankingi, metryki szybkości, hotspoty błędów, własność funkcji i wykrywanie silosów wiedzy. Ocena wyników pracy inżynierów to wciąż głównie vibes, a dane, żeby robić to porządnie, przez cały czas siedziały w historii git każdego. Możliwy do samodzielnego hostowania, infrastruktura UE, darmowy do użytku niekomercyjnego.
Trzy firmy
TextCortex jest trzecią.
W wieku 22 lat założyłem firmę AR/VR budującą dla Renault i Nokii. W wieku 24 lat założyłem Grafentek w Niemczech, żeby produkować materiały na baterie grafenowe. Deep tech, twarda nauka, a niemiecka prasa biznesowa opublikowała o tym rozdział książki. Między tym prowadziłem inżynierię danych w trivago.
Studiowałem inżynierię mechaniczną ze specjalizacją w mechanice obliczeniowej: metody numeryczne na bardzo dużych macierzach, co jest znacznie krótszą drogą do trenowania sieci neuronowych, niż się wydaje. Do modeli językowych doszedłem przez grafen i wirtualną rzeczywistość, a w każdej z tych dziedzin najtrudniejsza nigdy nie była demonstracja.
Co tu znajdziesz
Logi budowy i rachunki. Publikuję, ile to kosztowało i czego nie udało się osiągnąć, bo w tej branży prawie nikt tego nie robi, a arytmetyka zwykle stanowi cały argument.
O tej stronie
Statyczny Astro, wdrożony na Cloudflare Workers. Wpisy to pliki markdown w repo git. Każdy wpis jest tłumaczony na osiem kolejnych języków przez GitHub Action, łącznie ze slugiem URL. Te tłumaczenia są generowane maszynowo i odpowiednio oznaczone.
Linki do GitHub i LinkedIn w pasku bocznym to najszybszy sposób, żeby się ze mną skontaktować.