Ben Jay Derinbogaz. Üç şirket kurdum ve ChatGPT bunu bir iş unvanına dönüştürmeden üç yıl önce büyük dil modellerini üretime sokuyordum.
API’den önce buradaydım
Kasım 2022, çoğu insanın bir dil modeliyle tanıştığı zamandı. Ben 2019’dan beri onlar üzerinde ürün çıkarıyordum.
OpenAI, GPT-2’nin yayınını o yıla yayarak 1,5 milyar parametreli tam modelin yayınlanamayacak kadar tehlikeli olduğuna karar verdi. Ben kontrol noktaları yayınlandıkça ince ayar yapıyordum. Sohbet uç noktası yok, sistem istemi yok, aranacak bir satıcı yok — kendi veri kümenizi kazıyor, kendiniz eğitiyor ve bunu asla bunun için tasarlanmamış donanıma sığdırıyordunuz.
NameKrea işte bundan çıktı. GPT-2 355M, Majestic Million’dan kazıdığım 100.000 alan adı ve her sitenin gerçekte ne olduğuna dair meta açıklamasıyla eşleştirilerek ince ayar yapıldı, böylece gürültü yerine anlamlı isimler üretti. İki GPU’da otuz dakikalık eğitim. Canlı bir ürün olarak yayınlandı, MIT lisanslı ve yıllar sonra hala fork’lanıyor.
O dönemin her önemli açık yayını GPU’larımdan geçti — gpt-2-simple, finetune-gpt2xl, çoklu GPU SageMaker’da aitextgen, ardından tüketici VRAM’inde çalışan GPT-J 6B. Kabul edilen cevap yapamayacağınız iken, tam 1,5B GPT-2 XL’i tek bir 16 GB kartta eğitmeyi başardım. O zamanlar tüm disiplin buydu: modeller ücretsizdi ve hesaplama duvardı, bu yüzden mühendislik tamamen duvarı nasıl aştığınızdı.
Sektör şimdi, 2019’da bir yatak odasında cevapladığım soruya milyarlarca dolar harcıyor. Bu şeyi gerçekten bütçenize uygun donanımda üretime almak için ne gerekiyor?
TextCortex
2021’de Berlin’de TextCortex’i kurdum ve teknik kurucu ortağım. Verilerinin nerede yaşadığını önemseyen kuruluşlar için AI ajanları inşa ediyoruz — Avrupa altyapısı, gerçek yönetişim, Siemens ve Lamborghini gibi şirketlerin içinde dağıtılıyor.
b2venture, Speedinvest ve Entrepreneur First tarafından destekleniyor. İki milyondan fazla kullanıcı. Gartner, G2 ve Capterra tarafından kategori lideri seçildi, 2024’ün #20 En Hızlı Büyüyen Ürünü ve 2025’in #10 En İyi AI Yazılımı.
Hala diff’leri okurum. Şimdi inşa ettiğim şeylerin çoğu modellerin kendisinden ziyade modellerin etrafındaki araçlar ve mevcut açık kaynak projelerimin ikisi de ölçekte mühendislik yaparken karşılaştığımız sorunlardan doğrudan çıktı.
Juror, aynı pull request üzerinde birkaç öncü modeli paralel olarak çalıştırır, çünkü bir inceleyici tam olarak bir kör nokta demektir ve içeriden şeklini asla öğrenemezsiniz.
GitRank diğer yarıyı çözer. Birleştirilmiş her pull request’i Claude ile puanlar — çalışmayı bileşen ve ciddiyete göre sınıflandırır, bir P1 kimlik doğrulama düzeltmesini bir kopya değişikliğinden farklı ağırlıklandırır — ve bunu liderlik tablolarına, hız metriklerine, hata sıcak noktalarına, özellik sahipliğine ve bilgi silosu tespitine dönüştürür. Mühendislik performans değerlendirmesi hala çoğunlukla hislere dayanıyor ve bunu düzgün yapmak için gereken veriler herkesin git geçmişinde başından beri duruyordu. Kendi kendine barındırılabilir, AB altyapısı, ticari olmayan kullanım için ücretsiz.
Üç şirket
TextCortex üçüncüsü.
22 yaşında Renault ve Nokia için ürün geliştiren bir AR/VR şirketi kurdum. 24 yaşında Almanya’da grafen batarya malzemeleri üretmek için Grafentek’i kurdum — derin teknoloji, zor bilim ve Alman iş basını bununla ilgili bir kitap bölümü yayınladı. Arada trivago’da veri mühendisliğini yönettim.
Mekanik mühendisliği okudum, hesaplamalı mekanik üzerine odaklandım — çok büyük matrisler üzerinde sayısal yöntemler, ki bu sinir ağları eğitmeye kulağa geldiğinden çok daha kısa bir yoldur. Dil modellerine grafen ve sanal gerçeklik üzerinden geldim ve bu alanların her birinde zor kısım asla demo değildi.
Burada bulacaklarınız
Yapım günlükleri, ölüm sonrası analizler ve makbuzlar. Gerçek rakamları yayınlıyorum — neye mal olduğunu, neyi yakaladığını, neyi kaçırdığını — çünkü bu sektörde neredeyse hiç kimse yapmıyor ve aritmetik genellikle tüm argümandır.
Bu site hakkında
Statik Astro, Cloudflare Workers’a dağıtıldı. Yazılar bir git reposundaki markdown dosyalarıdır. Her yazı, URL slug dahil olmak üzere bir GitHub Action tarafından sekiz dile daha çevrilir — bu çeviriler makine tarafından oluşturulur ve bu şekilde etiketlenir.
Kenar çubuğundaki GitHub ve LinkedIn bağlantıları bana ulaşmanın en hızlı yoludur.