Ben Jay Derinbogaz. Üç şirket kurdum ve ChatGPT bunu bir iş unvanına dönüştürmeden üç yıl önce büyük dil modellerini üretime sokuyordum.
API’den önce buradaydım
Kasım 2022, çoğu insanın bir dil modeliyle tanıştığı tarih. Ben 2019’dan beri onlarla ürün çıkarıyordum.
OpenAI, GPT-2 sürümünü o yıla yaydı çünkü 1,5 milyar parametreli tam modelin yayınlanmak için çok tehlikeli olduğuna karar vermişti. Checkpoint’ler yayınlandıkça ince ayar (fine-tuning) yapıyordum. Ne chat endpoint’i vardı ne de ticket açacak birileri. Kendi veri setini kendin kazıyordun, modeli kendin eğitiyordun ve bunu asla bunun için tasarlanmamış donanıma sığdırıyordun.
NameKrea buradan çıktı. GPT-2 355M, Majestic Million’dan kazıdığım ve her sitenin gerçekte ne olduğuna dair meta açıklamasıyla eşleştirdiğim 100.000 alan adıyla ince ayarlandı; böylece gürültü yerine anlamlı isimler üretiyordu. İki GPU üzerinde otuz dakikalık eğitim. Canlı bir ürün olarak yayınlandı, MIT lisanslı ve yıllar sonra hâlâ fork’layanlar var.
O dönemin her önemli açık sürümü GPU’larımdan geçti: gpt-2-simple, finetune-gpt2xl, çoklu GPU SageMaker üzerinde aitextgen, ardından tüketici VRAM’inde çalışan GPT-J 6B. Kabul gören cevap “yapamazsın” iken tam 1.5B GPT-2 XL eğitimini tek bir 16 GB kartta çalıştırdım. O zamanlar disiplinin tamamı buydu: modeller bedavaydı ve hesaplama gücü duvardı, mühendislik de tamamen o duvarın etrafından nasıl geçtiğindi.
Sektör şimdi 2019’da bir yatak odasında cevapladığım soruya milyarlar harcıyor. Bu şeyi gerçekten karşılayabileceğin donanımda üretime sokmak için ne gerekiyor?
TextCortex
TextCortex’i 2021’de Berlin’de kurucu ortak olarak kurdum ve teknik kurucuyum. Verilerinin nerede yaşadığını önemsemek zorunda olan kuruluşlar için AI ajanları geliştiriyoruz. Avrupa altyapısı, gerçek yönetişim, Siemens ve Lamborghini gibi şirketlerin içine dağıtılmış durumda.
b2venture, Speedinvest ve Entrepreneur First tarafından destekleniyor. İki milyondan fazla kullanıcı. Gartner, G2 ve Capterra tarafından kategori lideri seçildi, 2024’ün #20 En Hızlı Büyüyen Ürünü ve 2025’in #10 En İyi AI Yazılımı.
Hâlâ diff’leri okuyorum. Şu an inşa ettiğim şeylerin çoğu modellerin kendisinden ziyade modellerin etrafındaki araçlar ve mevcut açık kaynak projelerimin ikisi de ölçekte mühendislik yürütürken karşılaştığımız sorunlardan doğdu.
Juror, aynı pull request üzerinde birden fazla öncü modeli paralel çalıştırıyor, çünkü tek bir inceleyen tam olarak tek bir kör nokta demek ve şeklini asla içeriden öğrenemezsin.
GitRank diğer yarıyı çözüyor. Birleştirilen her pull request’i Claude ile puanlıyor, işi bileşen ve ciddiyete göre sınıflandırıyor ve bir P1 kimlik doğrulama düzeltmesini bir metin değişikliğinden farklı ağırlıklandırıyor; sonra bunu liderlik tablolarına, hız metriklerine, hata yoğunluklarına, özellik sahipliğine ve bilgi silosu tespitine dönüştürüyor. Mühendislik performans değerlendirmesi hâlâ çoğunlukla hislere dayanıyor ve bunu düzgün yapmak için gereken veri tüm bu süre boyunca herkesin git geçmişinde duruyordu. Kendi sunucunda barındırılabilir, AB altyapısı, ticari olmayan kullanım için ücretsiz.
Üç şirket
TextCortex üçüncüsü.
22 yaşında Renault ve Nokia için üretim yapan bir AR/VR şirketi kurdum. 24 yaşında Almanya’da grafen pil malzemeleri üretmek için Grafentek’i kurdum. Derin teknoloji, sert bilim… ve Alman iş basını bununla ilgili bir kitap bölümü yayınladı. Arada trivago’da veri mühendisliğini yönettim.
Mekanik mühendisliği okudum, odak noktam hesaplamalı mekanikti: çok büyük matrisler üzerinde sayısal yöntemler; bu, sinir ağları eğitimine kulağa geldiğinden çok daha kısa bir yoldur. Dil modellerine grafen ve sanal gerçeklik üzerinden ulaştım ve bu alanların her birinde zor kısım asla demo değildi.
Burada bulacakların
İnşa günlükleri ve makbuzlar. Ne kadara mal olduğunu ve neyi kaçırdığını yayınlıyorum, çünkü bu sektörde neredeyse kimse bunu yapmıyor ve aritmetik genellikle tüm argümanın kendisi.
Bu site hakkında
Statik Astro, Cloudflare Workers’a dağıtıldı. Yazılar bir git deposundaki markdown dosyaları. Her yazı, URL slug’ı dahil, bir GitHub Action tarafından sekiz dile daha çevriliyor. Bu çeviriler makine üretimi ve bu şekilde etiketleniyor.
Kenar çubuğundaki GitHub ve LinkedIn bağlantıları bana ulaşmanın en hızlı yolu.