Girişim Gimlet Labs, AI Inference Darboğazını Şaşırtıcı Derecede Zarif Bir Şekilde Çözüyor

Stanford Üniversitesi'nden Zain Asgar'ın kurduğu Gimlet Labs, yapay zeka (AI) çıkarım darboğazını çözmek için geliştirdiği yazılımla 80 milyon dolarlık A Serisi yatırım aldı. Menlo Ventures'ın liderlik ettiği yatırım turu, şirketin iddialı hedeflerine ulaşmasında önemli bir adım olacak.

Çoklu Silikon Çıkarım Bulutu Nedir?

Gimlet Labs, yapay zeka iş yüklerinin farklı donanım türlerinde eş zamanlı olarak çalışmasını sağlayan ilk ve tek "çoklu silikon çıkarım bulutu"nu geliştirdiğini iddia ediyor. Bu yazılım, bir AI uygulamasının işini geleneksel CPU'lar, AI odaklı GPU'lar ve yüksek bellekli sistemler arasında paylaştırabiliyor.

Asgar, TechCrunch'a yaptığı açıklamada, "Temelde mevcut olan farklı donanımlar üzerinde çalışıyoruz," dedi. Menlo'dan Tim Tully ise, bir blog yazısında, tek bir agent'ın birden fazla adımı zincirleyebileceğini ve her birinin farklı donanım gerektirdiğini belirtiyor: "Inference işlemci gücü gerektirirken, decode bellek gerektirir ve tool call'lar ağ bağlantısı gerektirir."

Henüz her şeyi yapabilen bir çip bulunmuyor. Ancak yeni donanımlar piyasaya sürüldükçe ve eskiyen GPU'lar yeniden kullanıma alındıkça, "çoklu silikon filosu hazır durumda; sadece çalışmasını sağlayacak yazılım katmanı eksik." Tully, Gimlet Labs'ın tam olarak bunu sunduğuna inanıyor.

Veri Merkezi Harcamaları Artıyor

Mevcut durumda daha fazla işlem gücü kullanma eğilimi devam ederse, McKinsey'in tahminlerine göre veri merkezi harcamaları 2030 yılına kadar yaklaşık 7 trilyon dolara ulaşacak. Asgar, uygulamaların mevcut donanımı kullanım oranının sadece "%15 ila %30" civarında olduğunu söylüyor.

Asgar, "Bunu şöyle de düşünebilirsiniz: Boşta duran kaynakları kullanmadığınız için yüz milyarlarca doları boşa harcıyorsunuz," dedi. "Amacımız, AI iş yüklerini her zamankinden 10 kat daha verimli hale getirmenin bir yolunu bulmaktı."

Gimlet Labs'ın Çözümü

Asgar ve kurucu ortakları Michelle Nguyen, Omid Azizi ve Natalie Serrino, agent iş yüklerini dilimleyerek her türlü donanım üzerinde eş zamanlı olarak dağıtabilen bir orkestrasyon yazılımı geliştirmeye başladı.

Gimlet Labs, AI inference hızını aynı maliyet ve güçle 3 ila 10 kat artırdığını iddia ediyor. Şirket, temel modeli bile dilimleyerek farklı mimarilerde çalıştırabileceğini ve modelin her bölümü için en iyi çipi kullanabileceğini belirtiyor.

Şirket, NVIDIA, AMD, Intel, ARM, Cerebras ve d-Matrix gibi çip üreticileriyle ortaklık kurmuş durumda.

Gimlet'in yazılım olarak veya kendi Gimlet Cloud'u aracılığıyla bir API üzerinden sunulan ürünü, sıradan AI uygulama geliştiricileri için değil, en büyük AI model laboratuvarları ve veri merkezleri için tasarlandı.

Şirket, Ekim ayında piyasaya sürüldüğünde, ilk etapta sekiz haneli gelir elde ettiğini (yani en az 10 milyon dolar) açıklamıştı. Asgar, müşteri tabanının son dört ayda iki kattan fazla arttığını ve şu anda büyük bir model üreticisi ile son derece büyük bir bulut bilişim şirketini içerdiğini, ancak isimlerini açıklamayı reddetti.

Kurucu ortaklar daha önce, Kubernetes için açık kaynaklı bir gözlemlenebilirlik aracı oluşturan Pixie adlı bir startup'ta birlikte çalışmışlardı. Pixie, Benchmark liderliğindeki 9 milyon dolarlık A Serisi yatırımından sadece iki ay sonra 2020'de New Relic tarafından satın alındı. (Pixie'nin teknolojisi artık Kubernetes'i denetleyen açık kaynak kuruluşunun bir parçası.)

Asgar, yaklaşık bir yıl önce Tully ile tesadüfen karşılaştıktan sonra...

dijital pazarlama ve büyüme stratejileri konusunda [dijital pazarlama](https://www.leindigital.com) ile iletişime geçebilirsiniz.