PrismML Modelini Küçülterek Kişisel Cihazlara Taşıyor

Yapay zeka girişimi PrismML, Alibaba'nın Qwen3.8 27B modelini sıkıştırarak sadece 5.9 GB boyutuna indiren Bonsai 2 27B adlı yeni sıkıştırılmış akıl yürütme modelini duyurdu.

Yapay Zekada Küçük Boyut Dönemi

PrismML, yüksek performanslı ve akıl yürütme yeteneğine sahip büyük dil modellerinin devasa boyutlarda olmak zorunda olmadığını savunarak yeni bir teknoloji geliştiriyor. Girişim, bu doğrultuda hazırladığı modelleri kişisel bilgisayarlar ve akıllı telefonlarda çalışabilecek kadar küçültmeyi hedefliyor.

Bonsai 2 27B Modelinin Boyutu

Perşembe günü tanıtılan Bonsai 2 27B modeli, Alibaba'nın yaygın olarak kullanılan Qwen3.8 27B açık kaynaklı modelini 5.9 GB boyutuna düşürüyor. Gerçekleştirilen bu çalışma, orijinal modele kıyasla bellek kullanımında 9 ila 10 katlık bir azalma sağlıyor.

Akademik Kökenli Ekip ve Yatırımcılar

Caltech araştırmacısı bir grup tarafından kurulan şirket, sıkıştırma teknolojileri uzmanı Caltech profesörü Babak Hassibi tarafından yönetiliyor. Databricks kurucu ortağı Ion Stoica'nın danışmanlık yaptığı girişimi destekleyenler arasında Khosla Ventures, Cerberus Capital ve Caltech bulunuyor.

Performans Kaybı Yaşanmıyor

PrismML, geliştirilen sıkıştırma teknolojisi sayesinde modellerin orijinal hallerine kıyasla neredeyse hiç performans kaybı yaşamadığını belirtiyor. Mart ayında çıkan ilk sürümünde yüzde 95 başarı oranına ulaşılırken, Bonsai 2 modeli Qwen'in toplu kıyaslama skorlarının yüzde 98'ini karşılıyor.

Ternary Ağırlık Teknolojisi

Şirket bu başarıyı, geleneksel 16 bitlik ağırlıkları üç farklı değere (+1, -1 veya 0) indirgeyen ternary ağırlıklar kullanarak elde ediyor. Bu yöntem, verimliliği artırarak büyük modellerin daha küçük alanlarda depolanmasına olanak tanıyor.

Gelecek Hedefleri ve Yeni Modeller

Girişimin önümüzdeki aylardaki bir sonraki hedefi, bu sıkıştırma tekniğini yüzlerce milyar parametre aralığındaki çok daha büyük modellere uygulamak ve teknolojiyi daha geniş alanlara yaymak.