Bir avukat, yasal dosyaları güvende tutmak için sekiz adet Nvidia V100 GPU ile özel yapay zeka sunucusu kurdu
Bir avukat, gizli yasal belgeleri ofis dışına çıkarmadan işlemek amacıyla sekiz adet ikinci el Nvidia Tesla V100 GPU kullanarak çevrimdışı bir yapay zeka sunucusu inşa etti. Sistem, DeepSeek V4.1 Flash modelini saniyede 215 token hızına kadar çalıştırabiliyor.
Hukuki dosyaların güvenliğini sağlamak isteyen bir avukat, Reddit üzerinden paylaştığı projeyle sekiz adet ikinci el Nvidia Tesla V100 veri merkezi GPU'sunu bir araya getirerek kendi özel yapay zeka sunucusunu oluşturdu.
Sistem, iki adet 4 kartlı SXM2 NVLink kartı, dört PEX anahtarı ve SlimSAS kabloları kullanılarak kuruldu. Kurulum aşamasında bir güç konnektörünün yanması gibi teknik zorluklar yaşansa da, sunucu şu anda DeepSeek V4.1 Flash modelini tüm uzman parametrelerini GPU belleğinde tutacak şekilde çalıştırabiliyor. Bu yapılandırma, saniyede 215 token'a varan bir işlem hızı sunuyor.
Avukatın belirttiğine göre, 2018 yılından kalma bu GPU'ların her bir dörtlü kart seti yaklaşık 2.400 dolara mal oldu. Bu özel kurulum, hassas yasal belgelerin ofis ağından çıkmadan yerel olarak işlenmesine olanak tanıyarak veri gizliliğini en üst düzeye çıkarmayı hedefliyor.
Kaynaklar
- tomshardware.com · Bağlantı