Üretken AI çağında, vektör veritabanları yüksek boyutlu verileri verimli bir şekilde depolamak ve sorgulamak için vazgeçilmez hale geldi. Ancak, tüm veritabanları gibi vektör veritabanları da siber tehditler, kimlik avı girişimleri ve yetkisiz erişim dahil olmak üzere bir dizi saldırıya karşı savunmasızdır. Bu güvenlik açığı, bu veritabanlarının genellikle hassas ve gizli bilgiler içerdiği düşünüldüğünde özellikle endişe vericidir.
Bu kritik sorunu ele almak için Cyborg, vektör veritabanlarının güvenliğini artırmak amacıyla NVIDIA ile iş birliği yaptı. HIZLI cuVS kütüphane, en son algoritmalarla vektör aramasını hızlandıran açık kaynaklı bir araç takımıdır. Bu işbirliği, Cyborg’un şifreli vektör arama motoruna GPU hızlandırmayı ve performanstan ödün vermeden sağlam bir güvenlik sağlamayı amaçlamaktadır.
Vektör veritabanı güvenlik açıkları
Vektör veritabanları, veri alma-artırılmış üretim (RAG) hatlarından öneri sistemlerine kadar her şeyi destekleyen, modern veri yoğun uygulamaların temel taşıdır.
Bu veritabanlarının yüksek performanslı dizin oluşturma ve arama yetenekleri onları bu tür uygulamalar için vazgeçilmez kılıyor, ancak depoladıkları verilerin değeri onları kötü niyetli saldırılar ve ihlaller için çekici hedefler haline getiriyor. Bu ifşa riski, gizliliğin bir iş gereksinimi olduğu sektörler için özellikle endişe vericidir:
- Düzenlenmiş endüstriler:Örneğin, sağlık hizmetleri, finansal hizmetler ve kamu sektöründe, katı gizlilik ve güvenlik gereksinimleri vektör aramasının ve onun alt uygulamalarının kullanımını tamamen engelleyebilir.
- IP odaklı sektörler:Örneğin, fikri mülkiyetin önemli bir değer yaratıcı ve rekabet avantajı oluşturduğu ilaç, imalat ve savunma sektörleri.
Yapay zeka destekli iş yüklerinin prototiplenmesi sırasında bu endişeler göz ardı edilebilir, ancak üretime gelindiğinde bunların engel teşkil etmesi muhtemeldir.
Çözüm: gizli vektör araması
Sibernetik organizmaNY merkezli bir girişim olan , bu sorunu çözmek için uçtan uca şifreli bir vektör arama motoru geliştirdi. İleri gizlilik ve kriptografik karma kullanarak, Cyborg Vector Search gizli verilerin güvenli bir şekilde indekslenmesini ve alınmasını sağlar. Uçtan uca şifreleme, hiçbir şifrelenmemiş vektörün bir veritabanında saklanmaması anlamına gelir, bu da saldırı yüzeyini önemli ölçüde azaltır ve daha önce bahsedilen gizlilik endişelerini giderir.
Cyborg Vector Search, aşağıdaki temel performans özelliklerini dengelemek üzere tasarlanmıştır:
- Uçtan uca şifreleme:Kriptografik olarak güvenli mimari ile sıkı gizlilik gereksinimleri için en üst düzeyde güvenlik ve gizliliği garanti edin.
- Yüksek performans: Uçtan uca şifrelemenin artımlı maliyetini en aza indirin, şifrelenmiş dizinleme ve alma işlemlerinin kriptografik yükünü sırasıyla %5’in altında ve %30’un altında tutun.
- Uyumluluk: Prototipten üretime basit bir geçiş sağlamak için mevcut vektör arama hatları ve iş yükleriyle uyumluluğu koruyun.
NVIDIA donanımı
GPU’larda şifreli dizinlemeyi mümkün kılmak için çözüm şunları kullanır: NVIDIA Gizli Bilgi İşlemGizli Bilgi İşlem, verilerin hem kriptografik olarak hem de güçlü erişim kontrolleri aracılığıyla güvenli kalmasını sağlar ve hassas işlemler için güvenli bir alan sağlamak üzere güvenilir yürütme ortamları (TEE’ler) kullanır. Bu teknoloji, GPU hızlandırmalı hesaplamalar sırasında verilerin gizliliğini korumak için çok önemlidir.
Bu çözümün merkezindeki donanım, Gizli Hesaplamanın etkinleştirildiği NVIDIA H100 Tensor Core GPU’dur (80 GB). Gizli Hesaplama bugün tüm NVIDIA Hopper Tensor Core GPU’larında herkese açıktır ve gelecek nesil NVIDIA Blackwell Tensor Core GPU’larında desteklenmeye devam edecektir.
CC modunda yapılandırılan NVIDIA GPU’larda, son kullanıcıların GPU üzerinde kullanım sırasında gizli iş yüklerinin korunduğundan emin olabilmeleri ve doğrulayabilmeleri için TEE’nin bütünlüğünün sağlanması amacıyla donanım tabanlı şifreleme motorları, güvenlik duvarları ve uzaktan doğrulama akışları etkinleştirilmiştir.
NVIDIA Hopper Gizli Hesaplama, PCIe veri yolundaki tüm kullanıcı verilerini AES-GCM256 ile şifreler ve imzalar ve imzalanmış ve onaylanabilir aygıt yazılımı tarafından yapılandırılan güvenlik duvarlarıyla altyapı ve bant dışı erişimi engeller. NVIDIA ayrıca, son kullanıcıların veya güvenen tarafların sürücülerinin ve aygıt yazılımlarının hatalar veya istismarlar nedeniyle iptal edilmediğine dair güncel bir güven alabilmeleri için genel bir uzaktan onay hizmeti sağlar.
Cyborg, tasarımlarına hızla erişti ve bunları kullanarak geliştirdi NVIDIA Başlatma Paneli. LaunchPad, NVIDIA müşterilerine, ortaklarına ve ISV’lere tarayıcı tabanlı bir sanal alan ortamında önceden oluşturulmuş laboratuvarlara uygulamalı erişim sağlar. Tasarım, gerekli tüm adımlar sistemin gizli iş yükleri için doğru şekilde inşa edildiğinden ve yapılandırıldığından emin olmak için Gizli VM Uygulamaları Geliştirin Cyborg altyapı konusunda endişelenmeye zaman ayırmadı ve bunun yerine çözümlerini geliştirmeye odaklandı.
Gizli vektör aramasının hızlandırılması
Gizli vektör araması, geleneksel vektör aramasına çok benzer şekilde, ölçeklenmesi zor olabilen hesaplama açısından pahalı bir işlemdir. Bu, onu GPU hızlandırma için mükemmel bir aday yapar. RAPIDS cuVS, tam da bunu yapmak için son derece optimize edilmiş ilkel öğeler içerir.
Bu entegrasyonun etkinliğini değerlendirmek için Cyborg ve NVIDIA ortak bir kavram kanıtı (POC) gerçekleştirdi. Bu, GPU hızlandırmalı şifreli vektör aramasını gerçeğe dönüştürmek için cuVS’yi Cyborg Vector Search ile entegre etmeyi içeriyordu.
Bu PoC, CPU’lar ve GPU’lar üzerindeki şifreli dizinleme ve alma performansını karşılaştırdı. Özellikle, değiştirdik scikit-learn KMeans ve hashlib cuVS’li bir CPU ve bir GPU’da özel bir SHA-3 CUDA çekirdeği üzerinde. Sonuçlar kendi adına konuşuyor:
- Dizin oluşturma süresi ortalama 47 kat hızlandırıldı ve vektör yerleştirmelerini dizinlemek için gereken süre saatlerden dakikalara düşürüldü. cuVS ile hızlandırılan adımlar, kümeleme modeli eğitimi ve çıkarımı için 52,2 katlık daha iyi bir iyileştirme gördü.
- Alma işleminde de önemli iyileştirmeler görüldü: cuVS ile hızlandırılan veri hattı kısmı, minimum kod değişikliğiyle 9,8 kat performans artışı sağladı.
- NVIDIA Hopper Gizli Hesaplama modlarının dizinleme ve almada uçtan uca şifreleme için etkinleştirilmesi, şifrelenmemiş muadillerine kıyasla sırasıyla %1-2 ve %15-25’lik marjinal bir maliyetle gerçekleşti. Bu, GPU hızlandırmasıyla telafi edilenden daha fazla küçük bir ek yüktü.
Dizin oluşturma süreciyle başlayarak, Şekil 2’de CPU’daki genel oluşturma süresi GPU’ya kıyasla gösterilmektedir.
Kümeleme modeli eğitimi genellikle dizin oluşturma süresine hakimdir. Eğitimi hariç tutar ve yalnızca niceleme ve şifreli dizinlemeye odaklanırsanız, GPU yine de önemli bir hızlanma sağlar (Şekil 3).
Son olarak, GPU’ya geçiş, tüm alma hattında önemli bir iyileştirme sağlıyor (Şekil 4).
Tüm zamanlar aynı endeks yapılandırmasındandır (geri çağırma seviyesi > 0,95).
Verimlilik ve doğruluğun optimum kombinasyonu nedeniyle IVFPQ indeks tipi kullanıldı.
Çözüm
Veri ihlallerinin giderek yaygınlaştığı bir dünyada, güvenlik birçok kuruluş için sadece bir lüks değil, bir zorunluluktur. Cyborg Vector Search’ün RAPIDS cuVS ve NVIDIA Gizli Hesaplama ile entegrasyonu, hassas verileri korurken performansı korumayı amaçlayan vektör veritabanlarının güvenliğini artırmak için güçlü bir yaklaşım sunar.
NVIDIA, NVIDIA Hopper ailesiyle genel erişime açık, genel erişimli donanım tabanlı Gizli Bilgi İşlem çözümleri sağlayan ilk ve şu anda tek GPU tedarikçisidir. NVIDIA Blackwell nesli, performansı, güvenliği ve kullanım kolaylığını artırmak için diğer sektör liderleriyle ortaklık kurarak teknolojiyi geliştirmeye devam ediyor.
Cyborg Vector Search şu anda erken ticari ortaklarla kapalı test aşamasındadır. Geliştirme devam ederken, Cyborg senden haber almak Veri güvenliği AI iş yükleriniz için önemliyse.
NVIDIA Hopper Gizli Hesaplamayı bugün denemek için kaydolun LaunchPad laboratuvarıAyrıca diğerlerinin neler yaptığını da görebilirsiniz LaunchPad çözümleri deneme amaçlı kullanılabilir kapsamlı laboratuvar listesinden.
