NVIDIA NeMo Retriever ve NVIDIA NIM ile Telekom Ağ Operasyon Merkezlerinin Dönüşümü
Telekom şirketleri, ağ hizmet kalitesini garanti eden son müşteriler için hizmet seviyesi anlaşmalarını (SLA’lar) tutarlı bir şekilde karşılamakla karşı karşıyadır. Bu, karmaşık sorunları olan ağ cihazlarında hızlı bir şekilde sorun gidermeyi, temel nedenleri belirlemeyi ve sorunları ağ operasyon merkezlerinde (NOC’ler) verimli bir şekilde çözmeyi içerir.
Mevcut ağ sorun giderme ve onarım süreçleri genellikle zaman alıcıdır, hataya açıktır ve ağda uzun süreli kesintilere yol açarak operasyonel verimliliği ve müşteri deneyimini olumsuz etkiler.
Bu sorunları ele almak için Infosys, şunları kullanarak üretken bir AI çözümü oluşturdu: NVIDIA NIM çıkarım mikro hizmetleri ve geri alma artırılmış nesil (RAG) otomatik ağ sorun giderme için. Çözüm, NOC süreçlerini kolaylaştırır, ağ kesinti süresini en aza indirir ve ağ performansını optimize eder.
Üretken AI ile akıllı ağ operasyon merkezlerinin oluşturulması
Bilgi sistemi dünya çapında 300.000’den fazla çalışanı ile yeni nesil dijital hizmetler ve danışmanlık alanında küresel bir liderdir. Infosys ekibi bir akıllı NOCNOC operatörleri, baş ağ yöneticileri (CNO’lar), ağ yöneticileri ve BT destek personeli için tasarlanmış üretken bir yapay zeka müşteri etkileşim platformudur.
RAG tabanlı çözüm, ağ ekipmanı için dijitalleştirilmiş ürün bilgileriyle NOC personelini desteklemek için akıllı bir sohbet robotu kullanır ve teşhis ve izleme için temel, satıcıdan bağımsız yönlendirici komutlarını hızla sağlayarak ağ sorunlarının giderilmesine yardımcı olur. Bu, çözüme ulaşma süresini azaltır ve müşteri hizmetlerini iyileştirir.
Vektör yerleştirmeleri ve belge alma ile ilgili zorluklar
Infosys, akıllı bir NOC için sohbet robotu oluştururken çeşitli zorluklarla karşılaştı. Bunlar arasında, temeldeki üretken AI modeli için yüksek doğruluk ve düşük gecikmeyi dengelemek de vardı, çünkü en yüksek doğruluk, modelin kullanıcı sorgusu sırasında alınan vektör yerleştirmelerini daha fazla yeniden sıralaması için ek gecikmeye neden olabilirdi.
Ayrıca, ağa özgü sınıflandırmanın ele alınması, ağ cihazı türlerinin ve uç noktalarının değiştirilmesi ve karmaşık cihaz belgelerinin oluşturulması, güvenilir ve kullanıcı dostu bir çözüm oluşturmayı zorlaştırdı.
CPU’larda vektör yerleştirme işlemlerinin zaman alıcı doğası, özellikle uzun iş çalıştırmaları sırasında kullanıcı deneyimini önemli ölçüde etkileyebilir. Bu, potansiyel olarak gecikmelere ve hayal kırıklıklarına yol açabilir.
API aracılığıyla çıkarım yapmak için LLM’lerin kullanılması, gecikmede dikkate değer bir artış olduğunu ortaya koydu; bu, genel işlem süresini doğal olarak artıran ve optimizasyon için dikkat gerektiren bir faktördür.
Veri toplama ve hazırlama
Bu zorlukları çözmek için Infosys, kullanıcı sorgularına bağlamsal yanıtlar oluşturmak için ağ cihazlarının vektör veri tabanını oluşturdu; eğitim belgeleri ve sorun giderme kılavuzları gibi belirli kılavuzlar ve bilgi eserleri. İlk odak noktaları Cisco ve Juniper Networks cihazlarıydı. Gömmeler, vektör veri tabanını doldurmak için gömme modelleri, özelleştirilmiş parça boyutları ve diğer ince ayarlı parametreler kullanılarak oluşturuldu.
Çözüm mimarisi
Infosys, çözüm mimarisinde aşağıdaki hususları ve hedefleri dengeledi:
- Kullanıcı arayüzü ve chatbot: İş akışına ve gelişmiş sorgu komut dosyası seçeneklerine göre uyarlanmış özelleştirilmiş sohbet robotları oluşturmak ve gelen yanıtı görüntülemek için React’ı kullanarak sezgisel bir arayüz geliştirin NVIDIA NIM Llama 2 70B modelini kullanıyorum.
- Veri yapılandırma yönetimi: Parçalama ve yerleştirme için esnek ayarlar sağlayın NVIDIA NeMo Alıcısı NIM’i (NV-Embed-QA-Mistral-7B) yerleştirme. Bu, kullanıcıların parça boyutu ve örtüşme gibi parametreleri tanımlamasını ve optimum performans ve kontrol veri alımı için çeşitli yerleştirme modelleri arasından seçim yapmasını sağlar.
- Vektör veritabanı seçenekleri: Verimli veri alımı için yüksek hızlı erişim sağlayan FAISS gibi farklı vektör veritabanları arasında seçim yapma yeteneğini uygulayın, esneklik, verimlilik ve tutarlılık tepkisini garantileyin.
- Arka uç hizmetleri ve entegrasyon: Harici sistemlerle entegrasyon için RESTful API dahil olmak üzere, sohbet robotu yönetimi ve yapılandırması için sağlam arka uç hizmetleri oluşturun ve güvenli kimlik doğrulama ve yetkilendirmeyi sağlayın.
- NIM ile Entegrasyon: Çıkarımın doğruluğunu, performansını ve maliyetini iyileştirmek için NIM mikro servislerini entegre edin.
- Yapılandırma:
- NIM çalıştıran sekiz NVIDIA A100 GPU’ya sahip 10 NVIDIA A100 80 GB GPU
- NeMo Retriever mikro hizmetlerini çalıştıran iki A100 GPU
- 128 CPU çekirdeği
- 1 TB depolama
- Korkuluklar: Kullanmak NVIDIA NeMo Koruma RaylarıLLM tabanlı konuşma uygulamalarına programlanabilir bariyerleri kolayca eklemek ve güvenlik açıklarına karşı koruma sağlamak için açık kaynaklı bir araç takımıdır.
NVIDIA NIM ve NeMo Guardrails ile AI iş akışı
Akıllı NOC’yi oluşturmak için Infosys, temel LLM’leri ince ayar yapmak ve dağıtmak için NVIDIA NIM ve NVIDIA NeMo’nun kendi kendine barındırılan bir örneğini kullandı. Ekip, istemci uygulamaları için tek tip bir çözüm sağlayan OpenAI benzeri API uç noktalarını açığa çıkarmak için NIM’i kullandı.
Infosys, vektör veritabanı alma ve yeniden sıralama iş akışlarını desteklemek için NeMo Retriever’ı kullandı. NeMo Retriever, kullanıcı verilerini dizinlemek ve sorgulamak için tek bir API sunan bir mikro hizmetler koleksiyonudur; bu sayede kuruluşlar, özel modelleri çeşitli iş verilerine sorunsuz bir şekilde bağlayabilir ve son derece doğru yanıtlar sunabilir. Daha fazla bilgi için NVIDIA NeMo Retriever ile Kuruluş Verilerinizi Eyleme Dönüştürülebilir İçgörülere Dönüştürün bölümüne bakın.
NeMo Retriever’ı kullanarak, güçlendirilmiş NV-Gömülü-QA-Mistral-7B NIM, Infosys’in metin yerleştirme modelinde %90’ın üzerinde doğruluk oranına ulaştı.
NV-Embed-QA-Mistral-7B, alma ve sınıflandırma dahil 56 görevde üstünlük sağlayarak Massive Text Embedding Benchmark’ta (MTEB) ilk sırada yer alır. Bu modelin yenilikçi tasarımı, NV-Embed’in daha iyi birleştirilmiş gömme çıktıları için gizli vektörlere katılmasını sağlar ve doğruluğu artırmak için iki aşamalı bir talimat ayarlama yöntemi kullanır.
Infosys, NeMo Retriever’ı NIM’i yeniden sıralarken kullandı (Yeniden Sıralama-QA-Mistral-4B), sorguya göre vektör veritabanından alınan bağlamı rafine eder. Bu adım, alınan bağlamlar farklı benzerlik puanlarına sahip çeşitli veri depolarından geldiğinde kritik öneme sahiptir. Yeniden sıralama, ince ayarlı bir Mistral 7B modeline dayanır, 7B parametreleri kullanır ve performanstan ödün vermeden verimliliği artırır.
NV-Embed-QA-Mistral-7B modelinin kullanılması, temel modelde doğruluğu %19 oranında (70%’ten %89’a) artırdı ve yanıt oluşturma sırasında performansta genel bir iyileşmeye yol açtı. nv-rerank-qa_v1 yeniden sıralama modelinin kullanılması, doğruluğu %2’den fazla artırdı. NeMo Retriever yeniden sıralama modelinin RAG boru hattına eklenmesi, LLM yanıt doğruluğunu ve alaka düzeyini iyileştirdi.
Sonuçlar
Gecikme ve doğruluk, LLM’lerin performansını değerlendirmek için iki önemli faktördür. Infosys, NVIDIA NIM kullanılarak dağıtılan modellerle karşılaştırıldığında temel modeller için sonuçlarla her iki faktörü de ölçtü.
LLM gecikme değerlendirmesi
Infosys, NVIDIA NIM kullanarak ve kullanmadan elde edilen sonuçları karşılaştırmak için LLM gecikmesini ölçtü (Tablo 1).
NIM olmadan, Combo 1 için LLM gecikmesi 2,3 saniye olarak ölçüldü. NeMo Retriever yerleştirme ve mikro hizmetleri yeniden sıralama ile bir Llama 3 70B modelini dağıtmak için NIM kullanıldığında, Combo 5 için elde edilen LLM gecikmesi 0,9 saniyeydi; bu, temel modele kıyasla yaklaşık %61’lik bir iyileştirmedir.
| NIM olmadan | NIM ile | ||||
| Kombo 1 | Kombo 2 | Kombo 3 | Kombo 4 | Kombo 5 | |
| Gecikme (sn) | 2.3 | 1.9 | 1.1 | 1.3 | 0,9 |
LLM doğruluk değerlendirmesi
Infosys, sonuçları NIM ile ve NIM olmadan karşılaştırmak için akıllı bir NOC için LLM gecikmesini ölçtü (Tablo 2).
Aynı model karşılaştırıldığında, Infosys NIM olmadan %85’e kadar LLM doğruluğu ve NeMo Retriever’ın NIM’leri yerleştirmesi ve yeniden sıralamasıyla %92’ye kadar doğruluk elde etti; bu, temel modele kıyasla %22’lik mutlak bir iyileştirmedir. Bu, NVIDIA NIM’in RAG sistemlerinin doğruluğunu optimize etmedeki etkinliğini gösterir ve daha doğru ve güvenilir model çıktıları elde etmek için değerli bir geliştirme haline getirir.
| NIM KAPALI | NIM AÇIK | ||||
| Kombo 1 | Kombo 2 | Kombo 3 | Kombo 4 | Kombo 5 | |
| Çerçeve | LangZincir | Lama-indeksi | LangZincir | LangZincir | LangZincir |
| Parça boyutu, parça örtüşmesi | 512.100 | 512.100 | 512.100 | 512.100 | 512.100 |
| Gömme modeli | Tüm-mpnet-tabanlı-v | Tüm-MiniLM-L6-v2 | NV-Gömülü-QA-Mistral-7B | NV-Gömülü-QA-Mistral-7B | NV-Gömülü-QA-Mistral-7B |
| Yeniden sıralama modeli | HAYIR | HAYIR | HAYIR | nv-yeniden-sıralama-qa_v1 | nv-yeniden-sıralama-qa_v1 |
| TRT-Yüksek Lisans | HAYIR | HAYIR | Evet | Evet | Evet |
| Triton | HAYIR | HAYIR | Evet | Evet | Evet |
| Vektör DB | Faiss-CPU | Milvus | Faiss-GPU | Faiss-GPU | Faiss-GPU |
| Yüksek Lisans | Ollama (Mistral 7B) | Vertex AI (Cohere-komutu) | NIM Yüksek Lisans (Mistral-7B) | NIM Yüksek Lisans (Mistral-7B) |
NIM Yüksek Lisans (Lama-3 70B) |
| Kesinlik | %70 | %85 | %89 | %91 | %92 |
Çözüm
Kullanarak NVIDIA NIM Ve NVIDIA NeMo Alıcısı Akıllı NOC’sini dağıtmak için mikro servisler, Infosys LLM gecikmesini %61 oranında düşürdü ve doğrulukta %22’lik mutlak bir iyileştirme sağladı. NIM’de dağıtılan NeMo Retriever yerleştirme ve yeniden sıralama mikro servisleri, optimize edilmiş model çıkarımı yoluyla bu kazanımları sağladı.
NeMo Retriever mikro hizmetlerinin yerleştirme ve yeniden sıralama için entegrasyonu, RAG alaka düzeyini, doğruluğunu ve performansını önemli ölçüde iyileştirdi. Yeniden sıralama, bağlamsal anlayışı geliştirirken, optimize edilmiş yerleştirmeler doğru yanıtları garanti eder. Bu entegrasyon, ağ operasyon merkezlerinde kullanıcı deneyimini ve operasyonel verimliliği geliştirerek sistem optimizasyonu için önemli bir bileşen haline getirir.
Infosys’in nasıl çalıştığını öğrenin otomatik iş akışıyla ağ kesintisini ortadan kaldırırNVIDIA tarafından desteklenmektedir.
Üretken AI uygulamalarını dağıtmaya başlayın NVIDIA NIM Ve NeMo Retriever NIM mikro hizmetleriDaha fazlasını keşfedin Telekom operasyonları için AI çözümleri.
