NVIDIA NIM ve NVIDIA NeMo’yu kullanarak Telekom Ağı Tasarımının Otomatikleştirilmesi

Telekom kablosuz ağ tasarımı, akıcı süreçler ve standartlaştırılmış yaklaşımlar gerektirir. Ağ mimarları, mühendisler ve BT profesyonelleri, firma endüstri spesifikasyonlarını karşılamak için Bulut Uygulamaları için Topoloji ve Orkestrasyon Spesifikasyonu (TOSCA) şablonlarını manuel olarak alma ve özelleştirme konusunda zorlukla karşı karşıyadır. Bu, üretkenliğin azalmasına ve ağ tasarımında insan hataları ve tutarsızlık riskinin artmasına neden olur.

Bu sorunu ele almak için Infosys, kullanıcı tarafından sağlanan gereksinimlere dayalı standart TOSCA şablonları oluşturmak için otomatik bir araç oluşturdu. Üretken AI tarafından desteklenen ve NVIDIA NIM kullanılarak dağıtılan çözüm, iş akışlarını kolaylaştırmak ve üretkenliği artırmak için tek tip bir standart TOSCA şablonu oluşturma sürecini mümkün kılar. Bu, ağ hizmeti tasarımcılarının yanı sıra OSS çözüm mimarları ve yöneticilerinin taşıyıcı sınıfı ağları daha hızlı tasarlamalarını sağlar.

Ağ tasarım şablonu oluşturma için üretken yapay zekanın kullanılması

Infosys, ağ mühendisi istemlerine dayalı hizmet tasarımı şablonları üretebilen standart bir yardımcı program geliştirmek için üretken AI’yı kullandı. Araç, aşağıdaki süreci kullanarak ağ hizmeti tasarımları için TOSCA şablonlarını özelleştirmek için kullanıcı deneyimini iyileştirir:

• Kullanıcı dostu tasarım: Llama 3-70B’den basitleştirilmiş parametre düzenlemeleri ve yanıtlar sağlayın, bir NVIDIA NIM React kullanan tüm paydaşlar için kolay dosya dönüştürme seçenekleriyle kullanım kolaylığı sağlayan mikroservis.
• Önceden eğitilmiş ve ince ayarlanmış LLM’lerin entegrasyonu: Önceden eğitilmiş bir LLM (Llama 3-70B), NVIDIA NeMo Retriever yerleştirme mikro servisi (NV-Embed-QA-Mistral-7B) ve Mistral-7B’nin ince ayarlı bir sürümü (mistralai/Mistral-7B-v0.1) entegrasyonu yoluyla kullanıcı girdilerine dayalı olarak dinamik olarak YAML şablonları oluşturun.
• Giriş koleksiyonu: Hizmet gereksinimleri ve ağ topolojisi tercihleri ​​dahil olmak üzere ağ yapılandırma parametrelerini belirtin.
• Şablon oluşturma: Belirli TOSCA tasarım gereksinimlerine göre uyarlanmış özelleştirilmiş YAML şablonları oluşturmak için kullanıcı girdilerini gerçek zamanlı olarak işleyin.
• Görüntüle ve dışa aktar: Kullanıcı incelemesine sunulmak üzere YAML şablonları oluşturun ve son şablonu daha ileri ağ tasarımı ve orkestrasyonu için dışa aktarma seçeneklerine sahip olun.

RAG için veri toplama ve hazırlama

Bulut hizmetleri için kullanıcı kılavuzu ağ oluşturucu kılavuzlarını, eğitim dokümanlarını ve sorun giderme kılavuzlarını edinmek, kullanıcı sorgularına doğru, bağlamsal ağ tasarımı yanıtları üretmelerine yardımcı oldu.

Infosys, toplanan eserleri kullanıcı sorgularıyla bütünleştiren özel bir sohbet arayüzü oluşturdu. Özelleştirilebilir arayüz, sürükle ve bırak işlevleri ve YAML dosya yapısına kolay dönüşümler içeriyordu. Bu, geri alma artırılmış üretimi (RAG) için kullanılan vektör veritabanını doldurmak üzere vektör yerleştirmeleri üretti.

Teknik zorluklar

Infosys, NVIDIA GPU’larını kullanarak vektör yerleştirmelerini daha hızlı oluşturarak ağ servis tasarımcıları ve OSS çözüm mimarları için gecikmeleri ve hayal kırıklıklarını önledi.

NVIDIA NIM ve NVIDIA NeMo ile AI iş akışının oluşturulması

Çözüm, ince ayarlı temel LLM’leri dağıtmak için kendi kendine barındırılan NVIDIA NIM ve NVIDIA NeMo mikro hizmetlerini kullandı. LangChain kullanan istemci uygulamaları için tek tip bir çözüm sağlayan OpenAI benzeri API uç noktalarını açığa çıkardılar. SohbetAçıkAI müşteri.

Çözüm mimarisi aşağıdaki gereksinimleri içeriyordu:

• Kullanıcı arayüzü: Bir işletmenin iş akışına ve gelişmiş sorgu komut dosyası seçeneklerine göre uyarlanmış, özelleştirilmiş bir sohbet arayüzü oluşturmak için React’ı kullanma.
• Veri yapılandırma yönetimi: Kolay erişim ve etkili erişim sağlamak için önceden yüklenmiş ağ oluşturma kılavuzlarını vektör veritabanında saklayın; ortak şablonlar, LLM’lerin erişebileceği gömülü belgelerle birlikte sisteme dahil edilir.
• Vektör veritabanı seçenekleri: Veri işlemede esneklik, verimlilik ve tutarlı yanıt vermeyi sağlamak için FAISS kullanın. Sistem, FAISS kullanarak depolanan bilgilere hızlı ve güvenilir erişim sağlayabilir ve kullanıcı ihtiyaçlarına göre performansı optimize edebilir.
• Arka uç hizmetleri ve entegrasyon: Harici sistemlerle entegrasyon için güvenli kimlik doğrulama ve yetkilendirmeyi garanti altına alan RESTful API’yi de içeren, kullanıcı yönetimi ve yapılandırması için sağlam arka uç hizmetleri oluşturun.
• NVIDIA NIM ile entegrasyon: RAG çıkarım verimliliğini artırmak için NVIDIA NeMo yeniden sıralama mikro servisi (nv-rerank-qa_v1) ile üretken yapay zeka öğrenme ve çıkarım yeteneklerini geliştirin.
• Yapılandırma:
  • Dokuz NVIDIA A100 80 GB Tensor Çekirdekli GPU (8’i NIM için, 1’i NeMo Retriever mikro hizmetleri için kullanılır)
  • 88 CPU çekirdeği
  • 1 TB sistem belleği
• Yapay zeka bariyerleri: LLM tabanlı konuşma uygulamalarına programlanabilir korumalar eklemek ve kullanıcıları model halüsinasyonlarından ve toksisitesinden korumak için NVIDIA NeMo Korumalarını kullanın.

LLM performans sonuçlarının değerlendirilmesi

Infosys, karşılaştırma amacıyla NVIDIA NIM’i kullanarak ve hariç tutarak aşağıdaki kombinasyonları test etti.

Combo 2 ve Combo 5, en yavaş modellere göre yaklaşık %28,5’lik bir iyileştirme olan 2,5 saniyelik testte en düşük gecikmeyi gösterdi. Combo 1 ve 3, 3,5 saniyelik en yavaş olanlarken Combo 4’ün gecikmesi 3 saniyedir. Combo 5, GPT-4 ve alternatif bir gömme mikro hizmeti kullanan Combo 2 ile karşılaştırıldığında hem NVIDIA NIM (Llama 3-70B) hem de NeMo Retriever gömme mikro hizmeti (NV-Embed-QA-Mistral-7B) kullandı.

Combo 5, test edilen temel modelden %15 mutlak iyileştirme ile %85’lik en yüksek doğruluğu gösterdi. Combo 5 hem bir NVIDIA NIM (Llama 3-70B) hem de NeMo Retriever yerleştirme mikro hizmeti (NV-Embed-QA-Mistral-7B) kullandı. Benzer şekilde, Combo 4 %83 doğruluk elde etmek için bir NVIDIA NIM (Llama 3-70B) kullandı. Combo 1 ve Combo 3 sırasıyla %70 ve %65 ile en düşük doğruluğu gördü.

Bu sonuçlar bir arada, Infosys’in NVIDIA NIM ve NeMo Retriever yerleştirme mikro hizmetlerini kullanarak %28,5’e kadar daha düşük gecikme ve %15 mutlak doğruluk iyileştirmesi elde ettiğini göstermektedir. TOSCA şablon üretimi için bu iyileştirilmiş model performansı, ağ hizmeti tasarımcılarının ve OSS çözüm mimarlarının ağ tasarımlarını daha hızlı oluşturmasını ve AI modellerini çalıştırma maliyetlerini düşürmesini sağlar.

TOSCA şablon tasarımı oluşturma için örnek kullanım durumu

İşte 1PE ve 2CE arasında 100 Mbps bant genişliğine sahip Ethernet servisinden oluşan bir TOSCA şablonu oluşturmak için örnek bir kullanım durumu.

LLM yanıtı: TOSCA standardına uygun YAML formatında Servis Şablonu tasarımı.

tosca_definitions_version: tosca_simple_yaml_1_3
description: TOSCA template for Ethernet service with 100 Mbps bandwidth between 1PE and 2CE
metadata:
  ID: EthernetService-1PE2CE-100Mbps
  vendor: Network Vendor
  version: 1.0.0
Service_template:
  node_templates:
	PE_Node:
  	type: tosca.nodes.Network.Device
  	description: Provider Edge Node
  	requirements:
    	- bandwidth: 100 Mbps
	CE_Node_01:
  	type: tosca.nodes.Network.Device
  	description: Customer Edge Node 1
	CE_Node_02:
  	type: tosca.nodes.Network.Device
  	description: Customer Edge Node 2
	Ethernet_Service:
  	type: tosca.nodes.Network.EthernetService
  	description: Ethernet service with 100 Mbps bandwidth
  	requirements:
    	- provider_pe_device: PE_Node
    	- customer_ce_device_1: CE_Node_01
    	- customer_ce_device_2: CE_Node_02
  	interfaces:
    	lifecycle:
      	INSTANTIATE: start_ethernet_service
relationship_types:
  EthernetConnects:
	derived_from: tosca.relationships.ConnectsTo
	version: 1.0.0
node_types:
  tosca.nodes.Network.EthernetService:
	derived_from: tosca.nodes.Network.Root
	version: 1.0.0
inputs:
  bandwidth:
	type: integer

Ağ tasarımcılarını verimlilik ve tutarlılıkla güçlendirmek

Ağ servis tasarımcıları bant genişliklerinin çoğunu, basit olandan karmaşığa kadar değişen TOSCA şablonlarının manuel olarak oluşturulmasına harcıyorlar.

Infosys, ağ tasarımında kullanılan üretken AI modeli için NVIDIA NIM ve NeMo Retriever’ı yerleştirerek %28,5 daha düşük gecikme ve %15 mutlak doğruluk iyileştirmesi elde etti. Telekom şirketleri, TOSCA şablon üretimini otomatikleştirerek tasarım iş akışlarını kolaylaştırabilir, üretkenliği artırabilir ve ağ tasarımı ve orkestrasyonu için tutarlılığı sağlayabilir.

Üretken AI uygulamalarını dağıtmaya başlayın NVIDIA NIM. Denemek NeMo Retriever NIM mikro hizmetleri API Kataloğunda. Keşfedin üretken AI çözümleri Telekom operasyonları için.