Abstrakt
Eftersom artificiell intelligens (AI) utvecklas snabbt, står traditionella datacenternätverk inför stora utmaningar när de bär AI-trafik. Högt bandbreddsutnyttjande och ett litet antal elefantflöden kan göra konventionell belastningsbalansering per-flöde ineffektiv, vilket resulterar i överbelastning och paketförlust som avsevärt ökar AI-modellutbildningen och slutförandetiden av jobb. Den här vitboken undersöker en dynamisk intelligent routingteknik som kombinerar-realtidsmedvetenhet med intelligent-beslutsfattande. Den använder sökväg-kvalitetsmätning, BGP utökad-attributsynkronisering, dynamiskt viktad-kostnadsmultivägs (WCMP), onormal-borttagning av sökväg och
Automatisk belastningsbalansering på flödes-nivå (ALB) för att förbättra trafikschemaläggningen i AI-miljöer. Designen använder också virtualisering för att tillhandahålla multi-isolering och erbjuder applikationsscenarier och planeringsvägledning för effektiva, stabila och intelligenta AI-datacenternätverk.
Introduktion: Nätverksutveckling i AI Era
Varför traditionella nätverk kämpar med AI Trafik
I traditionella datacenternätverk möjliggör ett stort antal små flöden belastningsbalansering per-flöde för att uppnå acceptabel distribution och undvikande av överbelastning även utan-realtidsmedvetenhet om nätverksförhållanden. AI-trafiken är väldigt annorlunda: bandbreddsutnyttjandet är extremt högt och trafiken domineras ofta av endast ett fåtal elefantflöden. Hashkollisioner kan därför placera flera stora flöden på samma väg medan andra vägar förblir underutnyttjade. När paketförlust inträffar kan slutförandetiden för hela AI-arbetsbelastningen öka avsevärt. Av denna anledning fokuserar branschen alltmer på optimerade belastnings-balanseringsalgoritmer för AI-tyger så att trafiken fördelas jämnare över flera vägar.
Figur 1. Jämförelse av AI-elefant-flödestrafik och traditionell små-flödestrafik.
Kombinera dynamisk medvetenhet med intelligent beslutsfattande-
Dynamisk intelligent routing är en medvetenhetsbaserad-lastbalanseringsteknik-. Den använder bankvalitet som avkänns av omkopplare i tyget för att justera lokalt vägval och stöder dynamiskt viktad lastbalansering. Tekniken bygger på BGP och definierar ett nytt utökat-community-attribut.
Fler-dimensionella mätningar med hög-precision används för att utvärdera sökvägens kvalitet, och resultatet sprids genom BGP för att styra efterföljande trafikvidarebefordran. Detta förbättrar nätverkets-vida belastningsfördelning och minskar appens svarstid [1].
Figur 2. Dynamisk medvetenhet, beslut och arbetsflöde.
Kärnteknologier: Intelligent trafikplanering
Vanliga tillvägagångssätt för{0}nätbelastningsbalansering inkluderar:
- Per-flöde ECMP: Det vanligaste tillvägagångssättet, baserat på en hash med fem-dubbel. Det fungerar bra när det finns många flöden och bevarar paketordningen, men hashkollisioner kan ge dålig balansering när flödesantalet är lågt, som i AI-träning [1].
- Flödesbaserad-balansering: Beror på korrekt konfiguration av mellan-flödesgapet. Noggrann konfiguration är svår när den globala sökvägs-fördröjningen är okänd [1].
- Per-paket ECMP: Ger utmärkt teoretisk balans men kan skapa omfattande paketomordning vid mottagaren [1].
Den dynamiska intelligenta routingmetoden som används av XingRongyuan CX-N Series RoCE-switchar (SONiC-baserade) kombinerar per-flöde ECMP och Flowlet-baserad balansering. Den introducerar dynamisk WCMP (Weighted Cost Multipath) och Flowlet-baserad ALB (Auto Load Balancing) [1].
Vägkvalitetsmätning
Systemet utvärderar nätverksvägens kvalitet med hjälp av faktorer som starkt påverkar AI-klustertyger, inklusive bandbreddsutnyttjande, köutnyttjande och vidarebefordran.
Statistiska räknare
Bandbredd och köutnyttjande mäts genom ASIC-maskinvaruräknare med noggrannhet på hundra-millisekundersnivå. ASIC registrerar port-vidarebefordran och kö-vidarebefordran i realtid. SONiC-kontrollplanet läser räknarna genom SAI-gränssnittet med under-sekundsprecision och lagrar dem i Redis. Routing-kontrollprocessen utvärderar gränssnittets kvalitet med hjälp av dessa räknare och annonserar resultatet genom BGP. För att begränsa -kontrollplansbelastningen skickas annonser för närvarande med andra{10}}nivåintervall, med ett viktat medelvärde som tillämpas på flera prover; nyare prover får högre vikt.
I-Band Telemetri
Vidarebefordran-fördröjningsmätning baseras på INT (In-band Network Telemetry) och kan nå precision på nanosekund-nivå. HDC (High Delay Capture) fångar paket som upplever hög latens inuti ASIC. När ett paket överskrider en användardefinierad-fördröjningströskel skickar switchen de första 150 byten av originalpaketet tillsammans med metadata, inklusive ingångsport, utgående port och latens, till en samlare. I den här designen fungerar CPU:n som HDC-samlaren och analysatorn, vilket möjliggör hög-precisionsmätningar av vidarebefordran-fördröjningsmätningar och mer exakt väg{10}}kvalitetsutvärdering.
Figur 3. Väg-kvalitetsutbredning och WCMP-installation.
Tekniken använder ett nytt BGP extended-community-attribut, Path Bandwidth Extended Community, för att indikera den sammanlagda kvaliteten på en väg till en destination. Hög-byten i fältet utökad-typ är 0x00 och den låga-byten är 0x05. I värdefältet representerar underfältet Global Administrator AS-numret. Sökvägskvaliteten kodas i fyra byte med IEEE flyttal{10}}format och uttrycks i GB/s .
När NIC1 kommunicerar med NIC2 annonserar NIC2 först sin IP-adress till Leaf2. Leaf2 annonserar adressen till Spine tillsammans med länkens-kvalitetsvärde mot NIC2 multiplicerat med Leaf2-nedlänkens vikt. Spine lägger till sin egen viktade länkkvalitet och skickar det ackumulerade värdet till Leaf1. Leaf1 sammanfattar sökvägens kvalitet och installerar rutter som styr vidarebefordran. I ett två-Leaf-Spine-tyg klassificeras portar som Leaf-upplänkar, Leaf-nedlänkar och Spine-portar, med konfigurerbara beräkningskoefficienter för varje klass.
Dynamisk WCMP
Lastbalansering fördelar trafik över flera länkar. I AI-miljöer är detta viktigt för att bygga ett förlustfritt Ethernet-tyg med minimal paketförlust, latens och genomströmningsförsämring. ECMP är den konventionella mekanismen i datacenter. WCMP utökar ECMP genom att distribuera
trafik proportionellt över länkar. I dynamisk intelligent routing justeras WCMP-vikter i realtid efter vägkvalitet. Till exempel, om det finns två vägar mellan NIC1 och NIC2, kan systemet beräkna ett förhållande på 3:7. När trafiken förändras sprids uppdaterad sökväg-kvalitetsinformation via BGP till varje Leaf-växel, där dynamiska WCMP-rutter genereras för att vägleda vidarebefordran.
Onormal väg borttagning
När en vägs sammanlagda kvalitet faller under en överenskommen tröskel anses sökvägen vara oanvändbar för AI-arbetsbelastningen och tas bort från vidarebefordran. De återstående vägarna fortsätter att transportera trafik genom dynamisk WCMP. När vägen återgår till det normala återställs den. Även om detta tillfälligt kan lämna en del kapacitet oanvänd, förhindrar det allvarligare överbelastning och paketförlust [1].
Intelligent lastbalansering (ALB)
ALB tillhandahåller Flowlet-baserad lastfördelning. ASIC mäter belastning och latens på olika portar i realtid och dirigerar varje Flowlet till länken med lägre belastning eller lägre fördröjning. Detta lägger till en finare-schemaläggning utöver traditionell ECMP. ALB stöder även port-failover och omfördelar automatiskt trafik när en utgående länk misslyckas [1].
Virtualisering
Front-nätverk behöver ofta stöd för flera-tenant så att olika GPU-resurser kan allokeras till olika användare. Lösningen använder VRF (Virtual Routing and Forwarding) för att isolera hyresgäster, med en VRF tilldelad till varje användare. GPU-relaterade undernät placeras i användarens VRF och PRE ACLs i ASIC klassificerar inkommande trafik så att varje användares trafik endast vidarebefordras inom motsvarande VRF [1].
Applikationsscenarier
1.Hur dynamisk WCMP absorberar trafiksvallningar
För ett tyg med 256 x 400G GPU-portar kan en Clos-arkitektur i två nivåer utformas med ett konvergensförhållande mellan nedlänk-till-upplänk i 1:1 för att bibehålla hög genomströmning, hög bandbredd och symmetrisk kapacitet. Lämpliga produktmodeller inkluderar XingRongyuan CX864E-N eller CX732Q-N [1]. Under konventionell ECMP kan ett litet antal AI-elefantflöden hash till samma ryggrad, vilket orsakar upplänksstockning eller paketförlust. Dynamic WCMP justerar kontinuerligt trafikfördelningen enligt{15}}realtidsvägens kvalitet, vilket minskar trafikökningar och undviker trängsel [1].
2.Flowlet-Nivåbelastningsbalansering
I samma 256 x 400G GPU-tyg är inte varje enhet eller arbetsbelastning bäst betjänad av dynamisk WCMP. Omkopplaren kan dynamiskt välja Flowlet-baserad ALB. ALB mäter belastningen och latensen för länkar i ECMP-gruppen och skickar Flowlets till länkar med lägre utnyttjande eller fördröjning. Om ett gränssnitt blir överbelastat eller dess vidarebefordringsfördröjning ökar, undviker ASIC automatiskt detta utträde tills förhållandena återgår till det normala [1].
AI-nätverksplanering och design
AI-tjänster inkluderar i allmänhet tre steg: datainsamling och förbearbetning, modellträning och AI-inferens. Varje steg ställer olika krav på nätverket.
1.Datainsamling och förbearbetning
Ett globalt{0}}utbildningsnätverk för datainsamling och förbearbetning måste tillhandahålla-storskaliga, elastiska offentliga IP- och bandbreddsresurser så att massiva rådatauppsättningar kan samlas in effektivt från det globala internet. Designen måste säkerställa säker och stabil överföring samtidigt som dataaggregering och förbearbetningsprestanda förbättras [2].
1.1 VPC-segmentering
VPC-design för-molnbaserad datainsamling bör följa principerna för minst-privilegier, lagerisolering, säkerhetskontroll och elastisk skalbarhet. Antingen flera VPC:er eller flera subnät inom en enda VPC kan användas [2].
- Segmentera efter tjänstestadium: Distribuera datainsamling, förbearbetning, lagring, utbildning och slutledning i separata undernät eller VPC:er. Placera samlingsingångspunkter i en DMZ VPC eller ett offentligt subnät; placera förbearbetning och temporär data i en dedikerad bearbetnings-VPC; placera känsliga rådata och AI-träning i en hög-säkerhets-VPC utan direkt offentlig åtkomst.
- Isolera efter säkerhetsnivå: Skapa VPC:er eller undernät med hög-, medium- och låg-säkerhet och använd säkerhetsgrupper, nätverks-ACL och privata anslutningar för att styra tvär-VPC och tvär-undernätstrafik.
- Lisolera efter hyresgäst eller projekt: Tilldela separata VPC:er till olika hyresgäster eller projekt för att isolera resurser, nätverk och data.
1.2 Datainsamling Egress Network
NAT-gateway: Använd en pool av EIP och SNAT genom en NAT-gateway, vilket gör att insamlingsprogram kan komma åt internet från slumpmässigt valda offentliga IP-adresser.
Självbyggd-proxy: Distribuera proxyservrar som upprätthåller mappningar mellan insamlingsprocesser och offentliga IP-adresser, och distribuera en enda insamlingsbegäran över flera proxyservrar.
IP-tjänsteleverantör: Anslut till en IP-tjänsteleverantör över det privata molnetnätverket för lägre kostnad, kontrollerad säkerhet och stabil kvalitet [2].
1.3 Cross-Aggregation och förbearbetning av regiondata
Välj OSS-regionen enligt förbearbetnings-klusterplanen och skapa en data-aggregerad VPC i samma region. Skapa en Transit Router (TR) i varje region, anslut lokala VPC:er och koppla ihop TR:erna så att regionala insamlings VPC:er direkt kan komma åt det centrala OSS. Tjänster som PAI-iTAG, MaxCompute och Flink kan sedan utföra datamärkning och förbearbetning i OSS-regionen [2].
2. Modellutbildningsnätverk
Modellens-utbildningsnätverk är tätt integrerat med insamlings- och förbearbetningsnätverket för att bilda en global struktur som kopplar samman molndatacenter, kantnoder och-lokala IDC:er.
Hög-hastighetssammankoppling ger låg-latens, hög-datarörelse, medan bandbredd, säkerhetspolicyer, åtkomstkontroller och katastrofåterställning måste utformas från början till slut [2].
- In-region cross-cluster compute pool: En Transit Router ansluter flera VPC:er inom samma region. Server ENI:er ansluter till VPC-switchar och kan konfigureras för erforderlig genomströmning och RDMA.
- Cross-cloud compute pool: Dedikerade kretsar ansluter en IDC eller ett annat moln till samma-region-VPC. Alibaba Cloud VBRs ansluter på lager 3 till peer-enheten, med BGP, BFD och snabb failover för snabb konvergens.
Global beräkningspool: Cross-regionlänkar mellan TR:er tillhandahålls enligt topptrafik mellan-regioner, med valfri inter-region QoS för att skapa en enhetlig beräkningspool över regioner [2].
3. Global inferens-tjänstnätverk
Ett globalt slutledningsnätverk väljer utbyggnadsmodeller enligt de resurser och molntjänster som finns tillgängliga i varje region och ger effektiv tjänstedistribution och åtkomst [2].
- Modell- eller agentdistribution: Använd Model Studio MaaS-distribution, PAI-EAS- eller Function Compute PaaS-distribution, eller IaaS-distribution på EGS, ACK, ACS eller Lingjun bar-metallinfrastruktur i kundens VPC.
- Tjänstedistribution: Skapa en slutledning-distributions-VPC och anslut privata nätverk med VPC-peering, tillhörande moln-tjänst-VPC eller PrivateLink. Distribuera ALB eller förbättrad ALB som åtkomstpunkt och proxyförfrågningar till olika modeller eller agenter.
- Tjänståtkomst: Lokala internetanvändare kan få tillgång till förbättrad ALB direkt; fjärranvändare kan använda Global Accelerator (GA); interna eller externa Alibaba Cloud-företagsanvändare kan ansluta privat via PrivateLink.
Slutsats och Outlook
Denna vitbok förklarar de utmaningar som IDC-nätverk står inför under AI-eran och hur dynamisk intelligent routing kan hantera dem. Dynamisk medvetenhet, intelligent beslutsfattande-, WCMP-, ALB- och VRF-virtualisering förbättrar effektiviteten i lastbalanseringen-, minskar trafikstockningar och paketförluster och påskyndar AI-träning och slutledning. Planeringsavsnittet betonar VPC-segmentering, insamlings-utgående utformning, aggregering och förbearbetning mellan regioner, modellutbildning och global slutledning. När AI fortsätter att utvecklas kommer datacenternätverk att ställas inför strängare krav. Dynamisk intelligent routing kommer att fortsätta att förbättras för edge AI, federated learning och andra komplexa scenarier. Framtida IDC-nätverk kommer att lägga större tonvikt på-datornätverkskonvergens, energieffektivitet och automatiserade operationer, vilket skapar en mer intelligent, effektiv och pålitlig grund för den digitala ekonomin.
Referenser
Användarens-tekniska källdokument.
Alibaba Cloud AI Network White Paper. Åtkomst 27 maj 2026.
https://help.aliyun.com/zh/cloud-nätverk-väl-designat-design/alibaba-moln-ai-nätverk-vitt-papper