28 janvier 2008

numro 14

Interconnexion de rseaux niveau 2 pour clusters tendus

1. Introduction
Cet article fournit des informations relatives au dploiement dune architecture de rseaux de niveau
2 tendu pour supporter des clusters haute disponibilit dont les nuds sont disperss entre des
Centres de Donnes distants. Ces informations doivent permettre de bien apprhender les
contraintes dextension du niveau 2 au-del du campus ainsi que de comprendre les
recommandations Cisco.
Une des importantes tendances du march actuel pousse de nombreuses entreprises dployer
des clusters haute disponibilit (HA Cluster) distribus entre des Centres de Donnes distants.
Certains clusters sont parfois tendus sur plus de deux sites. Lextension de HA Cluster entre
Centres de Donnes distants impose deux grandes rgles respecter :
Chaque VLAN de niveau 2 utilis pour interconnecter les clusters doit tre imprativement
tendus entre sites distants.
Plusieurs chemins de transports doivent exister entre les diffrents sites pour assurer la haute
disponibilit au niveau transport rseau.
En gnral Cisco recommande de ne pas tendre linstance de Spanning Tree (STP) au-del du
Centre de Donnes, dune part en le limitant au niveau dAccs, et dautre part en respectant un
maximum de deux ou trois le nombre de commutateurs traverss par instance de STP.
Cependant, pour des raisons applicatives de type HA Cluster, le niveau 2 (L2) doit-tre tendu
gographiquement. Il est dont essentiel de dployer un rseau la fois rsistant et redondant pour
viter quaucun des services applicatifs ou rseaux ne soit isol de son lment de backup.
Cet article ne couvre pas les besoins en termes de rseaux pour SAN. De mme les besoins en
termes de QoS ne seront pas traits.

2. Exigences rseaux pour le dploiement gographique de Clusters

a. Attachements rseaux dun nud de cluster
En gnral un server dans un cluster supporte trois double-attachements au rseau :
Deux accs SAN
Deux accs LAN pour le rseau Public
Deux accs LAN pour le rseau Priv
La plupart des membres dun cluster utilise une technologie de dual-attachement (aussi connue sous
lappellation de Teaming) qui contrle le flux des donnes I/O en envoyant le trafic travers
plusieurs connexions.
1

Les mcanismes suivants de multipathing doivent tre mis en place pour amliorer au maximum
la redondance des lments :
Storage Area Network : HBA Multipathing (ex: Sun MPxIO, EMC Powerpath, IBM SDD)
Rseau Public : Teaming or Dual-Homing
Rseau Priv : parallle Multipath failover

Extension de niveau 2 pour go-cluster

b. Rseau Public pour laccs aux Applications

Principe
Le server possde en gnral deux interfaces vers le rseau Public qui fonctionnent en mode
Active/standby activ par la fonction de Dual-Homing ou Teaming.
Pour amliorer la haute disponibilit des composants de rseau (commutateurs, interfaces, cbles)
le double attachement (Dual-homing) doit se faire sur 2 commutateurs daccs diffrents, euxmmes connects sur 2 commutateurs dagrgation diffrents.
Comme chaque VLAN du rseau Public associ un cluster particulier doit tre tabli entre le niveau
daccs et le niveau dagrgation, une boucle locale de niveau 2 peut tre cre. En consquence le
Spanning Tree (STP) doit tre activ. Tant que le STP reste contrl dans un espace rduit et limit
au niveau daccs, les risques dinstabilit ou de pollution pouvant tre gnrs par la dfaillance
dun cble, du STP lui-mme ou par une erreur humaine restent trs faibles. Toutefois Cisco
recommande dactiver les extensions de scurit du Spanning Tree comme le BPDU guard ,
Loop Guard , UDLD ou encore Root Guard .
Cisco supporte une instance de Spanning Tree par VLAN. Chaque VLAN utilise son propre calcul de
Spanning Tree indpendamment des autres instances.
Extension du rseau Public
Le rseau Public est utilis la fois pour relais de communication entre chaque nud du cluster ainsi
quentre lutilisateur final de lapplication et le nud actif. De ce fait, le rseau Public de niveau 2 doit
partager larchitecture commune du Centre de Donnes.
Egalement du fait que ladresse IP logique du cluster soit partage entre les nuds qui
appartiennent un cluster donn, le mme VLAN Public doit-tre tendu.
2

Pour fournir la haute disponibilit de site site, les interconnexions physiques doivent tre
dupliques. De ce fait un mcanisme de contrle de boucle de niveau 2 et de protection contre tout
type de problmes survenant dans ces liens dinterconnexion doit tre mis en place.
Cisco recommande de ne pas tendre le Spanning Tree Protocol au-del du campus cause de sa
fragilit native sur de longues distances ainsi que les risques dinterruption de trafic tout du long de
sa rgion de Spanning Tree.
Actuellement VPLS est la principale solution recommande pour assurer une haute disponibilit, et
une haute rsistance pour tirer des liens de niveau 2 redondants sans avoir dployer des
instances de Spanning Tree Protocol de bout en bout.

c. Rseau Priv pour synchronisation des membres du cluster

Principe
Le rseau Priv est essentiellement utilis pour transporter les mcanismes de contrle de
disponibilit (Heartbeat) des nuds. Dautres protocoles de communication inter-servers peuvent
utiliser le rseau Priv :
cluster heartbeat
cluster data
cluster filesystem data
application data (back-end)
Le rseau Priv est un rseau non-rout, de ce fait il partage le mme VLAN de niveau 2 entre les
nuds dun mme cluster mme si ceux-ci sont tendus entre des sites distants.
Le rseau priv est bti en utilisant des connexions ddies de type point point avec lapplication
de rgles strictes en environnement gographique.
Le mcanisme de Heartbeat est le composant interne le plus important du cluster qui va utiliser le
rseau priv dinterconnexion. Si tous les chemins existants entre les nuds dun mme cluster
tombent pendant plus de 10 secondes (valeur gnralement dfinie par dfaut mais qui peut tre
modifie par le system manager), un tat de split brain se produit avec des effets inacceptables
pour un environnement de haute disponibilit.
Il nest pas ncessaire ni recommand de dsactiver totalement le Spanning Tree Protocol lorsque la
commutation est assure par du matriel Cisco. En effet Cisco a dvelopp la fonction de Portfast
qui permet de mettre un port daccs dans le mode forwarding immdiatement sans toutefois
perdre la capacit dtecter les boucles accidentelles.
Au mme titre, il y a un risque de connecter le rseau Priv au travers des mmes commutateurs
utiliss par le rseau Public. Tout vnement susceptible de bloquer le(s) commutateur(s) plus de 10
secondes comme un basculement STP ou un phnomne davalanche de messages de
broadcast (Broadcast storm) par exemple aura invitablement un impact dsastreux sur tout ou
une partie du cluster.
3

Extension du rseau Priv

Pour amliorer la haute disponibilit, les composants eux-mmes utiliss pour construire ces
interconnexions doivent tre organiss de manire redondante.
En consquence, 4 commutateurs spars sont utiliss, interconnects par paire et tendus via des
quipements D-DWM ou via un autre mode de transport virtuel.

Dun point de vue niveau 2, il nexiste pas de liaison entre la paire 1 et la paire 2.

3. Solutions de transport mises en place pour les rseaux Priv et Public

a. Exigences
Les exigences sont les suivantes :
Pour le rseau Priv : des liaisons point point ddies et parallles doivent tre mises en
place sans activer le STP
Pour le rseau Public : des connexions de type attachements doubles (Dual-homing) avec des
temps de convergences rapides (quelques secondes) doivent tre mise en place sans tendre
les instances de STP entre les diffrents sites distants.
Pour amliorer lefficacit des algorithmes de multipathing pour le rseau Public, les diffrents
chemins de transport doivent utiliser des quipements rseaux et des liens diffrents tout au long
des connexions.

b. Mode de transport Point Point pour le rseau Priv

En gnral, les vendeurs de clusters haute disponibilit recommandent une liaison D-WDM comme
transport pour le rseau Priv lorsque les fibres ddies sont tendues entre les sites distants.
Note : Si les Entreprises ne sont pas propritaires de leur connexion inter-sites, toute nouvelle liaison
additionnelle D-WDM impliquera un cot supplmentaire.
Dautres mcanismes de multiplexage peuvent fournir le mme type de connexions ddies pour le
rseau Priv mais dans un environnement virtuel comme Sonet/SDH ou MPLS Pseudo-Wire.
Les caractristiques de la technologie MPLS Pseudo-Wire (Ethernet over MPLS - EoMPLS) :
EoMPLS supporte une connexion virtuelle croise interface-interface, simulant des connexions
de type D-WDM
EoMPLS permet le partage de linfrastructure commune tout en fournissant plusieurs chemins
actifs de bout en bout (path diversity)
EoMPLS peut tre utilis pour nimporte quelle distance quelque soit le nombre de sauts de
bout en bout (multi-hops)
EoMPLS supporte de manire native la redondance rapide fast-redundant (sub-second)
4

Recommandation : Par rapport aux besoins de haute disponibilit pour une entreprise qui dploie un
campus HA Cluster (avec rseau de niveau 2 tendu) dans un environnement gographique longue
distance, Cisco en gnral recommande plusieurs options de rseaux de transport ; soit D-WDM soit
EoMPLS avec path diversity .
Il est important de noter que le transport Point Point est directement applicable aux clusters
dploys en environnement multi-sites.

c. Mode de transport Multipath pour le rseau Public

Si certains vendeurs de cluster haute disponibilit recommandent le Multipath sur un rseau
commut avec STP en utilisant le double attachement des nuds du cluster vers le niveau daccs
redondant, Cisco recommande que cette instance de Spanning Tree soit limite au rseau daccs
de chaque cluster dans son Centre de Donnes.
STP dune manire native nest pas optimis pour interconnecter des liens redondants sur de
longues distances. Tout incident relatif une instance de STP impactera lensemble de cette
instance quelque soit la distance. Cisco recommande lorsque cest possible de dployer un
protocole de routage de niveau 3 comme rseau de transport haute disponibilit pour
linterconnexion multi-site.
Pour rpondre aux besoins spcifiques des clusters, Cisco proposes diffrentes alternatives, de la
solution la plus simple et la plus connue des solutions technologie avance en fonction de
larchitecture globale dploye :

Rapid-STP extension avec multiples Rgions MST

Rapid-STP isol en dploiement Octopus (ou architecture en toile isole)
Option QinQ
Virtual Private LAN Services - VPLS - avec extension du STP local (Mme dploy avec
lextension du STP de la priphrie, VPLS ne require pas STP actif au niveau du cur pour
supporter la redondance des liens.)
Virtual Private LAN Services VPLS - avec isolation du STP local
Ct besoins en haute disponibilit pour lextension du rseau Public entre plusieurs sites, VPLS
avec isolation du STP local entre les sites distants est la solution qui rpond le mieux aux exigences
de haute disponibilit.

4. Architecture MPLS pour renforcer la haute disponibilit des clusters

Utiliser une architecture WAN MPLS permet de fournir des solutions pour linterconnexion des
clusters et renforcer la haute disponibilit.

a. EoMPLS pour le rseau Priv

Larchitecture EoMPLS sera utilise pour simuler des chemins de connexion D-WDM pour le rseau
Priv.

EoMPLS simule logiquement une liaison D-WDM, comme dcrit sur le schma ci-dessus par les liens
en rouge, apportant en plus des mcanismes sophistiqus de protections contre des pannes de
liens et de nuds.
EoMPLS permet de cross-connecter (X-connect) des ports daccs la manire dun point point
physique ou dun cble. Tout le trafic entrant sera transport et dlivr sur le port distant, que ce soit
des flux de donnes ou des flux de contrle. Pour effectuer ce mcanisme sophistiqu EoMPLS
utilise un double label pour ltiquetage du flux (dual label tagging), un pour la cration du chemin du
cur du rseau (Core) vers le commutateur de priphrie (Edge switch), ainsi quun autre label pour
la cration du circuit virtuel (virtual-circuit) entre les deux interfaces dextrmit (Edge port).
Ce double label est communment appel Pseudo-Wire (PW). Le Pseudo-Wire est une liaison
tendue virtuelle pour simuler le cble ou la fibre pour linterconnexion entre les deux interfaces
distantes utilises pour lextension du rseau Priv.
Chaque interface utilise pour la connexion du rseau Priv est connecte un commutateur
daccs diffrent et ddi formant au minimum deux liaisons parallles.
Chaque commutateur daccs ddi au rseau Priv est connect un commutateur dagrgation
lui-mme ddi.
Permet lagrgation de plusieurs commutateurs daccs tout en utilisant un lien ddi
Chaque interface de chaque commutateur daccs est cross-connecte la manire dun
point point.
Le rseau partag est de niveau 3 et bnficie donc des caractristiques suivantes :
Pas de ncessit de dployer un protocole pour contrler les boucles de niveau 2 dans le
cur du rseau (pas de Spanning Tree dans l e cur du rseau).
Protocol stable IGP ddi MPLS avec mcanismes de rcupration trs rapides
Rseau de Transport protg contre les pannes de liens ou de nuds dans le cur du rseau
Partage de liens (rduction du cout trs lev pour liaisons ddies longues distances)
QoS ddie par type de trafic (le rseau Priv a sa propre classe de service)

b. Architecture VPLS pour le rseau public

La technologie VPLS sera utilise pour rpondre aux besoins dextension du rseau public.

Bien que EoMPLS aurait pu tre dploy comme propos pour le rseau Priv, il est trs important
disoler les instances de Spanning Tree chaque rseau local dans les Centres de Donnes. Pour
linterconnexion de deux rseaux redondants avec un STP local (local au rseau daccs), EoMPLS
imposerait que le STP soit galement tendu de site site pour supporter les chemins redondants.
De ce fait EoMPLS nest pas la meilleure approche pour rpondre aux besoins du rseau.
VPLS est une technique de commutation base sur linterconnexion redondante et virtuelle de point-multipoint via des Pseudowires sans activer le STP. VPLS assure par un mcanisme natif interne
(Split Horizon) la protection automatique contre des boucles de rseau de niveau 2. Il est important
de noter que si la commutation VPLS protge de manire inhrente contre les boucles de niveau 2
dans le cur du rseau, un protocole de protection de boucles doit tre mise en place pour chaque
instance de STP locale. En consquence, VPLS sera dploy en conjonction avec Embedded Event
Manager (EEM) pour assurer que la redondance des liens de niveau 2 entre les sites distants soit
bien mise en uvre sans faire appel au protocole de Spanning Tree qui restera quant lui local
chaque Centre de Donnes.
Ceci va permettre de fournir une encapsulation standard pour la commutation en multipoints audessus dun rseau de niveau 3, donc toutes pannes relatives un lien physique ou logique, ou un
nud du cur du rseau restent compltement transparentes au transport de niveau 2, similaire
une protection de type D-WDM.
VPLS en conjonction avec EEM reste la meilleure solution pour offrir un schma de rseau solide et
redondant en utilisant des mcanismes de convergence rapide pour tendre le rseau Public de
niveau 2 entre plusieurs sites. VPLS en plus permet un provisionnement trs ais immdiat ou future
pour tous les VLAN dployer sur lensemble des Centres de Donnes.

4. Conclusion
Larchitecture propose par Cisco :

Est aligne sur les recommandations des fournisseurs de clusters haute disponibilit :
Le rseau Priv du cluster ne partage aucun composant de niveau 2 avec le rseau Public ou
autre, que ce soit matriel ou logiciel.
Le rseau Priv utilise au moins deux chemins indpendants pour transporter le trafic.
Rpond aux besoins des Entreprises :
EoMPLS offre un modle similaire au modle WDM qui permet de partager tout type de trafic
au cur du rseau.
Apporte des rponses supplmentaires aux recommandations gnrales :
VPLS offre une isolation du Spanning Tree qui permet de maintenir un haut niveau de haute
disponibilit tout en prservant lindpendance de chaque site.
Offre des services MPLS pour la virtualisation de niveau 3 ainsi que la protection des liens et
de la diversit des chemins via QoS.
Dlivre un rseau robuste, flexible et redondant de bout en bout.

Pour aller plus loin

Cisco.com MPLS Home Page

http://www.cisco.com/go/mpls
Cisco IOS MPLS Virtual Private LAN Service : Application Note
http://www.cisco.com/en/US/products/ps6603/products_white_paper09186a00801ed506.shtml

Contactez-nous :
www.cisco.fr
0800 907 375
Sige social Mondial
Cisco Systems, Inc.
170 West Tasman Drive
San Jose, CA 95134-1706
Etats-Unis
www.cisco.com
Tl. : 408 526-4000
800 553 NETS (6387)
Fax : 408 526-4100

Sige social France

Cisco Systems France
11 rue Camille Desmoulins
92782 Issy Les Moulineaux
Cedex 9
France
www.cisco.fr
Tl. : 33 1 58 04 6000
Fax : 33 1 58 04 6100

Sige social Amrique

Cisco Systems, Inc.
170 West Tasman Drive
San Jose, CA 95134-1706
Etats-Unis
www.cisco.com
Tl. : 408 526-7660
Fax : 408 527-0883

Sige social Asie Pacifique

Cisco Systems, Inc.
Capital Tower
168 Robinson Road
#22-01 to #29-01
Singapour 068912
www.cisco.com
Tl. : +65 317 7777
Fax : +65 317 7799

Cisco Systems possde plus de 200 bureaux dans les pays et les rgions suivantes. Vous trouverez les adresses, les numros de tlphone et de tlcopie
ladresse suivante :

www.cisco.com/go/offices
Afrique du Sud Allemagne Arabie saoudite Argentine Australie Autriche Belgique Brsil Bulgarie Canada Chili Colombie
Core Costa Rica Croatie Danemark Duba, Emirats arabes unis Ecosse Espagne Etats-Unis Finlande France Grce Hong Kong
SAR Hongrie Inde Indonsie Irlande Isral Italie Japon Luxembourg Malaisie Mexique Nouvelle Zlande Norvge Pays-Bas
Prou Philippines Pologne Portugal Porto Rico Rpublique tchque Roumanie Royaume-Uni Rpublique populaire de Chine
Russie Singapour Slovaquie Slovnie Sude Suisse Taiwan Thalande Turquie Ukraine Venezuela Vietnam Zimbabwe
Copyright 2008 Cisco Systems, Inc. Tous droits rservs. CCSP, CCVP, le logo Cisco Square Bridge, Follow Me Browsing et StackWise sont des
marques de Cisco Systems, Inc. ; Changing the Way We Work, Live, Play, and Learn, et iQuick Study sont des marques de service de Cisco Systems,
Inc. ; et Access Registrar, Aironet, ASIST, BPX, Catalyst, CCDA, CCDP, CCIE, CCIP, CCNA, CCNP, Cisco, le logo Cisco Certified Internetwork Expert,
Cisco IOS, Cisco Press, Cisco Systems, Cisco Systems Capital, le logo Cisco Systems, Cisco Unity, Empowering the Internet Generation, Enterprise/Solver,
EtherChannel, EtherFast, EtherSwitch, Fast Step, FormShare, GigaDrive, GigaStack, HomeLink, Internet Quotient, IOS, IP/TV, iQ Expertise, le logo iQ, iQ Net
Readiness Scorecard, LightStream, Linksys, MeetingPlace, MGX, le logo Networkers, Networking Academy, Network Registrar, Packet, PIX, Post-Routing, PreRouting, ProConnect, RateMUX, ScriptShare, SlideCast, SMARTnet, StrataView Plus, TeleRouter, The Fastest Way to Increase Your Internet Quotient et
TransPath sont des marques dposes de Cisco Systems, Inc. et/ou de ses filiales aux tats-Unis et dans dautres pays.
Toutes les autres marques mentionnes dans ce document ou sur le site Web appartiennent leurs propritaires respectifs. Lemploi du mot partenaire
nimplique pas ncessairement une relation de partenariat entre Cisco et une autre socit. (0502R)
205534.E_ETMG_JD_01/08