Le stockage 

1. Architecture de stockage disponible 

a. Stockage local ou centralisé 

L’architecture  de  stockage  à  mettre  en  place  est  déterminante  pour  l’évolutivité  et  la  performance  de  la  solution. 
Cet aspect nécessite une attention particulière afin de choisir la solution adéquate en fonction de ses contraintes, 
ses  objectifs  et  de  son  budget.  En  effet,  les  coûts  peuvent  varier  de  façon  significative  entre  les  différentes 
solutions. 

Il est donc important de savoir quels sont les choix possibles avec leurs principaux avantages et inconvénients ainsi 
que les bonnes pratiques provenant de cas concrets et retours d’expérience. 

Les architectures de stockage disponibles sont les suivantes : 

● Stockage local : les disques durs sont connectés dans le serveur. 

● Stockage centralisé : le stockage est externe au serveur, plusieurs serveurs peuvent s’y connecter. Dans 
ce cas, les protocoles supportés par ESX sont : 

● le Fibre Channel dans une architecture SAN ; 

● l’iSCSI (software et hardware) ; 

● le NFS utilisé par les NAS. 

b. Différences entre les architectures 

Architecture avec disques locaux

© ENI Editions - All rigths reserved - Guillaume DUBOIS - 1-

  

Dans une architecture basée sur les disques locaux du serveur, les serveurs ESX sont isolés les uns des autres. 
Les machines virtuelles sont stockées en local et ne sont accessibles que par le serveur qui héberge les VM. Dans le 
cas où un serveur ESX tombe en panne, aucun autre serveur de l’infrastructure ne pourra accéder aux VM. Il faut 
donc attendre que le serveur soit à nouveau opérationnel pour pouvoir redémarrer les VM. 

Les technologies supportées sont le SCSI, le SAS ou le SATA. 
Avantage : c’est la solution la plus économique, elle est en outre très simple et rapide à mettre en place, il n’est pas 
nécessaire  d’avoir  de  compétence  ou  d’expertise  stockage  très  évoluée.  Cette  architecture  est  envisageable  en 
environnement  de  production  mais  il  faut  penser  à  mettre  une  solution  de  sauvegarde  adaptée.  Elle  peut  être  la 
solution idéale pour des petites et moyennes entreprises. 

Inconvénient : les niveaux de service sont moins élevés. Les fonctionnalités évoluées telles que VMotion, DRS, HA, 
FT (cf. chapitre Fonctionnalités de vSphere 4) ne sont pas disponibles. Il n’y a pas de gestion centralisée des VM. 

Architecture avec stockage centralisé

- 2- © ENI Editions - All rigths reserved - Guillaume DUBOIS

  

Dans  cette  architecture,  les  machines  virtuelles  sont  stockées  sur  la  baie  de  stockage  et  sont  accessibles  par 
plusieurs  serveurs  ESX.  Dans  le  cas  où  un  serveur  ESX  tombe  en  panne,  un  autre  serveur  connecté  au  stockage 
peut accéder aux VM et les remettre rapidement et automatiquement en production sans avoir à attendre que le 
serveur en panne soit de nouveau opérationnel. 
Cela  permet  de  limiter  les  interruptions  de  service.  Cette  architecture  donne  la  possibilité  d’exploiter  toutes  les 
fonctionnalités évoluées telles que VMotion, DRS, HA, FT... 

En outre, les architectures de ce type offrent d’excellentes performances, un niveau de sécurité important avec la 
mise  en  place  de  redondance  pour  l’accès  aux  VM.  Et  grâce  aux  fonctionnalités  intégrées  des  baies  de  stockage 
telles  que  le  mirroring  ou  la  réplication  de  données,  les  PRA  sur  des  sites  distants  sont  plus  simples  à  mettre  en 
place. 

La technologie des disques supportée est le SCSI, le FC, le SAS et le SATA. 

Avantage  :  le  stockage  étant  centralisé,  l’administration  est  simplifiée.  Cette  architecture  offre  les  meilleures 
performances, une évolutivité plus grande et un niveau de sécurité important permettant de limiter les interruptions 
de service. 

Inconvénient  :  le  coût  est  plus  élevé  qu’un  stockage  local  et  il  est  nécessaire  d’avoir  des  compétences  sur  le 
stockage. Cela nécessite un travail en amont plus important. 

2. Gestion du stockage par ESX 

a. Le Datastore 

© ENI Editions - All rigths reserved - Guillaume DUBOIS - 3-

  

Sous VMware ESX, l’espace de stockage est vu comme un Datastore. Le Datastore est une représentation virtuelle 
des  ressources  de  stockage  où  sont  stockées  les  machines  virtuelles.  Il  masque  la  complexité  des  différentes 
technologies et solutions de stockage du marché en proposant au serveur ESX un modèle uniforme quel que soit le 
stockage qui est en place. 
Ainsi, les différentes solutions du marché telles que les disques locaux, les baies de stockage Fibre Channel SAN, les 
baies iSCSI ou les NAS apparaissent pour ESX comme un espace de stockage dédié pour les machines virtuelles. 

b. Accès aux données par la Machine Virtuelle 

● Quand une VM communique avec son disque virtuel (vmdk), elle envoie des commandes SCSI. 

● Le driver du Guest OS va communiquer avec son contrôleur SCSI (dit vSCSI). 

● Le contrôleur virtuel SCSI transmet les commandes au VMkernel. 

● Le  VMkernel  localise  le  fichier  sur  le  Datastore  qui  correspond  au  disque  virtuel  vmdk  ainsi  que 
l’emplacement des blocs à modifier. 

3. Les différents protocoles : FC, iSCSI ou NFS 

Les protocoles supportés par ESX à savoir le FC, l’iSCSI et le NFS avec leurs avantages et inconvénients sont détaillés 
ci­dessous. 

a. Protocole Fibre Channel 

Le Fibre Channel (FC) est le plus mature des trois protocoles supportés par VMware et de ce fait, c’est celui qui est 
le plus souvent mis en œ uvre dans des environnements de production. 

Avantage : il semble acquis aujourd’hui (en 2009) que le Fibre Channel est le protocole le plus performant en E/S et 
c’est celui qui consomme le moins de ressources CPU du serveur hôte comparé aux protocoles NFS et iSCSI. 

- 4- © ENI Editions - All rigths reserved - Guillaume DUBOIS

 Inconvénient : le FC est la solution la plus coûteuse des trois solutions car elle nécessite de bâtir l’architecture de 
stockage et d’investir dans des cartes HBA, des switchs FC et des câbles le plus souvent en fibre optique. En outre, 
cette solution est plus complexe à mettre en place et nécessite des compétences stockage pointues. 

b. Protocole iSCSI 

iSCSI est assez récent en environnement VMware car il n’est supporté que depuis 2006. 

Avantage  :  iSCSI  a  été  largement  adopté  dans  beaucoup  de  secteurs  d’activité  car  il  utilise  le  réseau  TCP/IP  de 
l’entreprise. Il n’est donc pas nécessaire de monter une architecture de stockage dédiée avec des switchs FC, des 
cartes et des câbles spécifiques. Pour cette raison, dans certains environnements cette solution est idéale car elle 
est beaucoup plus simple à mettre en place et ne nécessite pas de compétences stockage très évoluées. De plus ce 
protocole offre de très bonnes performances. 

Inconvénient : les tests ont prouvé que c’est le protocole qui utilise le plus les ressources du CPU (jusqu’à 60 % de 
temps CPU en plus que le protocole FC dans le cas du iSCSI software). Il est donc important de surveiller ce point et 
d’en tenir compte lors du dimensionnement des serveurs. 

Deux  types  d’iSCSI  sont  disponibles  :  software  ou  hardware.  L’iSCSI  logiciel  est  à  déconseiller  en 
environnement  de  production  car  il  utilise  des  ressources  CPU  du  serveur  hôte  qui  peuvent  être 
importantes. 

c. Protocole NFS 

NFS est un protocole utilisé par les NAS supporté par ESX depuis 2006. Contrairement à certaines idées reçues, les 
tests font apparaître de bonnes performances. Il est donc envisageable d’utiliser ce protocole en production si les 
applications ne nécessitent pas des accès disques intensifs en Entrées/Sorties. 

Avantage  :  comme  pour  l’iSCSI,  NFS  utilise  le  réseau  standard  TCP/IP.  Il  s’implémente  aussi  très  facilement  sans 
avoir à mettre en place une infrastructure de stockage dédiée. C’est la moins chère des trois solutions. Il n’est pas 
nécessaire  d’avoir  des  compétences  de  stockage  particulières.  Les  NAS  peuvent  être  parfaitement  adaptés  pour 
stocker des images ISO, des templates, des copies de VM ou des sauvegardes de VM. 
Inconvénient : c’est le moins performant des trois protocoles. L’utilisation du CPU du serveur hôte est supérieure 
au  protocole  FC  mais  inférieure  à  celle  de  l’iSCSI  Software.  Il  peut  donc  être  envisageable  de  l’employer  en 
environnement de production avec des VM nécessitant des performances en entrées/sorties faibles. 

4. Systèmes de fichiers supportés 

ESX supporte deux systèmes de fichiers VMFS et NFS. 

a. VMFS 

VMFS  (Virtual  Machine  File  System)  est  un  système  de  fichier  développé  par  VMware  dédié  et  optimisé  pour 
l’environnement virtuel. La structure de VMFS permet de stocker les fichiers des VM dans un seul répertoire ce qui 
simplifie  l’administration  des  VM  ainsi  que  la  mise  en  place  de  PRA  par  simple  mirrroring  des  répertoires  entre  les 
sites distants. 
VMFS  permet  d’héberger  des  machines  virtuelles  avec  leurs  disques  virtuels  associés  (vmdk),  des  snapshots,  des 
Template, des fichiers images ISO. 
Avantages et caractéristiques : 
Les  systèmes  de  fichiers  traditionnels  n’autorisent  qu’à  un  seul  serveur  d’avoir  accès  en  lecture/écriture  à  une 
ressource  de  stockage.  VMFS  est  un  système  de  fichier  dit  clusterisé  qui  permet  à  plusieurs  serveurs  hôtes  ESX 
d’accéder simultanément en lecture/écriture aux mêmes ressources de stockage. 

Pour s’assurer que plusieurs serveurs n’accèdent pas simultanément à la même machine virtuelle, VMFS fournit un 
système de verrouillage appelé on disk locking. Ceci garantit qu’une VM ne travaille qu’avec un seul serveur ESX à 
la fois. Pour gérer les accès, ESX utilise une technique de réservation SCSI (dit SCSI reservation) pour modifier les 
fichiers métadata. Cet instant très court de verrouillage interdit l’écriture sur tout l’espace de stockage utilisé par les 
serveurs ESX. Pour cette raison, il faut veiller à ne pas avoir de réservations SCSI trop fréquentes qui pourraient 
dégrader les performances. 
Cette réservation SCSI est utilisée par ESX, quand : 

● Une VM est démarrée. 

© ENI Editions - All rigths reserved - Guillaume DUBOIS - 5-

 ● VMotion est utilisé. 

● Des snapshots sont réalisés. 

● La fonctionnalité HA est utilisée : si un serveur tombe en panne, le verrouillage on disk est libéré permettant 
à un autre serveur ESX de redémarrer les VM et de le verrouiller pour sa propre utilisation. 

Les spécificités de VMFS à connaître : 

● Il est possible de ne créer qu’un seul VMFS Datastore par LUN. 

● La  taille  maximale  pour  un  VMFS  Datastore  est  de  2  To  pour  une  taille  minimum  de  1,2  Go.  Le  VMFS 
Datastore peut être augmenté en ajoutant dynamiquement des extensions. Il est possible d’ajouter jusqu’à 
32 extensions (jusqu’à 32 LUN) pour avoir une taille maximale de 64 To (32 extensions x 2 To) apparaissant 
comme un volume unique. 

● Il est possible de mettre jusqu’à 256 VMFS par serveur. 

● VMFS  réalise  une  journalisation  des  événements  permettant  de  garder  une  intégrité  des  données  et  de 
restaurer rapidement en cas de problème. 

● Sous  vSphere  4,  une  nouvelle  fonctionnalité  appelée Volume  Grow  permet  d’étendre  dynamiquement  un 
système VMFS (jusqu’à 2 To) existant sans arrêter les VM. Dans le cas où un espace de stockage physique 
est  rajouté  dans  un  LUN,  le  Datastore  existant  peut  être  étendu  sans  arrêter  le  serveur  ni  le  stockage 
associé.  Cela  vient  en  complément  des  possibilités  des  baies  de  stockage  qui  permettent  d’étendre 
dynamiquement  des  LUN.  Il  est  également  possible  d’étendre  l’espace  de  stockage  d’un  disque  virtuel 
(vmdk)  en  mode  persistant  sans  snapshot  grâce  à  la  fonctionnalité  Hotvmdk  Extend.  Ceci  apporte  une 
grande flexibilité dans l’utilisation et l’administration du stockage. 

b. NFS 

ESX peut également utiliser NFS pour héberger des VM comme nous venons de le voir dans la section Protocole NFS. 

c. Raw Device Mapping 

RDM (Raw Device Mapping) donne la possibilité d’accéder directement à une LUN sans utiliser le système de fichier 
VMFS  sur  une  baie  de  disque  FC  ou  iSCSI.  Il  est  ainsi  possible  d’accéder  directement  à  un  disque  possédant  un 
système de fichier existant de type NTFS ou EXT3 et que vous souhaitez préserver. 

Différences entre les différentes architectures de stockage : 

Installation  Stockage  VMotion, DRS,  Mise en 

Datastore  RDM  Performances 
ESX4  VM  HA  place 

Stockage 
Oui  Oui  Non  VMFS  Non  Très bon  Très simple 
local 

Fibre  Complexe 
Oui  Oui  Oui  VMFS  Oui  Excellent 
Channel  (2) 

iSCSI  Oui (1)  Oui  Oui  VMFS  Oui  Très bon  Simple 

NFS  Non  Oui  Oui  NFS  Non  Bon  Très simple 

(1) iSCSI hardware supporté, software iSCSI non supporté. 
(2) Nécessite des compétences stockage évoluées. 

Technologie des disques NFS ou VMFS : 

SAS  SATA (1)  SCSI  FC  P ­ATA* 

- 6- © ENI Editions - All rigths reserved - Guillaume DUBOIS

 Hébergement des VM  Oui  Oui  Oui  Oui  Non 

Installation ESX  Oui  Oui  Oui  Oui  Oui 

(1) Il n’est pas recommandé d’utiliser des disques SATA avec un VMFS partagé entre plusieurs ESX. 

* P ­ATA : Parallel ­ATA ancienne technologie de disque dur IDE. 

5. Le disque virtuel vmdk 

Le disque virtuel d’une VM est représenté par un fichier vmdk. Au même titre qu’un disque dur traditionnel, le disque 
virtuel contient le système d’exploitation, les applications et les données. C’est le fichier le plus important. 
Deux modes peuvent être utilisés : le mode Thick disk ou le mode Thin Disk. 

Dans le cas où le Thick disk est utilisé, la taille du fichier .vmdk est égale à la taille du disque qui a été configurée lors 
de la création de la VM. 

Dans le cas où le Thin disk (appelé Thin provisioning) est  utilisé, la taille du fichier réservé sur VMFS est égale à la 
taille occupée réellement sur le disque. Cette taille va augmenter dynamiquement au fur et à mesure des besoins de 
façon à optimiser l’espace de stockage. 

Exemple : si un fichier de 20 Go est créé et que seulement 6 Go sont utilisés : 

En mode Thick disk : le fichier vmdk occupera 20 Go sur l’espace de stockage. 

En mode Thin disk : l’espace occupé par le fichier vmdk sur l’espace de stockage sera de 6 Go. 

Nous verrons dans le chapitre Supervision et optimisation, les possibilités de paramétrage de ces différents modes. 

6. OVF 

Les  formats  de  disques  virtuel  existants  sont  de  type  vmdk  pour  VMware  ou  vhd  (Virtual  Hard  Disk)  utilisé  par 
Microsoft Hyper­V et Citrix Xen Server. 

OVF  (Open  Virtual  Machine  Format)  n’est  pas  un  format  de  disque  virtuel  mais  un  format  de  fichier  dont  les 
spécificités  permettent  de  faciliter  l’interopérabilité  entre  les  différentes  plates­formes  de  virtualisation  et 
d’hyperviseur.  Ainsi  un  fichier  ovf  intègre  des  paramètres  et  des  métadonnées  tels  que  le  paramétrage  du  virtual 
Hardware, des commentaires, des pré­requis, des attributs de sécurité. Les packages OVF fournis ne sont pas limités 
à une VM mais peuvent en contenir plusieurs. Il est possible de crypter et compresser ce fichier. 
Il  est  possible  de  télécharger  des  appliances  virtuelles  préconfigurées  contenant  un  système  d’exploitation  et  une 
solution applicative au format ovf sur le site : http://www.vmware.com/appliances/ 

7. Bonnes pratiques 

a. Disques durs 

● Capacité : prévoir un minimum de 30 % à 50 % par rapport à l’espace de stockage actuel réellement utilisé. 

● Technologie disque : 

● Le  SCSI  disparaît  au  profit  du  SAS  plus  performant  et  qui  permet  d’atteindre  des  capacités  de 
stockage importantes. 

● Le SATA n’est pas recommandé pour des VM de production mais peut être utilisé pour des tests ou 
pour stocker des images ISO, des Templates ou des sauvegardes. 

Les technologies disques à privilégier pour la production sont donc le SAS ou le FC. 

© ENI Editions - All rigths reserved - Guillaume DUBOIS - 7-

 ● Mais  le  SAS  a  tendance  à  remplacer  les  disques  FC  car  ses  performances  sont  sensiblement  les  mêmes 
(légèrement inférieures pour les SAS) mais avec des prix très inférieurs. En outre, les disques SAS offrent 
des capacités beaucoup plus grandes que le FC. 

● Aujourd’hui,  les  disques  SAS  sont  donc  les  mieux  adaptés  aux  environnements  virtuels  et  proposent  le 
meilleur rapport prix/performance. 

● Il  est  préférable  d’installer  ESX  sur  les  disques  locaux  du  serveur  plutôt  que  d’installer  ESX  sur  le  SAN 
(appelé  Boot  on  SAN)  car  cela  est  plus  complexe  à  gérer  et  peut  être  une  source  d’erreurs  de 
manipulations. 

b. VMFS 

De  façon  générale,  il  est  important  de  réduire  au  maximum  les  réservations  SCSI  qui  peuvent  dégrader  les 
performances  en  Entrées/Sorties  de  l’ensemble  du  serveur  hôte.  Pour  cela  il  faut  limiter  le  nombre  de  VM  par 
système de fichiers VMFS. Le retour d’expérience montre que 10 VM/VMFS est un bon dimensionnement et qu’il ne 
vaut  mieux  pas  dépasser  plus  de  16  VM  par  volume  VMFS.  Un  bon  dimensionnement  de  taille  de  LUN  en 
environnement virtuel est de 500 Go. Il faut éviter de mettre plusieurs VM avec des snapshot sur le même VMFS et 
de paramétrer DRS en agressive. En effet, ce paramétrage engendre une migration de VM d’un serveur hôte à un 
autre très fréquemment et donc des réservations SCSI fréquentes. 

Il faut limiter le nombre de serveurs ESX qui accèdent au même LUN et éviter de mettre plus de 8  serveurs  ESX 

connectés sur un LUN, au­delà cela peut créer des contentions importantes au niveau des Entrées/Sorties. 

Il faut séparer les LUN de production et les LUN de tests et stocker les fichiers ISO, les Template et les sauvegardes 
sur des LUN dédiées. 

Deux approches sont possibles pour le dimensionnement des LUN. 

Plusieurs LUN avec un VMFS sur chaque LUN : 

● Avantage  :  il  y  aura  moins  de  contention  sur  chaque  VMFS  car  il  y  aura  moins  de  problèmes  liés  à  la 
réservation SCSI. Ceci apporte plus de souplesses car il est possible de dédier des LUN à des applications 
spécifiques en mettant des niveaux de RAID différents. La gestion est plus fine. 

● Inconvénient : cela nécessite plus d’administration sur les LUN. 

Un VMFS unique avec plusieurs LUN regroupés : 

● Avantage : l’administration est plus simple car l’espace de stockage est créé une fois pour toutes. Il y a un 
seul VMFS à gérer. 

● Inconvénient  :  un  seul  VMFS  ne  permet  pas  de  séparer  les  différents  environnements  de  production  des 
environnements de tests, les Template. Il y a un risque de contention plus important avec des réservations 
plus fréquentes. 

c. NAS et iSCSI 

Les recommandations concernant ces environnements sont de mettre 8 à 16 VM par LUN. 

- 8- © ENI Editions - All rigths reserved - Guillaume DUBOIS