Mise jour : 24 mars 2010

Guy.Roumezy@bull.net

Installation d'AIX sur un volume disque

dans un sous-systme EMC en connexion Fibre
et gr par le driver EMC PowerPath
1. Principe ........................................................................................................................................1
2. Prparation du disque de rfrence ("Master").............................................................................1
3. Installation d'une machine ou partition.........................................................................................2
3.1 Installation sur un disque interne "Master".............................................................................2
3.2 Duplication du disque interne "Master" sur hdiskpower........................................................4
4. Installation dautres partitions (LPAR) ........................................................................................5
5.Procdure de Sauvegarde / Restauration de systme AIX (MKSYSB) ........................................6
6. ANNEXE : Procdures de Maintenance de PowerPath ...............................................................7
6.1 Vrifications sous AIX...........................................................................................................7
6.2 Vrification suite au dmarrage dAIX.................................................................................7
6.3 Mise jour de PowerPath......................................................................................................8
7. Miroir AIX (VIOS) entre disque interne (hdisk) et disque SAN (hdiskpower),
en particulier sur lames BLx0 avec VIOS ou AIX.......................................................................9
8. ANNEXE : Dconnexion / Reconnexion fibres lors de restauration dAIX .............................11

1. Principe
1)
2)
3)
4)

Dmarrer AIX partir dun disque interne de la machine.

Sassurer de la visibilit des disques via les connexions SAN Fibre Channel
Prparer un systme de rfrence ("Master") sur ce disque interne
Dupliquer ce systme de rfrence sur un volume disque EMC en
utilisant la fonctionnalit alternate disk install .
5) Dmarrer AIX partir du disque SAN et en faire une sauvegarde
smit sysbackup sur un support externe
6) Pouvoir restaurer cette sauvegarde du systme dans sa machine (ou partition)
dorigine
Notes :
Tout ce qui suit suppose que les machines ou partitions logiques ont t
pralablement prpares avec leurs contrleurs (fibre channel, rseau, etc ).
Au moins un disque interne et un lecteur de CDROM doivent tre disponibles pour
linstallation de AIX dans chaque machine ou partition.
Il est possible dinstaller directement AIX sur un disque SAN condition
dutiliser un Master NIM et un SPOT o a t install le module EMC comme
EMC.CLARiiON.fcp.rte du CD Bull Enhancements.

2. Prparation du disque de rfrence ("Master")

-

Avoir un systme AIX sur le disque interne dune machine ou partition

comme install comme dcrit dans le SRB AIX et contenant:
- AIX premire partie partir du boot du CDROM Vol. 1
- AIX bundles: Server, CDE
- le LPP: bos.alt_disk_install.rte installer depuis le CDROM AIX

Boot AIX sur disque SAN : hdiskpower

1/ 12

- CD AIX Update
- CD Bull Enhancements: Agent Navisphere AIX et modules EMC comme:
EMC.CLARiiON.fcp.rte
- CX Failover mode = 3 quand cest possible
- PowerPath 3.0.4.2 minimum

Blocking problem boot on FC with Powerpath on AIX 5.3 with JFS2 => fixed with Powerpath
4.4 but remains blocking problem of system hang when system is under heavy load, Result of
EMC investigation is that the problem is not due to Powerpath but to AIX => PMR open to
IBM : waiting for PTF
-

Les adaptateurs Fibre Channel fcs<x> sont de type LP9002 au minimum et

utilisent le driver fourni avec AIX

3. Installation d'une machine ou partition

3.1 Installation sur un disque interne "Master"

-

Intgrer le(s) contrleur(s) SCSI grant le disque "Master" et le lecteur

de CDROM la partition.

Les deux chemins Fibre Channel doivent tre connects vers le sous-systme
de disques.
-

Activer la machine (ou la partition) partir du disque "Master"

et vrifier que le message conforme l'exemple ci-dessous apparat,
signifiant que le microcode des adaptateurs Fibre Channel a le boot
flag valid :
***
FCode LP9000 PCI_Bus (lpfc) Version 1.31a5
***
***
FCode LP9000 PCI_Bus (lpfc) Version 1.31a5
***
-

Vrifier que les deux adaptateurs Fibre Channel sont prsents dans la
partition:
# lsdev C |grep fcs
fcs0
Available 1A-08
fcs1
Available 1D-08

FC Adapter
FC Adapter

Vrifier le type de ladaptateur :

# lsdev Cl fcs# -Ftype
"df1000f7" for a LP7000E
"df1000f8" for a LP8000
"df1000f9" for a LP9002L

Vrifier que leur microcode est conforme au niveau minimum ci-dessous:

# lscfg -vl fcs<x>
fcs0
U0.1-P2-I3/Q1

FC Adapter

Network Address.............10000000C928C690
ROS Level and ID............02C03917
Device Specific.(Z0)........2002606D
Device Specific.(Z1)........00000000

Boot AIX sur disque SAN : hdiskpower

2/ 12

Device
Device
Device
Device
Device
Device
Device
Device
Device
Device
Device
-

Specific.(Z2)........00000000
Specific.(Z3)........03000909
Specific.(Z4)........FF401113
Specific.(Z5)........02C03917
Specific.(Z6)........06433917
Specific.(Z7)........07433917
Specific.(Z8)........20000000C928C690
Specific.(Z9)........CS3.90A7
Specific.(ZA)........C1D3.90A7
Specific.(ZB)........C2D3.90A7
Specific.(YL)........U0.1-P2-I3/Q1

Si le microcode nest pas correct, utiliser diag pour la mise jour :

# diag
Task Selection
Download Microcode
Slectionner les adaptateurs fcs actualiser

Charger la dernire version propose

Le microcode avec boot flag valid est fourni par le fileset BullSAN.ucode 1.0.6.4
des CDROMs Bull Enhancements 510_xx ou 520_xx dans le fichier :
/usr/lib/microcode/df1000f9.390107
http://www.rs6000.ibm.com/support/micro/download.html
-

Vrifier que tous les disques ont t configurs sur tous les chemins:
# lsdev Ccdisk |grep EMC

hdisk45
hdisk46
hdisk47

hdisk76
hdisk77
hdisk78

Available 1A-08-01
Available 1A-08-01
Available 1A-08-01

EMC Symmetrix FCP RaidS

EMC Symmetrix FCP RaidS
EMC Symmetrix FCP RaidS

Available 1D-08-01
Available 1D-08-01
Available 1D-08-01

EMC Symmetrix FCP RaidS

EMC Symmetrix FCP RaidS
EMC Symmetrix FCP RaidS

# powermt display dev=all

-

Dtruire tous les disques PowerPath hdiskpower<x> ainsi que lobjet

powerpath0 pour avoir accs aux objets hdisk<x>:
# rmdev dl hdiskpower<x>
# /etc/rc.agent stop
# rmdev dl powerpath0

Choisir un disque cible hdisk<x> accessible (SP actif sur CX) devant
supporter le systme:
Utiliser la commande lsattr -El hdisk<x> pour de plus amples informations
sur les disques, en particulier:
- lun_id pour le numro didentification du disque
- ww_name pour le port de connexion du sous-systme disque
Exemple:
# lsattr -El hdisk46
scsi_id
0x11a00
lun_id
0xa1000000000000
location
ww_name
0x50060482bfd00082
pvid
none

SCSI ID
LUN ID
Location
World Wide Name
Physical Volume ID

Boot AIX sur disque SAN : hdiskpower

False
False
True
True
False

3/ 12

3.2 Duplication du disque interne "Master" sur hdiskpower

Dupliquer le disque systme interne o PowerPath rootvg sur le disque EMC:
since AIX 5.3:

alt_disk_copy -O -B -d hdisk<x>

L'opration dure environ dix minutes.

Si l'erreur suivante se produit:
Calling mkszfile to create new /image.data file.
Checking disk sizes.
Creating cloned rootvg volume group and associated logical volumes.
0505-102 alt_disk_install: mkvg has returned an error.
0516-360 mkvg: The device name is already used; choose a different name.
Cleaning up.
Vrifier (lspv) que le disque n'est pas dj utilis dans un autre Volume Group
Ex. : altinst_rootvg. Si oui faire exportvg <VG>
Si la prsence d'un PVID empche l'installation, on peut le dtruire en
utilisant la commande suivante :
# chdev -l hdisk<x> -a pv=clear
Recommencer la duplication.
-

Redmarrage du systme partir du disque EMC: # shutdown -Fr

STARTING SOFTWARE
PLEASE WAIT...

Elapsed time since release of system processors: 17590 mins 58 secs

----------------------------------------------------------------------------Welcome to AIX.
boot image timestamp: 18:08 04/22
The current time and date: 19:34:13 04/23/2003
number of processors: 1
size of memory: 1024Mb
boot device: /pci@400000000112/pci@2,4/fibre-channel@1/disk@50060482bfd00082,a1000000000000:2
closing stdin and stdout...
-----------------------------------------------------------------------------

Activer PowerPath:

# powermt config

Vrifier que tous les disques sont bien configurs sur tous les chemins:
# lsdev Ccdisk |grep EMC
et que tous les chemins sont actifs :
# powermt display dev=all
- Dterminer le disque de la bootlist :
# bootlist -m normal o
Dterminer les chemins PowerPath vers ce disque :
# powermt display dev=all
Mettre jour bootlist partir de ces hdisks (pas hdiskpower):
# bootlist -m normal hdisk46 hdisk77
- Redmarrage du systme pour utiliser hdiskpower:
# shutdown Fr
Aprs reboot:
# lspv |grep rootvg

hdisk46
hdisk77

0000090a980ded4b
0000090a980ded4b

rootvg
rootvg

active
active

- Valider le multi-chemin (hdiskpower)pour le disque systme rootvg :

# pprootdev on
bosboot: Boot image is 37959 512 byte blocks.
PowerPath boot is enabled for the next system boot.
- Faire un 2eme reboot:
# shutdown Fr
Aprs reboot:
# lspv |grep rootvg
hdiskpower2
0000090a980ded4b rootvg active
- Pour pouvoir excuter (ultrieurement) la commande bosboot, utiliser:
/usr/sbin/pprootdev fix
( mettre ventuellement dans /etc/inittab ?? PARM10915 ??)
# pprootdev fix
You may now run bosboot.
PowerPath boot remains enabled for the next system boot.

rootvg, pralablement associ au hdiskpower se retrouve alors

associ aux hdisks correspondants :

# lspv |grep rootvg

hdisk46
0000090a980ded4b
hdisk77
0000090a980ded4b

rootvg
rootvg

active
active

Dans le cas dune partition LPAR

. arrt COMPLET du systme:
# shutdown -F
. Retirer le(s) contrleur(s) SCSI grant le disque "Master"
et le lecteur de CDROM du profil de la partition
. Ractiver le profil souhait de la partition

Le systme est prt.

Si un trespass est intervenu dans un CLARiiON, bosboot va chouer car le nouveau chemin hdisk
actif na pas de PVID. Excuter la commande emcpassive2active.

4. Installation dautres partitions (LPAR)

Rpter les opration du paragraphe prcdent: 3. Installation d'une machine ou partition
en prenant soin, aprs dmarrage sur le disque interne, de dtruire
les adaptateurs configurs dans la partition prcdente (fibre channel, ethernet,
etc) et apparaissant defined dans cette partition
Exemple pour les cartes fibres:
# lsdev C | grep fcs
fcs0
Defined
fcs1
Defined
fcs2
Available
fcs3
Available

2M-08
2d-08
1A-08
1D-08

# for i in fcs0 fcs1 fcs2 fcs3

do
rmdev -Rdl $i

FC
FC
FC
FC

Adapter
Adapter
Adapter
Adapter

done
Puis tout reconfigurer:
pour avoir finalement :

# cfgmgr -v
# lsdev C | grep fcs
fcs0
Available 1A-08
fcs1
Available 1D-08

FC Adapter
FC Adapter

5.Procdure de Sauvegarde / Restauration de systme AIX (MKSYSB)

5.1 Sauvegarde
Pour pouvoir sauvegarder sur mdia ou par NIM (excution correcte de bosboot),
il faut avoir excut: # pprootdev fix
puis:
# smit sysbackup (ou smit mksysb
ou
smit mkcd)
ou backup par NIM master

5.2 Restauration
Ne laisser quune seule connexion (adaptateur) Fibre Channel vers
la baie de disques.
-

Dmarrage depuis le media de sauvegarde et restauration du systme vers un

disque de la baie. Choisir, en principe, loption Recover Devices yes

Le dmarrage dAIX qui suit automatiquement la restauration cre lobjet

powerpath0. Se connecter root et redmarrer AIX : # shutdown Fr
pour valider lutilisation de PowerPath.

Connecter le deuxime (ou plus) adaptateur Fibre Channel ( defined ) et

le configurer individuellement:
# cfgmgr vl fcs<x>

Excuter : # powermt config

pour rintgrer tous les hdisk<x> dans les pseudo-disques hdiskpower<x>
Vrifier avec # powermt dispay dev=all et # lsdev Cc disk |grep hdiskpower
-

Excuter :
# pprootdev fix
pour pouvoir excuter: # bosboot ad /dev/ipldevice
Mettre jour bootlist avec les (deux) disques hdisk<x> contenant rootvg :
# bootlist m normal hdisk46 hdisk67

La restauration du systme est termine.

NOTE : Pour dconnecter et reconnecter les adaptateurs Fibre Channel vers la

baie de disque, il est recommand dagir au niveau des ports de switches, plutt
que de dbrancher / rebrancher les cables.
Voir un exemple en ANNEXE 8 avec Symmetrix et console ECC.

6. ANNEXE : Procdures de Maintenance de PowerPath

6.1 Vrifications sous AIX

- La commande ci-dessous montre ltat dun pseudo-disque hdiskpower17 de
PowerPath dans un cas de fonctionnement correct:
# powermt display dev=17
(ou dev=hdiskpower17)
Pseudo name=hdiskpower17
Symmetrix ID=000184500226
Logical device ID=003E
state=alive; policy=SymmOpt; priority=0; queued-IOs=0
=============================================================================
---------------- Host ------------- Stor -- I/O Path - -- Stats --### HW Path
I/O Paths
Interf.
Mode
State Q-IOs Errors
=============================================================================
0 fscsi0
hdisk46
FA 3aA
active alive
0
0
1 fscsi1
hdisk77
FA 13bA
active alive
0
0
- Ci-dessous ltat dun pseudo-disque hdiskpower<x> de PowerPath dans un cas de
fonctionnement incorrect:
# powermt display dev=hdiskpower17 (ou dev=hdiskpower17)
Pseudo name=hdiskpower17
Symmetrix ID=000184500226
Logical device ID=003E
state=alive; policy=SymmOpt; priority=0; queued-IOs=0
=============================================================================
---------------- Host --------------- Stor -- I/O Path - -- Stats --### HW Path
I/O Paths
Interf.
Mode
State Q-IOs Errors
=============================================================================
0 fscsi0
hdisk46
FA 3aA
active alive
0
0
1 fscsi1
hdisk77
FA 13bA
active dead
0
1
Aprs correction du problme matriel qui a provoqu la dconnexion dun chemin,
excuter la commande:
# powermt restore
Vrifier ensuite ltat du pseudo-disque : # powermt display dev=hdiskpower<x>

6.2 Vrification suite au dmarrage dAIX

Si on dmarre le systme alors que lun des chemins est cass, on se retrouve
avec les disques hdisk<x> ltat actif available sur un chemin et dans
ltat defined sur lautre chemin.
Dterminer sur quelle connexion Fibre Channel se situe le problme :
# lsdev -Cc disk | grep i defined
hdisk4 Defined 20-68-01 EMC Symmetrix FCP Raid1
hdisk5 Defined 20-68-01 EMC Symmetrix FCP Raid1
hdisk6 Defined 20-68-01 EMC Symmetrix FCP Raid1

# lsdev C | grep fcs

fcs0 Available 20-68 FC Adapter

fcs1 Available 40-58 FC Adapter
Dans cet exemple, cest fcs0 (20-68) qui a eu un problme.
Pour connatre lemplacement physique de ladptateur :
# lscfg -vl fc0
fcs0 U0.1-P2-I3/Q1

FC Adapter

Aprs correction du problme matriel, reconfigurer les disques qui sont dans
ltat dfinis (ne pas utiliser le script emc_cfgmgr) :
# cfgmgr -vl fcs0
Vrifier que les disques sont correctement configurs:
# lsdev -Cc disk | grep 20-68
hdisk4 Available 20-68-01 EMC Symmetrix FCP RAID1
hdisk5 Available 20-68-01 EMC Symmetrix FCP RAID1
hdisk6 Available 20-68-01 EMC Symmetrix FCP RAID1

Intgrer les hdisk<x> dcouverts dans les hdiskpower<x>:

# powermt config
# powermt restore
Vrifier ltat des pseudo-disque : # powermt display dev=all

6.3 Mise jour de PowerPath

Arrter lagent Navisphere:

rc.naviagent stop

Les hdiskpower doivent tre inactifs sinon le fileset EMCpower va tre

broken :
pprootdev off
shutdown -Fr
pour que rootvg soit sur hdisk et hdiskpower ltat defined
si VGs de donnes sur hdiskpower
umount /<FS>
varyoffvg <VG>
si VIOS et hdiskpower prsents aux partitions:
lsmap -all
rmdev dev xxxx ucfg
(pour mettre le VTD de prsentation defined
smit install_latest
powermt config
cfgmgr (si VIOS pour remettre le VTD available)
pprootdev on (pour remettre hdiskpower actif sur rootvg)
rc.naviagent start

7. Miroir AIX (VIOS) entre disque interne (hdisk) et disque SAN (hdiskpower),
en particulier sur lames BLx0 avec VIOS ou AIX
Installer AIX ou VIOS sur un disque interne, faire un miroir sur un disque SAN (hdiskpower)
# smit mirrorvg
Voir PARM15356 et D1 WI1121S282
pour permettre la commande
bosboot
et ne pas avoir excuter le script pprootdev fix qui donne une erreur due au disque interne,
il faut ( confirmer avec PowerPath 5.3.1) :
configurer la boot list avec le disque interne en PREMIERE position
et que /dev/ipldevice soit un lien vers ce disque interne (mme n0 de inode)
Exemple :
# lspv
hdiskpower6 00c6239b9751341f rootvg
hdisk29
00c6239b29e8718b rootvg
# powermt display dev=hdiskpower6

1 fscsi1
hdisk28 SP B0
0 fscsi0
hdisk14 SP A0

active
active

active alive
active alive

0
0

(disque interne)

0
0

# bootlist -m normal hdisk29 hdisk28 hdisk14

# bootlist -m normal -o
hdisk29 blv=hd5
hdisk28 blv=hd5
hdisk14 blv=hd5
# bootinfo -b
hdisk28

(disque interne)
(chemin du hdiskpower6)
(chemin du hdiskpower6)

(chemin actif du hdiskpower6)

# ls -lia /dev/ipldevice
481 crw------- 2 root system 14, 30 Oct 23 17:11 /dev/ipldevice
# ls -lia /dev/rhdisk28
481 crw------- 2 root system 14, 30 Oct 23 17:11 /dev/rhdisk28
# rm /dev/ipldevice
# ln /dev/rhdisk29 /dev/ipldevice
# ls -lia /dev/ipldevice
482 crw------- 3 root system 14, 31 Oct 23 17:11 /dev/ipldevice
# ls -lia /dev/rhdisk29
482 crw------- 3 root system 14, 31 Oct 23 17:11 /dev/rhdisk29
# bosboot -a -d /dev/ipldevice
bosboot: Boot image is 40632 512 byte blocks.

8. ANNEXE : Dconnexion / Reconnexion fibres lors de restauration dAIX

1) Dterminer les WWN des cartes fibres utilises pour les accs secondaires de PowerPath en
utilisant les commande lsdev et lscfg.
Noter les WWN (Network Address) du ou des fcs autre que fcs0.
Exemple :
# lsdev -C |grep fcs
fcs0
Available 20-50
fcs1
Available 20-58

FC Adapter
FC Adapter

# lscfg -vl fcs1

DEVICE
fcs1

LOCATION
20-58

DESCRIPTION

FC Adapter

Part Number.................LP9002L-F2
Serial Number...............MM32905424
Network Address.............10000000C9363BBE
ROS Level and ID............02C03917
..
2) Ouvrir la console ECC.
3) Supprimer le zoning pour les cartes concernes. En fonction des serveurs, cette opration se
fera sur une ou trois cartes. Dans lexemple suivant, on supprime laccs la carte
10000000C9363BBE sur un systme AIX nomm gates .

1 Click Topology
2 Slectionner le serveur
3 Click Show Links
4 Click Show Neighbors
5 Dvelopper le host
6 Click droit sur le ou les [Fabric] connects aux
WWN nots prcdemment.

Le click droit sur le Fabric ouvre la vue suivante :

7 Click zoning
8 Click Manage Zone Set
9 Enlever la zone du serveur
concern
10 Click Activate zone set
immediatly
11 Click OK
12 Confirmer lxcution sur
les 3 fentres suivantes.

Cette opration est rpter pour chaque carte fibre dont on doit supprimer laccs.
Pour reconnecter les cartes Fibre Channel, il faut refaire les mmes oprations, en faisant
Add au lien de Remove dans la fentre manage zone set .
Rintgrer alors la mme zone dans la configuration.