Configuración de DM-MPATH para el

servidor copias2-agri

Ignacio Barrancos Martínez

Septiembre de 2010
Versión 1.0

Resumen
En este documento se detalla cómo configurar device mapper multipath en Ubuntu 9.04, para
el correcto funcionamiento del almacenamiento compartido en EMC Clariion CX3-20.
Indice de materias

Índice de contenido

Introducción.................................................................................1
Matriz para copias2-agri......................................................3

Averiguar la matriz de certificación..................................................5

Configuración de dm-mpath............................................................7
dm-mpath para Clariion CX3-20...........................................7
Configuración de lvm..........................................................9
Problema en Ubuntu 9.04 con udev......................................9
 Configuración de DM-MPATH para el servidor copias2-agri
Introducción

Consejería de Agricultura y Agua

Secretaría General
Servicio de Gestión Informática

Introducción
Cuando nuestro servidor usa fiber-channel para acceso a SAN es importante
asegurarse de que estamos en matriz de certificación: Debemos comprobar
la versión de Firmware de la HBA para nuestra cabina de almacenamiento.
La matriz es una combinación de el Modelo de cabina de almacenamiento +
Modelo de HBA del servidor + Versión del módulo del kernel que usará el sis-
tema operativo para acceder a la cabina. Esta combinación la crean los fabri-
cantes de hardware de la HBA y certifican que la combinación funciona co-
rrectamente, además de dar una recomendación para la configuración de la
HBA y el módulo, y así conseguir que el hardware funcione como se espera
de él: De no seguir estas recomendaciones es posible que el equipo no se
comporte como se espera de él.

Para averiguar esta matriz es importante , conocer los siguientes datos:

1. Versión de la cabina de almacenamiento. Esto es el modelo de la ca-
bina de almacenamiento y la versión del software que usa.
En cabinas EMC este software se conoce como FLARE. Se puede averiguar
accediendo a la consola de administración del equipamiento con una nave-
gador con Java, y luego abriendo las propiedades del equipo y accediendo
a la pestaña software.

Página 1
Configuración de DM-MPATH para el servidor copias2-agri
Introducción

Consejería de Agricultura y Agua

Secretaría General
Servicio de Gestión Informática

2. Modelo de la HBA. Para saber el modelo exacto de nuestra tarjeta lo me-

jor es tener el dispositivo en la mano, y leer el part-number y el chipset de
la HBA.

Por ejemplo, una Qlogic nos aparece en la mayoría de los casos como una
QLA2xxx, a pesar de ser una QLA2300. Esto en realidad no nos aporta
nada y sólo vale para confundirnos, porque esto es sólo el chip, y este chip
lo puede montar IBM en sus tarjeta oemizadas para DSA, HP en sus mez-
zadines, o la propia QLogic en tarjetas PCI-Express, que además pueden
ser de uno o dos puertos para cada caso: La única forma de localizar el
modelo de forma unívoca es mediante su Part-Number, con factura en
mano y/o la tarjeta.

3. Versión del módulo del kernel. Para ello nos pondremos ante la conso-
la de nuestro equipo Linux como administrador y ejecutaremos los siguien-
tes comandos:
– modinfo qla2xxx | grep version -i
Con ello obtenemos la versión del módulo
– uname -a
Con esto obtenemos la versión del kernel.

Página 2
 Configuración de DM-MPATH para el servidor copias2-agri
Matriz para copias2-agri

Consejería de Agricultura y Agua

Secretaría General
Servicio de Gestión Informática

Matriz para copias2-agri

La recopilación de datos para el servidor copias2-agri y confección de matriz
de certificación es la siguiente:
● Versión de la cabina de almacenamiento.
– EMC Clariion CX3-20c
– FLARE: 03.26.020.5.031
● Modelo de la HBA.
– HBA: D33170 QLogic oemizada por QLogic
– PartNumber: FC5010409
– Modelo: QLA2340L
– Caracterísiticas: 2Gb PCIX-133 Single-Port.
● Versión del módulo del kernel.
– Sistema operativo: Ubuntu 9.04 64btis
– Versión del Kernel: 2.6.28-11-server #42-Ubuntu SMP Fri Apr 17
02:45:36 UTC 2009 x86_64
– Versión del módulo: 8.02.01-k9

Página 3
 Configuración de DM-MPATH para el servidor copias2-agri
Averiguar la matriz de certificación

Consejería de Agricultura y Agua

Secretaría General
Servicio de Gestión Informática

Averiguar la matriz de certificación

Una vez se tienen los datos de nuestra combinación, comprobaremos la ma-
triz de certificación. Para ello,
1. Ir a http://support.qlogic.com
2. En la caja derecha “Best Bets” hacer click en “Drivers, Software and Ma-
nuals”
3. En la ventana que se abre nueva ... dentro de la seccion "OEM MO-
DELS" ... pinchar en el Link "EMC"
4. En la seccion "EMC Approved Software" pinchar en "EMC SYMMETRIX,
CLARiiON & CELERRA supported software"

Luego pulsar el botón GO.

5. En la ventana que nos aparecerá debemos fijarnos en las secciones: EMC
approved common Flash Image para saber la versión de firmware apro-
piada y la sección EMC approved supported Linux driver versions (PDF)
para nuestro kernel 2.6 y ver la opción recomendada por EMC.

Para el caso de copias2-agri tendremos que la versión recomendada de firm-

ware para nuestra HBA es 1.54 (el equipo tenía 1.47) y los datos de configu-
ración de la NVRAM que tendrán que cambiarse serán:
● Host Adapter settings
– Hard Loop ID , fijar a 125

Página 5
Configuración de DM-MPATH para el servidor copias2-agri
Averiguar la matriz de certificación

Consejería de Agricultura y Agua

Secretaría General
Servicio de Gestión Informática

– Connection Options (topology), fijar a 1

– Fibre Channel Tape Support, fijar a Disabled
– Data Rate , fijar a 2
● Advanced Adapter settings
– Execution Throttle, fijar a 256
– LUNs per Target, fijar a 256
– Port Down Retry Count, fijar a 30
– Link Down Timeout, fijar a 15
– Extended Error Logging, fijar a Disabled

Para aplicar estos cambios, primero se deberá descargar el fichero con la

BIOS y NVRAM para la QLogic y quemarlos en un CD o disquete de arranque,
y reiniciar el servidor desde CD/Disquete. Cuando arranque, ejecutar el fi-
chero:
2340flsh.bat

El proceso de actualización será automático. Reiniciar cuando la BIOS del

equipo inicialice la QLogic en el proceso de arranque pulsar CONTROL+Q
para entrar en el menú de configuración de la HBA. Cambiar los parámetros
para establecer el valor que se requiere, según el PDF que descargamos de la
web de QLogic, en la sección EMC recommended NVRAM settings for Linux
mirando la columna de la tabla With Multipath functionality.

Página 6
 Configuración de DM-MPATH para el servidor copias2-agri
Configuración de dm-mpath

Consejería de Agricultura y Agua

Secretaría General
Servicio de Gestión Informática

Configuración de dm-mpath
Una vez se tiene el hardware correctamente configurado y actualizado, se
procederá a instalar el software multipath. Para ello, en Ubuntu ejecutare-
mos, como root:
aptitude install build-essential autoconf automake bison flex checkinstall
apt-get install sg3-utils sysfsutils multipath-tools
apt-get install linux-headers-$(uname -r)

Añadir el fichero /etc/modprobe.d/scsi.conf con el siguiente contenido:

options scsi_mod max_luns=256

Esto permite numerar hasta 256 los dispositivos scsi.

dm-mpath para Clariion CX3-20

Una vez se tiene instalado el software multipath se creará el fichero
/etc/multipath.conf de configuración inicial, con el siguiente contenido:

blacklist {
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z][[0-9]*]"
devnode "^cciss!c[0-9]d[0-9]*[p[0-9]*]"
}
devices {
device {
vendor "DGC*"
product "*"
path_grouping_policy group_by_prio
getuid_callout "/lib/udev/scsi_id -g -u -d /dev/%n"
prio_callout "/sbin/mpath_prio_emc /dev/%n"
hardware_handler "1 emc"
features "0"
#features "1 queue_if_no_path"
no_path_retry 300
path_checker emc_clariion
path_selector "round-robin 0"
failback immediate
#user_friendly_names yes
}
}
defaults {

Página 7
Configuración de DM-MPATH para el servidor copias2-agri
dm-mpath para Clariion CX3-20

Consejería de Agricultura y Agua

Secretaría General
Servicio de Gestión Informática

user_friendly_names yes
}
multipaths {
multipath {
wwid 36006016006602100726a0b2c2b49df11
alias LUN_1000G
}
multipath {
wwid 36006016006602100f8b319eaf488df11
alias LUN_300G
}
multipath {
wwid 36006016006602100780f1c54f9d8de11
alias LUN_1T
}
multipath {
wwid 3600601600660210086206a5c1007de11
alias LUN_3T
}
}

Para refrescar la información de la SAN, ejecutaremos los comandos:

/etc/init.d/multipath-tools stop
/etc/init.d/multipath-tools start
multipath -F
multipath -v2
multipath -ll

Este último comando nos muestra información de la configuración de los dis-

positivos:
LUN_1000G (36006016006602100726a0b2c2b49df11) dm-8 DGC ,RAID 5
[size=1000G][features=1 queue_if_no_path][hwhandler=1 emc]
\_ round-robin 0 [prio=1][active]
\_ 7:0:1:2 sdj 8:144 [active][ready] ###### Este es el camino activo
\_ round-robin 0 [prio=0][enabled]
\_ 7:0:0:2 sdf 8:80 [active][ready]

Además tendrá que instalar el paquete que se encarga de actualizar initrd

para disponer de multipath en el arranque del sistema:
apt-get install multipath-tools-initramfs

Página 8
 Configuración de DM-MPATH para el servidor copias2-agri
Configuración de lvm

Consejería de Agricultura y Agua

Secretaría General
Servicio de Gestión Informática

Configuración de lvm
Para evitar la duplicidad de nombres al ejecutar pvscan y demás herramien-
tas de LVM, tendremos que editar el fichero /etc/lvm/lvm.conf para modi-
ficar las líneas:
preferred_names = [ "^/dev/mpath/.*", "^/dev/mapper/LUN.*", "^/dev/[hs]d" ]
filter = [ "a|mapper.*|", "a|sdc.*|", "r|.*|" ]

Problema en Ubuntu 9.04 con udev

En el equipo copias2-agri continuamente aparecen en la consola del equi-
po líneas:
Buffer I/O error on device sdX, logical block 0

Al parecer esto se debe al demonio UDEV. Este demonio detecta la conexión

automática de dispositivos y crear el correspondiente /dev/DISPOSITIVO.
Normalmente tiene su configuracion en /etc/udev/rules.d , pero en Ubun-
tu nos aparece en /lib/udev/rules.d/.
No tengo muy claro por qué, pero la carga del servidor subia mucho, y apa-
recían un montón de procesos
/sbin/multipath -v0 /dev/sdXXX

que tenían como padre el demonio udev. Al final, esto es responsable de

meter todos los mensajes de error en la consola y en los ficheros de logs del
sistema, lo cual repercutía en la carga, porque eran muchos logs, había que
sincronizar buffers, etc.

Se puede solucionar comentando las líneas de /lib/udev/rules.d/95-

multipath.rules, y reiniciando el demonio udev.

Página 9