Procedimiento para configurar cluster

extendido con PowerHA SystemMirror 7.1.3

(contingencia dedicada) usando rplica storage
bajo SVC.
[Draft] - 2017

JORGE VELASCO COLLAZOS

IBM Certified IT Specialist
IBM Power Systems & Linux Specialist
! Previamente se debe de tener desconfigurado y desinstalado todo software de PowerHA de versin
anterior.

Tener instalado:

- AIX 7.1 TL4 SP1

- PowerHA SystemMirror 7.1.3 SP4

Asegurar que el AIX tenga instalado los siguientes filesets:

- bos.cluster.rte y bos.ahafs son requeridos para el CAA.
- bos.clvm.enh es requerido para PowerHA SystemMirror 7.1.x.
- devices.common.IBM.storfwork.rte

Nota: Estos filesets estn en la media base de AIX.

Se debe de aplicar los siguientes ifix:

AIX: ctHA_O1r.160808.epkg.Z *
AIX: MIG3_7141.160607.epkg.Z *
PowerHA: PHA7134mb4.160706.epkg

* Requieren reboot.

Tip:

- Agregar a la variable PATH del /etc/environment:

:/usr/es/sbin/cluster:/usr/es/sbin/cluster/utilities:/usr/es/sbin/cluster/cspoc:/usr/es/sbin/cluster/events/utils:/usr/
es/sbin/cluster/svcpprc/cmds
Configuraciones previas:

0. Despues de instalar el software de HA, aprovechar en aplicar tunings en el servidor y realizar un

reinicio en cada uno de los nodos AIX a configurar.

- Configurar NTP.
- Tuning de queue_depth.
- Tuning de adaptadores de red.
- Tuning de network option (no).
- Reconfigurar DLPAR si es necesario.

1. Configurar los adaptadores de red.

- ordenar la tabla de /etc/hosts

Considerar lo siguiente:

* Considerar asociar las IP boot de cada nodo a un hostname_boot y la IP de servicio al hostname

productivo y contingencia.
** Agregar un par de IPs para la red XD_ip.

- primero configurar la IP boot con: smit mktcpip.

- luego configurar las IP XD con: smit chinet.

2. Configurar el archivo /etc/cluster/rhosts en ambos nodos:

/etc/cluster/rhosts

* Con todas las IPs referentes a la configuracin del cluster de los nodos participantes.

3. Reiniciar los servicios del clcomd:

# stopsrc -s clcomd; sleep 2; startsrc -s clcomd

Validar:

# lssrc -s clcomd

4. Comentar la siguiente lnea en el archivo /usr/es/sbin/cluster/etc/clhosts

#::1 # PowerHA SystemMirror

5. Asignar 1 disco de 1GB y mapearlo a ambos nodos, servir para el repositorio de CAA y
como heartbeat.

* Recordar que el disco debe de ser shared entre los nodos.

Pasos para configurar el cluster.
# smitty sysmirror

-> Cluster Nodes and Networks

-> Standard Cluster Deployment
-> Setup a Cluster, Nodes and Networks

!! Primero se va configurar el cluster con un slo nodo.

Ahora vamos a crear el disco de repositorio CAA.

# smitty sysmirror

-> Cluster Nodes and Networks

-> Standard Cluster Deployment
-> Define Repository Disk and Cluster IP Address

!! Seleccionar el disco que proviene del storage de La Molina.

Ahora vamos a definir el segundo disco CAA como disco de repositorio backup.

# smitty sysmirror

-> Cluster Nodes and Networks

-> Manage Repository Disks
-> Add a Repository Disk

!! Seleccionar el disco que proviene del storage de San Isidro.

Proceder a sincronizar el cluster.

# smitty sysmirror

-> Cluster Nodes and Networks

-> Verify and Synchronize Cluster Configuration

La sincronizacin debe de finalizar OK.

En el nodo local se debe de observar lo siguiente.

!! A nivel de CAA se debe de observar el nombre del nodo y su ID.

Agregar el otro nodo.

# smitty sysmirror

-> Cluster Nodes and Networks

-> Manage Nodes
-> Add a Node
!! Se debe de especificar el nodo asociado que se obtiene de la tabla de hosts.

Luego la configuracin de cluster va quedando de la siguiente manera.

* Pero aqu es donde vamos a hacer algunos ajustes para reconfigurar las redes a nuestro propsito.
Eliminar los adaptadores asociados a las IP XD por cada nodo.

# smitty sysmirror

-> Cluster Nodes and Networks

-> Manage Networks and Network Interfaces
-> Network Interfaces
-> Remove a Network Interface

* Eliminar ambas interfaces de red asociadas a la red XD.

* Quedando slo las interfaces asociadas a las IP boot para cada nodo.
Luego crear una nueva red de tipo XD_ip

# smitty sysmirror

-> Cluster Nodes and Networks

-> Manage Networks and Network Interfaces
-> Network
-> Add a Network

* Manteniendo los parmetros por default.

Alternativa usando comando:

# clmgr add network 'net_XD_ip_01' TYPE='XD_ip' NETMASK='255.255.255.0' PUBLIC='true'
*Ojo, considerar usar el NETMASK correcto si se usa CLI.

Ahora vamos a agregar las IP XD a la nueva red.

# smitty sysmirror

-> Cluster Nodes and Networks

-> Manage Networks and Network Interfaces
-> Network Interfaces
-> Add a Network Interface
* Observar que la Network Interface debe de ser el asociado con la IP XD.

Hacer lo mismo para la IP XD del otro nodo.

Al obervar la configuracin que se va logrando debe de quedar de la siguiente manera.

Agregar los sites.

# smitty sysmirror

-> Cluster Nodes and Networks

-> Manage Sites
-> Add a Site

Definimos nuestro primer site, en este caso: LA_MOLINA

* Escogemos de la lista el nodo asociado al site, en este caso el nodo PRD.

Nos va indicar que acabamos de cambiar de una configuracin de cluster tipo Standard a Stretched.

Luego agregamos el otro site.

Proceder a sincronizar el cluster.

# smitty sysmirror

-> Cluster Nodes and Networks

-> Verify and Synchronize Cluster Configuration
Luego de la sincronizacin se tiene validar algo muy importante que es el ID asociado al nuevo
nodo agregado al cluster, para eso usamos el comando de CAA (lscluster -m) debe de mostrar el
hostname del nodo primario con ID 1 y el hostname del nodo secundario con ID 2.
Configurando la IP de servicio.

# smitty sysmirror

-> Cluster Applications and Resources

-> Resources
-> Configure Service IP Labels/Addresses
-> Add a Service IP Label/Address

Seleccionar la red de tipo ether.

* Escogemos de la lista el IP label asociado a la IP de servicio de la tabla de hosts.

Configurando el recurso de aplicacin.

# smitty sysmirror

-> Cluster Applications and Resources

-> Resources
-> Configure User Applications (Scripts and Monitors)
-> Application Controller Scripts
-> Add Application Controller Scripts
Configurando la rplica de los discos.

1. Definiendo los SVC para el cluster.

# smitty sysmirror

-> Cluster Applications and Resources

-> Resources
-> Configure SVC PPRC-Replicated Resources
-> SVC Clusters Definition to PowerHA SystemMirror
-> Add an SVC Cluster

Ejecutamos esta actividad tanto para el storage de La Molina y el de San Isidro.

* Colocar los datos de los SVC para cada site. No olvidar que previamente ya los nodos pueden
acceder a los SVC por ssh usando la llave de autenticacin proporcionada por el storage.
2. Definiendo las relaciones del SVC para el cluster.

# smitty sysmirror

-> Cluster Applications and Resources

-> Resources
-> Configure SVC PPRC-Replicated Resources
-> SVC PPRC Relationships Definition
-> Add an SVC PPRC Relationship

* usar un script para que sea ms rpido la declaracin de relaciones.

3. Definiendo el Consistency Group.

# smitty sysmirror

-> Cluster Applications and Resources

-> Resources
-> Configure SVC PPRC-Replicated Resources
-> SVC PPRC-Replicated Resource Configuration
-> Add an SVC PPRC Resource

En la pantalla acontinuacin darle y para continuar.

Crear el Resource Group.

# smitty sysmirror

-> Cluster Applications and Resources

-> Resource Groups
-> Add a Resource Group
Configurar los atributos del Resource Group.

Primero hacer un rescan de devices.

# smitty sysmirror

-> Cluster Nodes and Networks

-> Discover Network Interfaces and Disks

Luego ya podemos configurar todos los atributos del RG.

# smitty sysmirror

-> Cluster Applications and Resources

-> Resource Groups
-> Change/Show Resources and Attributes for a Resource Group
Sincronizar el cluster.
# smitty sysmirror

-> Cluster Nodes and Networks

-> Verify and Synchronize Cluster Configuration
Configurar el netmon.cf
Es apropiado configurar el archivo /usr/es/sbin/cluster/netmon.cf en ambos nodos del cluster con un
contenido como el siguiente:

!REQD en0 10.28.8.1

!REQD en0 10.28.23.139
!REQD en0 10.28.23.141
!REQD en0 10.28.23.143
!REQD en0 10.28.23.145
!REQD en0 10.28.23.147

La sintaxis, formato y propsito de este fichero est explicada en la URL antes mostrada. Sin embargo es
necesario resaltar que:

Se debe colocar distintas direcciones IP a las cuales hacer PING.

Mientras ms direcciones IP es mejor.
Las direcciones IP no deben pertenecer a otros LPARs que compartan el mismo servidor
fsico que alguno de los nodos.
Se debe validar primero que las IPs a definir en este fichero tengan habilitado el Reply ICMP es
decir responder al PING.
El nombre de la interfaz (Ejm: en0) debe coincidir con la que tiene el nodo configurada con la
IP de booteo.
La configuracin de este fichero es necesaria an si el nodo no tiene una interfaz de tipo Virtual
Ethernet. Basta que cuente slo con 1 interfaz de red lgica (Ejm: Etherchannel LACP o NIB) es
suficiente argumento para configurar el netmon.cf.
Tuning necesario:

FDT: Se va definir el FDT a 60 segundos, para tal motivo se debe de seguir los siguientes pasos:

Con los servicios de cluster abajo primero debemos de setear el node_timeout 10 segundos ms del
FDT a usar, entonces lo llevamos a 70 segundos:

--Parte CAA
- Realizar lo siguiente slo desde el nodo primario:
- Validar node_timeout actual: # clctrl -tune -o node_timeout

- Setear nuevo valor: # clmgr modify cluster HEARTBEAT_FREQUENCY=70

- Sincronizar cluster.

- Validar node_timeout otra vez: # clctrl -tune -o node_timeout

- Luego procedemos a cambiar el FDT a 60 segundos:

- Validar valor actual: # clctrl -tune -o network_fdt

- Setear nuevo valor: # clctrl -tune -o network_fdt=60000

- Validar nuevo valor en ambos nodos: # clctrl -tune -o network_fdt

--Parte PowerHA
- Realizar lo siguiente en ambos nodos:
sync: Por defecto est en 60 cambiar a 10.
validar: # /usr/es/sbin/cluster/utilities/clchsyncd
cambiar: # /usr/es/sbin/cluster/utilities/clchsyncd '10'

FDR: por defecto est en Normal, cambiar a Slow ambos.

validar: # /usr/es/sbin/cluster/utilities/claddnim -o'ether'
cambiar: # /usr/es/sbin/cluster/utilities/claddnim -o'ether' -r3

- Finalmente sincronizamos el cluster.

# smitty sysmirror

-> Cluster Nodes and Networks

-> Verify and Synchronize Cluster Configuration

Luego de sincronizar se observar los detalles de la configuracin.

Subir servicios de cluster.

# smit clstart

* Debe de finalizar en OK.

Se debe de ir revisando el progreso de la activacin de los servicios de cluster.

# tail -f /var/hacmp/adm/cluster.log

Luego validar que su estado de cluster sea estable.

En ambos nodos el estado que arroja el comando (lssrc -ls clstrmgrES) debe de ser ST_STABLE
Configurar el monitoreo del cluster ITM - ul agent cluster.log

Pasos:

0. Se debe de tener instalado el agente ul del ITM agent en ambos nodos del cluster.

1. Bajar agente ul:

# /opt/IBM/ITM/bin/itmcmd agent -f stop ul

* Validar que el agente ul estcorrectamente desactivado. ( /opt/IBM/ITM/bin/cinfo -r )

2. Se debe de agregar las siguientes lneas en los siguientes files de ambos nodos, como se
muestra en la imagen:

I)
# grep ^KUL_CONFIG_FILE /opt/IBM/ITM/config/ul.config
KUL_CONFIG_FILE='/opt/IBM/ITM/config/kul_configfile'

Validar:

Detalle:

II)
# grep ^KUL_CONFIG_FILE /opt/IBM/ITM/config/ul.ini
KUL_CONFIG_FILE=/opt/IBM/ITM/config/kul_configfile

Validar:

Detalle:
III)
# grep ^KUL_CONFIG_FILE /opt/IBM/ITM/config/kul_configfile
KUL_CONFIG_FILE=/opt/IBM/ITM/config/kul_configfile

Validar:

Detalle:

3. En el file: /opt/IBM/ITM/config/kul_configfile se debe de agregar la ruta del cluster.log con los

siguientes parmetros para el monitoreo del log.

# grep 'cluster.log' /opt/IBM/ITM/config/kul_configfile

/var/hacmp/adm/cluster.log ;n ;u ;a,"%s %d %d:%d:%d %s %100[^\n]" , month day
hour min sec source desc

Validar:

4. Reconfigurar el agente ul: Enter hasta el final. (enter ya que va tomar los valores ya
configuradores previamente; si es la primera vez que se configura se debe de configurar de
acuerdo al manual proporcionado por SMI)
# /opt/IBM/ITM/bin/itmcmd config -A ul

5. Iniciar agente ul.

# /opt/IBM/ITM/bin/itmcmd agent start ul

6. Validar ejecucin del agente ul

# /opt/IBM/ITM/bin/cinfo -r
7. Informar a SMI lo siguiente:
Que se habilite la configuracin correcta para el monitoreo de PowerHA en ambos nodos (proporcionar las IPs).

Realizar la actualizacin del query del situation de las alertas definidas para el cluster:

El query debe de seguir el siguiente modelo:

*IF *VALUE Log_Entries.Log_Name *EQ cluster.log *AND

*SCAN Log_Entries.Description *EQ node_down

De esa manera el monitoreo es ms efectivo y descartamos los falsos positivos.