EntryDescriptionNo98 < Main

Instalação da FASE 4 do SPRACE

São 5 servidores, 16 workernodes e um switch.
A Fase 1 será aposentada e os servidores utilizados para outras finalidades.
Os servidores do SPRACE serão migradas para os novos servidores SGI. A distribuição a ser utilizado é o CentOS 5.5.

Disposição do Rack SGI

Os servidores estão posicionados de cima para baixo com os respectivos hostnames e endereços internos:

Definição dos endereços IP

Interface Interna 192.168.1.X
Interface Gerência 192.168.2.X - configurado como estático na bios (= ilom)
Interface Externa a definir

As interfaces interna e de gerência possuem o mesmo endereço do host.
Ex. : 192.168.1.164 e 192.168.2.164 para interfaces interna e gerência respectivamente.

Hostname	eth0	eth1	eth2	eth3
ACCESS	0	0	192.168.1.164	0
SPSERV02	0	0	192.168.1.165	0
SPSERV01	0	0	192.168.1.166	0
CE	0	0	192.168.1.167	0
SE	0	0	192.168.1.168	0

Nos servidores foram instaladas placas de 10G/s

Particionamento dos servidores

Os HDs da máquinas todas vieram particionadas com GPT para reconhecer partições de mais de 2Tera.
Para instalar o CentOS é preciso primeiro desfazer o GPT utlizando o fdisk(comandos: o, w) assim a instalação prossegue normalmente.

Distribuição de Serviços

OSG_CE

gatekeeper
condor (scheduller + negotiator + collector)

dcacheadmin

SPSERV01

Proxy
RSV
Ganglia
SNMP proxy

SPSERV02

LDAP
DNS
NTP
NFS /home /OSG_ /opt rootnode
NAT (dnsmasq)
syslog
PXE (HDCP+ TFTP)

SPSTRG[01-03]

dcache poll sptrg[01-03]

Todos os servidores estão cofigurados com ssh e fail2ban.
O fail2ban está disponível para centos apartir do repositório EPEL

WORKERNODES

Os workernodes estão ordenados fisicamente iniciando a numeração de baixo para cima e esquerda para direita.
Desta forma, os workernodes da esquerda possuem numeração ímpar e os da direita possuem numeração par.

MacAddress	Hostaname
00:30:48:F3:50:70	node001
00:30:48:F3:51:16	node002
00:30:48:F3:4A:5E	node003
00:30:48:F3:51:7A	node004
00:30:48:F3:51:1E	node005
00:30:48:F3:52:38	node006
00:30:48:F3:51:12	node007
00:30:48:F3:50:F8	node008
00:30:48:F3:52:1E	node009
00:30:48:F3:52:44	node010
00:30:48:F3:51:34	node011
00:30:48:F3:52:10	node012
00:30:48:F3:52:04	node013
00:30:48:F3:F3:51	node014
00:30:48:F3:48:B6	node015
00:30:48:F3:48:B4	node016

Workernodes boot do CentOS

Uma vez com o DNSmasq e o PXE instalados partimos para a instalação do root node.

O root node está no spserv02 : /nodes/prodution e pode ser instalado por meio de 2 opções:

1) Fazer instalação em um node e depois compactar com tar.
Proced: /proc e /dev devem ser montados com mount -o bind e depois fazer um tar no raiz.

2) Fazer instalação básica do Centos direto no root node.

INITRD

Depois de instalado o root node queremos logo dar um boot em um nó, porem o initrd de instalação do Centos não pode ser o mesmo para bootar um node. O INITRD deverá ser personalizado.

o script INIT localizado em spserv02/nodes/tftp/initrd.three/initrd.x/init foi baseado em http://www.evolware.org/chri/hopeless.html

AUFS

A forma mais fácil é usar um src.rpm que o Scientific Linux criou. http://www.livecd.ethz.ch/download/SRPMS/5x/ , pacote aufs-0.20090202.cvs-6.sl5.src.rpm

# rpmbuild --recompile --target x86_64 --define 'kernel 2.6.18<>.centos.plus' aufs-0.20090202.cvs-6.sl5.src.rpm

o modulo ficará em /usr/src/redhat/BUILD/aufs-cvs-20090202/aufs.ko

Para compilar o kernel serão necessários os pacotes kernel-header, kernel-devel e o rpm-build

-- AllanSzu - 02 Aug 2010