Archives des GlusterFS - CoffeeBreak Info

MODOP – Partie 1 – Installation Cluster GlusterFS/Zpool HA

chris — Sat, 11 Feb 2023 12:05:55 +0000

1, Inventaire des Machines

clustergfs01.house.cpb

RAM : 2Go
vCPU : 2
Réseau Privé Bond0 : 172.17.186.20
- Ens18
- Ens19
Réseau Public Bond1 : 192.168.1.14
- Ens20
- Ens21
24 disques x 32 Go

clustergfs02.house.cpb

RAM : 2Go
vCPU : 2
Réseau Privé Bond0 : 172.17.186.21
- Ens18
- Ens19
Réseau Public Bond1 : 192.168.1.15
- Ens20
- Ens21
24 disques x 32 Go

Clustergfs03.house.cpb

RAM : 2Go
vCPU : 2
Réseau Privé Bond0 : 172.17.186.22
- Ens18
- Ens19
Réseau Public Bond1 : 192.168.1.16
- Ens20
- Ens21
24 disques x 32Go

Fault tolérance

Possibilité de perte pour le cluster

1 lien réseaux sur le réseau privé (bond0) pour chacun des nodes
1 lien réseaux sur le réseau public (bond1) pour chacun des nodes
2 disques par RAIDZ soit 6 Disque pour chacun des nodes
2 nodes sur le cluster

2. Installation des prérequis (3 nodes)

2.1 Configurer bond0 et bond1

Update des machines (3 nodes)

[root@clustergfs0x ~]# yum -y update

Chargement Module (3 nodes)

[root@clustergfs0x ~]# modprobe --first-time bonding
[root@clustergfs0x ~]# modinfo bonding

Configure Bond0 Interface LAN Privé (balance-tlb) (3 nodes)

Interface bond0

[root@clustergfs0x ~]# vi /etc/sysconfig/network-scripts/ifcfg-bond0

DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPADDR=172.17.186.2x 
PREFIX=24
ONBOOT=yes
BOOTPROTO=none
BONDING_OPTS="downdelay=0 miimon=100 mode=balance-alb updelay=0"
PROXY_METHOD=none
BROWSER_ONLY=no
GATEWAY=172.17.186.201
DNS1=192.168.1.1
DOMAIN=home
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=no
UUID=ad33d8b0-1f7b-cab9-9447-ba07f855b143

Configure Network interfaces (3 nodes)

Carte ens18

[root@clustergfs0x ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens18

TYPE=Ethernet
NAME=ens18
DEVICE=ens18
ONBOOT=yes
MASTER=bond0
SLAVE=yes 
UUID=59db8b5c-940b-4e16-8150-39f33433f086

Carte ens19

[root@clustergfs0x ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens19

TYPE=Ethernet
NAME=ens19
DEVICE=ens19
ONBOOT=yes
MASTER=bond0
SLAVE=yes 
UUID=ab5297b8-a78e-4a22-a99e-0967b499fe9b

Démarrer les cartes et bond0

[root@clustergfs0x ~]# nmcli connection reload

Test Network Bonding

[root@clustergfs01 ~]# ip a show bond0 |grep -w inet

[root@clustergfs02 ~]# ip a show bond0 |grep -w inet

[root@clustergfs03 ~]# ip a show bond0 |grep -w inet

Configure Bond1 Interface LAN Public (balance-tlb) (3 nodes)

Interface bond1

[root@clustergfs0x ~]# vi /etc/sysconfig/network-scripts/ifcfg-bond1

BONDING_OPTS="mode=balance-alb downdelay=0 miimon=100 updelay=0"
TYPE=Bond
BONDING_MASTER=yes
HWADDR=
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=none
IPADDR=192.168.1.1x
PREFIX=24
GATEWAY=192.168.1.1
DNS1=192.168.1.1
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6_DISABLED=yes
IPV6INIT=no
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=default
NAME=bond1
UUID=4a8793fb-5665-42c1-9f78-67536646b5e5
DEVICE=bond1
ONBOOT=yes

Configure Network interfaces (3 nodes)

Carte ens20

[root@clustergfs0x ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens20

TYPE=Ethernet
NAME=ens20
DEVICE=ens20
ONBOOT=yes
MASTER=bond1
SLAVE=yes
UUID=59db8b5c-940b-4e16-8150-39f33433f086

Carte ens21

[root@clustergfs0x ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens21

TYPE=Ethernet
NAME=ens21
DEVICE=ens21
ONBOOT=yes
MASTER=bond1
SLAVE=yes
UUID=ab5297b8-a78e-4a22-a99e-0967b499fe9b

Démarrer les cartes et bond1

[root@clustergfs0x ~]# nmcli connection reload

Test Network Bonding

[root@clustergfs01 ~]# ip a show bond1 |grep -w inet

[root@clustergfs02 ~]# ip a show bond1 |grep -w inet

[root@clustergfs03 ~]# ip a show bond1 |grep -w inet

2.2 Installation des packages nécessaires

Prérequis

[root@clustergfs0x ~]# yum install kernel-devel -y
[root@clustergfs0x ~]# yum install epel-release -y
[root@clustergfs0x ~]# yum install pciutils -y

Desactiver selinux

[root@clustergfs0x ~]# sed -ie 's/enforcing/disabled/g' /etc/selinux/config
[root@clustergfs0x ~]# setenforce 0

2.3 suppression Ipv6

[root@clustergfs0x ~]# echo "net.ipv6.conf.all.disable_ipv6 = 1" >> /etc/sysctl.conf
[root@clustergfs0x ~]# echo "net.ipv6.conf.all.autoconf = 0" >> /etc/sysctl.conf
[root@clustergfs0x ~]# echo "net.ipv6.conf.default.disable_ipv6 = 1" >> /etc/sysctl.conf
[root@clustergfs0x ~]# echo "net.ipv6.conf.default.autoconf = 0" >> /etc/sysctl.conf

[root@clustergfs0x ~]# sysctl -p

2.4 Timedatectl

[root@clustergfs0x ~]# timedatectl set-timezone Europe/Paris

2.5 Echange de Key SSH

[root@clustergfs0x ~]# echo "172.17.186.20 clustergfs01" >> /etc/hosts
[root@clustergfs0x ~]# echo "172.17.186.21 clustergfs02" >> /etc/hosts
[root@clustergfs0x ~]# echo "172.17.186.22 clustergfs03" >> /etc/hosts

[root@clustergfs0x ~]# ssh-keygen

[root@clustergfs01 ~]# ssh-copy-id root@clustergfs02
[root@clustergfs01 ~]# ssh-copy-id root@clustergfs03

[root@clustergfs02 ~]# ssh-copy-id root@clustergfs01
[root@clustergfs02 ~]# ssh-copy-id root@clustergfs03

[root@clustergfs03 ~]# ssh-copy-id root@clustergfs01
[root@clustergfs03 ~]# ssh-copy-id root@clustergfs02

3 Installation ZFS (3 nodes)

Installation DKMS

[root@clustergfs0x ~]# yum config-manager --enable epel
[root@clustergfs0x ~]# yum install -y dkms wget

Installation ZFS

[root@clustergfs0x ~]# yum -y install libuuid-devel libblkid-devel libtirpc-devel openssl-devel
[root@clustergfs0x ~]# cd /home && wget https://github.com/openzfs/zfs/releases/download/zfs-2.1.6/zfs-2.1.6.tar.gz
[root@clustergfs0x home]# tar xzvf zfs-2.1.6.tar.gz && cd zfs-2.1.6

[root@clustergfs0x zfs-2.1.6]# ./configure
[root@clustergfs0x zfs-2.1.6]# make
[root@clustergfs0x zfs-2.1.6]# make install

[root@clustergfs0x zfs-2.1.6]# modinfo zfs |head -10

[root@clustergfs0x ~]# echo modprobe zfs >> /etc/rc.local
[root@clustergfs0x ~]# chmod +x /etc/rc.local
[root@clustergfs0x ~]# source /etc/rc.local

[root@clustergfs0x ~]# lsmod |grep -w zfs

4 Création des alias Disques (3 nodes)

Création du fichier vdev_id.conf

[root@clustergfs0x home]# lspci |grep SCSI
00:05.0 SCSI storage controller: Red Hat, Inc. Virtio SCSI

[root@clustergfs0x home]# ls -al /dev/disk/by-path/pci-0000:00:05.0*

[root@clustergfs0x ~]# VAL=`ls -als /dev/disk/by-path/pci-0000:00:05.0* |grep -v part |wc -l` && expr ${VAL} - 1
24

[root@clustergfs0x ~]# for i in `seq 0 23`; do echo "alias d$(( i + 1 )) /dev/disk/by-path/pci-0000:00:05.0-scsi-0:0:0:$(( i + 1))" >> /etc/vdev_id.conf ;done

[root@clustergfs0x ~]# cat /etc/vdev_id.conf

[root@clustergfs0x ~]# mkdir -p /etc/zfs
[root@clustergfs0x ~]# cp /etc/vdev_id.conf /etc/zfs/vdev_id.conf

Récupération script rules vdev

[root@clustergfs0x ~]# curl -o /usr/lib/udev/rules.d/68-vdev.rules http://images.45drives.com/udev/68-vdev.rules

[root@clustergfs0x ~]# curl -o /usr/lib/udev/vdev_id_45drives http://images.45drives.com/udev/vdev_id_45drives

[root@clustergfs0x ~]# chmod +x /usr/lib/udev/vdev_id_45drives

Lancement de la création des Alias

[root@clustergfs0x ~]# udevadm control --reload-rules
[root@clustergfs0x ~]# udevadm trigger
[root@clustergfs0x ~]# udevadm settle

[root@clustergfs0x ~]# ls -al /dev/disk/by-vdev/

5 Création d’un POOL Zfs (3 nodes)

Création du pool – 3 RAIDZ2 x 8 disques

Dans notre cas 1 pool de disque de 3 RAIDZ2 x 8 disques => 6 fault disque tolérant

[root@clustergfs0x home]# zpool create -f zpool -o ashift=9 raidz2 d1 d2 d3 d4 d5 d6 d7 d8 raidz2 d9 d10 d11 d12 d13 d14 d15 d16 raidz2 d17 d18 d19 d20 d21 d22 d23 d24

[root@clustergfs0x home]# ls -al /dev/disk/by-vdev/

Check du zpool sur les 3 nodes

[root@clustergfs01 tools]# zpool list

[root@clustergfs02 tools]# zpool list

[root@clustergfs03 tools]# zpool list

[root@clustergfs0x tools]# zpool status

6 Installation GlusterFS (3 nodes)

Attention la version 10.3 , provoque la perte des Bricks au redémarrage de la machine.
A priori un BUG connu , se retourner vers la version disponible sur le Git

Installation liburing

[root@clustergfs0x ~]#cd /home
[root@clustergfs0x home]# dnf groupinstall "Development Tools"
[root@clustergfs0x home]# yum install git -y
[root@clustergfs0x home]# git clone https://github.com/axboe/liburing.git

[root@clustergfs0x home]# cd liburing/
[root@clustergfs0x liburing]# ./configure
[root@clustergfs0x liburing]# make && make install

Installation Packages Prérequis

[root@clustergfs0x home]# yum -y install automake python3 libxml2-devel gperftools
[root@clustergfs0x home]# dnf -y install liburing libcgroup libtool flex bison libacl libacl-devel
[root@clustergfs0x home]# dnf --enablerepo=powertools install rpcgen -y
[root@clustergfs0x home]# dnf --enablerepo=powertools install userspace-rcu-devel -y

Installation Packages GlusterFS

[root@clustergfs0x ~]# cd /home && git clone https://github.com/gluster/glusterfs.git
[root@clustergfs0x home]# cd glusterfs/

[root@clustergfs0x glusterfs]#./autogen.sh
[root@clustergfs0x glusterfs]#./configure
[root@clustergfs0x glusterfs]# make
[root@clustergfs0x glusterfs]# make install

Installation Environnement Variable GlusterFS

[root@clustergfs0x glusterfs]# export PATH=$PATH:/usr/local/sbin
[root@clustergfs0x glusterfs]# echo "export PATH=$PATH:/usr/local/sbin" >> ~/.bashrc
[root@clustergfs0x glusterfs]# source ~/.bashrc

[root@clustergfs0x glusterfs]# glusterfs --version
glusterfs 12dev

Installation du service GlusterFS

[root@clustergfs0x glusterfs]# mkdir -p /sysconfig/glusterd
[root@clustergfs0x glusterfs]# vi /etc/systemd/system/multi-user.target.wants/glusterd.service

[Unit]
Description=GlusterFS, a clustered file-system server
Documentation=man:glusterd(8)
StartLimitBurst=6
StartLimitIntervalSec=3600
Requires=
After=network.target
Before=network-online.target

[Service]
Type=forking
PIDFile=/var/run/glusterd.pid
LimitNOFILE=65536
Environment="LOG_LEVEL=INFO"
EnvironmentFile=-/etc/sysconfig/glusterd
ExecStart=/usr/local/sbin/glusterd -p /var/run/glusterd.pid --log-level $LOG_LEVEL $GLUSTERD_OPTIONS
KillMode=process
TimeoutSec=300
SuccessExitStatus=15
Restart=on-abnormal
RestartSec=60
StartLimitBurst=6
StartLimitInterval=3600

[Install]
WantedBy=multi-user.target

[root@clustergfs0x glusterfs]# systemctl daemon-reload

Démarrer les services GlusterFS

[root@clustergfs0x ~]# systemctl enable glusterd.service && systemctl start glusterd.service

[root@clustergfs0x ~]# systemctl status glusterd.service

Ajout des Rules dans le Firewall

[root@clustergfs0x ~]# firewall-cmd --add-port={4379,24007-28008}/tcp --permanent --zone=public
[root@clustergfs0x ~]# firewall-cmd --remove-service={cockpit,dhcpv6-client} --permanent --zone=public
[root@clustergfs0x ~]# firewall-cmd --reload

[root@clustergfs0x ~]# firewall-cmd –list-port

7 Creation Bricks GlusterFS (3 nodes)

Création des volumes « Brick »

[root@clustergfs0x ~]# zfs create zpool/ctdb
[root@clustergfs0x ~]# zfs create zpool/vol1
[root@clustergfs0x ~]# zfs create zpool/vol2

[root@clustergfs0x ~]# df -Th |grep zpool

Création des quotas « Brick »

[root@clustergfs0x ~]# zfs set quota=2G zpool/ctdb
[root@clustergfs0x ~]# zfs set quota=275G zpool/vol1
[root@clustergfs0x ~]# zfs set quota=275G zpool/vol2

[root@clustergfs0x ~]# df -Th |grep zpool

Mount ZFS des « Brick »

[root@clustergfs0x ~]# zfs set mountpoint=/zpool zpool
[root@clustergfs0x ~]# zfs set mountpoint=/zpool/ctdb zpool/ctdb
[root@clustergfs0x ~]# zfs set mountpoint=/zpool/vol1 zpool/vol1
[root@clustergfs0x ~]# zfs set mountpoint=/zpool/vol2 zpool/vol2

On start des zpool et bricks

[root@clustergfs01 ~]# echo "zpool import -F zpool" >> /etc/rc.local
[root@clustergfs01 ~]# chmod +x /etc/rc.local

8 Création cluster GlusterFS et Volume (node1)

Check des Flux Hosts GlusterFS – Réseau privé

[root@clustergfs01 ~]# ping -c 2 clustergfs02

[root@clustergfs01 ~]# ping -c 2 clustergfs03

Enrôlement des machines Gluster

[root@clustergfs01 ~]# gluster peer status
Number of Peers: 0

[root@clustergfs01 ~]# gluster peer probe clustergfs02
[root@clustergfs01 ~]# gluster peer probe clustergfs03

Check du cluster GlusterFS 3 nodes

[root@clustergfs01 ~]# gluster peer status

Connexion des machines clustergfs02 et clustergfs03

[root@clustergfs02 ~]# gluster peer status

Connexion des machines clustergfs01 et clustergfs03

[root@clustergfs03 ~]# gluster peer status

Connexion des machines clustergfs01 et clustergfs02

Création du Réplica Données /tank

[root@clustergfs01 ~]# gluster volume create tank replica 3 clustergfs01:/zpool/vol1/brick clustergfs02:/zpool/vol2/brick clustergfs03:/zpool/vol1/brick clustergfs02:/zpool/vol1/brick clustergfs01:/zpool/vol2/brick clustergfs03:/zpool/vol2/brick

[root@clustergfs01 ~]# gluster volume info all

Création du Réplica Données ctdb

[root@clustergfs01 ~]# gluster volume create ctdb clustergfs01:/zpool/ctdb clustergfs02:/zpool/ctdb clustergfs03:/zpool/ctdb force

[root@clustergfs01 ~]# gluster volume info ctdb

Démarrer les volumes

[root@clustergfs01 ~]# gluster volume start ctdb
[root@clustergfs01 ~]# gluster volume start tank

[root@clustergfs01 ~]# gluster vol status ctdb

[root@clustergfs01 ~]# gluster vol status tank

[root@clustergfs01 ~]# gluster vol heal tank full
[root@clustergfs01 ~]# gluster volume heal tank info

Règles Firewall (3 nodes)

[root@clustergfs01 ~]# yum install net-tools
[root@clustergfs01 ~]# netstat -antp |sort | uniq

[root@clustergfs0x ~]# firewall-cmd --permanent --add-port={2049,49000-61000}/tcp --zone=public
[root@clustergfs0x ~]# firewall-cmd --reload

9 Montage volume GLustergfs (3 nodes)

Montage Gluster Volume /ctdb

[root@clustergfs01 ~]# dnf install attr -y

[root@clustergfs0x ~]# mkdir -p /mnt/ctdb
[root@clustergfs0x ~]# echo "localhost:/ctdb /mnt/ctdb glusterfs defaults,_netdev 0 0" >> /etc/fstab

[root@clustergfs0x ~]# mount /mnt/ctdb

[root@clustergfs0x ~]# df -h

Montage Gluster Volume /tank

[root@clustergfs0x ~]# mkdir /mnt/tank
[root@clustergfs01 ~]# echo "localhost:/tank /mnt/tank glusterfs defaults,_netdev 0 0" >> /etc/fstab
[root@clustergfs0x ~]# mount /mnt/tank

[root@clustergfs0x ~]# df -h |grep /mnt

Check Ecriture sur GlusterFS

[root@clustergfs01 ~]# echo "Petit Test - Ecriture à partir de gfs01 " >> /mnt/tank/gfs01.txt

[root@clustergfs02 ~]# cat /mnt/tank/gfs01.txt

[root@clustergfs03 ~]# cat /mnt/tank/gfs01.txt

L’article MODOP – Partie 1 – Installation Cluster GlusterFS/Zpool HA est apparu en premier sur CoffeeBreak Info.

MODOP – Partie 2 – Cluster ZFS/GlusterFS et SAMBA HA

chris — Sat, 11 Feb 2023 12:03:21 +0000

1. Installation et ctdb/SAMBA (3 nodes)

Installation des paquets nécessaire à SMB (3 nodes)

[root@clustergfs0x ~]# yum -y install ctdb samba samba-winbind samba-winbind-clients samba-client

2. Configuration SAMBA (3 nodes)

[root@clustergfs01 ~]# vi /etc/samba/smb.conf

[global]
 workgroup = SAMBA
 guest ok = yes
 clustering = yes
 netbios name = ClusterGFS

[homes]
 comment = Home Directories
 valid users = %S, %D%w%S
 browseable = No
 read only = No
 inherit acls = Yes

[gluster]
 comment = Gluster Share H.A Volume Tank
 path = /mnt/tank
 read only = No
 guest ok = yes
 #kernel share modes = No
 browseable = yes
 writable = yes

[root@clustergfs01 ~]# scp /etc/samba/smb.conf root@clustergfs02:/etc/samba/smb.conf
[root@clustergfs01 ~]# scp /etc/samba/smb.conf root@clustergfs03:/etc/samba/smb.conf

[root@clustergfs0x ~]# net cache flush
[root@clustergfs0x ~]# mkdir -p /var/log/samba/
[root@clustergfs0x ~]# mkdir /var/lib/samba/drivers
[root@clustergfs0x ~]# mkdir /profiles

Création User chris Samba ⬄ chris Linux (3 nodes)

[root@clustergfs0x samba]# cat /etc/passwd|grep chris

Ajout User « chris » Samba (3 nodes)

[root@clustergfs0x ~]# smbpasswd -a chris
New SMB password: « Votre password »
Retype new SMB password: « Votre password »

Ajout Répertoire User « chris » sur GlusterFS (node01)

[root@clustergfs01 mnt]# mkdir -p /mnt/tank/chris
[root@clustergfs01 mnt]# chown chris.chris /mnt/tank/chris
[root@clustergfs01 mnt]# chmod 775 /mnt/tank/chris

3. Configuration Cluster ctdb

Configuration fichier « ctdb.conf » (node01)

[root@clustergfs01 ~]# echo "CTDB_RECOVERY_LOCK=/mnt/ctdb/ctdb.lock" >> /mnt/ctdb/ctdb.conf
[root@clustergfs01 ~]# echo "CTDB_NODES=/mnt/ctdb/nodes" >> /mnt/ctdb/ctdb.conf
[root@clustergfs01 ~]# echo "CTDB_PUBLIC_ADDRESSES=/mnt/ctdb/public_addresses" >> /mnt/ctdb/ctdb.conf
[root@clustergfs01 ~]# echo "CTDB_MANAGES_SAMBA=yes" >> /mnt/ctdb/ctdb.conf
[root@clustergfs01 ~]# echo "CTDB_MANAGES_WINBIND=yes" >> /mnt/ctdb/ctdb.conf

[root@clustergfs01 ~]# cat /mnt/ctdb/ctdb.conf

Configuration fichier « nodes » – IP Privé (node01)

[root@clustergfs01 ~]# echo "172.17.186.20" >> /mnt/ctdb/nodes
[root@clustergfs01 ~]# echo "172.17.186.21" >> /mnt/ctdb/nodes
[root@clustergfs01 ~]# echo "172.17.186.22" >> /mnt/ctdb/nodes

[root@clustergfs01 ~]# cat /mnt/ctdb/nodes

Configuration fichier « public_addresses » – VIP (node01)

[root@clustergfs01 ~]# echo "192.168.1.100/24 bond1" >> /mnt/ctdb/public_addresses
[root@clustergfs01 ~]# echo "192.168.1.101/24 bond1" >> /mnt/ctdb/public_addresses
[root@clustergfs01 ~]# echo "192.168.1.102/24 bond1" >> /mnt/ctdb/public_addresses

[root@clustergfs0x ~]# cat /mnt/ctdb/public_addresses

Centraliser les fichiers conf CTDB (3 nodes)

[root@clustergfs0x ~]# ln -s /mnt/ctdb/nodes /etc/ctdb/nodes
[root@clustergfs0x ~]# ln -s /mnt/ctdb/public_addresses /etc/ctdb/public_addresses

[root@clustergfs0x ~]# mv /etc/ctdb/ctdb.conf{,-old}
[root@clustergfs0x ~]# ln -s /mnt/ctdb/ctdb.conf /etc/ctdb/ctdb.conf

[root@clustergfs0x ~]# chmod +x /etc/ctdb/functions
[root@clustergfs0x ~]# mkdir -p /etc/ctdb/events/functions

Copy des Clefs locales (3 nodes)

[root@clustergfs01 ~]# ssh-copy-id root@172.17.186.20
[root@clustergfs02 ~]# ssh-copy-id root@172.17.186.21

[root@clustergfs03 ~]# ssh-copy-id root@172.17.186.22

Désactiver les services smb et nmb (3 nodes)

[root@clustergfs0x ~]# chkconfig smb off
[root@clustergfs0x ~]# chkconfig nmb off

Activation Script dans ctdb (3 nodes)

[root@clustergfs0x ~]# ctdb event script enable legacy 50.samba
[root@clustergfs0x ~]# ctdb event script enable legacy 10.interface
[root@clustergfs0x ~]# ctdb event script enable legacy 00.ctdb
[root@clustergfs0x ~]# ctdb event script enable legacy 01.reclock
[root@clustergfs0x ~]# ctdb event script enable legacy 05.system
[root@clustergfs0x ~]# ctdb event script enable legacy 49.winbind

Check Cluster smb

[root@clustergfs01 ~]# smbd -b | grep -i 'ctdb\|cluster'

Ajout des rules firewall samba(3 nodes)

[root@clustergfs0x ~]# firewall-cmd --add-service={ctdb,samba} --permanent --zone=public
[root@clustergfs0x ~]# firewall-cmd --reload

[root@clustergfs0x ~]# firewall-cmd --list-service
ctdb samba ssh

Démarrer le cluster CTDB (node01)

[root@clustergfs01 ~]# onnode -p all service ctdb start

Enable service CTDB (node03)

[root@clustergfs0x ~]# systemctl enable ctdb

[root@clustergfs01 ~]# ctdb scriptstatus

[root@clustergfs01 ~]# netstat -antp |grep ctdb

Check cluster CTDB

[root@clustergfs01 ~]# onnode -q all ctdb ping

[root@clustergfs01 ~]# ctdb status

[root@clustergfs01 ~]# ctdb ip

[root@clustergfs01 ~]# ctdb ip -v

[root@clustergfs01 ~]# ip a |grep bond1

[root@clustergfs02 ~]# ip a |grep bond1

[root@clustergfs03 ~]# ip a |grep bond1

Check communication des VIP (node01)

[root@clustergfs01 ~]# ping -c 2 192.168.1.100
[root@clustergfs01 ~]# ping -c 2 192.168.1.101
[root@clustergfs01 ~]# ping -c 2 192.168.1.102

Check des logs ctdb

[root@clustergfs01 ~]# tail -f /var/log/log.ctdb

[root@clustergfs02 ~]# tail -f /var/log/log.ctdb

[root@clustergfs03 ~]# tail -f /var/log/log.ctdb

Ajout des Hosts Lan Public (3 nodes)

[root@clustergfs0x ~]# vi /etc/hosts

192.168.1.14 clustersmb01
192.168.1.15 clustersmb02
192.168.1.16 clustersmb03

Check Connexion SMB – côté Serveur (node01)

[root@clustergfs01 ~]# smbstatus

[root@clustergfs01 ~]# smbclient -L //clustersmb01

[root@clustergfs01 ~]# smbclient -L //clustersmb02

[root@clustergfs01 ~]# smbclient -L //clustersmb03

4. Check Connexion – Explorateur (Client Windows)

Connexion des 3 nœuds

C:\Users\chris>net use P: \\192.168.1.14\gluster

C:\Users\chris>net use Q: \\192.168.1.15\gluster
C:\Users\chris>net use R: \\192.168.1.16\gluster

Check Connexion SMB

C:\Users\chris>net view \\192.168.1.14

C:\Users\chris>net view \\192.168.1.15

C:\Users\chris>net view \\192.168.1.16

« Explorateur de fichier »

Tout fichier copier/modifier/supprimer sur un nœud sera répliqué sur les autres nœuds du Cluster

Déconnexion des 3 nœuds

C:\Users\chris>net use P: /delete
C:\Users\chris>net use Q: /delete
C:\Users\chris>net use R: /delete

5, Ajout VIP/Host Centralisant le service de partage SMB

Ajout VIP/Host dans le DNS

Dans la zone SOA

[root@dns-pri chris]# vi /var/named/forward.house.cpb

; Serveur Samba – zfs-glusterFS
clustergfs IN A 192.168.1.100
clustergfs IN A 192.168.1.101
clustergfs IN A 192.168.1.102

Dans le reverse

[root@dns-pri chris]# vi /var/named/reverse.house.cpb

; Serveur Samba – zfs-glusterFS
100 IN PTR clustergfs.house.cpb.
101 IN PTR clustergfs.house.cpb.
102 IN PTR clustergfs.house.cpb.

Reste à modifier le numéro de série des fichiers et restart le service BIND

[root@dns-pri named]# systemctl reload named

Ajout VIP/Host sur client Windows (no DNS)

Editer le fichier C:\Windows\System32\drivers\etc\hosts

Ajouter les lignes suivantes

### Cluster SMB - ZFS et GlusterFS

192.168.1.100 clustergfs
192.168.1.101 clustergfs
192.168.1.102 clustergfs

Connexion via VIP/Host sur client Windows

C:\Users\chris>net use P: \\ClusterGFS\gluster

C:\Users\chris>net view \\ClusterGFS

Côté explorateur de fichier

Connexion Client côté Serveur

[root@clustergfs01 ~]# smbstatus

[root@clustergfs02 ~]# smbstatus

[root@clustergfs03 ~]# smbstatus

6. Test de résilience HA CIFS – copie de fichier

Copie d’un fichier ISO sur l’explorateur du client Windows

Clustergfs01 est UP

Check du statut de la copie sur les 3 nœuds GFS

Les « files Locked » pour le fichier ISO en cours de copie.

Test de la panne du noeud1

[root@clustergfs01 ~]# shutdown now

Clustergfs01 est down

[root@clustergfs02 ctdb]# ctdb status

La copie du fichier sous Windows continue malgré la perte du node1 sur la ressource \\ClusterGFS\gluster\chris

Check Statut après redémarrage du node1

[root@clustergfs01 ~]# ctdb status

Check intégrité préservée du fichier ISO

[root@clustergfs01 ~]# ls -al /mnt/tank/chris/

[root@clustergfs01 ~]# sha1sum /mnt/tank/chris/20348.169.210806-2348.fe_release_svc_refresh_SERVER_EVAL_x64FRE_fr-fr.iso

Checksum du fichier node1 SHA1: a8a3b9e7d3d8f5c539a23005fee84cec5b7aed74

[root@clustergfs02 ~]# ls -al /mnt/tank/chris/

[root@clustergfs02 ~]# sha1sum /mnt/tank/chris/20348.169.210806-2348.fe_release_svc_refresh_SERVER_EVAL_x64FRE_fr-fr.iso

Checksum du fichier node2 SHA1 : a8a3b9e7d3d8f5c539a23005fee84cec5b7aed74

[root@clustergfs03 ~]# ls -al /mnt/tank/chris/

[root@clustergfs03 ~]# sha1sum /mnt/tank/chris/20348.169.210806-2348.fe_release_svc_refresh_SERVER_EVAL_x64FRE_fr-fr.iso

Checksum fichier node3 SHA1 : a8a3b9e7d3d8f5c539a23005fee84cec5b7aed74

L’article MODOP – Partie 2 – Cluster ZFS/GlusterFS et SAMBA HA est apparu en premier sur CoffeeBreak Info.

MODOP – Partie 3 – Cluster ZFS/GlusterFS et NFS HA

chris — Sat, 11 Feb 2023 11:56:42 +0000

1. Installation et ctdb/NFS (3 nodes)

Installation des paquets nécessaire à NFS(3 nodes)

[root@clustergfs0x ~]# dnf install nfs-utils ctdb rpcbind quota-rpc
[root@clustergfs0x ~]# yum -y install fuse neon wget

2. Configuration NFS export (3 nodes)

[root@clustergfs01 /]# echo /mnt/tank *(rw,fsid=1200,sync,no_root_squash,no_all_squash) " >> /etc/exports

[root@clustergfs01 ~]# scp /etc/exports root@clustergfs02:/etc/exports
[root@clustergfs01 ~]# scp /etc/exports root@clustergfs03:/etc/exports

[root@clustergfs0x ~]# exportfs -arv
exporting *:/mnt/tank

[root@clustergfs0x ~]# exportfs -s
/mnt/tank *(sync,wdelay,hide,no_subtree_check,fsid=1234,sec=sys,rw,no_root_squash,no_all_squash)

Création User chris Samba ⬄ chris Linux (3 nodes)

[root@clustergfs0x ~]# cat /etc/passwd|grep chris

Ajout Répertoire User « chris » sur GlusterFS

[root@clustergfs01 ~]# mkdir -p /mnt/tank/chris
[root@clustergfs01 ~]# chown chris.chris /mnt/tank/chris
[root@clustergfs01 ~]# chmod 775 /mnt/tank/chris

3. Configuration NFS Server (3 nodes)

[root@clustergfs01 ~]# vi /etc/sysconfig/nfs

CTDB_MANAGES_NFS=yes
NFS_TICKLE_SHARED_DIRECTORY=/mnt/ctdb/nfs-tickles
STATD_PORT=595
STATD_OUTGOING_PORT=596
MOUNTD_PORT=597
RQUOTAD_PORT=598
LOCKD_UDPPORT=599
LOCKD_TCPPORT=599
STATD_SHARED_DIRECTORY=/mnt/ctdb/nfs-state
NFS_HOSTNAME="clustergfs"
STATD_HOSTNAME="$NFS_HOSTNAME -P "$STATD_SHARED_DIRECTORY/$PUBLIC_IP" -H /etc/ctdb/statd-callout -p 97"

[root@clustergfs01 ~]# scp /etc/sysconfig/nfs root@clustergfs02:/etc/sysconfig/nfs
[root@clustergfs01 ~]# scp /etc/sysconfig/nfs root@clustergfs03:/etc/sysconfig/nfs

4. Configuration Cluster ctdb

Configuration fichier « ctdb.conf » (node01)

[root@clustergfs01 ~]# echo "CTDB_RECOVERY_LOCK=/mnt/ctdb/ctdb.lock" > /mnt/ctdb/ctdb.conf
[root@clustergfs01 ~]# echo "CTDB_NODES=/mnt/ctdb/nodes" >> /mnt/ctdb/ctdb.conf
[root@clustergfs01 ~]# echo "CTDB_PUBLIC_ADDRESSES=/mnt/ctdb/public_addresses" >> /mnt/ctdb/ctdb.conf
[root@clustergfs01 ~]# echo "CTDB_MANAGES_NFS=yes" >> /mnt/ctdb/ctdb.conf
[root@clustergfs01 ~]# echo "CTDB_DEBUGLEVEL=ERR" >> /mnt/ctdb/ctdb.conf

[root@clustergfs01 ~]# cat /mnt/ctdb/ctdb.conf

Configuration fichier « nodes » – IP privés (node01)

[root@clustergfs01 ~]# echo "172.17.186.20" >> /mnt/ctdb/nodes
[root@clustergfs01 ~]# echo "172.17.186.21" >> /mnt/ctdb/nodes
[root@clustergfs01 ~]# echo "172.17.186.22" >> /mnt/ctdb/nodes

[root@clustergfs01 ~]# cat /mnt/ctdb/nodes

Configuration fichier « public_addresses » – IP VIP

[root@clustergfs01 ~]# echo "192.168.1.100/24 bond1" >> /mnt/ctdb/public_addresses
[root@clustergfs01 ~]# echo "192.168.1.101/24 bond1" >> /mnt/ctdb/public_addresses
[root@clustergfs01 ~]# echo "192.168.1.102/24 bond1" >> /mnt/ctdb/public_addresses

[root@clustergfs01 ~]# cat /mnt/ctdb/public_addresses

Centraliser les fichiers conf CTDB (3 nodes)

[root@clustergfs0x ~]# ln -s /mnt/ctdb/nodes /etc/ctdb/nodes
[root@clustergfs0x ~]# ln -s /mnt/ctdb/public_addresses /etc/ctdb/public_addresses

[root@clustergfs01 ~]# cp /etc/ctdb/ctdb.conf-old /mnt/ctdb/ctdb.conf
[root@clustergfs0x ~]# mv /etc/ctdb/ctdb.conf{,-old}
[root@clustergfs0x ~]# ln -s /mnt/ctdb/ctdb.conf /etc/ctdb/ctdb.conf

[root@clustergfs0x ~]# chmod +x /etc/ctdb/functions
[root@clustergfs0x ~]# mkdir -p /etc/ctdb/events/functions

Copy des Clefs locales (3 nodes)

[root@clustergfs01 ~]# ssh-copy-id root@172.17.186.20
[root@clustergfs02 ~]# ssh-copy-id root@172.17.186.21
[root@clustergfs03 ~]# ssh-copy-id root@172.17.186.22

Activation Script dans ctdb (3 nodes)

[root@clustergfs0x ~]# ctdb event script enable legacy 10.interface
[root@clustergfs0x ~]# ctdb event script enable legacy 00.ctdb
[root@clustergfs0x ~]# ctdb event script enable legacy 01.reclock
[root@clustergfs0x ~]# ctdb event script enable legacy 05.system
[root@clustergfs0x ~]# ctdb event script enable legacy 60.nfs
[root@clustergfs0x ~]# ctdb event script enable legacy 06.nfs

Ajout des rules firewall NFS (3 nodes)

[root@clustergfs0x ~]# firewall-cmd --permanent --add-service={nfs,rpc-bind,mountd} --zone=public
[root@clustergfs0x ~]# firewall-cmd --reload

[root@clustergfs0x ~]# firewall-cmd --list-service
mountd nfs rpc-bind ssh

Démarrer le cluster CTDB (node01)

[root@clustergfs01 ~]# onnode -p all service ctdb start

Enable service CTDB (3 nodes)

[root@clustergfs0x ~]# systemctl enable ctdb

[root@clustergfs0x ~]# ctdb scriptstatus

[root@clustergfs0x ~]# netstat -antp |grep ctdb

Check cluster CTDB (node01)

[root@clustergfs01 ~]# onnode -q all ctdb ping

[root@clustergfs01 ~]# ctdb status

[root@clustergfs01 ~]# ctdb ip

[root@clustergfs01 ~]# ctdb ip -v

[root@clustergfs01 ~]# ip a |grep bond1

[root@clustergfs02 ~]# ip a |grep bond1

[root@clustergfs03 ~]# ip a |grep bond1

Check communication des VIP (node01)

[root@clustergfs01 ~]# ping -c 2 192.168.1.100
[root@clustergfs01 ~]# ping -c 2 192.168.1.101
[root@clustergfs01 ~]# ping -c 2 192.168.1.102

Check des logs ctdb

[root@clustergfs01 ~]# tail -f /var/log/log.ctdb

[root@clustergfs02 ~]# tail -f /var/log/log.ctdb

[root@clustergfs03 ~]# tail -f /var/log/log.ctdb

Ajout des Hosts Lan Public (3 nodes)

[root@clustergfs0x ~]# vi /etc/hosts
192.168.1.14 clustersmb01
192.168.1.15 clustersmb02
192.168.1.16 clustersmb03

5. Connexion d’un Client Linux

Mise à jour

[root@clustergfs-client ~]# dnf -y update

Désactivation SELinux

[root@clustergfs-client ~]# setenforce 0
[root@clustergfs-client ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

Installation des paquets NFS client

[root@clustergfs-client ~]# yum -y install epel-release
[root@clustergfs-client ~]# yum install nfs-utils

Ajout VIP clustergfs

[root@clustergfs-client ~]# vi /etc/hosts

192.168.1.100 clustergfs
192.168.1.101 clustergfs
192.168.1.102 clustergfs

Check Découvert du Share

[root@clustergfs-client ~]# showmount -e 192.168.1.100
Export list for 192.168.1.100:
/mnt/tank *

[root@clustergfs-client ~]# showmount -e 192.168.1.101
Export list for 192.168.1.101:
/mnt/tank *

[root@clustergfs-client ~]# showmount -e 192.168.1.102
Export list for 192.168.1.102:
/mnt/tank *

Montage du share sur le Client

[root@clustergfs-client ~]# mkdir /mnt/data
[root@clustergfs-client ~]# mount -t nfs clustergfs:/mnt/tank /mnt/data

[root@clustergfs-client ~]# df -Th /mnt/data

6. Test de résilience HA NFS – copie de fichier

Check écriture simultanée

Sur le client

[root@clustergfs-client /]# echo "Deuxieme Test - NFS Ecriture" >> /mnt/data/NFS.txt
[root@clustergfs-client /]# cat /mnt/data/NFS.txt
Deuxieme Test - NFS Ecriture

Sur les serveurs clusterGFS

[root@clustergfs01 ~]# cat /mnt/tank/NFS.txt
Deuxieme Test - NFS Ecriture

[root@clustergfs02 ~]# cat /mnt/tank/NFS.txt
Deuxieme Test - NFS Ecriture

[root@clustergfs03 ~]# cat /mnt/tank/NFS.txt
Deuxieme Test - NFS Ecriture

Check résilience avec perte d’un nœud

Sur le client

[root@clustergfs-client ~]# cd /mnt/data/
[root@clustergfs-client data]# yum install wget
[root@clustergfs-client data]# wget https://download.fedoraproject.org/pub/fedora/linux/releases/37/Server/x86_64/iso/Fedora-Server-dvd-x86_64-37-1.7.iso

Sur les serveurs

Faisons tomber le nœuds 1

[root@clustergfs01 ~]# shutdown –h 0

On peut constater que le client linux télécharge toujours son fichier avec la perte du node01.

Faisons tomber le nœuds 2

On peut constater que le client continu de télécharge le fichier ISO malgré la perte du node01 et du node02.

Check intégrité préservée du fichier ISO

On redémarre le node1 et node2

Sur le client

[root@clustergfs-client data]# sha1sum Fedora-Server-dvd-x86_64-37-1.7.iso
5e40acfff1de12182535b5bf5cf3804f32ffeed4 Fedora-Server-dvd-x86_64-37-1.7.iso

Checksum du fichier – client SHA1: 5e40acfff1de12182535b5bf5cf3804f32ffeed4

Sur les serveurs

[root@clustergfs01 ~]# sha1sum /mnt/tank/Fedora-Server-dvd-x86_64-37-1.7.iso
5e40acfff1de12182535b5bf5cf3804f32ffeed4 /mnt/tank/Fedora-Server-dvd-x86_64-37-1.7.iso

Checksum du fichier – node01 SHA1: 5e40acfff1de12182535b5bf5cf3804f32ffeed4

[root@clustergfs02 ~]# sha1sum /mnt/tank/Fedora-Server-dvd-x86_64-37-1.7.iso
5e40acfff1de12182535b5bf5cf3804f32ffeed4 /mnt/tank/Fedora-Server-dvd-x86_64-37-1.7.iso

Checksum du fichier – node02 SHA1: 5e40acfff1de12182535b5bf5cf3804f32ffeed4

[root@clustergfs03 ~]# sha1sum /mnt/tank/Fedora-Server-dvd-x86_64-37-1.7.iso
5e40acfff1de12182535b5bf5cf3804f32ffeed4 /mnt/tank/Fedora-Server-dvd-x86_64-37-1.7.iso

Checksum du fichier – node03 SHA1: 5e40acfff1de12182535b5bf5cf3804f32ffeed4

L’article MODOP – Partie 3 – Cluster ZFS/GlusterFS et NFS HA est apparu en premier sur CoffeeBreak Info.

MODOP – Installation Cluster GlustersFS – Fichiers Distribués

chris — Mon, 07 Jun 2021 19:06:58 +0000

6 Machines GlusterFS Serveur et stockage Distribué sous Centos7

Node01-gfs : 192.168.1.90 – 10.10.0.100 (Réseau Privé)
Node02-gfs : 192.168.1.91 – 10.10.0.101 (Réseau Privé)
Node03-gfs : 192.168.1.92 – 10.10.0.102 (Réseau Privé)
Node04-gfs : 192.168.1.93 – 10.10.0.103 (Réseau Privé)
Node05-gfs : 192.168.1.94 – 10.10.0.104 (Réseau Privé)
Node06-gfs : 192.168.1.95 – 10.10.0.105 (Réseau Privé)

Le Pool « SerFile» va être composé de trois machines virtuelles

Node01
- node01-gfs -> 192.168.1.90 – Réseau Public
- node01-xgfs -> 10.10.0.100 – Réseau Privé (Fichiers Distribués)
- 2CPU, 1G RAM
  - Disque /dev/sda : 10Go (Système Centos7)
  - Disque /dev/sdb : 30Go (Fichiers Distribués)
Node02
- node02-gfs -> 192.168.1.91 – Réseau Public
- node02-xgfs -> 10.10.0.101 – Réseau Privé (Fichiers Distribués)
- 2CPU, 1G RAM
  - Disque /dev/sda : 10Go (Système Centos7)
  - Disque /dev/sdb : 30Go (Fichiers Distribués)
Node03
- node03-gfs -> 192.168.1.92 – Réseau Public
- node03-xgfs -> 10.10.0.102 – Réseau Privé (Fichiers Distribués)
- 2CPU, 1G RAM
  - Disque /dev/sda : 10Go (Système Centos7)
  - Disque /dev/sdb : 30Go (Fichiers Distribués)
Node04
- node04-gfs -> 192.168.1.93 – Réseau Public
- node04-xgfs -> 10.10.0.103 – Réseau Privé (Fichiers Distribués)
- 2CPU, 1G RAM
  - Disque /dev/sda : 10Go (Système Centos7)
  - Disque /dev/sdb : 30Go (Fichiers Distribués)
Node05
- Node05-gfs -> 192.168.1.94 – Réseau Public
- node05-xgfs -> 10.10.0.104 – Réseau Privé (Fichiers Distribués)
- 2CPU, 1G RAM
  - Disque /dev/sda : 10Go (Système Centos7)
  - Disque /dev/sdb : 30Go (Fichiers Distribués)
Node06
- node02-gfs -> 192.168.1.95 – Réseau Public
- node02-xgfs -> 10.10.0.105 – Réseau Privé (Fichiers Distribués)
- 2CPU, 1G RAM
  - Disque /dev/sda : 10Go (Système Centos7)
  - Disque /dev/sdb : 30Go (Fichiers Distribués)

Suppression du selinux (6 nœuds GFS)

[root@node01-gfs ~]# vi /etc/sysconfig/selinux
SELINUX=disabled

Redémarrage de la machine.

Installer ntpd (6 nœuds GFS)

[root@node01-gfs ~]# yum install ntp ntpdate ntp-doc -y
[root@node01-gfs ~]# chkconfig ntpd on
[root@node01-gfs ~]# ntpdate pool.ntp.org
[root@node01-gfs ~]# systemctl start ntpd

Désactiver l’IPV6 (6 nœuds GFS)

[root@node01-gfs ]# vi /etc/sysctl.conf
# désactivation de ipv6 pour toutes les interfaces
net.ipv6.conf.all.disable_ipv6 = 1
# désactivation de l’auto configuration pour toutes les interfaces
net.ipv6.conf.all.autoconf = 0
# désactivation de ipv6 pour les nouvelles interfaces (ex:si ajout de carte réseau)
net.ipv6.conf.default.disable_ipv6 = 1
# désactivation de l’auto configuration pour les nouvelles interfaces
net.ipv6.conf.default.autoconf = 0

[root@node01-gfs]# sysctl -p

Ajouter sur toutes les machines des hosts (6 nœuds GFS) si vous n’avez pas de DNS

[root@node01-gfs ]# vi /etc/hosts
#Cluster gfs Reseau Public
192.168.1.90 node01-gfs node01-gfs.house.cpb node01-gfs
192.168.1.91 node02-gfs node02-gfs.house.cpb node02-gfs
192.168.1.92 node03-gfs node03-gfs.house.cpb node03-gfs
192.168.1.93 node04-gfs node04-gfs.house.cpb node04-gfs
192.168.1.94 node05-gfs node05-gfs.house.cpb node05-gfs
192.168.1.95 node06-gfs node06-gfs.house.cpb node05-gfs
#Cluster web
192.168.1.96 node01-web node01-web.house.cpb node01-web
192.168.1.97 node02-web node02-web.house.cpb node02-web
192.168.1.98 node03-web node03-web.house.cpb node03-web

#### Reseau Prive x
#Cluster gfs
10.10.0.100 node01-xgfs node01-xgfs.house.cpb node01-xgfs
10.10.0.101 node02-xgfs node02-xgfs.house.cpb node02-xgfs
10.10.0.102 node03-xgfs node03-xgfs.house.cpb node03-xgfs
10.10.0.103 node04-xgfs node04-xgfs.house.cpb node04-xgfs
10.10.0.104 node05-xgfs node05-xgfs.house.cpb node05-xgfs
10.10.0.105 node06-xgfs node06-xgfs.house.cpb node06-xgfs
#Cluster Serveur Web
10.10.0.106 node01-xweb node01-xweb.house.cpb node01-xweb.home
10.10.0.107 node02-xweb node02-xweb.house.cpb node02-xweb.home
10.10.0.108 node03-xweb node03-xweb.house.cpb node03-xweb.home

Installation des paquets des serveurs GlusterFS (6 nœuds GFS)

[root@node01-gfs ~]# yum update -y
[root@node01-gfs ~]# yum install htop nmap net-tools wget
[root@node01-gfs ~]# yum install -y centos-release-gluster
[root@node01-gfs ~]# yum install -y glusterfs-server
[root@node01-gfs ~]# yum install -y samba

Préparation du disque /dev/sdb et du point de montage (6 nœuds GFS)

[root@node01-gfs ~]#pvcreate /dev/sdb
[root@node01-gfs ~]# vgcreate gfsvolume /dev/sdb
[root@node01-gfs ~]# lvcreate -n gfs -l 100%FREE gfsvolume
[root@node01-gfs ~]# ls /dev/mapper/

[root@node01-gfs ~]# mkfs.xfs /dev/mapper/gfsvolume-gfs
[root@node01-gfs ~]# mkdir -p /gfsvolume/gfs

[root@node01-gfs ~]# vi /etc/fstab
/dev/mapper/gfsvolume-gfs /gfsvolume/gfs xfs defaults 0 0

[root@node01-gfs ~]# mount -a
[root@node01-gfs ~]# df -Th /gfsvolume/gfs
Sys. de fichiers Type Taille Utilisé Dispo Uti% Monté sur
/dev/mapper/gfsvolume-gfs xfs 10G 33M 10G 1% /gfsvolume/gfs

Activer le serveur glusterFS (6 nœuds GFS)

[root@node01-gfs /]# systemctl enable glusterd.service && systemctl start glusterd.service
[root@node01-gfs /]# systemctl status glusterd.service

Ajout des Rules dans le Firewall (6 nœuds GFS)

[root@node01-gfs /]# firewall-cmd --zone=public --add-port={24009,2400,111,139,445,965,2049,38465-38469,631,49000-49500}/tcp --permanent
[root@node01-gfs /]# firewall-cmd --zone=public --add-port={111,963}/udp --permanent [root@node01-gfs ~]# firewall-cmd --zone=public
[root@node01-gfs /]# firewall-cmd --reload

Choix Serveur Maitre et enrôlement des Slaves (node03-gfs)
Le serveur Maître sera le Serveur node06-xgsf. Celui-ci sera le serveur principal qui connectera les serveurs ensembles. Les serveurs seront interconnectés via le réseau privé 10.10.0.0/16.

10.10.0.100 node01-xgfs
10.10.0.101 node02-xgfs
10.10.0.102 node03-xgfs
10.10.0.103 node04-xgfs
10.10.0.104 node05-xgfs
10.10.0.105 node06-xgfs

[root@node06-gfs ~]# gluster peer probe node01-xgfs
[root@node06-gfs ~]# gluster peer probe node02-xgfs
[root@node06-gfs ~]# gluster peer probe node04-xgfs
[root@node06-gfs ~]# gluster peer probe node05-xgfs
[root@node06-gfs ~]# gluster peer probe node06-xgfs

Vérifions le statut des nœuds enrôlés.

[root@node06-gfs ~]# gluster peer status

Création et préparation du volume gsfweb (node03-gfs)

Création du volume gfsweb sur 3 réplicats

[root@node06-gfs ~]#gluster volume create gfsweb replica 3 transport tcp node03-xgfs:/gfsvolume/gfs/gfsweb node01-xgfs:/gfsvolume/gfs/gfsweb node02-xgfs:/gfsvolume/gfs/gfsweb node04-xgfs:/gfsvolume/gfs/gfsweb node05-xgfs:/gfsvolume/gfs/gfsweb node06-xgfs:/gfsvolume/gfs/gfsweb force

[root@node06-gfs ~]# gluster volume start gfsweb
[root@node06-gfs ~]# gluster volume set gfsweb ctime off

[root@node06-gfs ~]# gluster volume info all

Création et préparation du volume gsfmail sur 6 réplicats (node03-gfs)

Création du volume gfsmail sur 6 réplicats

[root@node06-gfs ~]#gluster volume create gfsmail replica 6 transport tcp node03-xgfs:/gfsvolume/gfs/gfsmail node01-xgfs:/gfsvolume/gfs/gfsmail node02-xgfs:/gfsvolume/gfs/gfsmail node04-xgfs:/gfsvolume/gfs/gfsmail node05-xgfs:/gfsvolume/gfs/gfsmail node06-xgfs:/gfsvolume/gfs/gfsmail force

[root@node06-gfs ~]# gluster volume start gfsmail
[root@node06-gfs ~]# gluster volume set gfsmail ctime off

[root@node06-gfs ~]# gluster volume info all

Pour information, supprimer un Volume existant

gluster volume stop gfsmail
gluster volume delete gfsmail

Ajout d’un client GluterFS sur le Cluster

Node01-web : 192.168.96 – 10.10.0.106 (Réseau Privé)

Installation du client Gluterfs

[root@node01-web ~]# yum -y install glusterfs-fuse
[root@node01-web ~]# mkdir /gfsweb

Installation ntp

[root@node01-web ~]# yum install ntp ntpdate ntp-doc
[root@node01-web ~]# chkconfig ntpd on
[root@node01-web ~]# ntpdate pool.ntp.org
[root@node01-web ~]# systemctl start ntpd

Montage de la ressource /gfsweb

[root@node01-web ~]# mount -t glusterfs node02-gfs:/gfsweb /gfsweb

Test à partir du client node01-web

[root@node01-web ~]# touch /gfsweb/index.php

Sur les 3 Serveurs de réplication GlusterFS (node01-gfs,node02-gfs et node03-gfs)

Montage de la ressource /gfsweb dans /etc/fstab

[root@node01-web ~]# vi /etc/fstab
node02-gfs:/gfsweb /gfsweb glusterfs defaults,_netdev 0 0

[root@node01-web ~]# mount –a

[root@node01-web ~]# df -Th /gfsweb

L’article MODOP – Installation Cluster GlustersFS – Fichiers Distribués est apparu en premier sur CoffeeBreak Info.