Constitution du Cluster

• node-minio-s01
• node-minio-s02
• node-minio-s03
• node-minio-s04
• node-minio-s05
• node-minio-s06

Spécification des 6 nodes minIO

• IP : 10.100.0.41 à 10.100.46
• vCPU : 2
• RAM : 2Go
• Disque : 8Go (Système)
• Disque : 32Go (Data01)
• Disque : 32Go (Data02)
• Disque : 32Go (Data03)
• Disque : 32Go (Data04)
• OS : RockyLinux 8

1. Installation des prérequis (6 noeuds)

Mise à jour

[root@node-minio-s0x ~]# dnf -y update

Installation des middlewares

[root@node-minio-s0x ~]# dnf install dnf-utils epel-release net-tools nmap curl wget tar -y

Désactiver SELinux

[root@node-minio-s0x ~]# getenforce
Enforcing
[root@node-minio-s0x ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
[root@node-minio-s0x ~]# setenforce 0
[root@node-minio-s0x ~]# getenforce
Permissive

Synchroniser DateTime sur le fuseau de PARIS

[root@node-minio-s0x ~]# timedatectl

[root@node-minio-s0x ~]# timedatectl set-timezone Europe/Paris
[root@node-minio-s0x ~]# timedatectl

Intégration des Hosts au DNS

[root@node-minio-s0x ~]# for i in {1..6} ; do nslookup node-minio-s0${i} ; done

Règle de Firewall

[root@node-minio-s0x ~]# firewall-cmd --remove-service={dhcpv6-client,cockpit} --permanent && firewall-cmd --reload
[root@node-minio-s0x ~]# firewall-cmd --add-port={9000,9001}/tcp --permanent && firewall-cmd --reload

2. Préparation des disques MinIO

[root@node-minio-s0x home]# lsblk

Partitionnement des disques

[root@node-minio-s0x ~]# parted -s /dev/sdb mklabel msdos
[root@node-minio-s0x ~]# parted -s /dev/sdc mklabel msdos
[root@node-minio-s0x ~]# parted -s /dev/sdd mklabel msdos
[root@node-minio-s0x ~]# parted -s /dev/sde mklabel msdos

[root@node-minio-s0x ~]# parted -s /dev/sdb mkpart primary 1MiB 100%
[root@node-minio-s0x ~]# parted -s /dev/sdc mkpart primary 1MiB 100%
[root@node-minio-s0x ~]# parted -s /dev/sdd mkpart primary 1MiB 100%
[root@node-minio-s0x ~]# parted -s /dev/sde mkpart primary 1MiB 100%

[root@node-minio-s0x home]# lsblk

Formatage des disques

[root@node-minio-s0x ~]# mkfs.xfs -f /dev/sdb1
[root@node-minio-s0x ~]# mkfs.xfs -f /dev/sdc1
[root@node-minio-s0x ~]# mkfs.xfs -f /dev/sdd1
[root@node-minio-s0x ~]# mkfs.xfs -f /dev/sde1

Montage des disques

[root@node-minio-s0x ~]# for i in {1..4} ;do mkdir -p /minio/minio_0${i};done
[root@node-minio-s0x ~]# ls -al /minio/

[root@node-minio-s0x ~]# echo "/dev/sdb1 /minio/minio_01 xfs defaults 0 0" >> /etc/fstab
[root@node-minio-s0x ~]# echo "/dev/sdc1 /minio/minio_02 xfs defaults 0 0" >> /etc/fstab
[root@node-minio-s0x ~]# echo "/dev/sdd1 /minio/minio_03 xfs defaults 0 0" >> /etc/fstab
[root@node-minio-s0x ~]# echo "/dev/sde1 /minio/minio_04 xfs defaults 0 0" >> /etc/fstab
[root@node-minio-s0x ~]# systemctl daemon-reload

[root@node-minio-s0x ~]# for i in {1..4} ;do mount /minio/minio_0${i};done
[root@node-minio-s0x ~]# df -h |grep mini

3. Création des comptes (6 nœuds)

[root@node-minio-s0x ~]# groupadd -r minio-user
[root@node-minio-s0x ~]# useradd -M -r -g minio-user minio-user
[root@node-minio-s0x ~]# chown -R minio-user:minio-user /minio
[root@node-minio-s0x ~]# ls -al /minio

4. Installation MinIO (6 nœuds)

Installation des binaires

• https://dl.min.io/server/minio/release/linux-amd64/archive/

Téléchargement des binaires

[root@node-minio-s0x ~]# cd /home/
[root@node-minio-s0x home]# wget https://dl.min.io/server/minio/release/linux-amd64/archive/minio-20240406052602.0.0-1.x86_64.rpm
[root@node-minio-s0x home]# wget https://dl.min.io/server/minio/release/linux-amd64/archive/minio-20240406052602.0.0-1.x86_64.rpm.sha256sum

Check l’intégrité du fichier

[root@node-minio-s0x home]# sha256sum minio-20240406052602.0.0-1.x86_64.rpm
87e08df00a8725bfe9637fade415e307797d200539f107627daafef767e3d942 minio-20240406052602.0.0-1.x86_64.rpm

[root@node-minio-s0x home]# cat minio-20240406052602.0.0-1.x86_64.rpm.sha256sum
87e08df00a8725bfe9637fade415e307797d200539f107627daafef767e3d942 minio-20240406052602.0.0-1.x86_64.rpm

[root@node-minio-s0x home]# dnf install minio-20240406052602.0.0-1.x86_64.rpm

5. Création du service minIO (6 nœuds)

[root@node-minio-s0x ~]# vi /usr/lib/systemd/system/minio.service

[Unit]
Description=MinIO
Documentation=https://docs.min.io
Wants=network-online.target
After=network-online.target
AssertFileIsExecutable=/usr/local/bin/minio

[Service]
Type=notify
WorkingDirectory=/usr/local
User=minio-user
Group=minio-user
ProtectProc=invisible
EnvironmentFile=-/etc/default/minio
ExecStartPre=/bin/bash -c "if [ -z \"${MINIO_VOLUMES}\" ]; then echo \"Variable MINIO_VOLUMES not set in /etc/default/minio\"; exit 1; fi"
ExecStart=/usr/local/bin/minio server $MINIO_OPTS $MINIO_VOLUMES

# Let systemd restart this service always
Restart=always

# Specifies the maximum file descriptor number that can be opened by this process
LimitNOFILE=1048576

# Turn-off memory accounting by systemd, which is buggy.
MemoryAccounting=no

# Specifies the maximum number of threads this process can create
TasksMax=infinity

# Disable timeout logic and wait until process is stopped
TimeoutSec=infinity
SendSIGKILL=no

[Install]
WantedBy=multi-user.target

6. Variable environnement des ressources minIO (6 nœuds)

Les Hosts minIO

• node-minio-s01
• node-minio-s02
• node-minio-s03
• node-minio-s04
• node-minio-s05
• node-minio-s06

Les disques minIO

• /minio/minio_01
• /minio/minio_02
• /minio/minio_03
• /minio/minio_04

[root@node-minio-s0x ~]# mkdir /etc/minio
[root@node-minio-s0x ~]# chown minio-user:minio-user /etc/minio

Fichier d’environnement

[root@node-minio-s0x ~]# vi /etc/default/minio

# Variable spécifiant les hosts et les volumes par hosts
MINIO_VOLUMES="http://node-minio-s0{1...6}.house.cpb:9000/minio/minio_0{1...4}"

#Paramètre du port de la console
MINIO_OPTS="--console-address :9001"

#Credentials
MINIO_ROOT_USER=minioadmin
MINIO_ROOT_PASSWORD=minioadmin

#Adresse VIP du LoadBalancer
#MINIO_SERVER_URL=http://minio.house.cpb:9000

7. Démarrage du cluster

Démarrage du service

[root@node-minio-s0x ~]# systemctl start minio.service
[root@node-minio-s0x ~]# systemctl enable minio.service

Check des statuts

[root@node-minio-s01 ~]# systemctl status minio.service

[root@node-minio-s02 home]# systemctl status minio.service

[root@node-minio-s03 home]# systemctl status minio.service

[root@node-minio-s04 home]# systemctl status minio.service

[root@node-minio-s05 home]# systemctl status minio.service

[root@node-minio-s06 home]# systemctl status minio.service

Connexion au service

Pour rappel

• Login : minioadmin
• Password : minioadmin
• http://node-minio-s01.house.cpb:9000

Création d’un « bucket »

Précisez un nom de « bucket » et « Create Bucket »

Check des metrics

On retrouve notre cluster

• 6 serveurs minIO
• 24 Disques – 4/Serveurs
• 1 Bucket

Views: 5

L’article MODOP – Partie 1 – Installation Cluster 6 hosts minIO est apparu en premier sur CoffeeBreak Info.

Constitution du Cluster

• node-minio-h01
• node-minio-h02

Spécification des 2 nodes HA minIO

• IP : 10.100.0.47 à 10.100.48
• IP virtuelle : 10.100.49 
• DNS VIP : cluster-minio.house.cpb
• vCPU : 2
• RAM : 2Go
• Disque : 8Go (Système)
• OS : RockyLinux 8

1. Installation des prérequis ( 2 nodes)

Mise à jour

[root@node-minio-h0x ~]# dnf -y update

Installation des middlewares

[root@node-minio-h0x ~]# dnf install dnf-utils epel-release net-tools nmap curl wget tar -y

Désactiver SELinux

[root@node-minio-h0x ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
[root@node-minio-h0x ~]# setenforce 0

Synchroniser DateTime sur le fuseau de PARIS

[root@node-minio-h0x ~]# timedatectl set-timezone Europe/Paris
[root@node-minio-h0x ~]# timedatectl

Intégration des Hosts au DNS

[root@node-minio-s01 ~]# for i in {1..2} ; do nslookup node-minio-h0${i} ; done

[root@node-minio-s01 ~]# nslookup cluster-minio.house.cpb

Règle de Firewall

[root@node-minio-h0x ~]# firewall-cmd --remove-service={dhcpv6-client,cockpit} --permanent && firewall-cmd --reload
[root@node-minio-h0x ~]# firewall-cmd --add-port={9000,9001}/tcp --permanent && firewall-cmd --reload

2. Installation du « heartbeat » keepAlive (2 nodes)

Installation des binaires

[root@node-minio-h0x ~]# dnf search keepalive

[root@node-minio-h0x ~]# dnf install keepalived –y
[root@node-minio-h0x ~]# dnf -y install ipvsadm

Chargement du module ip_vs

[root@node-minio-h0x ~]# modprobe ip_vs
[root@node-minio-h0x ~]# lsmod |grep ip_vs

Configuration KeepAlive

[root@node-minio-h0x ~]# mv /etc/keepalived/keepalived.conf{,-old}

Node-minio-h01

[root@node-minio-h01 ~]# vi /etc/keepalived/keepalived.conf

! /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
 notification_email {
 chris@house.cpb
 }
 notification_email_from chris@house.cpb
 smtp_server localhost
 smtp_connect_timeout 30
 }

vrrp_instance VI_1 {
 state MASTER
 interface ens18
 virtual_router_id 100
 priority 200
 authentication {
 auth_type PASS
 auth_pass chris@2024
 }

 virtual_ipaddress {
 10.100.0.49/16 dev ens18
 }
}

Node-minio-h02

[root@node-minio-h02 ~]# vi /etc/keepalived/keepalived.conf

! /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
notification_email {
chris@house.cpb
}
 notification_email_from chris@house.cpb
 smtp_server localhost
 smtp_connect_timeout 30
}

vrrp_instance VI_1 {
 state BACKUP
 interface ens18
 virtual_router_id 100
 priority 199
authentication {
 auth_type PASS
 auth_pass chris@2024
}

virtual_ipaddress {
10.100.0.49/16 dev ens18
}
}

Ajout prérequis keepalived

[root@node-minio-h0x ~]# echo "net.ipv4.ip_nonlocal_bind = 1" >> /etc/sysctl.conf
[root@node-minio-h0x ~]# sysctl -p
net.ipv4.ip_nonlocal_bind = 1 

Ajout règles Firewall « vrrp » et « HaProxy »

[root@node-minio-h0x ~]# firewall-cmd --add-rich-rule='rule protocol value="vrrp" accept' --permanent --zone=public
[root@node-minio-h0x ~]# firewall-cmd --add-port=7000/tcp --permanent
[root@node-minio-h0x ~]# firewall-cmd --reload
[root@node-minio-h01 ~]# firewall-cmd --list-all

Lancement du service

Node-minio-h01

[root@node-minio-h01 ~]# systemctl start --now keepalived
[root@node-minio-h01 ~]# systemctl enable keepalived
[root@node-minio-h01 ~]# systemctl status keepalived

[root@node-minio-h01 ~]# ip a show ens18

Node-minio-h02

[root@node-minio-h02 ~]# systemctl start --now keepalived
[root@node-minio-h02 ~]# systemctl enable keepalived
[root@node-minio-h02 ~]# systemctl status keepalived

[root@node-minio-h02 ~]# ip a show ens18

Check « HeartBeat »

Désactivons le master « node-minio-h01 » portant la VIP via la priorité la plus haute.

[root@node-minio-h01 ~]# systemctl stop keepalived
[root@node-minio-h01 ~]# ip a show ens18

[root@node-minio-h02 ~]# journalctl -f -u keepalived

[root@node-minio-h02 ~]# ip a show ens18

3. Installation HaProxy (2 nodes)

Installation des binaires

[root@node-minio-h0x ~]# dnf install -y haproxy

Configuration HaProxy

[root@node-minio-h01 ~]# vi /etc/haproxy/haproxy.cfg

global
 maxconn 100
defaults
 log global
 mode tcp
 retries 2
 timeout client 30m
 timeout connect 4s
 timeout server 30m
 timeout check 5s

listen stats
 mode http
 bind cluster-minio.house.cpb:7000
 stats enable
 stats uri /status
 stats refresh 2s
 stats auth chris:Chris
 stats admin if TRUE

listen Cluster-minio
 bind cluster-minio.house.cpb:9000
 mode tcp
 balance leastconn
 server minio_01 node-minio-s01.house.cpb:9000 check inter 2s
 server minio_02 node-minio-s02.house.cpb:9000 check inter 2s
 server minio_03 node-minio-s03.house.cpb:9000 check inter 2s
 server minio_04 node-minio-s04.house.cpb:9000 check inter 2s
 server minio_05 node-minio-s05.house.cpb:9000 check inter 2s
 server minio_06 node-minio-s06.house.cpb:9000 check inter 2s

listen Service-minio
 bind cluster-minio.house.cpb:9001
 mode tcp
 balance leastconn
 server minio_01 node-minio-s01.house.cpb:9001 check inter 2s
 server minio_02 node-minio-s02.house.cpb:9001 check inter 2s
 server minio_03 node-minio-s03.house.cpb:9001 check inter 2s
 server minio_04 node-minio-s04.house.cpb:9001 check inter 2s
 server minio_05 node-minio-s05.house.cpb:9001 check inter 2s
 server minio_06 node-minio-s06.house.cpb:9001 check inter 2s

[root@node-minio-h01 ~]# haproxy -c -V -f /etc/haproxy/haproxy.cfg

[root@node-minio-h01 ~]# scp /etc/haproxy/haproxy.cfg root@node-minio-h02:/etc/haproxy/haproxy.cfg

Lancement du service

Node-minio-h01

[root@node-minio-h01 ~]# systemctl start haproxy
[root@node-minio-h01 ~]# systemctl enable haproxy
[root@node-minio-h01 ~]# systemctl status haproxy

Node-minio-h02

[root@node-minio-h02 ~]# systemctl start haproxy
[root@node-minio-h02 ~]# systemctl enable haproxy
[root@node-minio-h02 ~]# systemctl status haproxy

Check HaProxy

• http://cluster-minio.house.cpb:7000/stats

4 .Modification du fichier « /etc/default/minio »

Node-minio-s01

[root@node-minio-s01 ~]# vi /etc/default/minio

# Variable spécifiant les hosts et les volumes par hosts
MINIO_VOLUMES="http://node-minio-s0{1...6}.house.cpb:9000/minio/minio_0{1...4}"

#Paramètre du port de la console
MINIO_OPTS="--console-address :9001"

#Credentials
MINIO_ROOT_USER=minioadmin

MINIO_ROOT_PASSWORD=minioadmin

#Adresse VIP du LoadBalancer
MINIO_SERVER_URL="http://cluster-minio.house.cpb:9000"

Node-minio-s02 à Node-minio-s06

[root@node-minio-s01 ~]# for i in {2..6};do scp /etc/default/minio root@node-minio-s0${i}:/etc/default/minio;done

[root@node-minio-s01 ~]# for i in {1..6};do ssh -t root@node-minio-s0${i} "cat /etc/default/minio |grep MINIO_SERVER_URL";done

Redémarrer le service

[root@node-minio-s01 ~]# for i in {1..6};do ssh -t root@node-minio-s0${i} "systemctl stop minio.service";done

Redémarrer en parallèle les 6 nœuds

[root@node-minio-s01 ~]# systemctl restart minio.service
[root@node-minio-s02 ~]# systemctl restart minio.service
[root@node-minio-s03 ~]# systemctl restart minio.service
[root@node-minio-s04 ~]# systemctl restart minio.service
[root@node-minio-s05 ~]# systemctl restart minio.service
[root@node-minio-s06 ~]# systemctl restart minio.service

Check HaProxy et Cluster minIO

• http://cluster-minio.house.cpb:9000/

Views: 16

L’article MODOP – Partie 2 – HA Proxy pour le Cluster minIO est apparu en premier sur CoffeeBreak Info.

Constitution du Cluster

• node-minio-c01

Spécification des 2 nodes HA minIO

• IP : 10.100.0.50
• vCPU : 2
• RAM : 2Go
• Disque : 8Go (Système)
• OS : RockyLinux 8

1. Installation des prérequis

Mise à jour

[root@node-minio-c01 ~]# dnf -y update

Installation des middlewares

[root@node-minio-c01 ~]# dnf install dnf-utils epel-release net-tools nmap curl wget tar -y

Synchroniser DateTime sur le fuseau de PARIS

[root@node-minio-c01 ~]# timedatectl set-timezone Europe/Paris

[root@node-minio-c01 ~]# timedatectl

2. Interaction client ⬄ cluster

Installation « mc » command line

[root@node-minio-c01 ~]# curl https://dl.min.io/client/mc/release/linux-amd64/mc -o /usr/local/bin/mc
[root@node-minio-c01 ~]# chmod +x /usr/local/bin/mc
[root@node-minio-c01 ~]# mc -help

Création des clefs d’accès client sur le cluster

• http://cluster-minio.house.cpb:9001/access-keys

« Create access Key »

« Create »

Copier les deux clefs précieusement

• Acces Key : 74mAOkc0HcqKxBqhq2jH
• Secret Key : eJ2u2YslW9aVmmoGaPgvnmX05EnBHisysDfTBH8q

Import des accès keys sur le client

[root@node-minio-c01 ~]# mc alias set cluster http://cluster-minio.house.cpb:9000 74mAOkc0HcqKxBqhq2jH eJ2u2YslW9aVmmoGaPgvnmX05EnBHisysDfTBH8q

[root@node-minio-c01 ~]# mc alias list

Check le statut du cluster

[root@node-minio-c01 ~]# mc admin info cluster

3. Check les Buckets du Cluster

Liste des buckets présents sur le cluster

[root@node-minio-c01 ~]# mc stat cluster

Création d’un Bucket Web

[root@node-minio-c01 ~]# mc mb cluster/web

[root@node-minio-c01 ~]# mc stat cluster

Copie d’une image dans le Bucket « web »

[root@node-minio-c01 home]# wget https://blog.min.io/content/images/size/w2000/2023/12/Distributed-Data-Processing-with-Ray-Data-and-MinIO.jpg
[root@node-minio-c01 home]# ls -al

[root@node-minio-c01 home]# mc cp Distributed-Data-Processing-with-Ray-Data-and-MinIO.jpg cluster/web

[root@node-minio-c01 home]# mc du cluster/web

[root@node-minio-c01 home]# mc ls cluster/web

« Côté IHM »

Set l’accès en mode Public le Bucket « web »

« Bucket » – « Access Policy » – Change Access Policy « Public » et « Set »

Accès via l’url du Cluster

• http://cluster-minio.house.cpb:9000/web/Distributed-Data-Processing-with-Ray-Data-and-MinIO.jpg

4. Check les Buckets – distribution du fichier sur les Volumes

[root@node-minio-c01 home]# for i in {1..6};do ssh -t root@node-minio-s0${i} "du -a /minio/ |grep Ray-Data-and-MinIO";done

Le fichier « Distributed-Data-Processing-with-Ray-Data-and-MinIO.jpg » est distribué sur les 6 Hosts du cluster minIO et copie sur chacun des disques /dev/sdd1 et /dev/sde1

On peut constater une grande résilience à la panne ou la perte du fichier « Distributed-Data-Processing-with-Ray-Data-and-MinIO.jpg »

5. Installation fuse

Installation du paquet « fuse »

[root@node-minio-c01 ~]# dnf search s3fs-fuse

[root@node-minio-c01 ~]# dnf install -y s3fs-fuse

Création du fichier d’authentification via l’« access key »

Pour rappel

• Acces Key : 74mAOkc0HcqKxBqhq2jH
• Secret Key : eJ2u2YslW9aVmmoGaPgvnmX05EnBHisysDfTBH8q

[root@node-minio-c01 ~]# echo 74mAOkc0HcqKxBqhq2jH:eJ2u2YslW9aVmmoGaPgvnmX05EnBHisysDfTBH8q >> /root/.passwd_cluster
[root@node-minio-c01 ~]# chmod 600 /root/.passwd_cluster
[root@node-minio-c01 ~]# ls -al /root/.passwd_cluster

Montage du bucket « web »

[root@node-minio-c01 ~]# mkdir /web01
[root@node-minio-c01 ~]# s3fs web /web01 -o passwd_file=/root/.passwd_cluster,use_path_request_style,url=http://cluster-minio:9000
[root@node-minio-c01 ~]# df -h |grep web

[root@node-minio-c01 ~]# mount | grep s3fs

[root@node-minio-c01 ~]# ls -al /web01

[root@node-minio-c01 ~]# du -sh /web01/*

Check fichier distribué via Fuse

[root@node-minio-c01 home]# wget https://www.ecranlarge.com/uploads/image/001/120/bob-leponge-photo-1120727.jpg
[root@node-minio-c01 home]# cp bob-leponge-photo-1120727.jpg /web01/
[root@node-minio-c01 home]# du -a /web01

Côté IHM

Accès via l’url du Cluster

• http://cluster-minio.house.cpb:9000/web/bob-leponge-photo-1120727.jpg

Côté des clusters disques (24 Disques)

[root@node-minio-c01 home]# for i in {1..6};do ssh -t root@node-minio-s0${i} "du -a /minio/ |grep /bob-leponge-photo";done

Le fichier « bob-leponge-photo-1120727.jpg » est distribué sur les 6 Hosts du cluster minIO et copie sur chacun des disques /dev/sdb1 et /dev/sdc1

On peut constater une grande résilience à la panne ou la perte du fichier « bob-leponge-photo-1120727.jpg »

Views: 0

L’article MODOP – Partie 3 – Client Linux – Cluster minIO est apparu en premier sur CoffeeBreak Info.

Constitution du Cluster

• node-minio-r01
• node-minio-r02
• node-minio-r03

Spécification des 3 nodes minIO

• IP : 10.10.0.51 à 10.10.53
• vCPU : 2
• RAM : 2Go
• Disque : 8Go (Système)
• Disque : 32Go (Data01)
• Disque : 32Go (Data02)
• Disque : 32Go (Data03)
• Disque : 32Go (Data04)
• OS : RockyLinux 8

1. Installation des prérequis (3 nœuds réplicas)

Mise à jour

[root@node-minio-r0x ~]# dnf -y update

Installation des middlewares

[root@node-minio-r0x ~]# dnf install dnf-utils epel-release net-tools nmap curl wget tar -y

Désactiver SELinux

[root@node-minio-r0x ~]# getenforce
Enforcing
[root@node-minio-r0x ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
[root@node-minio-r0x ~]# setenforce 0
[root@node-minio-r0x ~]# getenforce
Permissive

Synchroniser DateTime sur le fuseau de PARIS

[root@node-minio-r0x ~]# timedatectl set-timezone Europe/Paris
[root@node-minio-r0x ~]# timedatectl

Intégration des Hosts au DNS

[root@node-minio-r0x ~]# for i in {1..3} ; do nslookup node-minio-r0${i} ; done

Règle de Firewall

[root@node-minio-r0x ~]# firewall-cmd --remove-service={dhcpv6-client,cockpit} --permanent && firewall-cmd –reload
[root@node-minio-r0x ~]# firewall-cmd --add-port={9000,9001}/tcp --permanent && firewall-cmd --reload

2. Préparation des disques MinIO (3 nœuds réplicas)

[root@node-minio-r0x home]# lsblk

Partitionnement des disques

[root@node-minio-r0x ~]# parted -s /dev/sdb mklabel msdos
[root@node-minio-r0x ~]# parted -s /dev/sdc mklabel msdos
[root@node-minio-r0x ~]# parted -s /dev/sdd mklabel msdos
[root@node-minio-r0x ~]# parted -s /dev/sde mklabel msdos

[root@node-minio-r0x ~]# parted -s /dev/sdb mkpart primary 1MiB 100%
[root@node-minio-r0x ~]# parted -s /dev/sdc mkpart primary 1MiB 100%
[root@node-minio-r0x ~]# parted -s /dev/sdd mkpart primary 1MiB 100%
[root@node-minio-r0x ~]# parted -s /dev/sde mkpart primary 1MiB 100%

[root@node-minio-r0x home]# lsblk

Formatage des disques

[root@node-minio-r0x ~]# mkfs.xfs -f /dev/sdb1
[root@node-minio-r0x ~]# mkfs.xfs -f /dev/sdc1
[root@node-minio-r0x ~]# mkfs.xfs -f /dev/sdd1
[root@node-minio-r0x ~]# mkfs.xfs -f /dev/sde1

Montage des disques

[root@node-minio-r0x ~]# for i in {1..4} ;do mkdir -p /minio/replicat_0${i};done
[root@node-minio-r0x ~]# ls -al /minio/

[root@node-minio-r0x ~]# echo "/dev/sdb1 /minio/replicat_01 xfs defaults 0 0" >> /etc/fstab
[root@node-minio-r0x ~]# echo "/dev/sdc1 /minio/replicat_02 xfs defaults 0 0" >> /etc/fstab
[root@node-minio-r0x ~]# echo "/dev/sdd1 /minio/replicat_03 xfs defaults 0 0" >> /etc/fstab
[root@node-minio-r0x ~]# echo "/dev/sde1 /minio/replicat_04 xfs defaults 0 0" >> /etc/fstab
[root@node-minio-r0x ~]# systemctl daemon-reload

[root@node-minio-r0x ~]# for i in {1..4} ;do mount /minio/replicat_0${i};done
[root@node-minio-r0x ~]# df -h |grep mini

3. Création des comptes (3 nœuds réplicas)

[root@node-minio-r0x ~]# groupadd -r minio-user
[root@node-minio-r0x ~]# useradd -M -r -g minio-user minio-user
[root@node-minio-r0x ~]# chown -R minio-user:minio-user /minio
[root@node-minio-r0x ~]# ls -al /minio

4. Installation MinIO (3 nœuds réplicas)

Installation des binaires

Téléchargement des binaires

[root@node-minio-r0x ~]# cd /home/
[root@node-minio-r0x home]# wget https://dl.min.io/server/minio/release/linux-amd64/archive/minio-20240406052602.0.0-1.x86_64.rpm
[root@node-minio-r0x home]# dnf install minio-20240406052602.0.0-1.x86_64.rpm

5. Création du service minIO (3 nœuds réplicas)

[root@node-minio-r0x ~]# vi /usr/lib/systemd/system/minio.service

[Unit]
Description=MinIO
Documentation=https://docs.min.io
Wants=network-online.target
After=network-online.target
AssertFileIsExecutable=/usr/local/bin/minio

[Service]
Type=notify
WorkingDirectory=/usr/local
User=minio-user
Group=minio-user
ProtectProc=invisible
EnvironmentFile=-/etc/default/minio
ExecStartPre=/bin/bash -c "if [ -z \"${MINIO_VOLUMES}\" ]; then echo \"Variable MINIO_VOLUMES not set in /etc/default/minio\"; exit 1; fi"
ExecStart=/usr/local/bin/minio server $MINIO_OPTS $MINIO_VOLUMES

# Let systemd restart this service always
Restart=always

# Specifies the maximum file descriptor number that can be opened by this process
LimitNOFILE=1048576

# Turn-off memory accounting by systemd, which is buggy.
MemoryAccounting=no

# Specifies the maximum number of threads this process can create
TasksMax=infinity

# Disable timeout logic and wait until process is stopped
TimeoutSec=infinity
SendSIGKILL=no

[Install]
WantedBy=multi-user.target

6. Variable environnement minIO (3 nœuds réplicas)

Les Hosts minIO

• node-minio-r01
• node-minio-r02
• node-minio-r03

Les disques minIO

• /minio/replicat_01
• /minio/replicat_02
• /minio/replicat_03
• /minio/replicat_04

[root@node-minio-r0x ~]# mkdir /etc/minio
[root@node-minio-r0x ~]# chown minio-user:minio-user /etc/minio

Fichier d’environnement

[root@node-minio-r0x ~]# vi /etc/default/minio

# Variable spécifiant les hosts et les volumes par hosts
MINIO_VOLUMES="http://node-minio-r0{1...3}.house.cpb:9000/minio/replicat_0{1...4}"

#Paramètre du port de la console
MINIO_OPTS="--console-address :9001"

#Credentials , tous les nœuds entre sites doivent avoir les mêmes crdentials
MINIO_ROOT_USER= minioadmin
MINIO_ROOT_PASSWORD= minioadmin

#Adresse VIP du LoadBalancer
#MINIO_SERVER_URL=http://minio.house.cpb:9000

7. Démarrage du cluster (3 nœuds réplicas)

Démarrage du service (les 3 parallèlements )

[root@node-minio-r0x ~]# systemctl start minio.service
[root@node-minio-r0x ~]# systemctl enable minio.service

Check des statuts

[root@node-minio-r01 ~]# systemctl status minio.service

[root@node-minio-r02 ~]# systemctl status minio.service

[root@node-minio-r03 ~]# systemctl status minio.service

Connexion au service

Pour rappel

• Login : replicatadmin
• Password : replicatadmin
• http://node-minio-r01.house.cpb:9000

Views: 2

L’article MODOP – Partie 4 – Cluster de Réplication MinIO est apparu en premier sur CoffeeBreak Info.

• node-minio-n01
• node-minio-n02

Spécification des 2 nodes HA minIO

• IP : 10.10.0.54 à 10.10.55
• IP virtuelle : 10.100.56
• DNS VIP : replicas-minio.house.cpb
• vCPU : 2
• RAM : 2Go
• Disque : 8Go (Système)
• OS : RockyLinux 8

1. Installation des prérequis (2 nodes)

Mise à jour

[root@node-minio-n0x ~]# dnf -y update

Installation des middlewares

[root@node-minio-n0x ~]# dnf install dnf-utils epel-release net-tools nmap curl wget tar –y

Désactiver SELinux

[root@node-minio-n0x ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
[root@node-minio-n0x ~]# setenforce 0

Synchroniser DateTime sur le fuseau de PARIS

[root@node-minio-n0x ~]# timedatectl set-timezone Europe/Paris

Intégration des Hosts au DNS

[root@node-minio-n01 ~]# for i in {1..2} ; do nslookup node-minio-n0${i} ; done

[root@node-minio-n01 ~]# nslookup replicas-minio.house.cpb

Règle de Firewall

[root@node-minio-n0x ~]# firewall-cmd --remove-service={dhcpv6-client,cockpit} --permanent && firewall-cmd --reload
[root@node-minio-n0x ~]# firewall-cmd --add-port={9000,9001}/tcp --permanent && firewall-cmd --reload

2. Installation du « heartbeat » keepAlive (2 nodes)

Installation des binaires

[root@node-minio-n0x ~]# dnf install keepalived ipvsadm –y

Chargement du module ip_vs

[root@node-minio-h01 ~]# modprobe ip_vs
[root@node-minio-h01 ~]# lsmod |grep ip_vs

Configuration KeepAlive

[root@node-minio-n0x ~]# mv /etc/keepalived/keepalived.conf{,-old}

Node-minio-h01

[root@node-minio-n01 ~]# vi /etc/keepalived/keepalived.conf

! /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
 notification_email {
 chris@house.cpb
 }
 notification_email_from chris@house.cpb
 smtp_server localhost
 smtp_connect_timeout 30
 }

vrrp_instance VI_1 {
 state MASTER
 interface ens18
 virtual_router_id 100
 priority 200
 authentication {
  auth_type PASS
  auth_pass replicas@2024
 }

 virtual_ipaddress {
10.10.0.56/16 dev ens18
 }
}

Node-minio-h02

[root@node-minio-n02 ~]# vi /etc/keepalived/keepalived.conf

! /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
notification_email {
chris@house.cpb
}
 notification_email_from chris@house.cpb
 smtp_server localhost
 smtp_connect_timeout 30
}

vrrp_instance VI_1 {
 state BACKUP
 interface ens18
 virtual_router_id 100
 priority 199
authentication {
 auth_type PASS
 auth_pass replicas@2024
}

virtual_ipaddress {
10.10.0.56/16 dev ens18
 }
}

Ajout prérequis keepalived

[root@node-minio-n0x ~]# echo "net.ipv4.ip_nonlocal_bind = 1" >> /etc/sysctl.conf
[root@node-minio-n0x ~]# sysctl -p
net.ipv4.ip_nonlocal_bind = 1 

Ajout règles Firewall « vrrp »

[root@node-minio-n0x ~]# firewall-cmd --add-rich-rule='rule protocol value="vrrp" accept' --permanent --zone=public
[root@node-minio-n0x ~]# firewall-cmd --reload

Lancement du service

Node-minio-h01

[root@node-minio-n01 ~]# systemctl start --now keepalived
[root@node-minio-n01 ~]# systemctl enable keepalived
[root@node-minio-n01 ~]# systemctl status keepalived

[root@node-minio-n01 ~]# ip a show ens18

Node-minio-h02

[root@node-minio-n02 ~]# systemctl start --now keepalived
[root@node-minio-n02 ~]# systemctl enable keepalived
[root@node-minio-n02 ~]# systemctl status keepalived

[root@node-minio-h02 ~]# ip a show ens18

Check « HeartBeat »

Désactivons le master « node-minio-n01 » portant la VIP via la priorité la plus haute.

[root@node-minio-n01 ~]# systemctl stop keepalived
[root@node-minio-n01 ~]# ip a show ens18

[root@node-minio-h02 ~]# ip a show ens18

3. Installation Loadbalancer via « nginx » (2 nodes)

Installation des binaires

[root@node-minio-n0x ~]# dnf install nginx -y

Configuration nginx « loadbalancer »

[root@node-minio-n0x ~]# mv /etc/nginx/nginx.conf{,-old}

Node-minio-n01 et Node-minio-n02

[root@node-minio-n0x ~]# vi /etc/nginx/nginx.conf

user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log;
pid /run/nginx.pid;

# Load dynamic modules. See /usr/share/doc/nginx/README.dynamic.
include /usr/share/nginx/modules/*.conf;
events {
 worker_connections 1024;
}

http {
 log_format main '$remote_addr - $remote_user [$time_local] "$request" '
 '$status $body_bytes_sent "$http_referer" '
 '"$http_user_agent" "$http_x_forwarded_for"';
 access_log /var/log/nginx/access.log main;
 sendfile on;
 tcp_nopush on;
 tcp_nodelay on;
 keepalive_timeout 65;
 types_hash_max_size 2048;
 include /etc/nginx/mime.types;
 default_type application/octet-stream;

### Serveur MinIO
 upstream api_minio {
 least_conn;
 server node-minio-r01.house.cpb:9000;
 server node-minio-r02.house.cpb:9000;
 server node-minio-r02.house.cpb:9000;
 }

 upstream replicas_minio {
 least_conn;
 server node-minio-r01.house.cpb:9001;
 server node-minio-r02.house.cpb:9001;
 server node-minio-r03.house.cpb:9001;
 }

 server {
 listen 80 default_server;
 server_name replicas-minio.house.cpb;

 ## Préconisation Minio
 ignore_invalid_headers off;
 client_max_body_size 0;
 proxy_buffering off;
 proxy_request_buffering off;

 location / {
 proxy_set_header Host $http_host;
 proxy_set_header X-Real-IP $remote_addr;
 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
 proxy_set_header X-Forwarded-Proto $scheme;
 proxy_connect_timeout 300;
 proxy_http_version 1.1;
 proxy_set_header Connection "";
 chunked_transfer_encoding off;
 proxy_pass http://api_minio;
 }

location /minio/ui/ {
 rewrite ^/minio/ui/(.*) /$1 break;
 proxy_set_header Host $http_host;
 proxy_set_header X-Real-IP $remote_addr;
 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
 proxy_set_header X-Forwarded-Proto $scheme;
 proxy_set_header X-NginX-Proxy true;

 # This is necessary to pass the correct IP to be hashed
 real_ip_header X-Real-IP;
 proxy_connect_timeout 300;

 # To support websockets in MinIO versions released after January 2023
 proxy_http_version 1.1;
 proxy_set_header Upgrade $http_upgrade;
 proxy_set_header Connection "upgrade";
 chunked_transfer_encoding off;
 proxy_pass http://replicas_minio

 }
 }
}

Modification du fichier « /etc/default/minio » sur les 3 nœuds node-minio-r0x

[root@node-minio-r0x ~]# vi /etc/default/minio

# Variable spécifiant les hosts et les volumes par hosts
MINIO_VOLUMES="http://node-minio-r0{1...3}.house.cpb:9000/minio/replicat_0{1...4}"

#Paramètre du port de la console
MINIO_OPTS="--console-address :9001"

#Credentials
MINIO_ROOT_USER=replicatadmin
MINIO_ROOT_PASSWORD=replicatadmin

#Adresse VIP du LoadBalancer
MINIO_SERVER_URL=http://replicas-minio.house.cpb
MINIO_BROWSER_REDIRECT_URL=http://replicas-minio.house.cpb/minio/ui 

[root@node-minio-r01 ~]# systemctl restart minio.service
[root@node-minio-r02 ~]# systemctl restart minio.service
[root@node-minio-r03 ~]# systemctl restart minio.service

Lancement du service « nginx »

Node-minio-n01

[root@node-minio-n01 ~]# systemctl start nginx
[root@node-minio-h01 ~]# systemctl enable nginx
[root@node-minio-h01 ~]# systemctl status nginx

[root@node-minio-n01 ~]# netstat -antp

Node-minio-n02

[root@node-minio-n02 ~]# systemctl start nginx
[root@node-minio-n02 ~]# systemctl enable nginx
[root@node-minio-n02 ~]# systemctl status nginx

[root@node-minio-n02 ~]# netstat -antp

Connexion cluster replicas minIO via Nginx LB

• http://replicas-minio.house.cpb

Views: 0

L’article MODOP – Partie 5 – Installation « LoadBalancer » Cluster Réplicas est apparu en premier sur CoffeeBreak Info.

2. Création compte « User_replicas_Prod » sur le site de production

• http://cluster-minio.house.cpb:9001/identity/users

« Create User »

« Save »

Compte

• Login : User_replicas_Prod
• Password : User_replicas_Prod@2024

3. Création compte « User_replicas_Dr » sur le site de réplication

• http://replicas-minio.house.cpb/minio/ui/identity/users

« Create User »

« Save »

Compte

• Login : User_replicas_Dr
• Password : User_replicas_Dr@2024

Inventaire des « users »

4. Connexion du Site de Production vers le Site de réplication

• http://cluster-minio.house.cpb:9001/settings/site-replication

En mode IHM

« Add Sites »

Ajouter les URL et les Clefs de chacun des utilisateurs des clusters et « Save »

En mode CLI

Set Alias Cluster via Compte Admin

[root@node-minio-s01 ~]# mc alias set P http://cluster-minio.house.cpb:9000 minioadmin minioadmin
[root@node-minio-s01 ~]# mc alias set R http://replicas-minio.house.cpb minioadmin minioadmin

Set compte User Réplicas

[root@node-minio-s01 home]# ./mc admin user add P User_replicas_Prod User_replicas_Prod@2024
[root@node-minio-s01 home]# ./mc admin user add R User_replicas_Dr User_replicas_Dr@2024

Set Alias Cluster via Compte réplicas intersites

[root@node-minio-s01 ~]# mc alias set prod http://cluster-minio.house.cpb:9000 User_replicas_Prod User_replicas_Prod@2024
[root@node-minio-s01 ~]# mc alias set dr http://replicas-minio.house.cpb User_replicas_Dr User_replicas_Dr@2024

Connexion intersites Prod ⬄ DR

[root@node-minio-s01 ~]# mc admin replicate add prod dr

La réplication est désormais disponible, Les données de la PROD vont se déverser sur la réplication

Les « Buckets » sont bien présent sur le « réplicas » ainsi que les fichiers

5. Réplication Actif ⬄ Actif (priority 1 )

Règle sur le « bucket » volume-data

[root@node-minio-s01 home]# ./mc replicate export dr/volume-data

[root@node-minio-s01 home]# ./mc replicate update dr/volume-data --id site-repl-5b3158a4-5025-4658-9110-f39165c1b819 --priority 1
Replication configuration rule with ID `site-repl-5b3158a4-5025-4658-9110-f39165c1b819` applied to dr/volume-data.

[root@node-minio-s01 home]# ./mc replicate export dr/volume-data

Règle sur le « bucket » web

[root@node-minio-s01 home]# ./mc replicate export dr/web

[root@node-minio-s01 home]# ./mc replicate update dr/web --id site-repl-5b3158a4-5025-4658-9110-f39165c1b819 --priority 1
Replication configuration rule with ID `site-repl-5b3158a4-5025-4658-9110-f39165c1b819` applied to dr/web.

[root@node-minio-s01 home]# ./mc replicate export prod/web

6. Check réplication Production ⬄ Réplication

Inventaire de début

[root@node-minio-s01 home]# ./mc ls prod/web

[root@node-minio-s01 home]# ./mc ls dr/web

Chargement d’un fichier sur le « Bucker » web de Production

[root@node-minio-s01 home]# watch -n 1 ./mc replicate resync status dr/web

« Aucune synchro pour le moment »

Sur le client « node-minio-c01 »

[root@node-minio-c01 ~]# cat /etc/fstab |grep web

[root@node-minio-c01 ~]# df -h |grep s3fs

[root@node-minio-c01 ~]# ls -al /web01/

Chargement d’un fichier iso sur la ressource /web01 => Cluster Production minIO

[root@node-minio-c01 ~]# cd /web01
[root@node-minio-c01 web01]#wget https://enterprise.proxmox.com/iso/proxmox-ve_8.2-1.iso
[root@node-minio-c01 web01]# ls -al /web01/

« Côté montage »

« Côté IHM PROD »

« Côté IHM DR »

Résultat de réplication du téléchargement « proxmox iso »

Vue via le Bucket «web »

[root@node-minio-s01 home]# ./mc ls prod/web
[root@node-minio-s01 home]# ./mc ls dr/web

Fichier « iso » par disques du cluster de PROD

[root@node-minio-s01 home]# for i in {1..6};do ssh -t root@node-minio-s0${i} "find /minio -name proxmox-ve_8.2-1.iso" ; done

Fichier « iso » par disques du cluster de réplication DR

[root@node-minio-s01 home]# for i in {1..3};do ssh -t root@node-minio-r0${i} "find /minio -name proxmox-ve_8.2-1.iso" ; done

Views: 2

L’article MODOP – Partie 6 – Réplication de donnéess MultiSites/MultiServer MinIO est apparu en premier sur CoffeeBreak Info.