1. Inventaire des Machines

2. Composition des Clusters

MODOP Cluster SeaWeedFS – Partie 2 – Installation 3 nodes Master

MODOP Cluster SeaWeedFS – Partie 2 – Installation 3 nodes Master

Composition du Cluster « Master »

Les maîtres (masters) dans SeaweedFS jouent un rôle crucial dans le système de fichiers distribué. Voici leurs principales fonctions :

Coordination et gestion 
Les maîtres sont responsables de la coordination entre les différents composants du cluster SeaweedFS, tels que les serveurs de volumes et les clients.
Ils gèrent les informations sur les volumes, les emplacements des fichiers et les métadonnées associées.

Répartition de charge :
Les maîtres répartissent la charge entre les serveurs de volumes en affectant les volumes aux serveurs disponibles.
Cela garantit une utilisation équilibrée des ressources et une distribution uniforme des fichiers.

Découverte des serveurs de volumes :
Lorsqu’un client souhaite lire ou écrire un fichier, il contacte d’abord un maître pour obtenir des informations sur les serveurs de volumes appropriés.
Les maîtres fournissent les adresses des serveurs de volumes qui contiennent les données recherchées.

Gestion des serveurs de volumes :
Les maîtres surveillent l’état des serveurs de volumes.
En cas de panne d’un serveur de volume, les maîtres mettent à jour les informations de réplication et réaffectent les volumes si nécessaires.

Réplication des données :
Les maîtres gèrent la réplication des données pour garantir la disponibilité et la tolérance aux pannes.
Ils s’assurent que chaque fichier est stocké sur plusieurs serveurs de volumes pour éviter la perte de données en cas de défaillance matérielle.

En résumé, les maîtres de SeaweedFS sont essentiels pour assurer la cohérence, la disponibilité et la performance du système de fichiers distribué. Ils agissent comme un cerveau central qui orchestre les opérations et maintient l’intégrité du cluster

MODOP Cluster SeaWeedFS – Partie 3 – Installation 4 nodes Volumes

MODOP Cluster SeaWeedFS – Partie 3 – Installation 4 nodes Volumes

Composition du Cluster « Volumes »

Dans SeaweedFS, les volumes jouent un rôle essentiel dans le stockage et la gestion des fichiers. Voici ce que vous devez savoir sur les volumes :

Gestion des données :
Au lieu de gérer tous les métadonnées de fichiers dans un maître central, SeaweedFS choisit de gérer les volumes dans le maître central.
Les serveurs de volumes gèrent ensuite les fichiers et leurs métadonnées.
Chaque volume de données a une taille de 32 Go et peut contenir de nombreux fichiers.
Chaque nœud de stockage peut avoir plusieurs volumes de données.

Répartition de la charge :
Les volumes permettent de répartir la charge entre les serveurs de volumes.
En ajoutant plus de serveurs de volumes, vous pouvez augmenter la capacité du système sans surcharger le maître central.

Accès rapide aux fichiers :
SeaweedFS permet un accès rapide aux fichiers grâce à cette approche.
La gestion des métadonnées est décentralisée, ce qui réduit la pression sur le maître central.
L’accès aux fichiers est généralement très rapide, nécessitant souvent une seule opération de lecture de disque.

En résumé, les volumes dans SeaweedFS sont des unités de stockage qui permettent une gestion efficace des fichiers et des métadonnées, tout en garantissant des performances élevées.

MODOP Cluster SeaWeedFS – Partie 4 – Installation 4 nodes Filers

MODOP Cluster SeaWeedFS – Partie 4 – Installation 4 nodes Filers

Composition du Cluster « Filers »

Les filers dans SeaweedFS jouent un rôle essentiel dans la gestion des répertoires de fichiers. Voici leurs principales fonctions :

Gestion des répertoires :
Les filers sont responsables de la gestion des répertoires et de la structure des fichiers.
Ils stockent les métadonnées associées aux fichiers, telles que les noms, les autorisations et les chemins d’accès.

Utilisation de magasins de données externes :
Contrairement à d’autres systèmes de fichiers, SeaweedFS Filer utilise des magasins de données externes (tels que MySQL, PostgreSQL, SQLite, MongoDB, Redis, etc.) pour gérer les informations sur les répertoires.
Ces magasins sont éprouvés, évolutifs et plus faciles à gérer.

Répartition de la charge :
Les filers répartissent la charge entre les serveurs de volumes en gérant les métadonnées de manière décentralisée.
Cela permet d’éviter une pression excessive sur le maître central et d’améliorer les performances d’accès aux fichiers.

Accès rapide aux fichiers :
En déchargeant les métadonnées des fichiers vers les serveurs de volumes, les filers permettent un accès rapide aux fichiers.

En résumé, les filers de SeaweedFS sont essentiels pour gérer la structure des répertoires, répartir la charge et garantir des performances élevées lors de l’accès aux fichiers

MODOP Cluster SeaWeedFS – Partie 5 – Client Linux

MODOP Cluster SeaWeedFS – Partie 5 – Client Linux

Mise en place d’un client Linux afin d’interagir avec le cluster SeaWeedFS

MODOP Cluster SeaWeedFS – Partie 6 – Ajout 2 nodes « Master »

MODOP Cluster SeaWeedFS – Partie 6 – Ajout 2 nodes Master

Composition du nouveau Cluster « Master »

MODOP Cluster SeaWeedFS – Partie 7 – Ajout 1 node «Volume »

MODOP Cluster SeaWeedFS – Partie 7 – Ajout 1 node Volume

Composition du nouveau Cluster « Volume »

MODOP Cluster SeaWeedFS – Partie 8 – Ajout 1 node «Filer »

MODOP Cluster SeaWeedFS – Partie 8 – Ajout 1 node Filers

Composition du nouveau Cluster « Filers »

Views: 7

L’article MODOP Cluster SeaWeedFS – Partie 1 -Introduction est apparu en premier sur CoffeeBreak Info.

Constitution du cluster Master

• node-seaweed-m01
• node-seaweed-m02
• node-seaweed-m03

Spécification des 3 Master

• IP : 10.100.0.157 à 10.100.0.159
• vCPU : 2
• RAM : 2Go
• Disque : 8Go (Système)
• OS : RockyLinux 8

Installation des prérequis ( les 3 masters)

[root@node-seaweed-m0x ~]# dnf update
[root@node-seaweed-m0x ~]# yum install git make wget -y
[root@node-seaweed-m0x ~]# dnf install dnf-utils

Installation paquet GO ( les 3 masters)

[root@node-seaweed-m0x ~]# wget https://go.dev/dl/go1.21.6.linux-amd64.tar.gz
[root@node-seaweed-m0x ~]# tar -xzvf go1.21.6.linux-amd64.tar.gz -C /usr/local
[root@node-seaweed-m0x ~]# echo 'export GOROOT=/usr/local/go' | tee -a /etc/profile
export GOROOT=/usr/local/go

[root@node-seaweed-m0x ~]# echo 'export PATH=$PATH:/usr/local/go/bin' | tee -a /etc/profile
export PATH=$PATH:/usr/local/go/bin

[root@node-seaweed-m0x ~]# source /etc/profile
[root@node-seaweed-m0x ~]# go version
go version go1.21.6 linux/amd64

Installation paquet seaweedfs ( les 3 masters)

[root@node-seaweed-m0x ~]# git clone https://github.com/chrislusf/seaweedfs.git
[root@node-seaweed-m0x ~]# cd ~/seaweedfs
[root@node-seaweed-m0x seaweedfs]# go get -u github.com/google/go-cmp/cmp
[root@node-seaweed-m0x seaweedfs]# make install
[root@node-seaweed-m0x seaweedfs]# cp ~/go/bin/weed /usr/local/bin/
[root@node-seaweed-m0x seaweedfs]# weed version
version 30GB 3.62 linux amd64

Ajout des Hosts « master » sur le DNS de l’infrastructure

[root@node-seaweed-m0x ~]# for i in {1..3};do nslookup node-seaweed-m0$i;done

Création folder « master » ( les 3 masters)

[root@node-seaweed-m0x ~]# mkdir /mnt/seaweedfs

Régles Firewall ( les 3 masters)

[root@node-seaweed-m0x ~]#firewall-cmd --remove-service={cockpit,dhcpv6-client} --permanent
[root@node-seaweed-m0x ~]#firewall-cmd --add-port=9333/tcp --permanent
[root@node-seaweed-m0x ~]#firewall-cmd --add-port=19333/tcp --permanent
[root@node-seaweed-m0x ~]#firewall-cmd --reload

Lancement du cluster

Sur node-seaweed-m01

[root@node-seaweed-m01 ~]# weed master -port=9333 -peers=node-seaweed-m01:9333,node-seaweed-m02:9333,node-seaweed-m03:9333 -ip=node-seaweed-m01 &

Sur node-seaweed-m02

[root@node-seaweed-m02 ~]# weed master -port=9333 -peers=node-seaweed-m01:9333,node-seaweed-m02:9333,node-seaweed-m03:9333 -ip=node-seaweed-m02 &

Sur node-seaweed-m03

[root@node-seaweed-m03 ~]# weed master -port=9333 -peers=node-seaweed-m01:9333,node-seaweed-m02:9333,node-seaweed-m03:9333 -ip=node-seaweed-m03 &

• http://node-seaweed-m01:9333

Contrôle du HA « Master Leader »

On stop le service du Leader node-seaweed-m01

Sur node-seaweed-m02

Sur node-seaweed-m03

• http://node-seaweed-m02:9333

Type de réplication

Création des services

Sur node-seaweed-m01

[root@node-seaweed-m01 ~]# vi /etc/systemd/system/seaweedmaster.service

[Unit]
Description=SeaweedFS Master
After=network.target

[Service]
Type=simple
User=root
Group=root
ExecStart=weed master -mdir=/mnt/seaweedfs -port=9333 -peers=node-seaweed-m01:9333,node-seaweed-m02:9333,node-seaweed-m03:9333 -ip=node-seaweed-m01 -defaultReplication=110
WorkingDirectory=/usr/local/bin/
SyslogIdentifier=seaweedfs-master

[Install]
WantedBy=multi-user.target

[root@node-seaweed-m01 ~]# systemctl daemon-reload
[root@node-seaweed-m01 ~]# systemctl enable seaweedmaster

Sur node-seaweed-m02

[root@node-seaweed-m02 ~]# vi /etc/systemd/system/seaweedmaster.service

[Unit]
Description=SeaweedFS Master
After=network.target

[Service]
Type=simple
User=root
Group=root
ExecStart=weed master -mdir=/mnt/seaweedfs -port=9333 -peers=node-seaweed-m01:9333,node-seaweed-m02:9333,node-seaweed-m03:9333 -ip=node-seaweed-m02 -defaultReplication=110
WorkingDirectory=/usr/local/bin/
SyslogIdentifier=seaweedfs-master

[Install]
WantedBy=multi-user.target

[root@node-seaweed-m02 ~]# systemctl daemon-reload
[root@node-seaweed-m02 ~]# systemctl enable seaweedmaster

Sur node-seaweed-m03

[root@node-seaweed-m03 ~]# vi /etc/systemd/system/seaweedmaster.service

[Unit]
Description=SeaweedFS Master
After=network.target

[Service]
Type=simple
User=root
Group=root
ExecStart=weed master -mdir=/mnt/seaweedfs -port=9333 -peers=node-seaweed-m01:9333,node-seaweed-m02:9333,node-seaweed-m03:9333 -ip=node-seaweed-m03 -defaultReplication=110
WorkingDirectory=/usr/local/bin/
SyslogIdentifier=seaweedfs-master

[Install]
WantedBy=multi-user.target

[root@node-seaweed-m03 ~]# systemctl daemon-reload
[root@node-seaweed-m03 ~]# systemctl enable seaweedmaster

Démarrage des services

Sur node-seaweed-m01

[root@node-seaweed-m01 ~]# systemctl start seaweedmaster
[root@node-seaweed-m01 ~]# journalctl -u seaweedmaster.service

Sur node-seaweed-m02

[root@node-seaweed-m02 ~]# systemctl start seaweedmaster
[root@node-seaweed-m02 ~]# journalctl -u seaweedmaster.service

Sur node-seaweed-m03

[root@node-seaweed-m03 ~]# systemctl start seaweedmaster
[root@node-seaweed-m03 ~]# journalctl -u seaweedmaster.service

Views: 4

L’article MODOP Cluster SeaWeedFS – Partie 2 – Installation 3 nodes Master est apparu en premier sur CoffeeBreak Info.

Constitution du cluster Volumes

• node-seaweed-v01
• node-seaweed-v02
• node-seaweed-v03
• node-seaweed-v04

Spécification des 4 Volumes Volumes

• IP : 100.0.10.161 à 100.0.10.164
• vCPU : 2
• RAM : 2Go
• Disque sda : 8Go (Système)
• Disque sdb : 50Go (Volume01)
• Disque sdc : 50Go (Volume02)
• OS : RockyLinux

Installation des prérequis

[root@node-seaweed-v0x ~]# dnf update -y
[root@node-seaweed-v0x ~]# yum install git make wget -y
[root@node-seaweed-v0x ~]# dnf install tar dnf-utils

Installation paquet GO

[root@node-seaweed-v0x ~]# wget -c https://go.dev/dl/go1.22.0.linux-amd64.tar.gz
[root@node-seaweed-v0x ~]# tar -C /usr/local/ -xzf go1.22.0.linux-amd64.tar.gz

[root@node-seaweed-v0x ~]# echo 'export GOROOT=/usr/local/go' | tee -a /etc/profile
export GOROOT=/usr/local/go

[root@node-seaweed-v0x ~]# echo 'export PATH=$PATH:/usr/local/go/bin' | tee -a /etc/profile
export PATH=$PATH:/usr/local/go/bin

[root@node-seaweed-v0x ~]# source /etc/profile
[root@node-seaweed-v0x ~]# go version
go version go1.21.6 linux/amd64

Installation paquet seaweedfs

[root@node-seaweed-v0x ~]# git clone https://github.com/chrislusf/seaweedfs.git
[root@node-seaweed-v0x ~]# cd ~/seaweedfs
[root@node-seaweed-v0x seaweedfs]# make install
[root@node-seaweed-v0x seaweedfs]# cp ~/go/bin/weed /usr/local/bin/
[root@node-seaweed-v0x seaweedfs]# weed version
version 30GB 3.62 linux amd64

Ajout des Hosts « volume » du Cluster sur le DNS infrastructure

[root@node-seaweed-v01 ~]# for i in {1..4};do nslookup node-seaweed-v0$i;done

Régles Firewall

[root@node-seaweed-v0x ~]#firewall-cmd --remove-service={cockpit,dhcpv6-client} --permanent
[root@node-seaweed-v0x ~]#firewall-cmd --add-port={8080,18080,8081,18081}/tcp --permanent
[root@node-seaweed-v0x ~]#firewall-cmd --reload

Préparation Disque « Volume »

[root@node-seaweed-v0x seaweedfs]# lsblk

Partition /dev/sdb et sdc

[root@node-seaweed-v0x seaweedfs]# parted -s /dev/sdb mklabel msdos
[root@node-seaweed-v0x seaweedfs]# parted -s /dev/sdc mklabel msdos

[root@node-seaweed-v0x seaweedfs]# parted -s /dev/sdb mkpart primary 1MiB 100%
[root@node-seaweed-v0x seaweedfs]# parted -s /dev/sdc mkpart primary 1MiB 100%

[root@node-seaweed-v0x seaweedfs]# lsblk

Disque /dev/sdb1 (volume01)

[root@node-seaweed-v0x seaweedfs]# pvcreate /dev/sdb1
[root@node-seaweed-v0x seaweedfs]# vgcreate seaweed01 /dev/sdb1
[root@node-seaweed-v0x seaweedfs]# lvcreate -n data01 -l 100%FREE seaweed01
[root@node-seaweed-v0x seaweedfs]# ls /dev/mapper/

Disque /dev/sdc1 (volume02)

[root@node-seaweed-v0x seaweedfs]# pvcreate /dev/sdc1
[root@node-seaweed-v0x seaweedfs]# vgcreate seaweed02 /dev/sdc1
[root@node-seaweed-v0x seaweedfs]# lvcreate -n data02 -l 100%FREE seaweed02
[root@node-seaweed-v0x seaweedfs]# ls /dev/mapper/

Formatage des disques de données

[root@node-seaweed-v0x seaweedfs]# mkfs.ext4 /dev/mapper/seaweed01-data01
[root@node-seaweed-v0x seaweedfs]# mkfs.ext4 /dev/mapper/seaweed02-data02
[root@node-seaweed-v0x seaweedfs]# lsblk

Montage des disques de données

[root@node-seaweed-v0x seaweedfs]# mkdir -p /seaweedfs/Volume01
[root@node-seaweed-v0x seaweedfs]# mkdir -p /seaweedfs/Volume02

[root@node-seaweed-v0x seaweedfs]# echo "/dev/mapper/seaweed01-data01 /seaweedfs/Volume01 ext4 defaults 0 1" >> /etc/fstab
[root@node-seaweed-v0x seaweedfs]# echo "/dev/mapper/seaweed02-data02 /seaweedfs/Volume02 ext4 defaults 0 1" >> /etc/fstab

[root@node-seaweed-v0x seaweedfs]# systemctl daemon-reload
[root@node-seaweed-v0x seaweedfs]# mount /seaweedfs/Volume01
[root@node-seaweed-v0x seaweedfs]# mount /seaweedfs/Volume02
[root@node-seaweed-v0x seaweedfs]# df -h |grep -i sea

Création des services node-seaweed-v01

Sur node-seaweed-v01 – Volume01 (DC1 et Rack1)

[root@node-seaweed-v01 ~]# vi /etc/systemd/system/seaweedvolume01.service

[Unit]
Description=SeaweedFS Volume
After=network.target

[Service]
Type=simple
User=root
Group=root
ExecStart=weed volume -mserver=node-seaweed-m01:9333,node-seaweed-m02:9333,node-seaweed-m03:9333 -dataCenter=dc1 -rack=rack1 -dir=/seaweedfs/Volume01 -port=8080 -max=2 -ip=node-seaweed-v01
WorkingDirectory=/usr/local/bin/
SyslogIdentifier=seaweedfs-volume

[Install]
WantedBy=multi-user.targetWantedBy=multi-user.target

Sur node-seaweed-v01 – Volume02 (DC1 et Rack2)

[root@node-seaweed-v01 ~]# vi /etc/systemd/system/seaweedvolume02.service

[Unit]
Description=SeaweedFS Volume
After=network.target

[Service]
Type=simple
User=root
Group=root
ExecStart=weed volume -mserver=node-seaweed-m01:9333,node-seaweed-m02:9333,node-seaweed-m03:9333 -dataCenter=dc1 -rack=rack2 -dir=/seaweedfs/Volume02 -port=8081 -max=2 -ip=node-seaweed-v01
WorkingDirectory=/usr/local/bin/
SyslogIdentifier=seaweedfs-volume

[Install]
WantedBy=multi-user.target

Démarrage des Volumes de Sur node-seaweed-v01

[root@node-seaweed-v01 ~]# systemctl daemon-reload
[root@node-seaweed-v01 ~]# systemctl enable seaweedvolume01
[root@node-seaweed-v01 ~]# systemctl enable seaweedvolume02

[root@node-seaweed-v01 ~]# systemctl start seaweedvolume01
[root@node-seaweed-v01 ~]# systemctl start seaweedvolume02

[root@node-seaweed-v01 ~]# systemctl status seaweedvolume01

[root@node-seaweed-v01 ~]# systemctl status seaweedvolume02

Vue sur l’interface SeaWeed

Création des services node-seaweed-v02

Sur node-seaweed-v02 – Volume01 (DC2 et Rack1)

[root@node-seaweed-v02 ~]# vi /etc/systemd/system/seaweedvolume01.service

[Unit]
Description=SeaweedFS Volume
After=network.target

[Service]
Type=simple
User=root
Group=root
ExecStart=weed volume -mserver=node-seaweed-m01:9333,node-seaweed-m02:9333,node-seaweed-m03:9333 -dataCenter=dc2 -rack=rack1 -dir=/seaweedfs/Volume01 -port=8080 -max=2 -ip=node-seaweed-v02
WorkingDirectory=/usr/local/bin/
SyslogIdentifier=seaweedfs-volume

[Install]
WantedBy=multi-user.target

Sur node-seaweed-v02 – Volume02 (DC2 et Rack2)

[root@node-seaweed-v02 ~]# vi /etc/systemd/system/seaweedvolume02.service

[Unit]
Description=SeaweedFS Volume
After=network.target

[Service]
Type=simple
User=root
Group=root
ExecStart=weed volume -mserver=node-seaweed-m01:9333,node-seaweed-m02:9333,node-seaweed-m03:9333 -dataCenter=dc2 -rack=rack2 -dir=/seaweedfs/Volume02 -port=8081 -max=2 -ip=node-seaweed-v02
WorkingDirectory=/usr/local/bin/
SyslogIdentifier=seaweedfs-volume

[Install]
WantedBy=multi-user.target

Démarrage des Volumes de Sur node-seaweed-v02

[root@node-seaweed-v02 ~]# systemctl daemon-reload
[root@node-seaweed-v02 ~]# systemctl enable seaweedvolume01
[root@node-seaweed-v02 ~]# systemctl enable seaweedvolume02

[root@node-seaweed-v02 ~]# systemctl start seaweedvolume01
[root@node-seaweed-v02 ~]# systemctl start seaweedvolume02

[root@node-seaweed-v02 ~]# systemctl status seaweedvolume01

[root@node-seaweed-v02 ~]# systemctl status seaweedvolume02

Vue sur l’interface SeaWeed

Création des services node-seaweed-v03

Sur node-seaweed-v03 – Volume01 (DC1 et Rack1)

[root@node-seaweed-v03 ~]# vi /etc/systemd/system/seaweedvolume01.service

[Unit]
Description=SeaweedFS Volume
After=network.target

[Service]
Type=simple
User=root
Group=root
ExecStart=weed volume -mserver=node-seaweed-m01:9333,node-seaweed-m02:9333,node-seaweed-m03:9333 -dataCenter=dc1 -rack=rack1 -dir=/seaweedfs/Volume01 -port=8080 -max=2 -ip=node-seaweed-v03
WorkingDirectory=/usr/local/bin/
SyslogIdentifier=seaweedfs-volume

[Install]
WantedBy=multi-user.target

Sur node-seaweed-v03 – Volume02 (DC1 et Rack2)

[root@node-seaweed-v03 ~]# vi /etc/systemd/system/seaweedvolume02.service

[Unit]
Description=SeaweedFS Volume
After=network.target

[Service]
Type=simple
User=root
Group=root
ExecStart=weed volume -mserver=node-seaweed-m01:9333,node-seaweed-m02:9333,node-seaweed-m03:9333 -dataCenter=dc1 -rack=rack2 -dir=/seaweedfs/Volume02 -port=8081 -max=2 -ip=node-seaweed-v03
WorkingDirectory=/usr/local/bin/
SyslogIdentifier=seaweedfs-volume

[Install]
WantedBy=multi-user.target

Démarrage des Volumes de Sur node-seaweed-v03

[root@node-seaweed-v03 ~]# systemctl daemon-reload
[root@node-seaweed-v03 ~]# systemctl enable seaweedvolume01
[root@node-seaweed-v03 ~]# systemctl enable seaweedvolume02

[root@node-seaweed-v03 ~]# systemctl start seaweedvolume01
[root@node-seaweed-v03 ~]# systemctl start seaweedvolume02

[root@node-seaweed-v03 ~]# systemctl status seaweedvolume01

[root@node-seaweed-v03 ~]# systemctl status seaweedvolume02

Vue sur l’interface SeaWeed

Création des services node-seaweed-v04

Sur node-seaweed-v04 – Volume01 (DC2 et Rack1)

[root@node-seaweed-v04 ~]# vi /etc/systemd/system/seaweedvolume01.service

[Unit]
Description=SeaweedFS Volume
After=network.target

[Service]
Type=simple
User=root
Group=root
ExecStart=weed volume -mserver=node-seaweed-m01:9333,node-seaweed-m02:9333,node-seaweed-m03:9333 -dataCenter=dc2 -rack=rack1 -dir=/seaweedfs/Volume01 -port=8080 -max=2 -ip=node-seaweed-v04
WorkingDirectory=/usr/local/bin/
SyslogIdentifier=seaweedfs-volume

[Install]
WantedBy=multi-user.target

Sur node-seaweed-v04 – Volume02 (DC2 et Rack2)

[root@node-seaweed-v04 ~]# vi /etc/systemd/system/seaweedvolume02.service

[Unit]
Description=SeaweedFS Volume
After=network.target

[Service]
Type=simple
User=root
Group=root
ExecStart=weed volume -mserver=node-seaweed-m01:9333,node-seaweed-m02:9333,node-seaweed-m03:9333 -dataCenter=dc2 -rack=rack2 -dir=/seaweedfs/Volume02 -port=8081 -max=2 -ip=node-seaweed-v04
WorkingDirectory=/usr/local/bin/
SyslogIdentifier=seaweedfs-volume

[Install]
WantedBy=multi-user.target

Démarrage des Volumes de Sur node-seaweed-v04

[root@node-seaweed-v04 ~]# systemctl daemon-reload
[root@node-seaweed-v04 ~]# systemctl enable seaweedvolume01
[root@node-seaweed-v04 ~]# systemctl enable seaweedvolume02

[root@node-seaweed-v04 ~]# systemctl start seaweedvolume01
[root@node-seaweed-v04 ~]# systemctl start seaweedvolume02

[root@node-seaweed-v04 ~]# systemctl status seaweedvolume01

[root@node-seaweed-v04 ~]# systemctl status seaweedvolume02

Vue sur l’interface SeaWeed

Test d’insertion de données mode block

/home/mobaxterm  curl http://10.100.0.157:9333/dir/assign
{"fid":"1,0171c24b30","url":"node-seaweed-v01:8081","publicUrl":"node-seaweed-v01:8081","count":1}

/home/mobaxterm/MyDocuments curl -F file=@/home/mobaxterm/MyDocuments/CentreonLinux.png http://10.100.0.161:8081/1,0171c24b30
{"name":"CentreonLinux.png","size":108403,"eTag":"e4589d75"}

L’image est disponible sur les 4 nodes du volume

• http://node-seaweed-v01:8081/1,0171c24b30
• http://node-seaweed-v02:8081/1,0171c24b30
• http://node-seaweed-v03:8081/1,0171c24b30
• http://node-seaweed-v04:8081/1,0171c24b30

La réplication de l’image est sur l’ID : 1

Sur le node « node-seaweed-v03 » – Volume 01

Sur le node « node-seaweed-v02 » – Volume 01

Sur le node « node-seaweed-v01 » – Volume 02

Views: 2

L’article MODOP Cluster SeaWeedFS – Partie 3 – Installation 4 nodes Volumes est apparu en premier sur CoffeeBreak Info.

Constitution du cluster Filers

• node-seaweed-f01
• node-seaweed-f02
• node-seaweed-f03
• node-seaweed-f04

Spécification des 4 Volumes Filer

• IP : 10.100.0.165 à 10.100.0.168
• vCPU : 2
• RAM : 2Go
• Disque : 32Go (Système)
• OS : RockyLinux

Installation des prérequis

[root@node-seaweed-f0x ~]# dnf update -y
[root@node-seaweed-f0x ~]# yum install git make wget -y
[root@node-seaweed-f0x ~]# dnf install tar dnf-utils

Installation paquet GO

[root@node-seaweed-f0x ~]# wget -c https://go.dev/dl/go1.22.0.linux-amd64.tar.gz
[root@node-seaweed-f0x ~]# tar -C /usr/local/ -xzf go1.22.0.linux-amd64.tar.gz

[root@node-seaweed-f0x ~]# echo 'export GOROOT=/usr/local/go' | tee -a /etc/profile
export GOROOT=/usr/local/go

[root@node-seaweed-f0x ~]# echo 'export PATH=$PATH:/usr/local/go/bin' | tee -a /etc/profile
export PATH=$PATH:/usr/local/go/bin

[root@node-seaweed-f0x ~]# source /etc/profile
[root@node-seaweed-f0x ~]# go version
go version go1.21.6 linux/amd64

Installation paquet seaweedfs

[root@node-seaweed-v0x ~]# git clone https://github.com/chrislusf/seaweedfs.git
[root@node-seaweed-v0x ~]# cd ~/seaweedfs
[root@node-seaweed-v0x seaweedfs]# make install
[root@node-seaweed-v0x seaweedfs]# cp ~/go/bin/weed /usr/local/bin/
[root@node-seaweed-v0x seaweedfs]# weed version
version 30GB 3.62 linux amd64

Ajout des Hosts « Filer » du Cluster au DNS de l’infra

[root@node-seaweed-f01 ~]# for i in {1..4};do nslookup node-seaweed-f0$i;done

Régles Firewall

[root@node-seaweed-v0x ~]#firewall-cmd --remove-service={cockpit,dhcpv6-client} --permanent
[root@node-seaweed-v0x ~]#firewall-cmd --add-port={8888,18888,8889,18889}/tcp --permanent
[root@node-seaweed-v0x ~]#firewall-cmd --reload

Création des services node-seaweed-f01

[root@node-seaweed-f01 ~]# vi /etc/systemd/system/seaweedfilers.service

[Unit]
Description=SeaweedFS filers
After=network.target

[Service]
Type=simple
User=root
Group=root
ExecStart=weed filer -port=8888 -port.readonly=8889 -master=node-seaweed-m01:9333,node-seaweed-m02:9333,node-seaweed-m03:9333 -defaultReplicaPlacement=110
WorkingDirectory=/usr/local/bin/
SyslogIdentifier=seaweedfs-filers

[Install]
WantedBy=multi-user.target

Démarrage du filers

[root@node-seaweed-f01 ~]# systemctl daemon-reload
[root@node-seaweed-f01 ~]# systemctl enable seaweedfilers
[root@node-seaweed-f01 ~]# systemctl start seaweedfilers

[root@node-seaweed-f01 ~]# systemctl status seaweedfilers

Création des services node-seaweed-f02

[root@node-seaweed-f02 ~]# vi /etc/systemd/system/seaweedfilers.service

[Unit]
Description=SeaweedFS filers
After=network.target

[Service]
Type=simple
User=root
Group=root
ExecStart=weed filer -port=8888 -port.readonly=8889 -master=node-seaweed-m01:9333,node-seaweed-m02:9333,node-seaweed-m03:9333 -defaultReplicaPlacement=110
WorkingDirectory=/usr/local/bin/
SyslogIdentifier=seaweedfs-filers

[Install]
WantedBy=multi-user.target

Démarrage du filers

[root@node-seaweed-f02 ~]# systemctl daemon-reload
[root@node-seaweed-f02 ~]# systemctl enable seaweedfilers
[root@node-seaweed-f02 ~]# systemctl start seaweedfilers

[root@node-seaweed-f02 ~]# systemctl status seaweedfilers

Création des services node-seaweed-f03

[root@node-seaweed-f03 ~]# vi /etc/systemd/system/seaweedfilers.service

[Unit]
Description=SeaweedFS filers
After=network.target

[Service]
Type=simple
User=root
Group=root
ExecStart=weed filer -port=8888 -port.readonly=8889 -master=node-seaweed-m01:9333,node-seaweed-m02:9333,node-seaweed-m03:9333 -defaultReplicaPlacement=110
WorkingDirectory=/usr/local/bin/
SyslogIdentifier=seaweedfs-filers

[Install]
WantedBy=multi-user.target

Démarrage du filers

[root@node-seaweed-f03 ~]# systemctl daemon-reload
[root@node-seaweed-f03 ~]# systemctl enable seaweedfilers
[root@node-seaweed-f03 ~]# systemctl start seaweedfilers

[root@node-seaweed-f03 ~]# systemctl status seaweedfilers

Création des services node-seaweed-f04

[root@node-seaweed-f04 ~]# vi /etc/systemd/system/seaweedfilers.service

[Unit]
Description=SeaweedFS filers
After=network.target

[Service]
Type=simple
User=root
Group=root
ExecStart=weed filer -port=8888 -port.readonly=8889 -master=node-seaweed-m01:9333,node-seaweed-m02:9333,node-seaweed-m03:9333 -defaultReplicaPlacement=110
WorkingDirectory=/usr/local/bin/
SyslogIdentifier=seaweedfs-filers

[Install]
WantedBy=multi-user.target

Démarrage du filers

[root@node-seaweed-f04 ~]# systemctl daemon-reload
[root@node-seaweed-f04 ~]# systemctl enable seaweedfilers
[root@node-seaweed-f04 ~]# systemctl start seaweedfilers

[root@node-seaweed-f04 ~]# systemctl status seaweedfilers

Coté Master leader– node-seaweed-m01

Views: 1

L’article MODOP Cluster SeaWeedFS – Partie 4 – Installation 4 nodes Filers est apparu en premier sur CoffeeBreak Info.

Constitution du cluster Filers

• node-seaweed-c01

Spécification du client

• vCPU : 2
• RAM : 2Go
• Disque : 32Go (Système)
• OS : RockyLinux

Installation des prérequis

[root@node-seaweed-c01 ~]# dnf update -y
[root@node-seaweed-c01 ~]# yum install git make wget fuse -y
[root@node-seaweed-c01 ~]# dnf install tar dnf-utils

Installation paquet GO

[root@node-seaweed-c01 ~]# wget -c https://go.dev/dl/go1.22.0.linux-amd64.tar.gz
[root@node-seaweed-c01 ~]# tar -C /usr/local/ -xzf go1.22.0.linux-amd64.tar.gz

[root@node-seaweed-c01 ~]# echo 'export GOROOT=/usr/local/go' | tee -a /etc/profile
export GOROOT=/usr/local/go

[root@node-seaweed-c01 ~]# echo 'export PATH=$PATH:/usr/local/go/bin' | tee -a /etc/profile
export PATH=$PATH:/usr/local/go/bin

[root@node-seaweed-c01 ~]# source /etc/profile
[root@node-seaweed-c01 ~]# go version
go version go1.21.6 linux/amd64

Installation paquet seaweedfs

[root@node-seaweed-c01 ~]# git clone https://github.com/chrislusf/seaweedfs.git
[root@node-seaweed-c01 ~]# cd ~/seaweedfs
[root@node-seaweed-c01 seaweedfs]# make install
[root@node-seaweed-c01 seaweedfs]# cp ~/go/bin/weed /usr/local/bin/
[root@node-seaweed-c01 seaweedfs]# cp ~/go/bin/weed /sbin/mount.weed
[root@node-seaweed-c01 seaweedfs]# weed version
version 30GB 3.62 linux amd64

Ajout du client au DNS infrastructure

[root@node-seaweed-c01 ~]# nslookup node-seaweed-c01

Volume

[root@node-seaweed-c01 seaweedfs]# mkdir /seaweedVolumeW

Installation « fuse » seaweed

[root@node-seaweed-c01 home]# git clone https://github.com/seaweedfs/fuse.git
[root@node-seaweed-c01 home]# cd fuse
[root@node-seaweed-c01 fuse]# go get github.com/seaweedfs/fuse
go: downloading golang.org/x/sys v0.0.0-20210817142637-7d9622a276b7

Création du service collection « data » – Volume SeaWee Write

[root@node-seaweed-c01 seaweedfs]# vi /etc/systemd/system/seaweedVolumeW.service

[Unit]
Description=SeaweedFS VolumeW
After=network.target

[Service]
Type=simple
User=root
Group=root
ExecStart=weed mount -filer=node-seaweed-f01:8888,node-seaweed-f02:8888,node-seaweed-f03:8888,node-seaweed-f04:8888 -dir=/seaweedVolumeW -filer.path=/seaweedVolumeW/data -collection=data -cacheCapacityMB=4000 -cacheDir=/tmp -chunkSizeLimitMB=4 -volumeServerAccess=direct
WorkingDirectory=/usr/local/bin/
SyslogIdentifier=seaweedfs-VolumeW

[Install]
WantedBy=multi-user.target

Démarrage du Volume

[root@node-seaweed-c01 ~]# systemctl daemon-reload
[root@node-seaweed-c01 ~]# systemctl enable seaweedVolumeW

[root@node-seaweed-c01 ~]# systemctl status seaweedVolumeW

[root@node-seaweed-c01 ~]# df -Th | grep fuse

Check Cluster seaweed

[root@node-seaweed-c01 ~]# for i in {1..3};do curl -I http://node-seaweed-m0$i:9333/cluster/healthz;done

Nettoyage des Collections existantes

[root@node-seaweed-c01 /]# curl http://node-seaweed-m01:9333/col/delete?collection

Test d’écriture de fichier

Téléchargement d’un fichier

[root@node-seaweed-c01 ~]# cd /seaweedVolumeW
[root@node-seaweed-c01 seaweedVolumeW]# wget https://cdimage.debian.org/debian-cd/current/amd64/iso-cd/debian-12.5.0-amd64-netinst.iso

[root@node-seaweed-c01 seaweedVolumeW]# ls –al

Vue des « block » sur les volumes

Fichier « debian » stocké sous forme « block » et répliqué sur les deux DC et Rack.

Stockage des différents « block » du fichier « debian » sur les volumes

node-seaweed-v01

• http://node-seaweed-v01:8080/ui/index.html

Volumes 1 de node-seaweed-v01 – (DC1 – Rack1) et ID : 9-11

• http://node-seaweed-v01:8081/ui/index.html

Volumes 2 de node-seaweed-v01 – (DC1 – Rack2) et ID : 8-9

node-seaweed-v02

• http://node-seaweed-v02:8080/ui/index.html

Volumes 1 de node-seaweed-v02 – (DC2 – Rack1) et ID : 11-12

• http://node-seaweed-v02:8081/ui/index.html

Volumes 2 de node-seaweed-v02 – (DC2 – Rack2) et ID : 8-10

node-seaweed-v03

• http://node-seaweed-v03:8080/ui/index.html

Volumes 1 de node-seaweed-v03 – (DC1 – Rack1) et ID : 8

• http://node-seaweed-v03:8081/ui/index.html

Volumes 2 de node-seaweed-v03 – (DC1 – Rack2) et ID : 10-12

node-seaweed-v04

• http://node-seaweed-v04:8080/ui/index.html

Volumes 1 de node-seaweed-v04 – (DC2 – Rack1) et ID : 9-10

• http://node-seaweed-v04:8081/ui/index.html

Volumes 2 de node-seaweed-v04 – (DC2 – Rack2) et ID : 11-12

Views: 1

L’article MODOP Cluster SeaWeedFS – Partie 5 – Client Linux est apparu en premier sur CoffeeBreak Info.

Constitution du cluster Master (toujours impair)

• node-seaweed-m04
• node-seaweed-m05

Spécification du node master 04 et master 05

• IP : 10.100.0.170 et 10.100.0.171
• vCPU : 2
• RAM : 2Go
• Disque : 8Go (Système)
• OS : RockyLinux 8

Installation des prérequis

[root@node-seaweed-m0x ~]# dnf update
[root@node-seaweed-m0x ~]# yum install git make wget -y
[root@node-seaweed-m0x ~]# dnf install dnf-utils

Installation paquet GO

[root@node-seaweed-m0x ~]# wget https://go.dev/dl/go1.21.6.linux-amd64.tar.gz
[root@node-seaweed-m0x ~]# tar -xzvf go1.21.6.linux-amd64.tar.gz -C /usr/local

[root@node-seaweed-m0x ~]# echo 'export GOROOT=/usr/local/go' | tee -a /etc/profile
export GOROOT=/usr/local/go

[root@node-seaweed-m0x ~]# echo 'export PATH=$PATH:/usr/local/go/bin' | tee -a /etc/profile
export PATH=$PATH:/usr/local/go/bin

[root@node-seaweed-m0x ~]# source /etc/profile
[root@node-seaweed-m0x ~]# go version
go version go1.21.6 linux/amd64

Installation paquet seaweedfs

[root@node-seaweed-m0x ~]# git clone https://github.com/chrislusf/seaweedfs.git
[root@node-seaweed-m0x ~]# cd ~/seaweedfs
[root@node-seaweed-m0x seaweedfs]# make install
[root@node-seaweed-m0x seaweedfs]# cp ~/go/bin/weed /usr/local/bin/
[root@node-seaweed-m0x seaweedfs]# weed version
version 30GB 3.62 linux amd64

Ajout nouvel host « master » au DNS Infrastructure

Ajout ressource master

[root@node-seaweed-m0x ~]# mkdir /mnt/seaweedfs

Règles Firewall

[root@node-seaweed-m0x ~]#firewall-cmd --remove-service={cockpit,dhcpv6-client} --permanent
[root@node-seaweed-m0x ~]#firewall-cmd --add-port={9333,19333}/tcp --permanent
[root@node-seaweed-m0x ~]#firewall-cmd --reload
[root@node-seaweed-m0x ~]#firewall-cmd --list-all

Sauvegarde du service initiale « seaweedmaster »

[root@node-seaweed-m04 home]# for i in {1..3} ; do ssh -t root@node-seaweed-m0$i "cp /etc/systemd/system/seaweedmaster.service{,_old}";done
[root@node-seaweed-m01 ~]# ls -al /etc/systemd/system/seaweedmaster.*

Ajout du master m04 sur les 3 nodes du cluster « Master »

[root@node-seaweed-m04 home]# for i in {1..3} ; do ssh -t root@node-seaweed-m0$i "sed -i 's/node-seaweed-m03\:9333/node-seaweed-m03\:9333,node-seaweed-m04\:9333/g' /etc/systemd/system/seaweedmaster.service";done

Ajout du master m05 sur les 3 nodes du cluster « Master »

[root@node-seaweed-m05 home]# for i in {1..4} ; do ssh -t root@node-seaweed-m0$i "sed -i 's/node-seaweed-m04\:9333/node-seaweed-m04\:9333,node-seaweed-m05\:9333/g' /etc/systemd/system/seaweedmaster.service";done
[root@node-seaweed-m05 home]# for i in {1..4} ; do ssh -t root@node-seaweed-m0$i "cat /etc/systemd/system/seaweedmaster.service";done

Création du service « seawedmaster »

Node-seaweed-m04

[root@node-seaweed-m04 home]# scp root@node-seaweed-m01:/etc/systemd/system/seaweedmaster.service /etc/systemd/system/seaweedmaster.service
[root@node-seaweed-m04 home]# sed -i 's/ip\=node-seaweed-m01/ip\=node-seaweed-m04/g' /etc/systemd/system/seaweedmaster.service

Node-seaweed-m05

[root@node-seaweed-m05 home]# scp root@node-seaweed-m01:/etc/systemd/system/seaweedmaster.service /etc/systemd/system/seaweedmaster.service
[root@node-seaweed-m05 home]# sed -i 's/ip\=node-seaweed-m01/ip\=node-seaweed-m05/g' /etc/systemd/system/seaweedmaster.service

Redémarrage du cluster « master »

[root@node-seaweed-m04 home]# for i in {1..5} ; do ssh -t root@node-seaweed-m0$i "rm -rf /mnt/seaweedfs/*";done
[root@node-seaweed-m04 home]# for i in {1..5} ; do ssh -t root@node-seaweed-m0$i "systemctl daemon-reload";done
[root@node-seaweed-m04 home]# for i in {1..5} ; do ssh -t root@node-seaweed-m0$i "systemctl restart seaweedmaster";done

Ajout du master m04 sur les nodes du cluster « Volumes »

Les deux services concernés

• /etc/systemd/system/seaweedvolume01.service
• /etc/systemd/system/seaweedvolume02.service

Volume01 de node-seaweed-m04

[root@node-seaweed-m04 ~]# for i in {1..4} ; do ssh -t root@node-seaweed-v0$i "sed -i 's/node-seaweed-m03\:9333/node-seaweed-m03\:9333,node-seaweed-m04\:9333/g' /etc/systemd/system/seaweedvolume01.service";done

Volume02 de node-seaweed-m04

[root@node-seaweed-m04 ~]# for i in {1..4} ; do ssh -t root@node-seaweed-v0$i "sed -i 's/node-seaweed-m03\:9333/node-seaweed-m03\:9333,node-seaweed-m04\:9333/g' /etc/systemd/system/seaweedvolume02.service";done

Ajout du master m05 sur les nodes du cluster « Volumes »

Les deux services concernés

• /etc/systemd/system/seaweedvolume01.service
• /etc/systemd/system/seaweedvolume02.service

Volume01 de node-seaweed-m05

[root@node-seaweed-m05 ~]# for i in {1..4} ; do ssh -t root@node-seaweed-v0$i "sed -i 's/node-seaweed-m04\:9333/node-seaweed-m04\:9333,node-seaweed-m05\:9333/g' /etc/systemd/system/seaweedvolume01.service";done

Volume02 de node-seaweed-m05

[root@node-seaweed-m05 ~]# for i in {1..4} ; do ssh -t root@node-seaweed-v0$i "sed -i 's/node-seaweed-m04\:9333/node-seaweed-m04\:9333,node-seaweed-m05\:9333/g' /etc/systemd/system/seaweedvolume02.service";done

Check Services

[root@node-seaweed-m04 ~]# for i in {1..4} ; do ssh -t root@node-seaweed-v0$i "cat /etc/systemd/system/seaweedvolume01.service";done
[root@node-seaweed-m04 ~]# for i in {1..4} ; do ssh -t root@node-seaweed-v0$i "cat /etc/systemd/system/seaweedvolume02.service";done

Redémarrage du cluster « volumes »

[root@node-seaweed-m04 home]# for i in {1..4} ; do ssh -t root@node-seaweed-v0$i "systemctl daemon-reload";done
[root@node-seaweed-m04 home]# for i in {1..4} ; do ssh -t root@node-seaweed-v0$i "systemctl restart seaweedvolume01";done
[root@node-seaweed-m04 home]# for i in {1..4} ; do ssh -t root@node-seaweed-v0$i "systemctl restart seaweedvolume02";done

Check status Services

[root@node-seaweed-m0x ~]# for i in {1..4} ; do ssh -t root@node-seaweed-v0$i "systemctl status seaweedvolume01";done
[root@node-seaweed-m0x ~]# for i in {1..4} ; do ssh -t root@node-seaweed-v0$i "systemctl status seaweedvolume02";done

« node-seaweed-v01 »

« node-seaweed-v02 »

« node-seaweed-v03 »

« node-seaweed-v04 »

Ajout du master m04 sur les 4 nodes du cluster « Filer »

[root@node-seaweed-m04 ~]# for i in {1..4} ; do ssh -t root@node-seaweed-f0$i "sed -i 's/node-seaweed-m03\:9333/node-seaweed-m03\:9333,node-seaweed-m04\:9333/g' /etc/systemd/system/seaweedfilers.service";done

Ajout du master m05 sur les 4 nodes du cluster « Filer »

[root@node-seaweed-m05 ~]# for i in {1..4} ; do ssh -t root@node-seaweed-f0$i "sed -i 's/node-seaweed-m04\:9333/node-seaweed-m04\:9333,node-seaweed-m05\:9333/g' /etc/systemd/system/seaweedfilers.service";done

Redémarrage du cluster « filers»

[root@node-seaweed-m04 home]# for i in {1..4} ; do ssh -t root@node-seaweed-f0$i "systemctl daemon-reload";done
[root@node-seaweed-m04 home]# for i in {1..4} ; do ssh -t root@node-seaweed-f0$i "systemctl restart seaweedfilers.service";done

Check Services

[root@node-seaweed-m04 ~]# for i in {1..4} ; do ssh -t root@node-seaweed-f0$i "systemctl status seaweedfilers.service";done

Views: 3

L’article MODOP Cluster SeaWeedFS – Partie 6 – Ajout 2 nodes Master est apparu en premier sur CoffeeBreak Info.

Constitution du cluster Volumes

• node-seaweed-v05

Spécification

• IP : 10.100.0.172
• vCPU : 2
• RAM : 2Go
• Disque : 8Go (Système)
• Disque sdb : 50Go (Volume01)
• Disque sdc : 50Go (Volume02)
• OS : Rockylinux

Installation des prérequis

[root@node-seaweed-v05 ~]# dnf update -y
[root@node-seaweed-v05 ~]# yum install git make wget tar dnf-utils -y

Installation paquet GO

[root@node-seaweed-v05 ~]# wget -c https://go.dev/dl/go1.22.0.linux-amd64.tar.gz
[root@node-seaweed-v05 ~]# tar -C /usr/local/ -xzf go1.22.0.linux-amd64.tar.gz

[root@node-seaweed-v05 ~]# echo 'export GOROOT=/usr/local/go' | tee -a /etc/profile
export GOROOT=/usr/local/go

[root@node-seaweed-v05 ~]# echo 'export PATH=$PATH:/usr/local/go/bin' | tee -a /etc/profile
export PATH=$PATH:/usr/local/go/bin

[root@node-seaweed-v05 ~]# source /etc/profile
[root@node-seaweed-v05 ~]# go version
go version go1.21.6 linux/amd64

Installation paquet seaweedfs

[root@node-seaweed-v05 ~]# git clone https://github.com/chrislusf/seaweedfs.git
[root@node-seaweed-v05 ~]# cd ~/seaweedfs
[root@node-seaweed-v05 seaweedfs]# make install
[root@node-seaweed-v05 seaweedfs]# cp ~/go/bin/weed /usr/local/bin/
[root@node-seaweed-v05 seaweedfs]# weed version
version 30GB 3.62 linux amd64

Régles Firewall

[root@node-seaweed-v05 ~]#firewall-cmd --remove-service={cockpit,dhcpv6-client} --permanent
[root@node-seaweed-v05 ~]#firewall-cmd --add-port={8080,18080,8081,18081}/tcp --permanent
[root@node-seaweed-v05 ~]#firewall-cmd --reload

Préparation Disque « Volume »

[root@node-seaweed-v05 seaweedfs]# lsblk

Partition /dev/sdb et sdc

[root@node-seaweed-v05 seaweedfs]# parted -s /dev/sdb mklabel msdos
[root@node-seaweed-v05 seaweedfs]# parted -s /dev/sdc mklabel msdos

[root@node-seaweed-v05 seaweedfs]# parted -s /dev/sdb mkpart primary 1MiB 100%
[root@node-seaweed-v05 seaweedfs]# parted -s /dev/sdc mkpart primary 1MiB 100%

[root@node-seaweed-v05 seaweedfs]# lsblk

Disque /dev/sdb1 (volume01)

[root@node-seaweed-v05 seaweedfs]# pvcreate /dev/sdb1
[root@node-seaweed-v05 seaweedfs]# vgcreate seaweed01 /dev/sdb1
[root@node-seaweed-v05 seaweedfs]# lvcreate -n data01 -l 100%FREE seaweed01
[root@node-seaweed-v05 seaweedfs]# "

Disque /dev/sdc1 (volume02)

[root@node-seaweed-v05 seaweedfs]# pvcreate /dev/sdc1
[root@node-seaweed-v05 seaweedfs]# vgcreate seaweed02 /dev/sdc1
[root@node-seaweed-v05 seaweedfs]# lvcreate -n data02 -l 100%FREE seaweed02
[root@node-seaweed-v05 seaweedfs]# ls /dev/mapper/

Formatage des disques de données

[root@node-seaweed-v05 seaweedfs]# mkfs.ext4 /dev/mapper/seaweed01-data01
[root@node-seaweed-v05 seaweedfs]# mkfs.ext4 /dev/mapper/seaweed02-data02
[root@node-seaweed-v05 seaweedfs]# lsblk

Montage des disques de données

[root@node-seaweed-v05 seaweedfs]# mkdir -p /seaweedfs/Volume01
[root@node-seaweed-v05 seaweedfs]# mkdir -p /seaweedfs/Volume02

[root@node-seaweed-v05 seaweedfs]# echo "/dev/mapper/seaweed01-data01 /seaweedfs/Volume01 ext4 defaults 0 1" >> /etc/fstab
[root@node-seaweed-v05 seaweedfs]# echo "/dev/mapper/seaweed02-data02 /seaweedfs/Volume02 ext4 defaults 0 1" >> /etc/fstab

[root@node-seaweed-v05 seaweedfs]# systemctl daemon-reload
[root@node-seaweed-v05 seaweedfs]# mount /seaweedfs/Volume01
[root@node-seaweed-v05 seaweedfs]# mount /seaweedfs/Volume02

[root@node-seaweed-v05 seaweedfs]# df -h |grep -i sea

Ajout nouvel host « volume » v05 au DNS Infrastructure

[root@node-seaweed-v05 ~]# nslookup node-seaweed-v05

Création des services node-seaweed-v05

Sur node-seaweed-v05 – Volume01 (DC1 et Rack1)

[root@node-seaweed-v05 ~]# vi /etc/systemd/system/seaweedvolume01.service

[Unit]
Description=SeaweedFS Volume
After=network.target

[Service]
Type=simple
User=root
Group=root
ExecStart=weed volume -mserver=node-seaweed-m01:9333,node-seaweed-m02:9333,node-seaweed-m03:9333,node-seaweed-m04:9333,node-seaweed-m05:9333 -dataCenter=dc1 -rack=rack1 -dir=/seaweedfs/Volume01 -port=8080 -max=2 -ip=node-seaweed-v05
WorkingDirectory=/usr/local/bin/
SyslogIdentifier=seaweedfs-volume

[Install]
WantedBy=multi-user.target

Sur node-seaweed-v05 – Volume02 (DC2 et Rack2)

[root@node-seaweed-v05 ~]# vi /etc/systemd/system/seaweedvolume02.service

[Unit]
Description=SeaweedFS Volume
After=network.target

[Service]
Type=simple
User=root
Group=root
ExecStart=weed volume -mserver=node-seaweed-m01:9333,node-seaweed-m02:9333,node-seaweed-m03:9333,node-seaweed-m04:9333,node-seaweed-m05:9333 -dataCenter=dc2 -rack=rack2 -dir=/seaweedfs/Volume02 -port=8081 -max=2 -ip=node-seaweed-v05
WorkingDirectory=/usr/local/bin/
SyslogIdentifier=seaweedfs-volume

[Install]
WantedBy=multi-user.target

Inventaire actuel

Démarrage des Volumes de Sur node-seaweed-v05

[root@node-seaweed-v05 ~]# systemctl daemon-reload
[root@node-seaweed-v05 ~]# systemctl enable seaweedvolume01
[root@node-seaweed-v05 ~]# systemctl enable seaweedvolume02

[root@node-seaweed-v01 ~]# systemctl start seaweedvolume01
[root@node-seaweed-v01 ~]# systemctl start seaweedvolume02

[root@node-seaweed-v01 ~]# systemctl status seaweedvolume01

[root@node-seaweed-v01 ~]# systemctl status seaweedvolume02

Inventaire des Volumes sur le node master

• http://node-seaweed-m01

Taille du Volume sur le Client Linux

Avant le nouvel hosts « volume » node-seaweed-v05

[root@node-seaweed-c01 ~]# df -Th | grep fuse

Avec l’ajout du nouvel host « volume » node-seaweed-v05

[root@node-seaweed-c01 ~]# df -Th | grep fuse

La taille du volume seaweedFS est passée de 469G => 585G grâce à l’ajout du nouveau nœud « node-seaweed-v05 »

Views: 1

L’article MODOP Cluster SeaWeedFS – Partie 7 – Ajout 1 node Volume est apparu en premier sur CoffeeBreak Info.

Spécification node-seaweed-f05

• IP : 10.100.0.173
• vCPU : 2
• RAM : 2Go
• Disque : 8Go (Système)
• OS : RockyLinux

Installation des prérequis

[root@node-seaweed-f05 ~]# dnf update -y
[root@node-seaweed-f05 ~]# dnf install git make wget tar dnf-utils -y

Installation paquet GO

[root@node-seaweed-f05 ~]# wget -c https://go.dev/dl/go1.22.0.linux-amd64.tar.gz
[root@node-seaweed-f05 ~]# tar -C /usr/local/ -xzf go1.22.0.linux-amd64.tar.gz

[root@node-seaweed-f05 ~]# echo 'export GOROOT=/usr/local/go' | tee -a /etc/profile
export GOROOT=/usr/local/go
[root@node-seaweed-f05 ~]# echo 'export PATH=$PATH:/usr/local/go/bin' | tee -a /etc/profile
export PATH=$PATH:/usr/local/go/bin

[root@node-seaweed-f05 ~]# source /etc/profile
[root@node-seaweed-f05 ~]# go version
go version go1.21.6 linux/amd64

Installation paquet seaweedfs

[root@node-seaweed-f05 ~]# git clone https://github.com/chrislusf/seaweedfs.git
[root@node-seaweed-f05 ~]# cd ~/seaweedfs
[root@node-seaweed-f05 seaweedfs]# make install
[root@node-seaweed-f05 seaweedfs]# cp ~/go/bin/weed /usr/local/bin/
[root@node-seaweed-f05 seaweedfs]# weed version
version 30GB 3.62 linux amd64

Ajout nouvel host « filer » f05 au DNS Infrastructure

[root@node-seaweed-f05 ~]# nslookup node-seaweed-f05

Régles Firewall

[root@node-seaweed-f05 ~]#firewall-cmd --remove-service={cockpit,dhcpv6-client} --permanent
[root@node-seaweed-f05 ~]#firewall-cmd --add-port={8888,18888,8889,18889}/tcp --permanent
[root@node-seaweed-f05 ~]#firewall-cmd --reload

Création des services node-seaweed-f01

[root@node-seaweed-f05 seaweedfs]# scp root@node-seaweed-f01:/etc/systemd/system/seaweedfilers.service /etc/systemd/system/seaweedfilers.service

Démarrage du filers

[root@node-seaweed-f05 ~]# systemctl daemon-reload
[root@node-seaweed-f05 ~]# systemctl enable seaweedfilers
[root@node-seaweed-f05 ~]# systemctl start seaweedfilers

[root@node-seaweed-f05 ~]# systemctl status seaweedfilers

Ajout le node « filer » node-seaweed-f05 sur le Client Linux

[root@node-seaweed-c01 seaweedVolumeW]# sed -i 's/,node-seaweed-f04\:8888/,node-seaweed-f04\:8888,node-seaweed-f05\:8888/g' /etc/systemd/system/seaweedVolumeW.service

[root@node-seaweed-c01 seaweedVolumeW]# cat /etc/systemd/system/seaweedVolumeW.service

Redémarrage du service « seaweed » Client

[root@node-seaweed-c01 ~]# systemctl daemon-reload
[root@node-seaweed-c01 ~]# systemctl enable seaweedVolumeW.service
[root@node-seaweed-c01 ~]# systemctl start seaweedVolumeW.service

[root@node-seaweed-c01 ~]# systemctl status seaweedVolumeW.service

Data sur les nodes « volumes » avec le fichier « Debian

[root@node-seaweed-c01 seaweedVolumeW]# wget https://repo.almalinux.org/almalinux/8.9/isos/x86_64/AlmaLinux-8.9-x86_64-minimal.iso

Views: 0

L’article MODOP Cluster SeaWeedFS – Partie 8 – Ajout 1 node Filers est apparu en premier sur CoffeeBreak Info.