MODOP – Ajout de 3 nœuds OSD sur le Cluster CEPH – Partie 4

Aucun commentaire

Afin d’augmenter la capacité d’un Cluster de 60Go à 105Go , nous allons ajouter 3 nœuds OSD.

Actuellement

  • node01-ceph-admin
  • node02-ceph-mon1
  • node03-ceph-osd1
  • node04-ceph-osd2
  • node05-ceph-osd3
  • node06-ceph-osd4

Le but

  • node01-ceph-admin
  • node02-ceph-mon1
  • node03-ceph-osd1
  • node04-ceph-osd2
  • node05-ceph-osd3
  • node06-ceph-osd4
  • node07-ceph-osd5
  • node08-ceph-osd6
  • node09-ceph-osd7

Spécification des nouvelles machines
node07-Ceph-osd5
IP : 172.16.186.47
Disque 1 – Système 10Go
Disque 2 – Ceph 20G0
RAM 2G
2vCPU

node08-Ceph-osd6
IP : 172.16.186.48
Disque 1 – Système 10Go
Disque 2 – Ceph 20G0
RAM 2G
2vCPU

node09-Ceph-osd7
IP : 172.16.186.49
Disque 1 – Système 10Go
Disque 2 – Ceph 20G0
RAM 2G
2vCPU

I. Prérequis

1°) ajouter au DNS les nouvelles machines OSD

MODOP – Configurer un DNS Primaire et Secondaire – Centos7

root@floki03:~# ssh -l root dns-pri
[root@dns-pri ~]# vi /var/named/forward.house.cpb
; Cluster CEPH
node01-ceph-admin IN A 172.16.186.40
node02-ceph-mon1 IN A 172.16.186.41
node03-ceph-osd1 IN A 172.16.186.42
node04-ceph-osd2 IN A 172.16.186.43
node05-ceph-osd3 IN A 172.16.186.44
node06-ceph-osd4 IN A 172.16.186.45
node-ceph-client1 IN A 172.16.186.46
node07-ceph-osd5 IN A 172.16.186.47
node08-ceph-osd6 IN A 172.16.186.48
node09-ceph-osd7 IN A 172.16.186.49
[root@dns-pri ~]# vi /var/named/reversevmbr3.house.cpb
; CEPH CLuster
40 IN PTR node01-ceph-admin.house.cpb.
41 IN PTR node02-ceph-mon1.house.cpb.
42 IN PTR node03-ceph-osd1.house.cpb.
43 IN PTR node04-ceph-osd2.house.cpb.
44 IN PTR node05-ceph-osd3.house.cpb.
45 IN PTR node06-ceph-osd4.house.cpb.
46 IN PTR node-ceph-client1.house.cpb.
47 IN PTR node07-ceph-osd5.house.cpb.
48 IN PTR node08-ceph-osd6.house.cpb.
49 IN PTR node09-ceph-osd7.house.cpb.
[root@dns-pri ~]# systemctl reload named

2°) Installation des middlewares (3 nœuds OSD)

[root@node07-ceph-osd5 ~]# yum update -y
[root@node07-ceph-osd5 ~]# yum install -y htop nmap net-tools wget

3°) Installation ntpd (3 nœuds OSD)

[root@node07-ceph-osd5 ~]# yum install ntp ntpdate ntp-doc -y
[root@node07-ceph-osd5 ~]# chkconfig ntpd on
[root@node07-ceph-osd5 ~]# ntpdate pool.ntp.org
[root@node07-ceph-osd5 ~]# systemctl start ntpd

4°) Désactivation Selinux (3 nœuds OSD)

[root@node07-ceph-osd5 ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
[root@node07-ceph-osd5 ~]# reboot

5°) Désactivation IPv6 (3 nœuds OSD)

[root@node07-ceph-osd5 ~]# vi /etc/sysctl.conf
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.all.autoconf = 0
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.default.autoconf = 0
[root@node07-ceph-osd5 ~]# sysctl -p

6°) Création Utilisateur et ajout droit sudoers (3 nœuds OSD)

[root@node07-ceph-osd5 ~]# useradd -d /home/cephuser -m cephuser
[root@node07-ceph-osd5 ~]# passwd cephuser
[root@node07-ceph-osd5 ~]# echo "cephuser ALL = (root) NOPASSWD:ALL" >> /etc/sudoers.d/cephuser
[root@node07-ceph-osd5 ~]# chmod 0440 /etc/sudoers.d/cephuser
[root@node07-ceph-osd5 ~]# sed -i s'/Defaults requiretty/#Defaults requiretty'/g /etc/sudoers

II. Connexion SSH (node01-Ceph-admin)

root@floki03:~# ssh -l root node01-ceph-admin
[cephuser@node01-ceph-admin ~]$ su - cephuser
[cephuser@node01-ceph-admin ~]$ vi ~/.ssh/config
Host node07-ceph-osd5
         Hostname node07-ceph-osd5
         User cephuser

Host node08-ceph-osd6
          Hostname node08-ceph-osd6
          User cephuser

Host node09-ceph-osd7
           Hostname node09-ceph-osd7
           User cephuser
[cephuser@node01-ceph-admin ~]$ chmod 644 ~/.ssh/config
[cephuser@node01-ceph-admin ~]$ ssh-keyscan node07-ceph-osd5 node08-ceph-osd6 node09-ceph-osd7 >> ~/.ssh/known_hosts

[cephuser@node01-ceph-admin ~]$ ssh-copy-id node07-ceph-osd5
[cephuser@node01-ceph-admin ~]$ ssh-copy-id node08-ceph-osd6
[cephuser@node01-ceph-admin ~]$ ssh-copy-id node09-ceph-osd7

III. Configurer Firewall(3 nœuds OSD)

node07-ceph-osd5

root@floki03:~# ssh -l root node07-ceph-osd5
[root@node07-ceph-osd5 ~]# systemctl start firewalld && systemctl enable firewalld

[root@node07-ceph-osd5 ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp --permanent && firewall-cmd --reload
[root@node07-ceph-osd5 ~]# firewall-cmd --list-port
6800-7300/tcp

node08-ceph-osd6

root@floki03:~# ssh -l root node08-ceph-osd6
[root@node04-ceph-osd2 ~]# systemctl start firewalld && systemctl enable firewalld

[root@node04-ceph-osd2 ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp --permanent && firewall-cmd --reload

node09-ceph-osd7

root@floki03:~# ssh -l root node09-ceph-osd7
[root@node05-ceph-osd3 ~]# systemctl start firewalld && systemctl enable firewalld

[root@node05-ceph-osd3 ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp --permanent && firewall-cmd --reload

IV. Configurer les disques Ceph des noeuds OSD

node07-ceph-osd5

root@floki03:~# ssh -l root node07-ceph-osd5
[root@node07-ceph-osd5 ~]# sudo fdisk -l /dev/sdb

[root@node07-ceph-osd5 ~]# sudo parted -s /dev/sdb mklabel gpt mkpart primary xfs 0% 100%
[root@node07-ceph-osd5 ~]# sudo mkfs.xfs /dev/sdb -f

[root@node07-ceph-osd5 ~]# sudo blkid -o value -s TYPE /dev/sdb
Xfs

node08-ceph-osd6

[root@node08-ceph-osd6 ~]# sudo parted -s /dev/sdb mklabel gpt mkpart primary xfs 0% 100%
[root@node08-ceph-osd6 ~]# sudo mkfs.xfs /dev/sdb -f
[root@node08-ceph-osd6 ~]# sudo blkid -o value -s TYPE /dev/sdb
xfs

node09-ceph-osd7

[root@node09-ceph-osd7 ~]# sudo parted -s /dev/sdb mklabel gpt mkpart primary xfs 0% 100%
[root@node09-ceph-osd7 ~]# sudo mkfs.xfs /dev/sdb -f
[root@node09-ceph-osd7 ~]# sudo blkid -o value -s TYPE /dev/sdb
xfs

V. Installer ceph sur les noeuds OSD (node01-ceph-admin)

1°) Installation de ceph sur les nœuds OSD

[cephuser@node01-ceph-admin ~]$ ssh -l root node01-ceph-admin
[root@node01-ceph-admin ~]# su - cephuser
[cephuser@node01-ceph-admin ~]$ cd cluster/

[cephuser@node01-ceph-admin cluster]$ ceph-deploy install node07-ceph-osd5 node08-ceph-osd6 node09-ceph-osd7

L’installation de ceph va être déployée sur l’ensemble des nœuds OSD.
Cela devait prendre entre 5-10minutes.

2°) Déployer les disques /dev/sdb – nœuds OSD – sur le Cluster

[cephuser@node01-ceph-admin cluster]$ ceph-deploy disk list node07-ceph-osd5 node08-ceph-osd6 node09-ceph-osd7

3°) Préparer les disques /dev/sdb – nœuds OSD – sur le Cluster

[cephuser@node01-ceph-admin cluster]$ ceph-deploy disk zap node07-ceph-osd5:/dev/sdb node08-ceph-osd6:/dev/sdb node09-ceph-osd7:/dev/sdb

[cephuser@node01-ceph-admin cluster]$ ceph-deploy osd prepare node07-ceph-osd5:/dev/sdb node08-ceph-osd6:/dev/sdb node09-ceph-osd7:/dev/sdb



4°) Activons la partition /dev/sdb1 des nœuds OSD

[cephuser@node01-ceph-admin cluster]$ ceph-deploy osd activate node07-ceph-osd5:/dev/sdb1 node08-ceph-osd6:/dev/sdb1 node09-ceph-osd7:/dev/sdb1
[cephuser@node01-ceph-admin cluster]$ ceph-deploy disk list node07-ceph-osd5 node08-ceph-osd6 node09-ceph-osd7

5°) Déployer Admin sur les nouveaux nœuds OSD

[cephuser@node01-ceph-admin cluster]$ ceph-deploy admin node07-ceph-osd5 node08-ceph-osd6 node09-ceph-osd7

Changement des droits sur le fichier « ceph.client.admin.keyring »

[cephuser@node01-ceph-admin cluster]$ sudo chmod 644 /etc/ceph/ceph.client.admin.keyring

VI. Vérifions l’état du nouveau Cluster Cluster

[cephuser@node01-ceph-admin cluster]$ sudo ceph –s

[cephuser@node01-ceph-admin cluster]$ sudo ceph osd tree

TROUBLESHOT rencontré lors de mes essais 

[root@node01-ceph-admin ~]# ssh -l root node02-ceph-mon1
[root@node02-ceph-mon1 ~]#ceph osd pool set rbd pg_num 256
set _num to 256
[root@node02-ceph-mon1 ~]#ceph osd pool set rbd pgp_num 256
set pool 0 pgp_num to 256
[cephuser@node01-ceph-admin cluster]$ sudo ceph –s

Views: 15

Étiquettes

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *