Le cluster CEPH est composé de la façon Suivante

• node01-ceph-admin
• node02-ceph-mon1
• node03-ceph-mon2
• node04-ceph-mon3
• node05-ceph-osd1
• node06-ceph-osd2
• node07-ceph-osd3
• node08-ceph-osd4
• node09-ceph-osd5
• node10-ceph-osd6
• node11-ceph-osd7
• node12-ceph-osd8

Le Pool du Cluster sur Proxmox

I. Les spécifications des machines

1°) Administration (CEPH-ADMIN)

node01-Ceph-admin
IP : 172.16.186.40
Disque 1 – Système 10Go
RAM 2G

2°) Moniteurs (MON,MGR,MDS)

node02-Ceph-mon1
IP : 172.16.186.41
Disque – 1 Système 10Go
RAM 2G
2vCPU

node03-Ceph-mon2
IP : 172.16.186.42
Disque – 1 Système 10Go
RAM 2G
2vCPU

node04-Ceph-mon3
IP : 172.16.186.43
Disque – 1 Système 10Go
RAM 2G
2vCPU

3°) OSD (Disque CEPH)

node05-Ceph-osd1
IP : 172.16.186.44
Disque 1 – Système 10Go
Disque 2 – Ceph 20G0
RAM 2G
2vCPU

node06-Ceph-osd2
IP : 172.16.186.45
Disque 1 – Système 10Go
Disque 2 – Ceph 20G0
RAM 2G
2vCPU

node07-Ceph-osd3
IP : 172.16.186.46
Disque 1 – Système 10Go
Disque 2 – Ceph 20G0
RAM 2G
2vCPU

node08-Ceph-osd4
IP : 172.16.186.47
Disque 1 – Système 10Go
Disque 2 – Ceph 20G0
RAM 2G
2vCPU

node09-Ceph-osd5
IP : 172.16.186.48
Disque 1 – Système 10Go
Disque 2 – Ceph 20G0
RAM 2G
2vCPU

node10-Ceph-osd6
IP : 172.16.186.49
Disque 1 – Système 10Go
Disque 2 – Ceph 20G0
RAM 2G
2vCPU

node11-Ceph-osd7
IP : 172.16.186.50
Disque 1 – Système 10Go
Disque 2 – Ceph 20G0
RAM 2G
2vCPU

node12-Ceph-osd8
IP : 172.16.186.51
Disque 1 – Système 10Go
Disque 2 – Ceph 20G0
RAM 2G
2vCPU

II. Prérequis à toutes les machines

1°) Inscription des machines Ceph au DNS

MODOP – Configurer un DNS Primaire et Secondaire – Centos7

[root@dns-pri ~]# vi /var/named/forward.house.cpb
; Cluster CEPH
;PARTIE ADMIN
node01-ceph-admin IN A 172.16.186.40
;PARTIE MON,MGR,MDS
node02-ceph-mon1 IN A 172.16.186.41
node03-ceph-mon2 IN A 172.16.186.42
node04-ceph-mon3 IN A 172.16.186.43
;PARTIE OSD
node05-ceph-osd1 IN A 172.16.186.44
node06-ceph-osd2 IN A 172.16.186.45
node07-ceph-osd3 IN A 172.16.186.46
node08-ceph-osd4 IN A 172.16.186.47
node09-ceph-osd5 IN A 172.16.186.48
node10-ceph-osd6 IN A 172.16.186.49
node11-ceph-osd7 IN A 172.16.186.50
node12-ceph-osd8 IN A 172.16.186.51

Le reverse

[root@dns-pri ~]# vi /var/named/reversevmbr3.house.cpb
; CEPH CLuster
;PARTIE ADMIN
40 IN PTR node01-ceph-admin.house.cpb.
;PARTIE MON,MGR,MDS
41 IN PTR node02-ceph-mon1.house.cpb.
42 IN PTR node03-ceph-mon2.house.cpb.
43 IN PTR node04-ceph-mon3.house.cpb.
;PARTIE OSD
44 IN PTR node05-ceph-osd1.house.cpb.
45 IN PTR node06-ceph-osd2.house.cpb.
46 IN PTR node07-ceph-osd3.house.cpb.
47 IN PTR node08-ceph-osd4.house.cpb.
48 IN PTR node09-ceph-osd5.house.cpb.
49 IN PTR node10-ceph-osd6.house.cpb.
50 IN PTR node11-ceph-osd7.house.cpb.
51 IN PTR node12-ceph-osd8.house.cpb.

[root@dns-pri ~]# systemctl reload named

2°) Installation des middlewares (12 noeuds)

[root@node01-ceph-admin ~]# dnf update
[root@node01-ceph-admin ~]# dnf -y install vim bash-completion nmap net-tools wget

3°) Installation ntpd (12 nœuds)

[root@node01-ceph-admin ~]# timedatectl set-timezone Europe/Paris
[root@node01-ceph-admin ~]# timedatectl

4°) Désactivation Selinux (12 nœuds)

[root@node01-ceph-admin ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
[root@node01-ceph-admin ~]# reboot

5°) Désactivation IPv6 (12 nœuds)

[root@node01-ceph-admin ~]# vi /etc/sysctl.conf
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.all.autoconf = 0
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.default.autoconf = 0

[root@node01-ceph-admin ~]# sysctl -p

6°) Création Utilisateur et ajout droit sudoers (12 nœuds)

[root@node01-ceph-admin ~]# useradd -d /home/cephuser -m cephuser
[root@node01-ceph-admin ~]# passwd cephuser
[root@node01-ceph-admin ~]# echo "cephuser ALL = (root) NOPASSWD:ALL" >> /etc/sudoers.d/cephuser
[root@node01-ceph-admin ~]# chmod 0440 /etc/sudoers.d/cephuser
[root@node01-ceph-admin ~]# sed -i s'/Defaults requiretty/#Defaults requiretty'/g /etc/sudoers

III. Connexion SSH (node01-Ceph-admin)

1°) générer une clef SSH pour cephuser (ssh-keygen)

root@floki03:~# ssh -l root node01-ceph-admin
[cephuser@node01-ceph-admin ~]$ su - cephuser
[cephuser@node01-ceph-admin ~]$ ssh-keygen

2°) Création config SSH pour les nodes

[cephuser@node01-ceph-admin ~]$ vi ~/.ssh/config

Host node01-ceph-admin
          Hostname node01-ceph-admin
          User cephuser

Host node02-ceph-mon1
           Hostname node02-ceph-mon1
           User cephuser

Host node03-ceph-mon2
           Hostname node03-ceph-mon2
           User cephuser

Host node04-ceph-mon3
           Hostname node04-ceph-mon3
           User cephuser

Host node05-ceph-osd1
           Hostname node05-ceph-osd1
           User cephuser

Host node06-ceph-osd2
           Hostname node06-ceph-osd2
           User cephuser

Host node07-ceph-osd3
           Hostname node07-ceph-osd3
           User cephuser

Host node08-ceph-osd4
           Hostname node08-ceph-osd4
           User cephuser

Host node09-ceph-osd5
           Hostname node09-ceph-osd5
           User cephuser

Host node10-ceph-osd6
           Hostname node10-ceph-osd6
           User cephuser

Host node11-ceph-osd7
           Hostname node11-ceph-osd7
           User cephuser

Host node12-ceph-osd8
           Hostname node12-ceph-osd8
           User cephuser

[cephuser@node01-ceph-admin ~]$ chmod 644 ~/.ssh/config
[cephuser@node01-ceph-admin ~]$ ssh-keyscan node01-ceph-admin node02-ceph-mon1 node03-ceph-mon2 node04-ceph-mon3 node05-ceph-osd1 node06-ceph-osd2 node07-ceph-osd3 node08-ceph-osd4 node09-ceph-osd5 node10-ceph-osd6 node11-ceph-osd7 node12-ceph-osd8 >> ~/.ssh/known_hosts

[cephuser@node01-ceph-admin ~]$ ssh-copy-id node02-ceph-mon1
[cephuser@node01-ceph-admin ~]$ ssh-copy-id node03-ceph-mon2
[cephuser@node01-ceph-admin ~]$ ssh-copy-id node04-ceph-mon3
[cephuser@node01-ceph-admin ~]$ ssh-copy-id node05-ceph-osd1
[cephuser@node01-ceph-admin ~]$ ssh-copy-id node06-ceph-osd2
[cephuser@node01-ceph-admin ~]$ ssh-copy-id node07-ceph-osd3
[cephuser@node01-ceph-admin ~]$ ssh-copy-id node08-ceph-osd4
[cephuser@node01-ceph-admin ~]$ ssh-copy-id node09-ceph-osd5
[cephuser@node01-ceph-admin ~]$ ssh-copy-id node10-ceph-osd6
[cephuser@node01-ceph-admin ~]$ ssh-copy-id node11-ceph-osd7
[cephuser@node01-ceph-admin ~]$ ssh-copy-id node12-ceph-osd8

3°) Installation des Middleware ceph

[cephuser@node01-ceph-admin ~]$ sudo dnf -y install https://dl.fedoraproject.org/pub/epel/epel-release-latest-8.noarch.rpm
[cephuser@node01-ceph-admin ~]$ sudo yum install dnf-plugins-core
[cephuser@node01-ceph-admin ~]$ sudo dnf config-manager --set-enabled powertools

4°) Installation de ceph-ansible

[cephuser@node01-ceph-admin ~]$ sudo dnf install ansible
[cephuser@node01-ceph-admin ~]$ sudo yum install git vim bash-completion
[cephuser@node01-ceph-admin ~]$ git clone https://github.com/ceph/ceph-ansible.git
[cephuser@node01-ceph-admin ~]$ cd ceph-ansible
[cephuser@node01-ceph-admin ceph-ansible]$ git checkout stable-5.0

[cephuser@node01-ceph-admin ceph-ansible]$ sudo yum install python3-pip
[cephuser@node01-ceph-admin ceph-ansible]$ sudo python3 -m pip install -U pip
[cephuser@node01-ceph-admin ceph-ansible]$ pip3 install -r requirements.txt

[cephuser@node01-ceph-admin ceph-ansible]$ echo "PATH=\$PATH:/usr/local/bin" >>~/.bashrc
[cephuser@node01-ceph-admin ceph-ansible]$ source ~/.bashrc

[cephuser@node01-ceph-admin ceph-ansible]$ mkdir -p /home/cephuser/ansible/
[cephuser@node01-ceph-admin ceph-ansible]$ ansible --version

IV. Configurer ceph-ansible

1°) Configurer le Cluster via ceph-ansible (all.yml)

[cephuser@node01-ceph-admin ceph-ansible]$ cp group_vars/all.yml.sample group_vars/all.yml

[cephuser@node01-ceph-admin ceph-ansible]$ vim group_vars/all.yml

#Version CEPH à déployer 
######################################
# Releases name to number dictionary #
######################################
ceph_release_num: 15
cluster: ceph

#Inventaires des objets à installer
mon_group_name: mons
osd_group_name: osds
rgw_group_name: rgws
mds_group_name: mdss
nfs_group_name: nfss
rbdmirror_group_name: rbdmirrors
lient_group_name: clients
iscsi_gw_group_name: iscsigws
mgr_group_name: mgrs
rgwloadbalancer_group_name: rgwloadbalancers
grafana_server_group_name: grafana-server
#monitoring_group_name: monitoring

#Firewall sur les Nœuds 
configure_firewall: True
# Open ports on corresponding nodes if firewall is installed on it
ceph_mon_firewall_zone: public
ceph_mgr_firewall_zone: public
ceph_osd_firewall_zone: public
ceph_rgw_firewall_zone: public
ceph_mds_firewall_zone: public
ceph_nfs_firewall_zone: public
ceph_rbdmirror_firewall_zone: public
ceph_iscsi_firewall_zone: public
ceph_dashboard_firewall_zone: public
ceph_rgwloadbalancer_firewall_zone: public

#NTP sur les Noeuds
ntp_service_enabled: true
ntp_daemon_type: chronyd

#Option version distribution
ceph_repository_type: cdn
ceph_origin: repository
ceph_repository: community
ceph_stable_release: octopusy

#Choix Réseau à utiliser (ici LABO vmbr3)
monitor_interface: ens18
radosgw_interface: ens18
public_network: 172.16.186.0/24

#DashBoard Ceph
dashboard_enabled: True
dashboard_protocol: http
dashboard_admin_user: admin
dashboard_admin_password: Choux2Fleur
grafana_admin_user: admin
grafana_admin_password: Choux2Fleur

2°) Configurer les OSD disque via ceph-ansible (osds.yml)

[cephuser@node01-ceph-admin ceph-ansible]$ cp group_vars/osds.yml.sample group_vars/osds.yml

[cephuser@node01-ceph-admin ceph-ansible]$ vim group_vars/osds.yml
copy_admin_key: true
devices:
 - /dev/sdb

3°) Configurer nos hosts via-ansible (hosts)

[cephuser@node01-ceph-admin ceph-ansible]$ vim hosts

# Connexion SSH via cephuser
[all:vars]
ansible_ssh_user=cephuser
ansible_become=true
ansible_become_method=sudo
ansible_become_user=root

# Noeuds Moniteur
[mons]
node02-ceph-mon1
node03-ceph-mon2
node04-ceph-mon3

# Noeuds MDS
[mdss]
node02-ceph-mon1
node03-ceph-mon2
node04-ceph-mon3

# Noeuds RGW
[rgws]
node02-ceph-mon1
node03-ceph-mon2
node04-ceph-mon3

# Noeuds Manager MGRS
[mgrs]
node02-ceph-mon1
node03-ceph-mon2
node04-ceph-mon3

# Noeuds OSD (Object Storage Daemon)
[osds]
node05-ceph-osd1
node06-ceph-osd2
node07-ceph-osd3
node08-ceph-osd4
node09-ceph-osd5
node10-ceph-osd6
node11-ceph-osd7
node12-ceph-osd8

# Grafana server (HA)
[grafana-server]
node02-ceph-mon1
node03-ceph-mon2
node04-ceph-mon3

V.Déployer le Cluster et Grafana (site.yml)

[cephuser@node01-ceph-admin ceph-ansible]$ cp site.yml.sample site.yml
[cephuser@node01-ceph-admin ceph-ansible]$ ansible-playbook -i hosts site.yml

Cette étape va déployer le Cluster Ceph via Ansible…. Cela risque de durer

A la fin du déploiement

1 °) Check le Cluster Ceph déployé

[cephuser@node01-ceph-admin ceph-ansible]$ ssh node02-ceph-mon1
[cephuser@node02-ceph-mon1 ~]$ sudo ceph -s

[cephuser@node02-ceph-mon1 ~]$ sudo ceph config set mon auth_allow_insecure_global_id_reclaim false

Le pool OSD

[cephuser@node02-ceph-mon1 ~]$ sudo ceph osd tree

2°) Check Grafana

Mon réseau de LAB est sur le Subnet 172.16.185.0/24 et mon réseau de test est sur le Subnet 192.168.1.0/24.De ce fait pour tester la partie Grafana je vais monter provisoirement une seconde carte réseau virtuelle.

[root@node02-ceph-mon1 ~]# firewall-cmd --add-interface ens19
[root@node02-ceph-mon1 ~]# firewall-cmd --add-source=192.168.1.0/24 --zone=public --permanent && firewall-cmd --reload

[root@node02-ceph-mon1 ~]# vi /etc/grafana/grafana.ini
#http_addr = 172.16.186.41
http_addr = 192.168.1.29

• http://node02-ceph-mon1

2°) Update Pie Chart

[root@node02-ceph-mon1 chris]# wget -nv https://grafana.com/api/plugins/grafana-piechart-panel/versions/latest/download -O /tmp/grafana-piechart-panel.zip
[root@node02-ceph-mon1 chris]# dnf install unzip

[root@node02-ceph-mon1 chris]# unzip -q /tmp/grafana-piechart-panel.zip -d /tmp
[root@node02-ceph-mon1 chris]# mv /tmp/grafana-piechart-panel /var/lib/grafana/plugins/grafana-piechart-panel

[root@node02-ceph-mon1 tmp]# sudo service grafana-server restart

Choisir nos sources d’affichages pour Grafana

Les 3 nœuds grafana (moniteurs) peuvent être par la suite pilotés par un loadbalancing HAProxy pour rendre la supervision toujours disponible quel que soit l’état d’un des nœuds moniteurs.

Exemple : Configurer un HA Proxy

Views: 41

L’article MODOP – Installation d’un Cluster CEPH – Centos 8 (Ceph-Ansible) est apparu en premier sur CoffeeBreak Info.

Le but est de rajouter deux autres « moniteur » afin de créer plus de résilience sur le Cluster CEPH.

Actuellement

• node01-ceph-admin
• node02-ceph-mon1
• node03-ceph-osd1
• node04-ceph-osd2
• node05-ceph-osd3
• node06-ceph-osd4
• node07-ceph-osd5
• node08-ceph-osd6
• node09-ceph-osd7

Le but

• node01-ceph-admin
• node02-ceph-mon1
• node03-ceph-osd1
• node04-ceph-osd2
• node05-ceph-osd3
• node06-ceph-osd4
• node07-ceph-osd5
• node08-ceph-osd6
• node09-ceph-osd7
• node10-ceph-mon2
• node11-ceph-mon3

Spécification des nouvelles machines « moniteur »

Node10-ceph-mon2
IP : 172.16.186.53
Disque – 1 Système 10Go
RAM 2G
2vCPU

Node11-ceph-mon3
IP : 172.16.186.54
Disque – 1 Système 10Go
RAM 2G
2vCPU

I. Prérequis

1°) ajouter au DNS les nouvelles machines OSD

root@floki03:~# ssh -l root dns-pri.house.cpb

[root@dns-pri ~]# vi /var/named/forward.house.cpb
; Cluster CEPH
node01-ceph-admin IN A 172.16.186.40
node02-ceph-mon1 IN A 172.16.186.41
node03-ceph-osd1 IN A 172.16.186.42
node04-ceph-osd2 IN A 172.16.186.43
node05-ceph-osd3 IN A 172.16.186.44
node06-ceph-osd4 IN A 172.16.186.45
node-ceph-client1 IN A 172.16.186.46
node07-ceph-osd5 IN A 172.16.186.47
node08-ceph-osd6 IN A 172.16.186.48
node09-ceph-osd7 IN A 172.16.186.49
node10-ceph-mon2 IN A 172.16.186.53
node11-ceph-mon3 IN A 172.16.186.54

Le reverse

[root@dns-pri ~]# vi /var/named/reversevmbr3.house.cpb
; CEPH CLuster
40 IN PTR node01-ceph-admin.house.cpb.
41 IN PTR node02-ceph-mon1.house.cpb.
42 IN PTR node03-ceph-osd1.house.cpb.
43 IN PTR node04-ceph-osd2.house.cpb.
44 IN PTR node05-ceph-osd3.house.cpb.
45 IN PTR node06-ceph-osd4.house.cpb.
46 IN PTR node-ceph-client1.house.cpb.
47 IN PTR node07-ceph-osd5.house.cpb.
48 IN PTR node08-ceph-osd6.house.cpb.
49 IN PTR node09-ceph-osd7.house.cpb.
53 IN PTR node10-ceph-mon2.house.cpb.
54 IN PTR node11-ceph-mon3.house.cpb.

[root@dns-pri ~]# systemctl reload named

2°) Installation des middlewares (mon2 et mon3)

[root@node10-ceph-mon2 ~]# yum update -y
[root@node10-ceph-mon2 ~]# yum install -y htop nmap net-tools wget

3°) Installation ntpd (mon2 et mon3)

[root@node10-ceph-mon2 ~]# yum install ntp ntpdate ntp-doc -y
[root@node10-ceph-mon2 ~]# chkconfig ntpd on
[root@node10-ceph-mon2 ~]# ntpdate pool.ntp.org
[root@node10-ceph-mon2 ~]# systemctl start ntpd

4°) Désactivation Selinux (mon2 et mon3)

[root@node10-ceph-mon2 ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config [root@node10-ceph-mon2 ~]# reboot

5°) Désactivation IPv6 (mon2 et mon3)

[root@node10-ceph-mon2 ~]# vi /etc/sysctl.conf
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.all.autoconf = 0
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.default.autoconf = 0

[root@node10-ceph-mon2 ~]# sysctl -p

6°) Création Utilisateur et ajout droit sudoers (mon2 et mon3)

[root@node10-ceph-mon2 ~]# useradd -d /home/cephuser -m cephuser
[root@node10-ceph-mon2 ~]# passwd cephuser
[root@node10-ceph-mon2 ~]# echo "cephuser ALL = (root) NOPASSWD:ALL" >> /etc/sudoers.d/cephuser
[root@node10-ceph-mon2 ~]# chmod 0440 /etc/sudoers.d/cephuser
[root@node10-ceph-mon2 ~]# sed -i s'/Defaults requiretty/#Defaults requiretty'/g /etc/sudoers

II. Connexion SSH (node01-Ceph-admin)

root@floki03:~# ssh -l root node01-ceph-admin

[cephuser@node01-ceph-admin ~]$ su - cephuser

[cephuser@node01-ceph-admin ~]$ vi ~/.ssh/config

Ajouter à la fin du fichier
Host node10-ceph-mon2
         Hostname node10-ceph-mon2
         User cephuser

Host node11-ceph-mon3
         Hostname node11-ceph-mon3
         User cephuser

[cephuser@node01-ceph-admin ~]$ chmod 644 ~/.ssh/config
[cephuser@node01-ceph-admin ~]$ ssh-keyscan node10-ceph-mon2 node11-ceph-mon3 >> ~/.ssh/known_hosts

[cephuser@node01-ceph-admin ~]$ ssh-copy-id node10-ceph-mon2
[cephuser@node01-ceph-admin ~]$ ssh-copy-id node11-ceph-mon3

III. Configurer Firewall(mon2 et mon3)

node10-ceph-mon2

[root@node10-ceph-mon2 ~]# systemctl start firewalld && systemctl enable firewalld
[root@node10-ceph-mon2 ~]# firewall-cmd --zone=public --add-port=6789/tcp --permanent
[root@node10-ceph-mon2 ~]# firewall-cmd --reload
[root@node10-ceph-mon2 ~]# firewall-cmd --list-port
6789/tcp

node11-ceph-mon3

[root@node11-ceph-mon3 ~]# systemctl start firewalld && systemctl enable firewalld
[root@node11-ceph-mon3 ~]# firewall-cmd --zone=public --add-port=6789/tcp --permanent
[root@node11-ceph-mon3 ~]# firewall-cmd --reload
[root@node11-ceph-mon3 ~]# firewall-cmd --list-port
6789/tcp

IV. Installer les noeuds mon2 et mon3 (node01-ceph-admin)

1°) Déployer l’installation de CEPH

[cephuser@node01-ceph-admin ~]$ ssh -l root node01-ceph-admin
[root@node01-ceph-admin ~]# su - cephuser
[cephuser@node01-ceph-admin ~]$ cd cluster/
[cephuser@node01-ceph-admin cluster]$ ceph-deploy install node10-ceph-mon2 node11-ceph-mon3

2°) Ajouter les nœuds mon2 et mon3 au Cluster

[cephuser@node01-ceph-admin cluster]$ ceph-deploy mon add node10-ceph-mon2 --address 172.16.186.53

[cephuser@node01-ceph-admin cluster]$ ceph-deploy mon add node11-ceph-mon3 --address 172.16.186.54

[cephuser@node01-ceph-admin cluster]$ ceph –s

Pour Détruire un Moniteur

[cephuser@node01-ceph-admin cluster]$ ceph-deploy mon destroy node11-ceph-mon3

Views: 12

L’article MODOP – Ajout de 2 nœuds Mon dans un Cluster CEPH – Partie 6 est apparu en premier sur CoffeeBreak Info.

root@floki03:~# ssh -l root node02-ceph-mon1
[cephuser@node02-ceph-mon1 ~]$ su - cephuser

Détermine l’ID de l’OSD à Supprimer

[cephuser@node02-ceph-mon1 ~]$ sudo ceph osd tree

[cephuser@node02-ceph-mon1 ~]$ sudo ceph osd crush reweight osd.6 0.0
reweighted item id 6 name 'osd.6' to 0 in crush map

Sortir l’OSD du Cluster rbd

[cephuser@node02-ceph-mon1 ~]$ sudo ceph osd out osd.6
marked out osd.6. 

Stop le service OSD

[cephuser@node02-ceph-mon1 ~]$ sudo service ceph stop osd.6

Suppression de l’OSD du la CRUSH Map

[cephuser@node02-ceph-mon1 ~]$ sudo ceph osd crush remove osd.6
removed item id 6 name 'osd.6' from crush map

Déclarer le nœud OSD Down et suppression

[cephuser@node02-ceph-mon1 ~]$ sudo ceph osd down osd.6 && sudo ceph osd rm osd.6
marked down osd.6.
removed osd.6

Suppression de l’authentification de l’OSD

[cephuser@node02-ceph-mon1 ~]$ sudo ceph auth del osd.6
Updated

[cephuser@node02-ceph-mon1 ~]$ ceph –s

TROUBLESHOT rencontré lors de mes essais

[root@node09-ceph-osd7 ~]# ceph osd pool set rbd pg_num 256
set _num to 256
[root@node09-ceph-osd7 ~]# ceph osd pool set rbd pgp_num 256
set pool 0 pgp_num to 256

[root@node09-ceph-osd7 ~]# ceph -s

Attendre la Resynchronisation

[root@node09-ceph-osd7 ~]# ceph -s

Views: 8

L’article MODOP – Suppression d’un nœud OSD sur le  Cluster CEPH – Partie 5 est apparu en premier sur CoffeeBreak Info.

Afin d’augmenter la capacité d’un Cluster de 60Go à 105Go , nous allons ajouter 3 nœuds OSD.

Actuellement

• node01-ceph-admin
• node02-ceph-mon1
• node03-ceph-osd1
• node04-ceph-osd2
• node05-ceph-osd3
• node06-ceph-osd4

Le but

• node01-ceph-admin
• node02-ceph-mon1
• node03-ceph-osd1
• node04-ceph-osd2
• node05-ceph-osd3
• node06-ceph-osd4
• node07-ceph-osd5
• node08-ceph-osd6
• node09-ceph-osd7

Spécification des nouvelles machines
node07-Ceph-osd5
IP : 172.16.186.47
Disque 1 – Système 10Go
Disque 2 – Ceph 20G0
RAM 2G
2vCPU

node08-Ceph-osd6
IP : 172.16.186.48
Disque 1 – Système 10Go
Disque 2 – Ceph 20G0
RAM 2G
2vCPU

node09-Ceph-osd7
IP : 172.16.186.49
Disque 1 – Système 10Go
Disque 2 – Ceph 20G0
RAM 2G
2vCPU

I. Prérequis

1°) ajouter au DNS les nouvelles machines OSD

MODOP – Configurer un DNS Primaire et Secondaire – Centos7

root@floki03:~# ssh -l root dns-pri

[root@dns-pri ~]# vi /var/named/forward.house.cpb
; Cluster CEPH
node01-ceph-admin IN A 172.16.186.40
node02-ceph-mon1 IN A 172.16.186.41
node03-ceph-osd1 IN A 172.16.186.42
node04-ceph-osd2 IN A 172.16.186.43
node05-ceph-osd3 IN A 172.16.186.44
node06-ceph-osd4 IN A 172.16.186.45
node-ceph-client1 IN A 172.16.186.46
node07-ceph-osd5 IN A 172.16.186.47
node08-ceph-osd6 IN A 172.16.186.48
node09-ceph-osd7 IN A 172.16.186.49

[root@dns-pri ~]# vi /var/named/reversevmbr3.house.cpb
; CEPH CLuster
40 IN PTR node01-ceph-admin.house.cpb.
41 IN PTR node02-ceph-mon1.house.cpb.
42 IN PTR node03-ceph-osd1.house.cpb.
43 IN PTR node04-ceph-osd2.house.cpb.
44 IN PTR node05-ceph-osd3.house.cpb.
45 IN PTR node06-ceph-osd4.house.cpb.
46 IN PTR node-ceph-client1.house.cpb.
47 IN PTR node07-ceph-osd5.house.cpb.
48 IN PTR node08-ceph-osd6.house.cpb.
49 IN PTR node09-ceph-osd7.house.cpb.

[root@dns-pri ~]# systemctl reload named

2°) Installation des middlewares (3 nœuds OSD)

[root@node07-ceph-osd5 ~]# yum update -y
[root@node07-ceph-osd5 ~]# yum install -y htop nmap net-tools wget

3°) Installation ntpd (3 nœuds OSD)

[root@node07-ceph-osd5 ~]# yum install ntp ntpdate ntp-doc -y
[root@node07-ceph-osd5 ~]# chkconfig ntpd on
[root@node07-ceph-osd5 ~]# ntpdate pool.ntp.org
[root@node07-ceph-osd5 ~]# systemctl start ntpd

4°) Désactivation Selinux (3 nœuds OSD)

[root@node07-ceph-osd5 ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
[root@node07-ceph-osd5 ~]# reboot

5°) Désactivation IPv6 (3 nœuds OSD)

[root@node07-ceph-osd5 ~]# vi /etc/sysctl.conf
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.all.autoconf = 0
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.default.autoconf = 0

[root@node07-ceph-osd5 ~]# sysctl -p

6°) Création Utilisateur et ajout droit sudoers (3 nœuds OSD)

[root@node07-ceph-osd5 ~]# useradd -d /home/cephuser -m cephuser
[root@node07-ceph-osd5 ~]# passwd cephuser
[root@node07-ceph-osd5 ~]# echo "cephuser ALL = (root) NOPASSWD:ALL" >> /etc/sudoers.d/cephuser
[root@node07-ceph-osd5 ~]# chmod 0440 /etc/sudoers.d/cephuser
[root@node07-ceph-osd5 ~]# sed -i s'/Defaults requiretty/#Defaults requiretty'/g /etc/sudoers

II. Connexion SSH (node01-Ceph-admin)

root@floki03:~# ssh -l root node01-ceph-admin
[cephuser@node01-ceph-admin ~]$ su - cephuser

[cephuser@node01-ceph-admin ~]$ vi ~/.ssh/config
Host node07-ceph-osd5
         Hostname node07-ceph-osd5
         User cephuser

Host node08-ceph-osd6
          Hostname node08-ceph-osd6
          User cephuser

Host node09-ceph-osd7
           Hostname node09-ceph-osd7
           User cephuser

[cephuser@node01-ceph-admin ~]$ chmod 644 ~/.ssh/config
[cephuser@node01-ceph-admin ~]$ ssh-keyscan node07-ceph-osd5 node08-ceph-osd6 node09-ceph-osd7 >> ~/.ssh/known_hosts

[cephuser@node01-ceph-admin ~]$ ssh-copy-id node07-ceph-osd5
[cephuser@node01-ceph-admin ~]$ ssh-copy-id node08-ceph-osd6
[cephuser@node01-ceph-admin ~]$ ssh-copy-id node09-ceph-osd7

III. Configurer Firewall(3 nœuds OSD)

node07-ceph-osd5

root@floki03:~# ssh -l root node07-ceph-osd5
[root@node07-ceph-osd5 ~]# systemctl start firewalld && systemctl enable firewalld

[root@node07-ceph-osd5 ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp --permanent && firewall-cmd --reload
[root@node07-ceph-osd5 ~]# firewall-cmd --list-port
6800-7300/tcp

node08-ceph-osd6

root@floki03:~# ssh -l root node08-ceph-osd6
[root@node04-ceph-osd2 ~]# systemctl start firewalld && systemctl enable firewalld

[root@node04-ceph-osd2 ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp --permanent && firewall-cmd --reload

node09-ceph-osd7

root@floki03:~# ssh -l root node09-ceph-osd7
[root@node05-ceph-osd3 ~]# systemctl start firewalld && systemctl enable firewalld

[root@node05-ceph-osd3 ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp --permanent && firewall-cmd --reload

IV. Configurer les disques Ceph des noeuds OSD

node07-ceph-osd5

root@floki03:~# ssh -l root node07-ceph-osd5
[root@node07-ceph-osd5 ~]# sudo fdisk -l /dev/sdb

[root@node07-ceph-osd5 ~]# sudo parted -s /dev/sdb mklabel gpt mkpart primary xfs 0% 100%
[root@node07-ceph-osd5 ~]# sudo mkfs.xfs /dev/sdb -f

[root@node07-ceph-osd5 ~]# sudo blkid -o value -s TYPE /dev/sdb
Xfs

node08-ceph-osd6

[root@node08-ceph-osd6 ~]# sudo parted -s /dev/sdb mklabel gpt mkpart primary xfs 0% 100%
[root@node08-ceph-osd6 ~]# sudo mkfs.xfs /dev/sdb -f
[root@node08-ceph-osd6 ~]# sudo blkid -o value -s TYPE /dev/sdb
xfs

node09-ceph-osd7

[root@node09-ceph-osd7 ~]# sudo parted -s /dev/sdb mklabel gpt mkpart primary xfs 0% 100%
[root@node09-ceph-osd7 ~]# sudo mkfs.xfs /dev/sdb -f
[root@node09-ceph-osd7 ~]# sudo blkid -o value -s TYPE /dev/sdb
xfs

V. Installer ceph sur les noeuds OSD (node01-ceph-admin)

1°) Installation de ceph sur les nœuds OSD

[cephuser@node01-ceph-admin ~]$ ssh -l root node01-ceph-admin
[root@node01-ceph-admin ~]# su - cephuser
[cephuser@node01-ceph-admin ~]$ cd cluster/

[cephuser@node01-ceph-admin cluster]$ ceph-deploy install node07-ceph-osd5 node08-ceph-osd6 node09-ceph-osd7

L’installation de ceph va être déployée sur l’ensemble des nœuds OSD.
Cela devait prendre entre 5-10minutes.

2°) Déployer les disques /dev/sdb – nœuds OSD – sur le Cluster

[cephuser@node01-ceph-admin cluster]$ ceph-deploy disk list node07-ceph-osd5 node08-ceph-osd6 node09-ceph-osd7

3°) Préparer les disques /dev/sdb – nœuds OSD – sur le Cluster

[cephuser@node01-ceph-admin cluster]$ ceph-deploy disk zap node07-ceph-osd5:/dev/sdb node08-ceph-osd6:/dev/sdb node09-ceph-osd7:/dev/sdb

[cephuser@node01-ceph-admin cluster]$ ceph-deploy osd prepare node07-ceph-osd5:/dev/sdb node08-ceph-osd6:/dev/sdb node09-ceph-osd7:/dev/sdb

4°) Activons la partition /dev/sdb1 des nœuds OSD

[cephuser@node01-ceph-admin cluster]$ ceph-deploy osd activate node07-ceph-osd5:/dev/sdb1 node08-ceph-osd6:/dev/sdb1 node09-ceph-osd7:/dev/sdb1

[cephuser@node01-ceph-admin cluster]$ ceph-deploy disk list node07-ceph-osd5 node08-ceph-osd6 node09-ceph-osd7

5°) Déployer Admin sur les nouveaux nœuds OSD

[cephuser@node01-ceph-admin cluster]$ ceph-deploy admin node07-ceph-osd5 node08-ceph-osd6 node09-ceph-osd7

Changement des droits sur le fichier « ceph.client.admin.keyring »

[cephuser@node01-ceph-admin cluster]$ sudo chmod 644 /etc/ceph/ceph.client.admin.keyring

VI. Vérifions l’état du nouveau Cluster Cluster

[cephuser@node01-ceph-admin cluster]$ sudo ceph –s

[cephuser@node01-ceph-admin cluster]$ sudo ceph osd tree

TROUBLESHOT rencontré lors de mes essais

[root@node01-ceph-admin ~]# ssh -l root node02-ceph-mon1
[root@node02-ceph-mon1 ~]#ceph osd pool set rbd pg_num 256
set _num to 256
[root@node02-ceph-mon1 ~]#ceph osd pool set rbd pgp_num 256
set pool 0 pgp_num to 256

[cephuser@node01-ceph-admin cluster]$ sudo ceph –s

Views: 15

L’article MODOP – Ajout de 3 nœuds OSD sur le Cluster CEPH – Partie 4 est apparu en premier sur CoffeeBreak Info.

1°) Installation Apache

root@floki03:~# ssh -l root node02-ceph-mon1
[root@node02-ceph-mon1 ~]# yum -y install httpd mod_wsgi mod_ssl git python-pip
[root@node02-ceph-mon1 ~]# easy_install Jinja2

[root@node02-ceph-mon1 ~]# systemctl start httpd && systemctl enable httpd

2°) Installation Dashboard CEPH

[root@node02-ceph-mon1 ~]# mkdir -p /var/www/cephdash
[root@node02-ceph-mon1 ~]# cd /var/www/cephdash
[root@node02-ceph-mon1 cephdash]# git clone https://github.com/Crapworks/ceph-dash.git

[root@node02-ceph-mon1 cephdash]# chown -R apache.apache /var/www/cephdash
[root@node02-ceph-mon1 cephdash]# chmod -R 755 /var/www/cephdash
[root@node02-ceph-mon1 cephdash]# chmod +r /etc/ceph/ceph.client.admin.keyring

3°) Configurer Apache et dashboard

[root@node02-ceph-mon1 cephdash]# cd /var/www/cephdash/ceph-dash/
[root@node02-ceph-mon1 ceph-dash]# cp contrib/apache/cephdash /etc/httpd/conf.d/cephdash.conf
[root@node02-ceph-mon1 ceph-dash]# cd /etc/httpd/conf.d/

[root@node02-ceph-mon1 conf.d]# vi cephdash.conf

<VirtualHost *:80>
          ServerName node02-ceph-mon1.house.cpb
          RewriteEngine On
          RewriteCond %{REQUEST_URI} !^/server-status
          RewriteRule ^/?(.*) https://%{HTTP_HOST}/$1 [R,L]
</VirtualHost>

<VirtualHost *:443>
          ServerName node02-ceph-mon1.house.cpb
          WSGIDaemonProcess cephdash user=apache group=apache processes=1 threads=5
          WSGIScriptAlias / /var/www/cephdash/ceph-dash/contrib/wsgi/cephdash.wsgi
          WSGIPassAuthorization On

           SSLEngine on
           SSLCertificateFile /etc/ssl/certs/ssl.crt
           SSLCertificateKeyFile /etc/ssl/certs/ssl.key

<Directory /var/www/cephdash/ceph-dash>
           WSGIProcessGroup cephdash
           WSGIApplicationGroup %{GLOBAL}
           Order deny,allow
           Allow from all
           AuthType Basic
           AuthName "Restricted Content"
           AuthUserFile /etc/httpd/.htpasswd
          Require valid-user
 </Directory>
</VirtualHost>

[root@node02-ceph-mon1 conf.d]# mv welcome.conf{,-old}
[root@node02-ceph-mon1 conf.d]# mv autoindex.conf{,-old}
[root@node02-ceph-mon1 conf.d]# mv userdir.conf{,-old}

4°) Générer une Clef SSL Privé et Public

[root@node02-ceph-mon1 conf.d]# cd /etc/ssl/certs/

[root@node02-ceph-mon1 certs]# openssl req -x509 -nodes -days 365 -newkey rsa:2048 -keyout ssl.key -out ssl.crt

Country Name (2 letter code) [XX]:FR
State or Province Name (full name) []:Fontenay
Locality Name (eg, city) [Default City]:Fontenay
Organization Name (eg, company) [Default Company Ltd]:house.cpb
Organizational Unit Name (eg, section) []:house.cpb
Common Name (eg, your name or your server's hostname) []:node02-ceph-mon1.house.cpb
Email Address []:chris@house.cpb

5°) Générer un user/password pour accès dashboard

[root@node02-ceph-mon1 certs]# htpasswd -c /etc/httpd/.htpasswd chris
New password: « PASSWORD »
Re-type new password: « PASSWORD »
Adding password for user chris 

6°) Rules Firewall

[root@node02-ceph-mon1 certs]# firewall-cmd --zone=public --add-service=http --permanent
[root@node02-ceph-mon1 certs]# firewall-cmd --zone=public --add-service=https --permanent
[root@node02-ceph-mon1 certs]# firewall-cmd --reload

7°) Démarrer les services

[root@node02-ceph-mon1 certs]# systemctl enable firewalld && systemctl start firewalld
[root@node02-ceph-mon1 certs]# systemctl enable httpd && systemctl start httpd

8°) Connexion au Dashboard

• http://node02-ceph-mon1.house.cpb

Sur le Dashboard on retrouve bien notre Cluster

• 1 Moniteur : node02-ceph-mon1
• 4 Nœuds OSD avec une agrégation disque de 60Go (4x15Go)

Views: 9

L’article MODOP – Installation dashboard sur le Cluster CEPH – Partie 3 est apparu en premier sur CoffeeBreak Info.

Le But est de connecter un client Linux et monter un volume sur le volume groupe des machines OSD.

node-Ceph-client1 (centos7)
IP : 172.16.186.46
Disque 1 – Système 10Go
RAM 2G
1vCPU

I. Prérequis au Client

1°) ajouter au DNS le nouveau Client

MODOP – Configurer un DNS Primaire et Secondaire – Centos7

root@floki03:~# ssh -l root dns-pri
[root@dns-pri ~]# vi /var/named/forward.house.cpb
; Cluster CEPH
node01-ceph-admin IN A 172.16.186.40
node02-ceph-mon1 IN A 172.16.186.41
node03-ceph-osd1 IN A 172.16.186.42
node04-ceph-osd2 IN A 172.16.186.43
node05-ceph-osd3 IN A 172.16.186.44
node06-ceph-osd4 IN A 172.16.186.45
node-ceph-client1 IN A 172.16.186.46

Le reverse

[root@dns-pri ~]# vi /var/named/reversevmbr3.house.cpb
40 IN PTR node01-ceph-admin.house.cpb.
41 IN PTR node02-ceph-mon1.house.cpb.
42 IN PTR node03-ceph-osd1.house.cpb.
43 IN PTR node04-ceph-osd2.house.cpb.
44 IN PTR node05-ceph-osd3.house.cpb.
45 IN PTR node06-ceph-osd4.house.cpb.
46 IN PTR node-ceph-client1.house.cpb.

[root@dns-pri ~]# systemctl reload named

2°) Installation des middlewares

[root@node-ceph-client1 ~]# yum update -y
[root@node-ceph-client1 ~]# yum install -y htop nmap net-tools wget

3°) Installation ntpd

[root@node-ceph-client1 ~]# yum install ntp ntpdate ntp-doc -y
[root@node-ceph-client1 ~]# chkconfig ntpd on
[root@node-ceph-client1 ~]# ntpdate pool.ntp.org
[root@node-ceph-client1 ~]# systemctl start ntpd

4°) Désactivation Selinux

[root@node-ceph-client1 ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config [root@node-ceph-client1 ~]# reboot

5°) Désactivation IPv6

[root@node-ceph-client1 ~]# vi /etc/sysctl.conf
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.all.autoconf = 0
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.default.autoconf = 0

[root@node-ceph-client1 ~]# sysctl -p

6°) Création Utilisateur 

[root@node-ceph-client1 ~]# useradd -d /home/cephuser -m cephuser
[root@node-ceph-client1 ~]# passwd cephuser
[root@node-ceph-client1 ~]# echo "cephuser ALL = (root) NOPASSWD:ALL" >> /etc/sudoers.d/cephuser
[root@node-ceph-client1 ~]# chmod 0440 /etc/sudoers.d/cephuser
[root@node-ceph-client1 ~]# sed -i s'/Defaults requiretty/#Defaults requiretty'/g /etc/sudoers

II. Connexion SSH (node01-Ceph-admin)

1°) Ajouter le nouveau Client au config SSH

root@floki03:~# ssh -l root node01-ceph-admin
[root@node01-ceph-admin ~]# su - cephuser
[cephuser@node01-ceph-admin ~]$ vi ~/.ssh/config
Host node-ceph-client1
          Hostname node-ceph-client1
          User cephuser

[cephuser@node01-ceph-admin ~]$ chmod 644 ~/.ssh/config

2°) Déployer la clef ssh

Vérifions que le client1 est joignable

[cephuser@node01-ceph-admin ~]$ ping -c 3 node-ceph-client1

[cephuser@node01-ceph-admin ~]$ ssh-keyscan node-ceph-client1 >> ~/.ssh/known_hosts

[cephuser@node01-ceph-admin ~]$ ssh-copy-id node-ceph-client1

III. Install Ceph sur le Client

node01-Ceph-admin

root@floki03:~# ssh -l root node01-ceph-admin
[root@node01-ceph-admin ~]# su - cephuser
[cephuser@node01-ceph-admin ~]$ cd cluster

1°) Déployer l’installation Ceph sur le client

[cephuser@node01-ceph-admin cluster]$ ceph-deploy install node-ceph-client1

2°) Déployer l’admin sur le client

[cephuser@node01-ceph-admin cluster]$ ceph-deploy admin node-ceph-client1

3°) Ajuster les droits

[cephuser@node01-ceph-admin cluster]$ ssh node-ceph-client1
[cephuser@node-ceph-client1 ~]$ sudo chmod 644 /etc/ceph/ceph.client.admin.keyring

IV.  montage disque  Ceph Client

node01-Ceph-client

[cephuser@node01-ceph-admin cluster]$ ssh node-ceph-client1

1°) Création rbd image

Notre montage de disque sera de ~35G sur les 60Go disponible.

[cephuser@node-ceph-client1 ~]$ rbd create disk01 --size 35840
[cephuser@node-ceph-client1 ~]$ rbd ls -l

2°) Activer RBD module

[cephuser@node-ceph-client1 ~]$ sudo modprobe rbd
[cephuser@node-ceph-client1 ~]$ sudo rbd feature disable disk01 exclusive-lock object-map fast-diff deep-flatten

3°) Map Disque RBD sur Linux

[cephuser@node-ceph-client1 ~]$ sudo rbd map disk01
/dev/rbd0
[cephuser@node-ceph-client1 ~]$ rbd showmapped
id pool image snap device
0 rbd disk01 - /dev/rbd0

4°) Format du disk /dev/rbd0 en XFS

[cephuser@node-ceph-client1 ~]$ sudo mkfs.xfs /dev/rbd0

5°) mount du disque vers /mnt/data

[cephuser@node-ceph-client1 ~]$ sudo mkdir -p /mnt/data
[cephuser@node-ceph-client1 ~]$ sudo mount /dev/rbd0 /mnt/data
[cephuser@node-ceph-client1 ~]$ df -H /mnt/data
Sys. de fichiers Taille Utilisé Dispo Uti% Monté sur
/dev/rbd0 38G 35M 38G 1% /mnt/data

[cephuser@node-ceph-client1 ~]$ df -hT

V. Monter RBD au BOOT

node01-Ceph-client

1°) script BASH

[cephuser@node-ceph-client1 ~]$ cd /usr/local/bin/

[cephuser@node-ceph-client1 bin]$ sudo vi rbd-mount

#!/bin/bash
# Nom du Pool de Disque OSD
export poolname=rbd
# nom du disque rbd
export rbdimage=disk01
# Point de montage du disque
export mountpoint=/mnt/data
if [ "$1" == "m" ]; then
          modprobe rbd
          rbd feature disable $rbdimage exclusive-lock object-map fast-diff deep-flatten
          rbd map $rbdimage --id admin --keyring /etc/ceph/ceph.client.admin.keyring
          mkdir -p $mountpoint
          mount /dev/rbd/$poolname/$rbdimage $mountpoint
fi
if [ "$1" == "u" ]; then
          umount $mountpoint
          rbd unmap /dev/rbd/$poolname/$rbdimage
fi

[cephuser@node-ceph-client1 bin]$ sudo chmod +x rbd-mount

2°) Créer du service « rbd-mount.service »

[cephuser@node-ceph-client1 bin]$ cd /etc/systemd/system/

[cephuser@node-ceph-client1 system]$ sudo vi rbd-mount.service

[Unit]
Description=RADOS block device mapping for $rbdimage in pool $poolname"
Conflicts=shutdown.target
Wants=network-online.target
After=NetworkManager-wait-online.service
[Service]
Type=oneshot
RemainAfterExit=yes
ExecStart=/usr/local/bin/rbd-mount m
ExecStop=/usr/local/bin/rbd-mount u
[Install]
WantedBy=multi-user.target

3°) Démarrer et activer le service « rbd-mount.service »

[cephuser@node-ceph-client1 system]$ sudo systemctl daemon-reload
[cephuser@node-ceph-client1 system]$ sudo systemctl enable rbd-mount.service

Stopper/Redémarrer la machine et vérifier que le point de montage est bien restauré.

Views: 15

L’article MODOP – Installation Client sur le Cluster CEPH – Partie 2 est apparu en premier sur CoffeeBreak Info.

Ceph est construit pour fournir un système de stockage distribué sans point de défaillance unique. Il offre des performances, une fiabilité et une évolutivité élevées. Il est scalable et permet d’étendre le stockage à souhait. Il fournit une interface pour le stockage au niveau des objets, des blocs et des fichiers.

Le cluster CEPH est composé de la façon Suivante

• node01-ceph-admin
• node02-ceph-mon1
• node03-ceph-osd1
• node04-ceph-osd2
• node05-ceph-osd3
• node06-ceph-osd4

Le Pool du Cluster sur Proxmox

I. Les spécifications des machines

1°) Administration et Moniteur

node01-Ceph-admin
IP : 172.16.186.40
Disque 1 – Système 10Go
RAM 2G
2vCPU

node02-Ceph-mon1
IP : 172.16.186.41
Disque – 1 Système 10Go
RAM 2G
2vCPU

2°) Partie OSD Disque CEPH

node03-Ceph-osd1
IP : 172.16.186.42
Disque 1 – Système 10Go
Disque 2 – Ceph 20G0
RAM 2G
2vCPU

node04-Ceph-osd2
IP : 172.16.186.43
Disque 1 – Système 10Go
Disque 2 – Ceph 20G0
RAM 2G
2vCPU

node05-Ceph-osd3
IP : 172.16.186.44
Disque 1 – Système 10Go
Disque 2 – Ceph 20G0
RAM 2G
2vCPU

node06-Ceph-osd4
IP : 172.16.186.45
Disque 1 – Système 10Go
Disque 2 – Ceph 20G0
RAM 2G
2vCPU

II. Prérequis à toutes les machines

1°) Inscription des machines Ceph au DNS

MODOP – Configurer un DNS Primaire et Secondaire – Centos7

[root@dns-pri ~]# vi /var/named/forward.house.cpb
; Cluster CEPH
node01-ceph-admin IN A 172.16.186.40
node02-ceph-mon1 IN A 172.16.186.41
node03-ceph-osd1 IN A 172.16.186.42
node04-ceph-osd2 IN A 172.16.186.43
node05-ceph-osd3 IN A 172.16.186.44
node06-ceph-osd4 IN A 172.16.186.45

Le reverse

[root@dns-pri ~]# vi /var/named/reversevmbr3.house.cpb
; CEPH CLuster
40 IN PTR node01-ceph-admin.house.cpb.
41 IN PTR node02-ceph-mon1.house.cpb.
42 IN PTR node03-ceph-osd1.house.cpb.
43 IN PTR node04-ceph-osd2.house.cpb.
44 IN PTR node05-ceph-osd3.house.cpb.
45 IN PTR node06-ceph-osd4.house.cpb.

[root@dns-pri ~]# systemctl reload named

Petit test de résolution

2°) Installation des middlewares (6 nœuds ceph)

[root@node01-ceph-admin ~]# yum update -y
[root@node01-ceph-admin ~]# yum install -y htop nmap net-tools wget

3°) Installation ntpd (6 nœuds ceph)

[root@node01-ceph-admin ~]# yum install ntp ntpdate ntp-doc -y
[root@node01-ceph-admin ~]# chkconfig ntpd on
[root@node01-ceph-admin ~]# ntpdate pool.ntp.org
[root@node01-ceph-admin ~]# systemctl start ntpd
[root@node01-ceph-admin ~]# systemctl status ntpd

4°) Désactivation Selinux (6 nœuds ceph)

[root@node01-ceph-admin ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
[root@node01-ceph-admin ~]# reboot

5°) Désactivation IPv6 (6 nœuds ceph)

[root@node01-ceph-admin ~]# vi /etc/sysctl.conf
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.all.autoconf = 0
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.default.autoconf = 0

[root@node01-ceph-admin ~]# sysctl -p

6°) Création Utilisateur ceph  (6 nœuds ceph)

[root@node01-ceph-admin ~]# useradd -d /home/cephuser -m cephuser
[root@node01-ceph-admin ~]# passwd cephuser
[root@node01-ceph-admin ~]# echo "cephuser ALL = (root) NOPASSWD:ALL" >> /etc/sudoers.d/cephuser
[root@node01-ceph-admin ~]# chmod 0440 /etc/sudoers.d/cephuser
[root@node01-ceph-admin ~]# sed -i s'/Defaults requiretty/#Defaults requiretty'/g /etc/sudoers

III. Connexion SSH (node01-Ceph-admin)

1°) générer une clef SSH pour cephuser (ssh-keygen)

root@floki03:~# ssh -l root node01-ceph-admin
[cephuser@node01-ceph-admin ~]$ su - cephuser
[cephuser@node01-ceph-admin ~]$ ssh-keygen

2°) Création config SSH pour les nodes

[cephuser@node01-ceph-admin ~]$ vi ~/.ssh/config
Host node01-ceph-admin
          Hostname node01-ceph-admin
          User cephuser

Host node02-ceph-mon1
          Hostname node02-ceph-mon1
          User cephuser

Host node03-ceph-osd1
          Hostname node03-ceph-osd1
          User cephuser

Host node04-ceph-osd2
           Hostname node04-ceph-osd2
           User cephuser

Host node05-ceph-osd3
           Hostname node05-ceph-osd3
           User cephuser

Host node06-ceph-osd4
            Hostname node06-ceph-osd4
            User cephuser

[cephuser@node01-ceph-admin ~]$ chmod 644 ~/.ssh/config
[cephuser@node01-ceph-admin ~]$ ssh-keyscan node01-ceph-admin node02-ceph-mon1 node03-ceph-osd1 node04-ceph-osd2 node05-ceph-osd3 node06-ceph-osd4 >> ~/.ssh/known_hosts

[cephuser@node01-ceph-admin ~]$ ssh-copy-id node02-ceph-mon1
[cephuser@node01-ceph-admin ~]$ ssh-copy-id node03-ceph-osd1
[cephuser@node01-ceph-admin ~]$ ssh-copy-id node04-ceph-osd2
[cephuser@node01-ceph-admin ~]$ ssh-copy-id node05-ceph-osd3
[cephuser@node01-ceph-admin ~]$ ssh-copy-id node06-ceph-osd4

IV. Configurer Firewall

1°) node01-Ceph-admin

root@floki03:~# ssh -l root node01-ceph-admin
[root@node01-ceph-admin ~]# systemctl start firewalld && systemctl enable firewalld

[root@node01-ceph-admin ~]# firewall-cmd  --zone=public --add-port=80/tcp --permanent
[root@node01-ceph-admin ~]# firewall-cmd  --zone=public  --add-port=2003/tcp --permanent
[root@node01-ceph-admin ~]# firewall-cmd --zone=public --add-port=4505-4506/tcp --permanent

[root@node01-ceph-admin ~]# firewall-cmd --reload
[root@node01-ceph-admin ~]# firewall-cmd --list-port
80/tcp 2003/tcp 4505-4506/tcp

2°) node02-Ceph-mon1

root@floki03:~# ssh -l root node02-ceph-mon1
[root@node02-ceph-mon1 ~]# systemctl start firewalld && systemctl enable firewalld
[root@node02-ceph-mon1 ~]# firewall-cmd --zone=public --add-port=6789/tcp --permanent
[root@node02-ceph-mon1 ~]# firewall-cmd --reload
[root@node02-ceph-mon1 ~]# firewall-cmd --list-port
6789/tcp

3°) node03-Ceph-osd1, node04-Ceph-osd2, node04-Ceph-osd3, node05-Ceph-osd4

[root@node03-ceph-osd1 ~]# systemctl start firewalld && systemctl enable firewalld
[root@node03-ceph-osd1 ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp --permanent
[root@node03-ceph-osd1 ~]# firewall-cmd --reload
[root@node03-ceph-osd1 ~]# firewall-cmd --list-port
6800-7300/tcp

[root@node04-ceph-osd2 ~]# systemctl start firewalld && systemctl enable firewalld
[root@node04-ceph-osd2 ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp --permanent && firewall-cmd --reload

[root@node05-ceph-osd3 ~]# systemctl start firewalld && systemctl enable firewalld
[root@node05-ceph-osd3 ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp --permanent && firewall-cmd --reload

[root@node06-ceph-osd4 ~]# systemctl start firewalld && systemctl enable firewalld
[root@node06-ceph-osd4 ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp --permanent && firewall-cmd --reload

V. Partitionner le disque Ceph des noeuds OSD

node03-ceph-osd1

[cephuser@node01-ceph-admin ~]$ ssh node03-ceph-osd1
[cephuser@node03-ceph-osd1 ~]$ sudo fdisk -l /dev/sdb

[cephuser@node03-ceph-osd1 ~]$ sudo parted -s /dev/sdb mklabel gpt mkpart primary xfs 0% 100%
[cephuser@node03-ceph-osd1 ~]$ sudo mkfs.xfs /dev/sdb -f

[cephuser@node03-ceph-osd1 ~]$ sudo blkid -o value -s TYPE /dev/sdb
Xfs

node04-ceph-osd2

[cephuser@node04-ceph-osd2 ~]$ sudo parted -s /dev/sdb mklabel gpt mkpart primary xfs 0% 100%
[cephuser@node04-ceph-osd2 ~]$ sudo mkfs.xfs /dev/sdb -f
[cephuser@node04-ceph-osd2 ~]$ sudo blkid -o value -s TYPE /dev/sdb
xfs

node05-ceph-osd3

[cephuser@node05-ceph-osd3 ~]$ sudo parted -s /dev/sdb mklabel gpt mkpart primary xfs 0% 100%
[cephuser@node05-ceph-osd3 ~]$ sudo mkfs.xfs /dev/sdb -f
[cephuser@node05-ceph-osd3 ~]$ sudo blkid -o value -s TYPE /dev/sdb
xfs

node06-ceph-osd4

[cephuser@node06-ceph-osd4 ~]$ sudo parted -s /dev/sdb mklabel gpt mkpart primary xfs 0% 100%
[cephuser@node06-ceph-osd4 ~]$ sudo mkfs.xfs /dev/sdb -f
[cephuser@node06-ceph-osd4 ~]$ sudo blkid -o value -s TYPE /dev/sdb
xfs

VI. Démarrer le Cluster Ceph

node01-Ceph-admin

root@floki03:~# ssh -l root node01-ceph-admin
[root@node01-ceph-admin ~]# su - cephuser
[cephuser@node01-ceph-admin ~]$ mkdir cluster

1°) Install ceph-deploy

[cephuser@node01-ceph-admin ~]$ sudo rpm -Uhv http://download.ceph.com/rpm-jewel/el7/noarch/ceph-release-1-1.el7.noarch.rpm
[cephuser@node01-ceph-admin ~]$ sudo yum update -y && sudo yum install ceph-deploy -y
[cephuser@node01-ceph-admin ~]$ cd cluster/

2°) création du moniteur « node02-ceph-mon1 » sur le mon

[cephuser@node01-ceph-admin cluster]$ ceph-deploy new node02-ceph-mon1

[cephuser@node01-ceph-admin cluster]$ : vi ceph.conf
Ajouter à la fin du fichier
# Public address
public network = 172.16.186.0/24
osd pool default size = 2

3°) Installation de ceph sur tous les nœuds du Cluster via ceph-deploy

[cephuser@node01-ceph-admin cluster]$ ceph-deploy install node01-ceph-admin node02-ceph-mon1 node03-ceph-osd1 node04-ceph-osd2 node05-ceph-osd3 node06-ceph-osd4

L’installation de ceph va être déployée sur l’ensemble des nœuds du Cluster.
Cela devait prendre entre 5-10minutes.

4°) Déployer le moniteur Monitoring sur le Cluster (mon)

[cephuser@node01-ceph-admin cluster]$ ceph-deploy mon create-initial

[cephuser@node01-ceph-admin cluster]$ ceph-deploy gatherkeys node02-ceph-mon1

5°) Déployer les disques /dev/sdb – nœuds OSD – sur le Cluster

[cephuser@node01-ceph-admin cluster]$ ceph-deploy disk list node03-ceph-osd1 node04-ceph-osd2 node05-ceph-osd3 node06-ceph-osd4

Préparer les disques /dev/sdb – nœuds OSD – sur le Cluster.

[cephuser@node01-ceph-admin cluster]$ ceph-deploy disk zap node03-ceph-osd1:/dev/sdb node04-ceph-osd2:/dev/sdb node05-ceph-osd3:/dev/sdb node06-ceph-osd4:/dev/sdb

[cephuser@node01-ceph-admin cluster]$ ceph-deploy osd prepare node03-ceph-osd1:/dev/sdb node04-ceph-osd2:/dev/sdb node05-ceph-osd3:/dev/sdb node06-ceph-osd4:/dev/sdb

Activons la partition /dev/sdb1 des nœuds OSD

[cephuser@node01-ceph-admin cluster]$ ceph-deploy osd activate node03-ceph-osd1:/dev/sdb1 node04-ceph-osd2:/dev/sdb1 node05-ceph-osd3:/dev/sdb1 node06-ceph-osd4:/dev/sdb1

[cephuser@node01-ceph-admin cluster]$ ceph-deploy disk list node03-ceph-osd1 node04-ceph-osd2 node05-ceph-osd3 node06-ceph-osd4

On se retrouve avec deux partitions sur le disque réservé à Ceph

• /dev/sdb1 – Ceph Data
• /dev/sdb2 – Ceph Journal

6°) Déployer Admin sur l’ensemble du Cluster

[cephuser@node01-ceph-admin cluster]$ ceph-deploy admin node01-ceph-admin node02-ceph-mon1 node03-ceph-osd1 node04-ceph-osd2 node05-ceph-osd3 node06-ceph-osd4

Changement des droits sur le fichier « ceph.client.admin.keyring »

[cephuser@node01-ceph-admin cluster]$ sudo chmod 644 /etc/ceph/ceph.client.admin.keyring

7°) Vérifions l’état du Cluster

[cephuser@node01-ceph-admin cluster]$ ssh node02-ceph-mon1
Last login: Fri Jul 9 17:24:35 2021 from node01-ceph-admin.house.cpb

[cephuser@node02-ceph-mon1 ~]$ sudo ceph health
HEALTH_OK

[cephuser@node02-ceph-mon1 ~]$ sudo ceph –s

Views: 14

L’article MODOP – Installation d’un Cluster CEPH – Partie 1 – 6 noeuds (ceph-deploy) est apparu en premier sur CoffeeBreak Info.