La machine sera une Centos7

1°) Spécification machine

Grafana01
IP : 192.168.1.28 (vSwitch vmbr0)
Disque 1 – Système 20Go
RAM 2G

2°) Installation de Middleware

[root@grafana01 ~]# yum update -y && yum upgrade -y
[root@grafana01 ~]# yum install -y htop nmap net-tools wget

3°) Suppression du selinux

[root@grafana01 ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
[root@grafana01 ~]# reboot

4°) Installer ntpd

[root@grafana01 ~]# yum install ntp ntpdate ntp-doc -y
[root@grafana01 ~]# chkconfig ntpd on
[root@grafana01 ~]# ntpdate pool.ntp.org
[root@grafana01 ~]# systemctl start ntpd
[root@grafana01 ~]# timedatectl

5°) Désactiver l’IPV6

[root@node01-gfs ]# vi /etc/sysctl.conf
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.all.autoconf = 0
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.default.autoconf = 0

[root@node01-gfs]# sysctl -p

6°) Installation Grafana

Ajout repository grafana

[root@grafana01 ~]# vi /etc/yum.repos.d/grafana.repo
[grafana]
name=grafana
baseurl=https://packages.grafana.com/oss/rpm
repo_gpgcheck=1
enabled=1
gpgcheck=1
gpgkey=https://packages.grafana.com/gpg.key
sslverify=1
sslcacert=/etc/pki/tls/certs/ca-bundle.crt

[root@grafana01 ~]# yum update
[root@grafana01 ~]# yum install grafana

Installation de font du Supplémentaire

[root@grafana01 ~]# yum install fontconfig freetype* urw-fonts

Activer Grafana

[root@grafana01 ~]# systemctl start grafana-server && systemctl enable grafana-server
[root@grafana01 ~]# systemctl status grafana-server

Régle de Firewall

[root@grafana01 ~]# firewall-cmd --zone=public --add-port=3000/tcp --permanent
[root@grafana01 ~]# firewall-cmd --reload

• http://grafana01.house.cpb:3000/

Login/Password : admin/admin

7°) Installation Promotheus

• https://prometheus.io/download/

[root@grafana01 ~]# cd /home/chris
[root@grafana01 chris]# wget https://github.com/prometheus/prometheus/releases/download/v2.8.1/prometheus-2.8.1.linux-amd64.tar.gz
[root@grafana01 chris]# tar xzvf prometheus-2.8.1.linux-amd64.tar.gz
[root@grafana01 chris]# mv prometheus-2.8.1.linux-amd64 prometheuspackage

Création User Promotheus

[root@grafana01 chris]# useradd --no-create-home --shell /bin/false prometheus

Création structure Promotheus

[root@grafana01 chris]# mkdir /etc/prometheus
[root@grafana01 chris]# mkdir /var/lib/prometheus
[root@grafana01 chris]# chown prometheus:prometheus /etc/prometheus
[root@grafana01 chris]# chown prometheus:prometheus /var/lib/prometheus

Copier les binaires sur la structure Promotheus

[root@grafana01 chris]# cp prometheuspackage/prometheus /usr/local/bin/
[root@grafana01 chris]# cp prometheuspackage/promtool /usr/local/bin/
[root@grafana01 chris]# chown prometheus:prometheus /usr/local/bin/prometheus
[root@grafana01 chris]# chown prometheus:prometheus /usr/local/bin/promtool

Copier les fichiers conf sur la structure Promotheus

[root@grafana01 chris]# cp -r prometheuspackage/consoles /etc/prometheus
[root@grafana01 chris]# cp -r prometheuspackage/console_libraries /etc/prometheus
[root@grafana01 chris]# chown -R prometheus:prometheus /etc/prometheus/consoles
[root@grafana01 chris]# chown -R prometheus:prometheus /etc/prometheus/console_libraries

Configurer Promotheus

[root@grafana01 chris]# vi /etc/prometheus/prometheus.yml
global:
     scrape_interval: 10s

scrape_configs:
      - job_name: 'pve'
        scrape_interval: 5s
        metrics_path: /pve
        static_configs:
           - targets: ['IP_PROXMOX:9221']

[root@grafana01 chris]# chown prometheus:prometheus /etc/prometheus/prometheus.yml

Création du service Promotheus

[root@grafana01 chris]# vi /etc/systemd/system/prometheus.service
[Unit]
Description=Prometheus
Wants=network-online.target
After=network-online.target

[Service]
User=prometheus
Group=prometheus
Type=simple
ExecStart=/usr/local/bin/prometheus \
--config.file /etc/prometheus/prometheus.yml \
--storage.tsdb.path /var/lib/prometheus/ \
--web.console.templates=/etc/prometheus/consoles \
--web.console.libraries=/etc/prometheus/console_libraries

[Install]
WantedBy=multi-user.target

Démarrage du service Promotheus

[root@grafana01 chris]# systemctl daemon-reload
[root@grafana01 chris]# systemctl start prometheus
[root@grafana01 chris]# systemctl status prometheus

Régle de Firewall

[root@grafana01 ~]# firewall-cmd --zone=public --add-port=9090/tcp --permanent
[root@grafana01 ~]# firewall-cmd --zone=public --add-port=9221/tcp --permanent
[root@grafana01 ~]# firewall-cmd --reload

• http://grafana01.house.cpb:9090/

8°) Installation Proxmox-pve-exporter (Serveur PROXMOX)

Créer un user pve_exporter Spécifique à Proxmox

root@floki03:~# pveum groupadd monitoring -comment 'Monitoring group'
root@floki03:~# pveum aclmod / -group monitoring -role PVEAuditor
root@floki03:~# pveum useradd pve_exporter@pve
root@floki03:~# pveum usermod pve_exporter@pve -group monitoring
root@floki03:~# pveum passwd pve_exporter@pve

Installation de l’exporter pve

root@floki03:~# apt-get install python-pip
root@floki03:~# pip install prometheus-pve-exporter

Fichier de conf à pour la connexion à l’utilisateur privilégié

root@floki03:~# mkdir -p /usr/share/pve_exporter/

root@floki03:~# vi /usr/share/pve_exporter/pve_exporter.yml
default:
         user: pve_exporter@pve
         password: "mot_de_passe user_exporter"
         verify_ssl: false

Création du service pve exporter

root@floki03:~# vi /etc/systemd/system/pve_exporter.service
[Unit]
Description=Proxmox VE Prometheus Exporter
After=network.target
Wants=network.target

[Service]
Restart=on-failure
WorkingDirectory=/usr/share/pve_exporter
ExecStart=/usr/local/bin/pve_exporter /usr/share/pve_exporter/pve_exporter.yml 9221 IP_PROXMOX

[Install]
WantedBy=multi-user.target

Lancer le service pve exporter

root@floki03:~# systemctl daemon-reload
root@floki03:~# systemctl enable pve_exporter
root@floki03:~# systemctl start pve_exporter

9°) ADD Promotheus source dans Grafana (grafana01)

Connexion de Grafana et Promotheus

« Ajouter une source de données»

« Choisir la source de données – Prometheus»

« Configurer la connexion entre Promotheus et Grafana »

Importer un DashBoard spécifique à Proxmox

« Create» et « Import »

Il existe un référentiel de Dashboard différent disponible sur le site de Grafana.

• Ici on prend le DashBoard 10347

« Load »

Views: 67

L’article MODOP – Installation Grafana/promotheus pour PROXMOX est apparu en premier sur CoffeeBreak Info.

• Client Centos7
• Client Windows Server/Win10
• Client NAS NetApp
• Client vSphère ESX VMware
• Client vCenter VMware
• Complément Rsyslog
• Service Apache et Rsyslog
• Service Mariadb,MySQL et Rsyslog
• Service Notification GrayLOG

1°) Création d’un « Tube » Syslog UDP

Création d’une entrée « INPUTS »

Définir « Syslog UDP »

2°) Client Linux Centos7

[root@centos ~]# cd /etc/
[root@centos ~]# ls -al |grep syslog
-rw-r--r-- 1 root root 3256 16 mai 2018 rsyslog.conf
drwxr-xr-x. 2 root root 25 16 avril 2018 rsyslog.d

[root@centos ~]# vi rsyslog.conf
Ajouter à la fin du fichier
*.* @192.168.1.148:5140 ;RSYSLOG_SyslogProtocol23Format

[root@centos ~]# systemctl restart rsyslog

Coté Serveur

[root@superlog ~]# yum install tcpdump

On regarde si les trames udp passe entre les deux machines

[root@Superlog ~]# tcpdump -i ens192 -n | grep IP_Machine_Cliente

Les trames de communication entre superlog et la machine cliente (Centos7) vont apparaitre

3°) Client Windows Serveur / Windsows7 – 10

Télécharger le freeware EvtSys (32bits ou 64bits)

• https://code.google.com/archive/p/eventlog-to-syslog/downloads

Dézipper l’archive sur C:\
Exécuter un terminal DOS en mode Administrateur

C:\>cd 64-Bit-LP
C:\64-Bit-LP>evtsys.exe -i -h superlog.house.cpb

Dans la base de Registre on devrait retrouver différentes clefs

Modifier le port UDP 514 vers UDP5140

Il est possible de charger le Port UDP directement via la commande suivante

C:\64-Bit-LP>evtsys.exe -i -h Superlog.house.cpb -p 5140

Lancement du Service

C:\64-Bit-LP>net start evtsys
Le service Eventlog to Syslog démarre.
Le service Eventlog to Syslog a démarré.

4°) Client NAS NetApp (ex: nas1.house.cpb)

Pour l’accès au fichier de configuration Syslog sur les NAS NetAPP,  il faut monter le système en partage CIFS.

Monter le partage \\nas1.house.cpb\c$ sur l’explorateur de fichier windows.
Copier le fichier « syslog.conf.sample » en « syslog.conf » situé sur /etc.

Editer le fichier syslog.conf et ajouter à la fin du fichier « *.* @Superlog »
Editer le fichier hosts et ajouter à la fin du fichier « 192.168.1.48 Superlog »

Vérifions la réception des trames sur le serveur Superlog.

[root@Superlog ~]# tcpdump -vv -i ens192 -X port 514 -c 10

Le Syslog NetApp envoi les trames uniquement sur le Port 514.

Sur le Serveur GrayLOG

Faire un transfert de port pour l’ajout des trames 514/udp vers 5410/upd

[root@Superlog ~]# firewall-cmd --zone=public --add-forward-port=port=514:proto=udp:toport=5140 --permanent
[root@Superlog ~]# firewall-cmd --reload

5°) Client Serveur ESXi VMWare (ex: esi01.house.cpb)

Se connecter à l’interface Web du Serveur ESXi

Vérifier/Démarrer le service Syslog

6°) Client Serveur Vcenter VMWare (ex: vcenter01.house.cpb)

Se connecter sur l’Appliance VMWare Vsphere

1. 1. • https://vcenter01.house.cpb:5480/login

Ennoyer un test message en cliquant sur l’onglet « ENVOYER UN MESSAGE DE TEST »

7°) Complément pour les nouveaux paquets Rsyslog

[root@cento7-1]# cd /etc/yum.repos.d
[root@cento7-1]# vi rsyslog.repo

[rsyslog_v8_nightly]
name=Adiscon CentOS-$releasever - nightly packages for $basearch
baseurl=http://rpms.adiscon.com/v8-stable-nightly/epel-$releasever/$basearch
enabled=1
gpgcheck=0
gpgkey=http://rpms.adiscon.com/RPM-GPG-KEY-Adiscon
protect=1

[root@cento7-1]# yum install rsyslog
[root@cento7-1]# systemctl enable rsyslog

[root@cento7-1]# vi /etc/rsyslog.conf
*.* 192.168.1.148:5140;RSYSLOG_SyslogProtocol23Format

[root@cento7-1]# systemctl start rsyslog

8°) Intégrer les Logs Apache dans Rsyslog/Graylog

Editer le fichier de conf SITE sur /etc/httpd/conf.d
Ajouter les lignes suivantes

## Passage des log vers Rsyslog
ErrorLog "|/usr/bin/logger -t apache -p local6.info"
CustomLog "|/usr/bin/logger -t apache -p local6.info" combined

Sauvegarder et redémarrer le service apache et le service syslog

[root@cento7-1]# service httpd restart
[root@cento7-1]# service rsyslog restart

9°) Intégrer les Logs Mariadb,Mysql dans Rsyslog/Graylog

Editer le fichier /etc/my.cnf et ajouter les lignes suivantes.

###### Collect des logs via Rsyslog
log_error=/var/log/mariadb/mysql_error.log
general_log_file = /var/log/mariadb/mysql.log
general_log = 1

Redémarrer le service mariadb

[root@cento7-1]# service mariadb restart
[root@cento7-1]# tail -f mariadb/mariadb.log

Editer le fichier de conf Rsyslog /etc/rsyslog.conf et ajouter les lignes suivantes.

module(load="imfile" PollingInterval="1")
input(type="imfile"
 File="/var/log/mariadb/mysql.log"
 stateFile="statefile-mysql-general"
 Tag="mysql-general"
 Severity="warning"
 Facility="local1")

Redémarrer le service Rsyslog

[root@cento7-1]# service rsyslog restart

Côté Graylog

Ajouter la rotation des logs

[root@cento7-1]# yum install gzip

Editer le fichier /etc/logrotate.conf et ajouter les lignes suivantes

/var/log/mariadb/*.log {
      daily
      rotate 8
      compress
      delaycompress
      missingok
      notifempty
      size 1M
      create 440 root root
}

Lancer la rotation des logs en ligne de commande pour test

[root@cento7-1]# logrotate -f /etc/logrotate.conf

10°) Ajout de règle d’alerte par notification de mail

Exemple une alerte concernant l’arrêt d’un service (ex vmtools)

Création d’un Stream pour encapsuler nos critères

Création d’une condition sur le stream

Création d’une notification mail via la condition sur le stream « Service Stoppé »

11°) Information – Code Syslog

Views: 34

L’article MODOP – PARTIE 2 – Installation de clients pour GrayLOG est apparu en premier sur CoffeeBreak Info.

1°) Désactiver SELinux

Editer le fichier /etc/selinux/config

[root@Superlog ~]# vi /etc/selinux/config

SELINUX=disabled

2°) Désactiver l’IPV6 (3 nœuds gfsw)

[root@superlog ~]# vi /etc/sysctl.conf
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.all.autoconf = 0
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.default.autoconf = 0

[root@superlog ~]# sysctl  -p

3°) Instalation des packets utiles

[root@superlog ~]# yum -y update && yum -y upgrade
[root@superlog ~]# yum -y install epel-release
[root@superlog ~]# yum -y install wget locate vim nmap pwgen

4°) Installation JAVA8

[root@superlog ~]# yum -y install java-1.8.0-openjdk-headless.x86_64
[root@superlog ~]# java -version

5°) Installation ElasticSearch

Création d’un dépôt ElasticSearch pour l’installation

Importation des certificats GPG signing key ElasticSearch

[root@superlog ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

[root@superlog ~]# vim /etc/yum.repos.d/elasticsearch.repo
 [elasticsearch-6.x]
name=Elasticsearch repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

Installation via le dépôt

[root@superlog ~]# yum -y update && yum install -y elasticsearch

Configuration de ElastiSearch pour notre Cluster

[root@superlog ~]# vim /etc/elasticsearch/elasticsearch.yml

Remplacer #cluster.name: my-application
Par
cluster.name: superlog

Activer au démarrage le service ElasticSearch

[root@superlog ~]# systemctl enable elasticsearch
[root@superlog ~]# systemctl start elasticsearch
[root@superlog ~]# systemctl status elasticsearch

Ajout des Rules Firewall Port 9200

[root@superlog ~]# firewall-cmd --zone=public --add-port=9200/tcp --permanent
[root@superlog ~]# firewall-cmd --reload

Vérifions que le service travail bien sur le port 9200 du Cluster graylog

[root@superlog ~]# curl -XGET 'localhost:9200/?pretty'

Vérifions l’état de santé du Cluster graylog

[root@superlog ~]# curl -XGET 'http://localhost:9200/_cluster/health?pretty=true'

6°) Installation MangoDB (BDD)

Création d’un dépôt pour l’installation de la base de données

[root@superlog ~]# vim /etc/yum.repos.d/mongodb-org-4.0.repo

[mongodb-org-4.0]
name=MongoDB Repository
baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/4.0/x86_64/
gpgcheck=1
enabled=1
gpgkey=https://www.mongodb.org/static/pgp/server-4.0.asc

Installation du packet

[root@superlog ~]# yum -y update && yum install -y mongodb-org
[root@superlog ~]# systemctl enable mongod
[root@superlog ~]# systemctl start mongod
[root@superlog ~]# systemctl status mongod

Ajout des Rules Firewall Port 3306

[root@superlog ~]# firewall-cmd --zone=public --add-port=3306/tcp --permanent
[root@superlog ~]# firewall-cmd --reload

7°) Installation GrayLog

Récupère le RPM de GrayLog

[root@superlog ~]# cd /home/chris
[root@superlog ~]# rpm -Uvh https://packages.graylog2.org/repo/packages/graylog-3.0-repository_latest.rpm

[root@superlog ~]# yum -y update
[root@superlog ~]# yum -y install graylog-server

8°) Configurer GrayLog

On va générer un mot de passe via pwgen

[root@superlog ~]# pwgen -N 1 -s 96
AYyqGY7gZPpC0vyhXcF9IL1AvZhLKXJfAXm4P5Ip9xbxMSwPUt1cPc5ySHtIeN0QMyZH0QoqcAdGdxqCOm9nPwSBUoYC0pDA

On va générer un mot de passe pour le compte admin

[root@superlog ~]# echo -n superlog@graylog | sha256sum
8a84e1cfa88315c07c5a22b5aaaac7553c282b82d118cc86c1776e2a0c6aa3d6 -

Editer le fichier de conf de GrayLog

[root@superlog ~]# vi /etc/graylog/server/server.conf

#Ajouter ces deux mots de passe fort
password_secret = AYyqGY7gZPpC0vyhXcF9IL1AvZhLKXJfAXm4P5Ip9xbxMSwPUt1cPc5ySHtIeN0QMyZH0QoqcAdGdxqCOm9nPwSBUoYC0pDA
root_password_sha2 = 8a84e1cfa88315c07c5a22b5aaaac7553c282b82d118cc86c1776e2a0c6aa3d6
root_email = "chris@en-images.info "
root_timezone = Europe/Paris
elasticsearch_max_docs_per_index = 20000000
elasticsearch_max_number_of_indices = 20
elasticsearch_shards = 1
elasticsearch_replicas = 0
http_bind_address = 192.168.1.149:9000

Démarrer au démarrage le server GrayLog

[root@superlog ~]# systemctl enable graylog-server
[root@superlog ~]# systemctl daemon-reload
[root@superlog ~]# systemctl start graylog-server
[root@superlog ~]# systemctl status graylog-server

9°) Installer les règles dans Iptables

[root@superlog ~]# firewall-cmd --zone=public --permanent --add-service=http
[root@superlog ~]# firewall-cmd --zone=public --permanent --add-port=9000/tcp
[root@superlog ~]# firewall-cmd --zone=public --permanent --add-port=5140/udp
[root@superlog ~]# firewall-cmd --reload

[root@superlog ~]# tailf /var/log/graylog-server/server.log

10°) Installons Nginx reverse Proxy

[root@superlog ~]# yum -y install nginx

[root@superlog ~]# vi /etc/nginx/conf.d/graylog.conf
server
{
     listen 80 default_server;
     server_name superlog.house.cpb;
     location / {
           proxy_set_header Host $http_host;
           proxy_set_header X-Forwarded-Host $host;
          proxy_set_header X-Forwarded-Server $host;
          proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
         #proxy_pass http://127.0.0.1:9000;
         proxy_pass http://superlog.house.cpb:9000;
                }
} 

Edite le fichier nginx.conf et désactiver la conf par défaut

[root@superlog ~]# vi /etc/nginx/nginx.conf

# server {
# listen 80 default_server;
# listen [::]:80 default_server;
# server_name _;
# root /usr/share/nginx/html;
# Load configuration files for the default server block.
# include /etc/nginx/default.d/*.conf;
#
# location / {
# }
# error_page 404 /404.html;
# location = /40x.html {
# }
# error_page 500 502 503 504 /50x.html;
# location = /50x.html {
# }
# }

[root@superlog ~]# systemctl enable nginx
[root@superlog ~]# systemctl start nginx
[root@superlog ~]# systemctl status nginx

[root@superlog ~]# echo "192.168.1.149 superlog.house.cpb" >> /etc/hosts

Si vous n’avez pas de DNS

• C:\Windows\System32\drivers\etc\hosts (mode Administrateur)

192.168.1.149 superlog.house.cpb

Connexion à l’interface Web via Firefox ou Chrome

• http://superlog.house.cpb/

11°) Installation Client de synchronisation de temps

[root@superlog ~]# timedatectl status

Installation du packet ntp Client via les sources apt

[root@superlog ~]# yum -y install ntp
root@Superlog run]# systemctl enable ntpd
[root@Superlog run]# systemctl start ntpd

Ajouter les Rules Firewall Port 123 NTP

[root@Superlog run]# firewall-cmd --zone=public --permanent --add-service=ntp
[root@Superlog run]# firewall-cmd --reload

Views: 101

L’article MODOP – PARTIE 1 – Installation GrayLog – Centraliser et Superviser les LOGS est apparu en premier sur CoffeeBreak Info.