MODOP – Connexion d’un Client Linux sur un cluster Hadoop – HDFS (Hadoop Distributed File System). Cette simple connexion permet de réaliser des interactions entre ClientCluster sur l’agrégation des disques du cluster. Toutes données inscrites via le client sont répliquées sur tous les Datanodes à travers le node Manager.
Continuer la lectureCatégorie : Système
MODOP – Système
MODOP – Ajout DataNode sur le Custer Hadoop – Partie 3
MODOP – Ajout d’une machine DataNode supplémentaire au cluster Hadoop afin d’augmenter l’agrégation et étendre le volume du disque HDFS sur le Cluster. Il permet aussi d’étendre le nombre de réplication afin d’augmenter la résilience et la persistance des données stockées. Hadoop HDFS est facilement scalable et autorise l’augmentation de grappe disques sur un cluster tout en certifiant l’intégrités des données blocs.
Continuer la lecture
MODOP – Partie 1 – Update OpenSSH To 9.3p1
MODOP sur la mise à jour de OpenSSH pour des machines Centos/RockyLinux/Almalinux 7 et 8. OpenSSH permet la connexion sécurisée via les service ssh , sftp et ssh-agent. Il regroupe plusieurs binaires et notamment ssh-keygen et ssh-copy-id.Son but est la connexion distante sécurisée en offrant de nombreuses capacités en chiffrement et authentification. Il est le service incontournable pour vos connexions entre client/client ou client/serveur.
Continuer la lecture
MODOP – Partie 2 – BASH Update to OpenSSH 9.3p1
MODOP sur la mise à jour de OpenSSh automatisée à l’aide d’un script bash sur des machines Centos/RockyLinux/Almalinux 7 et 8.
le script va récupérer les sources et dépendances et générer des RPM qui seront par la suite installées automatiquement.
MODOP – YubiKey – Cient SSH – GitHub
MODOP – Mise en place d’une connexion SSH entre un client et l’application Github via YubiKey. Depuis fin 2021 , les connexions à vos repository sur Git doivent se réaliser via des clefs SSH. Dans le cas présent , nous allons mettre en place une solution de connexion SSH à l’aide d’un second facteur d’authentification « physique » afin d’augmenter la sécurité. Tous vos push seront réalisés avec une clef SSH + Clef YubiKey.
Continuer la lecture
MODOP – Partie 1 – PostgreSQL HA – Installation du Cluster ETCD
MODOP sur la mise en place d’un cluster ETCD pour gérer la coordination de plusieurs nœuds d’un cluster postgreSQL en haute disponibilité avec l’aide de Patroni . Il va permettre le stockage de la configuration et des informations de fonctionnement du cluster (nœuds, config, comptes, les rôles, etc.).
Il est assimilé à une base de données distribuée de type clé-valeur.
MODOP – Partie 3 – PostrgreSQL – Installation du Cluster HaPoxy
MODOP sur la mise en place de HA Proxy/KeepAlived pour un cluster de service Haute disponibilité de base de données postgreSQL. Le service KeepAlived va permettre de gérer la mise à disposition d’une « Virual IP » et la bascule de celle-ci lors de la perte d’un nœud KeepAlived/HA Proxy. Le service HAProxy va permettre de faire du « Balancing » de flux réseau de requêtes SQL Read/Write sur les nœuds du cluster postgreSQL.
Continuer la lecture
MODOP – Partie 2 – PostgreSQL HA – Installation du Cluster PostgreSQL/Patroni
MODOP sur la mise en place d’un cluster haute disponibilité de base de données PostgreSQL/Patroni. Le cluster est constitué d’une machine « Master » et deux machines «REPLICAS ». Toutes données insérées sur le « Master » sera automatiquement répliquées sur les deux autres machines «REPLICAS ». Patroni sera en charge de gérer toutes les transactions et le management du cluster et cela pour chacun des nœuds PostgreSQL. Il peut décider de promouvoir un nœud en « Master » et d’autres en «REPLICAS ».
Continuer la lecture
MODOP – Partie 4 – PostgreSQL HA – Connexion sql via client Linux
MODOP sur un client LINUX se connectant à un cluster Haute Disponibilité de service PostgreSQL via HaProxy . Le client va générer deux types de requêtes SQL , L’une en « Read – SELECT » sur le port 5000 et l’autre « Write – UPDATE/INSERT» sur le port 5001. HaProxy orientera les deux types de requête en fonction des ports TCP utilisés. SQL « READ » vers les réplicas du cluster PostrgreSQL . SQL « WRITE » vers le(s) master du cluster PostrgreSQL .
Continuer la lecture
MODOP – Partie 5 – PostgreSQL HA – Grafana/Prometheus : Cluster ETCD
MODOP sur la mise en place du monitoring d’un cluster HA ETCD via le couple de service Grafana/Prometheus. Les « metrics » seront récupérés directement auprès des nœuds ETCD sur le port 2379 et « scrappé » par le service Prometheus qui les traitera dans leurs temporalités. Dans le cas présent, nous n’avons pas besoin d’un « exporter ».
Pour afficher les données de la base Prometheus , et donc du cluster ETCD , nous utiliserons le service Grafana pour les afficher aux formats « Widget »