MODOP – Mise en place d’un cluster Hadoop – HDFS (Hadoop Distributed File System) utilisé essentiellement par les applications BIG Data de HADOOP. Il permet l’agrégation de plusieurs volumes disques afin de gérer et de stocker des données volumineuses. Hadoop est un framework open source très résilient à la perte de nœuds Data. Toutes données sont transférées et répliquées rapidement entre les nœuds assurant une grande tolérance de panne. HDFS est un composant clé de nombreux systèmes Hadoop dans l’analyse BIG Data
Continuer la lectureÉtiquette : Cluster HA
MODOP Cluster Hadoop – Connect Client – Partie 2
MODOP – Connexion d’un Client Linux sur un cluster Hadoop – HDFS (Hadoop Distributed File System). Cette simple connexion permet de réaliser des interactions entre ClientCluster sur l’agrégation des disques du cluster. Toutes données inscrites via le client sont répliquées sur tous les Datanodes à travers le node Manager.
Continuer la lecture
MODOP – Ajout DataNode sur le Custer Hadoop – Partie 3
MODOP – Ajout d’une machine DataNode supplémentaire au cluster Hadoop afin d’augmenter l’agrégation et étendre le volume du disque HDFS sur le Cluster. Il permet aussi d’étendre le nombre de réplication afin d’augmenter la résilience et la persistance des données stockées. Hadoop HDFS est facilement scalable et autorise l’augmentation de grappe disques sur un cluster tout en certifiant l’intégrités des données blocs.
Continuer la lecture
MODOP – Partie 1 – PostgreSQL HA – Installation du Cluster ETCD
MODOP sur la mise en place d’un cluster ETCD pour gérer la coordination de plusieurs nœuds d’un cluster postgreSQL en haute disponibilité avec l’aide de Patroni . Il va permettre le stockage de la configuration et des informations de fonctionnement du cluster (nœuds, config, comptes, les rôles, etc.).
Il est assimilé à une base de données distribuée de type clé-valeur.
MODOP – Partie 3 – PostrgreSQL – Installation du Cluster HaPoxy
MODOP sur la mise en place de HA Proxy/KeepAlived pour un cluster de service Haute disponibilité de base de données postgreSQL. Le service KeepAlived va permettre de gérer la mise à disposition d’une « Virual IP » et la bascule de celle-ci lors de la perte d’un nœud KeepAlived/HA Proxy. Le service HAProxy va permettre de faire du « Balancing » de flux réseau de requêtes SQL Read/Write sur les nœuds du cluster postgreSQL.
Continuer la lecture
MODOP – Partie 2 – PostgreSQL HA – Installation du Cluster PostgreSQL/Patroni
MODOP sur la mise en place d’un cluster haute disponibilité de base de données PostgreSQL/Patroni. Le cluster est constitué d’une machine « Master » et deux machines «REPLICAS ». Toutes données insérées sur le « Master » sera automatiquement répliquées sur les deux autres machines «REPLICAS ». Patroni sera en charge de gérer toutes les transactions et le management du cluster et cela pour chacun des nœuds PostgreSQL. Il peut décider de promouvoir un nœud en « Master » et d’autres en «REPLICAS ».
Continuer la lecture
MODOP – Partie 4 – PostgreSQL HA – Connexion sql via client Linux
MODOP sur un client LINUX se connectant à un cluster Haute Disponibilité de service PostgreSQL via HaProxy . Le client va générer deux types de requêtes SQL , L’une en « Read – SELECT » sur le port 5000 et l’autre « Write – UPDATE/INSERT» sur le port 5001. HaProxy orientera les deux types de requête en fonction des ports TCP utilisés. SQL « READ » vers les réplicas du cluster PostrgreSQL . SQL « WRITE » vers le(s) master du cluster PostrgreSQL .
Continuer la lecture
MODOP – Partie 5 – PostgreSQL HA – Grafana/Prometheus : Cluster ETCD
MODOP sur la mise en place du monitoring d’un cluster HA ETCD via le couple de service Grafana/Prometheus. Les « metrics » seront récupérés directement auprès des nœuds ETCD sur le port 2379 et « scrappé » par le service Prometheus qui les traitera dans leurs temporalités. Dans le cas présent, nous n’avons pas besoin d’un « exporter ».
Pour afficher les données de la base Prometheus , et donc du cluster ETCD , nous utiliserons le service Grafana pour les afficher aux formats « Widget »
MODOP – Partie 6 – PostgreSQL HA – Grafana/Prometheus : Cluster PostgreSQL
MODOP sur la mise en place du monitoring d’un cluster HA postgreSQL via le couple de service Grafana/Prometheus. Les « metrics » seront récupérés via un « exporter » sur le port 9187 et « scrappé » par le service Prometheus qui les traitera dans leurs temporalités. Le service web Grafana affichera les données sous formes de Widget facilitant la compréhension des données du Cluster postgreSQL
Continuer la lecture
MODOP – Installation Cluster HA K8S – KubeADM
Nouveau petit MODOP sur la mise en place d’une infrastructure Haute disponibilité kubernetes. Le but est de créer des conteneurs d’applications scalable et très résilient sur des Clusters de serveurs HA et sans se soucier de la partie Système. La conteneurisation devient une technologie incontournable dans les modes de fonctionnement des devOPs, SysAdmin et cela en rendant les applications plus malléables. Cela permet le test, la recette, la migration et l’évolution des services/Applications très rapide via des briques applicatives modulable et interchangeable. Bref que du bonheur 🙂
Continuer la lecture