MODOP sur l’ajout d’un node Volume SeaweedFS permettant d’augmenter la taille de stockage du cluster SeaweeFS.En général, plus il y a de volumes, plus le système peut stocker de données, mais plus le master SeaweedFS doit gérer de métadonnées. Plus la taille des volumes est petite, plus le système peut répartir la charge entre les serveurs de volumes, mais plus le système consomme de l’espace disque pour les métadonnées. Plus il y a de serveurs de volumes, plus le système peut augmenter sa capacité de stockage et sa tolérance aux pannes, mais plus le master SeaweedFS doit communiquer avec eux. Plus il y a de requêtes, plus le système doit traiter de messages et synchroniser son état avec le master SeaweedFS. Plus le débit du réseau est élevé, plus le système peut transférer rapidement les données entre les serveurs de volumes et le master SeaweedFS
Continuer la lectureÉtiquette : Cluster
MODOP Cluster SeaWeedFS – Partie 8 – Ajout 1 node Filers
MODOP sur la mise en place d’un client Filer permettant d’accéder aux fichiers stockés sur le système via une interface POSIX, WebDAV, S3, FUSE ou Hadoop.En général, plus il y a de filers, plus le système peut supporter de requêtes concurrentes, mais plus le système doit synchroniser les données entre les filers et la base de données. Plus le type de base de données est performant, plus le système peut gérer de fichiers et de métadonnées, mais plus le système consomme de ressources. Plus il y a de fichiers, plus le système doit stocker et indexer de métadonnées, mais plus le système offre de capacité de stockage. Plus il y a de requêtes, plus le système doit traiter de messages et transférer des données entre les filers, la base de données et le master SeaweedFS. Plus le débit du réseau est élevé, plus le système peut communiquer rapidement entre les filers, la base de données et le master SeaweedFS
Continuer la lecture
MODOP Cluster Hadoop /HDFS RAID6 (Single NameNode) – Partie 1
MODOP – Mise en place d’un cluster Hadoop – HDFS (Hadoop Distributed File System) utilisé essentiellement par les applications BIG Data de HADOOP. Il permet l’agrégation de plusieurs volumes disques afin de gérer et de stocker des données volumineuses. Hadoop est un framework open source très résilient à la perte de nœuds Data. Toutes données sont transférées et répliquées rapidement entre les nœuds assurant une grande tolérance de panne. HDFS est un composant clé de nombreux systèmes Hadoop dans l’analyse BIG Data
Continuer la lecture
MODOP – Partie 5 – PostgreSQL HA – Grafana/Prometheus : Cluster ETCD
MODOP sur la mise en place du monitoring d’un cluster HA ETCD via le couple de service Grafana/Prometheus. Les « metrics » seront récupérés directement auprès des nœuds ETCD sur le port 2379 et « scrappé » par le service Prometheus qui les traitera dans leurs temporalités. Dans le cas présent, nous n’avons pas besoin d’un « exporter ».
Pour afficher les données de la base Prometheus , et donc du cluster ETCD , nous utiliserons le service Grafana pour les afficher aux formats « Widget »
MODOP – Partie 6 – PostgreSQL HA – Grafana/Prometheus : Cluster PostgreSQL
MODOP sur la mise en place du monitoring d’un cluster HA postgreSQL via le couple de service Grafana/Prometheus. Les « metrics » seront récupérés via un « exporter » sur le port 9187 et « scrappé » par le service Prometheus qui les traitera dans leurs temporalités. Le service web Grafana affichera les données sous formes de Widget facilitant la compréhension des données du Cluster postgreSQL
Continuer la lecture
MODOP – Installation d’un Cluster etcd
MODOP – Mise ne place d’un cluster ETCD permettant le stockage et la distribution de données-clé-valeur à destination de cluster machines. Cela peut être assimilé à une base de données distribuée stockant les configurations systèmes, la découverte de services, de comptes, la coordination et la gestion des Hôtes d’un cluster, etc. Il est souvent utilisé dans le cas de cluster de machine comme kubernetes , MySQL , PostgreSQL, etc.
Continuer la lecture
MODOP – Partie 1 – Installation Cluster GlusterFS/Zpool HA
MODOP – Mise en place d’un cluster glusterFS/Zpool/ctdb Haute disponibilité de 3 Baies de disques. Le but est de rendre disponible une ressource de stockage avec pour services CIFS/NFS et cela tout en garantissant une disponibilité la plus résiliente possible. Cette configuration permet la perte de 2x3disques par raidZ2/baies soit 6 disques/baies et 2 baies pour le cluster. Les services CIFS/NFS sont ainsi préservés de toutes pannes éventuelles et cela sans perte de servies et données.
Continuer la lecture
MODOP – QEMU HA – Partie 1 – Installation Cluster ZooKeeper
MODOP – Création d’un cluster Apache ZooKeeper. Celui-ci permet de maintenir des informations de configuration et ainsi fournir à ses clients des services synchronisés et des services de groupes. Dans notre cas il permettra de synchroniser les services de notre cluster sheepdog et éventuellement Qemu. Zookeeper est performant, simplissime à mettre en place mais surtout très scalable et résilient aux pannes. Il est souvent utilisé dans les solutions de cluster de service distribué.
Continuer la lecture
MODOP – QEMU HA – Partie 2 – Installation Cluster sheepdog
MODOP sur l’installation d’un cluster sheepdog délivrant un stockage distribué de type SDS. Ici, le cas d’usage est de stocker en mode bloc les machines virtuelles de Qemu. SheepDog se veut tolérant aux pannes, scalable à souhait et surtout rapide dans sa mise en production. Son avantage, tous les nœuds hébergent les chunks et les métadonnées ce qui rend son architecture très malléable et redimensionnable rapidement. Il faut impérativement le coupler à Zookeer pour gérer les services/messages des membres du cluster Sheepdog.
Continuer la lecture
MODOP – QEMU HA – Partie 3 – Test HA Disque Distribué sheepdog
MODOP – Test de résilience des données sur des machines virtuelles QEMU via Sheepdog. Le but est de rendre persistant toutes données inscrites sur une machine virtuelle via l’usage d’un stockage distribué SheepDog. Dans le cas présent, nous allons créer un fichier texte sur une machine VM (Qemu/Sheepdog) du node04 et nous vérifierons sur le node05 que cette donnée est préservée.
Continuer la lecture