MODOP sur l’installation d’une infrastructure robuste et distribuée pour le stockage et la diffusion de fichiers à l’échelle mondiale. Elle repose sur le protocole IPFS (InterPlanetary File System), basé sur une architecture P2P comprenant un nœud leader responsable de la gestion des pins, accompagné de deux peers assurant la réplication des données. L’ensemble des machines est configuré en RAID1 afin de garantir une redondance locale des données sur chaque nœud. Connectées via le réseau public (Internet), elles offrent une accessibilité universelle et permettent une mise à l’échelle mondiale du partage de contenu. Grâce à l’adressage par CID (Content Identifier) et à la nature décentralisée du protocole IPFS, si l’un des nœuds devient indisponible, les autres peuvent continuer à servir les fichiers, assurant ainsi une haute disponibilité .L’architecture distribuée, couplée à une répartition géographique des peers, optimise la latence et la performance du système pour les utilisateurs finaux. Ce type d’infrastructure est particulièrement adapté aux cas d’usage nécessitant scalabilité, résilience et disponibilité continue, tels que le stockage de données sensibles, l’hébergement web décentralisé ou les applications Web.
Continuer la lectureCatégorie : Système
MODOP – Système
MODOP – Transition d’un cluster IPFS du mode public vers une architecture privée – Partie 2
Ce MODOP décrit la migration d’une infrastructure IPFS, initialement déployée en mode public, vers un environnement privé et sécurisé. La nouvelle architecture repose sur un réseau P2P fermé, tout en conservant sa structure : un nœud leader chargé d’orchestrer les pins, accompagné de deux peers assurant la réplication des données. Dans ce cadre privé, seuls les nœuds disposant de la clé swarm partagée peuvent rejoindre le réseau, garantissant la confidentialité des échanges ainsi que le contrôle d’accès. Cette approche renforce la sécurité tout en préservant les caractéristiques essentielles de l’infrastructure, notamment une haute disponibilité , même en cas de défaillance d’un nœud ,et une scalabilité maintenue, permettant l’ajout de nouveaux pairs sans exposition au réseau public.
Continuer la lecture
MODOP – Déploiement d’un peers au Cluster via le leader – Partie 3
MODOP sur l’intégration d’un nouveau nœud peer dans un cluster IPFS privé, sans interruption du service. L’ajout de ce nœud permet d’étendre la capacité de stockage, de renforcer la haute disponibilité et la résilience en cas de panne, ainsi que d’accroître la redondance des données grâce à la réplication P2P. Cette opération est réalisée sans perturber les nœuds existants. Le nouveau nœud s’intègre de manière transparente au sein du cluster.
Continuer la lecture
MODOP – Cluster IPFS RAID1 – déploiement d’un peers au Cluster via Script Bash – Partie 4
Ce MODOP décrit l’évolution du cluster IPFS privé par l’ajout d’un nouveau nœud peer, réalisé à l’aide d’un script Bash automatisant l’ensemble des étapes techniques. Cette approche permet une intégration rapide, fiable, et sans interruption de service pour les nœuds déjà actifs. L’objectif de l’automatisation est accélérer le déploiement de nouveaux nœuds, réduire les risques d’erreurs liés aux manipulations manuelles en ligne de commande (CLI),simplifier l’extension du cluster et garantir la confidentialité des échanges et la stabilité du réseau. Le script assure une intégration transparente du nouveau nœud dans un contexte industriel, avec une logique de scalabilité maîtrisée. Cette méthode facilite l’industrialisation du processus tout en respectant les exigences de sécurité, de redondance, et de haute disponibilité du système.
Continuer la lecture
MODOP – Cluster IPFS RAID1 – déploiement de deux peers via Parallèle-SSH – Partie 5
Ce MODOP décrit l’ajout de deux nœuds peers supplémentaires dans un cluster IPFS privé, réalisé à l’aide de connexions SSH parallèles afin d’accélérer et de synchroniser le processus de déploiement. L’objectif est d’automatiser l’intégration simultanée de deux nouveaux nœuds peers au sein du cluster, en utilisant des connexions SSH parallèles. Cette méthode permet :un déploiement multi-nœuds efficace, de garantir l’homogénéité des configurations, de maintenir la confidentialité, d’assurer la continuité du service, et de renforcer la scalabilité ainsi que la résilience du cluster.Les deux nœuds peers sont intégrés en parallèle, avec une configuration cohérente et une réplication immédiate des données P2P. L’approche par SSH parallèle réduit les délais d’intégration et permet un déploiement reproductible dans un cadre industriel structuré.
Continuer la lecture
MODOP – Cluster IPFS RAID1 – déploiement Site Web en mode H.A – Partie 6
Ce MODOP présente le déploiement d’une solution Web P2P hautement disponible, accessible via une IP virtuelle (VIP), en s’appuyant sur l’infrastructure IPFS existante. L’enjeu consiste à ajouter deux nouvelles machines destinées à assurer la redondance et la gestion de charge pour l’accès aux données distribuées sur les peers. Deux services essentiels sont installés : KeepAlive, pour garantir la continuité du service Web en cas de défaillance d’un nœud et HAProxy, pour gérer l’équilibrage de charge et la distribution du trafic client vers les nœuds disponibles. Cette infrastructure Web P2P permettra une Une accessibilité continue du site hébergé via la VIP, Un hébergement distribué des données Web sur IPFS, Une résilience optimale grâce à KeepAlive, HAProxy et IPFS et Une scalabilité fluide, avec la possibilité d’extension sans interruption du service
Continuer la lecture
MODOP Cluster SeaWeedFS – Partie 1 -Introduction
MODOP sur l’installation d’un cluster SeaweedFS système de fichiers distribué mode block open-source, simple et hautement évolutif conçu pour stocker et servir rapidement des milliards de fichiers. Il partage des similitudes avec d’autres systèmes de fichiers tels que Ceph, GlusterFS et HDFS. Il est constitué de différent type de service tel que des machines Masters , Volumes et Filers. Il fortement évolutif et scalable en fonction des besoins du quotidien.
Continuer la lecture
MODOP Cluster SeaWeedFS – Partie 2 – Installation 3 nodes Master
MODOP sur la mise en place d’un cluster de 3 Maître SeaweedFS permettant la gestion des Volumes centralisées. Le maître SeaweedFS joue un rôle essentiel dans la gestion des volumes et la localisation des fichiers, contribuant ainsi à la rapidité et à l’efficacité du système de fichiers distribué. SeaweedFS est basés sur le magasin d’objets RADOS (Reliable Autonomic Distributed Object Store) permettant un accès cohérent aux données, au stockage redondant, à la détection des pannes. Il est est conçu pour les systèmes de stockage à l’échelle du pétaoctet en garantissant une cohérence de la données.
Continuer la lecture
MODOP Cluster SeaWeedFS – Partie 3 – Installation 4 nodes Volumes
MODOP sur la mise en place d’un cluster de 4 Volumes SeaweedFS permettant la gestion des données , la répartition de charge et l’accès rapide aux fichiers. Chaque volumes seaweed de données à une taille de 32Go et peut contenir plusieurs volumes , il va stocker les objets et laisse la gestion des métadonnées aux Masters. L’accès aux fichiers est généralement très rapide, nécessitant souvent une seule opération de lecture de disque. L’ajout de nœud « Volume » est très aisé et facilite grandement la répartition de charge des données rendant le cluster scalable à souhait.
Continuer la lecture
MODOP Cluster SeaWeedFS – Partie 4 – Installation 4 nodes Filers
MODOP sur la mise en place d’un cluster de 4 Filers SeaweedFS permettant la gestion des répertoires et de la structure des fichiers. Ils stockent les métadonnées associées aux fichiers, telles que les noms, les autorisations et les chemins d’accès. Ils répartissent la charge entre les serveurs de volumes en gérant les métadonnées de manière décentralisée. Cela permet d’éviter une pression excessive sur le maître central et d’améliorer les performances d’accès aux fichiers. les filers permettent un accès rapide aux fichiers.
Continuer la lecture