Incident SBG OVHCloud – situation DN au 21/03/2021
Posted by brain in Cloud on 21 mars 2021 with No Comments
Suite à l’incident majeur ayant eu lieu sur le site OVHCloud de Strasbourg et après une étude des risques concernant la localisation SBG, ajouté à des éléments de situation tel que la destruction de l’ensemble des backups hyperviseur qui ne pourront pas être remplacés rapidement sur ce site, nous avons pris la décision de migrer tous les clients se trouvant à SBG sur d’autres clusters situés sur les sites de Roubaix et Gravelines.
Pour la suite à moyen terme, nous avons effectué une rapide analyse de risques des différents sites et combiné cette dernière à :
– vos contraintes réglementaires
– votre demande d’un bâtiment plus standard en terme de conception de refroidissement
Nous avons pour l’instant arrêté notre choix sur le datacenter de Francfort comme 3eme zone pour remplacer SBG. Nous vous tiendrons informé à ce sujet lorsque nous sortirons de la situation de crise actuelle. La photo satellite du site est disponible ci-dessous.
Concernant la situation de production :
– Une partie des backups clients (data + bdd) reste manquante. La volumétrie pour tout recréer prendra beaucoup plus de temps que de récupérer les backups actuels de SBG. ETA estimé -> une semaine
– Les backups hyperviseur (une copie intégrale de toutes les machines capable d’être rallumée sur n’importe quel datacenter) sont pleinement fonctionnels, toutes les 24H00 au moment de ce message. En cas de demande de récupération nous avons donc toujours la possibilité (sur GRA et RBX) de monter un répliquat de la VM sur une autre IP et vous y donner accès pour accéder à un backup glissant (en moyenne sur les 5 derniers jours).
– Le support technique fonctionne normalement
– Les livraisons sont opérationnelles, mais les backups « clients » (hors hyperviseur) des nouvelles livraison (fichiers + bases de données) sont temporairement stockées sur les infrastructures de backup de ScalarX (fondée également par Christophe Casalegno), dans le Datacenter OVH de Londres
– Nous ne seront pas en capacité de livrer de nouveaux serveurs dédiés avant plusieurs semaines vu la situation actuelle de la supply chain d’OVH qui doit tourner à plein régime à la fois pour produire des serveurs, et prochainement pour remettre en état des serveurs de SBG1.
– Notre capacité à livrer du cloud DN reste pour l’instant opérationnelle.
Notre serveur dns secondaire (baine) est définitivement détruit ainsi que ses backups snapshot OVH correspondant. Ce dernier a donc été complètement reconstruit chez un autre fournisseur à Paris afin qu’il reste accessible en cas d’incident majeur sur le réseau OVH et l’ensemble des configurations sont désormais actives. Nous envisageons de porter les serveurs dns à 4 avec un fake master afin de conserver un contrôle total en cas d’incident pour certains types de PRA.
Un nouveau cluster équipé de 96CPU (prochainement 128), 768 GB de RAM et 20TB de stockage NVME redondé a été setupé à RBX pour éviter une surcharge des clusters actuels lors de la migration des machines de SBG -> tests ok.
Nous avons procédé à l’inventaire des serveurs. Nous sommes encore en attente de la réponse de certains clients qui ont été migrés depuis des backups, mais le nombre de serveurs à transférer entre SBG et la nouvelle infrastructure Netcloud montée à RBX devrait être entre 60 et 80.
La priorisation suivante a été effectuée, agrémentée de quelques procédures d’exception relative à la criticité particulière de certains clients :
1) Migration des clients n’ayant ni production ni backup
2) Migration des clients n’ayant plus de production mais un backup
3) Migration des PRA/PROD des clients disposant de ces options
4) Migration des serveurs clients déjà rallumés mais devant récupérer des données manquantes.
5) Migration des backups fichiers + base de données pouvant être récupérées.
Le rallumage des serveurs se fera au fil de l’eau au fur et à mesure de leur rapatriement sur la nouvelle infrastructure. Bien entendu toutes ces opérations sont conditionnées par la remise sous tension des infrastructures par OVH.
Incident Datacenter OVH Strasbourg
Posted by brain in Cloud on 19 mars 2021 with No Comments
– Estimation actuelle au vu des informations dont nous disposons actuellement quant au redémarrage complet des plateformes Netcloud DN et des services de backups qui n’ont pas été détruits situés à SBG chez OVHCLOUD : 24 Mars 2021.
– Dans l’instant nous estimons qu’il y a de très fortes chances de n’avoir perdu aucune donnée de production client
– Quelques infrastructures #OVHCloud SBG (anciennement OVH GS) et maintenant MIS, infogérées par Digital Network, ont pu commencer à être rallumées hier avec succès
– Les clients MIS qui ne pouvaient pas être livrés de leurs infrastructures OVHCloud à cause de la saturation actuelle que subit la chaîne d’approvisionnement d’OVH, et ayant fait le choix de la solution d’une infrastructure fournie à titre gracieux par DN durant la période de transition ont bien tous été livrés : les environnements ont été reconstruits, les données migrées depuis les backups disponibles et remis en service.
– Le replay du dernier live de Christophe Casalegno au sujet de l’incident affectant les Datacenters OVHCloud de Strasbourg ainsi qu’aux différentes stratégies possibles à adopter pour ceux qui auraient tout perdu est disponible ici :
– Concernant les propositions de mises à disposition à titre gracieux d’infrastructures / serveurs, le plus rapide est de contacter Christophe Casalegno directement via le réseau Telegram (https://telegram.org) . Les informations de contact sont disponibles dans la description de la vidéo ci-dessus. Si vous êtes client direct DN et y disposez d’un accès vous pouvez également ouvrir un ticket dans le DDS.
– Les livraisons de nouvelles infrastructures cloud DN ont pu reprendre un rythme presque normal principalement grâce à notre capacity planning exclusif qui consiste à provisionner 100% des ressources commandées par 100% des clients, augmentées d’une capacité supplémentaire afin de pouvoir rallumer l’intégralité de l’infrastructure en cas de down de l’un des 3 datacenters (Gravelines, Roubaix et Strasbourg) sur lesquels nous sommes actuellement présent.
– Les nouvelles infrastructures livrées actuellement disposent temporairement de backups fichiers + base de données au sein des infrastructures de ScalarX situées dans le datacenter OVHCloud de Londres. Au fur et à mesure de la reconstruction de nos infrastructures de backups, les sauvegardes seront basculées sur leurs destination initiale.
Nouvelle plateforme Public Cloud : Netcloud 6.0
Posted by brain in Cloud on 27 juin 2020 with No Comments
Bonjour à tous, nous commençons les travaux de mise en service de notre nouvelle plateforme de Public Cloud : Netcloud 6.0. Au contraire des tendances du marché, nous avons décidé de ne pas décliner cette offre sur plusieurs types d’instance de type « CPU », « RAM », « Iops », « storage », etc. et de conserver notre logique d’instance universelle personnalisable : ainsi toutes nos instances continueront d’offrir en standard les meilleurs performances possibles dans chacun des domaines :
Bien que nos services d’infogérance de build et de run d’infrastructures restent ouverts et multi-cloud, nous prolongeons et renforçons également nos liens avec nos principaux partenaires dans cette aventure, que sont notamment OVHcloud et Proxmox VE. Une nouvelle génération de private cloud basée sur la même technologie suivra prochainement.
Bien que nous ajoutions des offres d’instances managées « packagées » incluant à la fois les ressources Public Cloud dédiées, l’infogérance totale et le backup, il sera toujours possible de construire vos instances sur mesure pour vos besoins spécifiques avec attributions de ressources « exotiques ».
Les tarifs restent inchangés que ce soit les prix publics ou les tarifs partenaires.
Nouvelle infrastructure Proxmox Cloud disponible
Posted by brain in Cloud on 21 octobre 2019 with No Comments
Bonjour a tous, nous venons de terminer la migration vers la dernière version de notre infrastructure cloud toujours basée sur l’excellent Proxmox VE.
L’infrastructure anciennement bi-datacenter passe en tri-datacenter avec une répartition équilibrée sur les datacenters OVHCloud (anciennement OVH) de Strasbourg, Roubaix et Gravelines afin de limiter au maximum les risques de panne générale.
Le processeur retenu pour les nouveaux host est l’AMD Epyc 7371 qui offre une excellente fréquence par cœur de plus de 3 GHz, ce qui permet d’obtenir de bonnes performances même sur de petites instances.
Enfin tous les stockages passent en RAID NVME afin d’assurer des performances maximales, notamment pour les serveurs de base de donnees MySQL, MariaDB, MongoDB et PostgreSQL
Les instances en infogérance totale restent pour l’instant basées sur Debian Stretch (Debian 9). Pour le reste, l’ensemble des distributions Gnu/Linux du marché sont disponibles et notamment : Debian, Ubuntu, Fedora, openSUSE, CentOS, Arch Linux, Mageia, Slackware, Calculate Linux, etc.
Pour en savoir plus direction: https://digital-network.net/solutions-cloud/
Transition du Legacy vers le Mainstream
Posted by brain in Cloud on 28 octobre 2017 with No Comments
Bonjour à tous, il y a quelques jours lors de la publication du point sur Digital Network en 2017 que je vous invite à lire si vous ne l’avez pas déjà fait, j’ai notamment eu l’occasion de vous expliquer la transition métier que nous avons effectuée au cours des 4 dernières années, du métier de DSP (Datacenter Service Provider) à celui de MSP (Managed Services Provider).
Comme tous les acteurs des écosystèmes Cloud & Datacenter, nous avons à gérer du Legacy (pour ceux d’entre vous qui ne sont pas familiers avec ce concept, il s’agit de l’ensemble des infrastructures et des systèmes encore utilisés pour des raisons de criticités historiques malgré leur obsolescence technologique) qui impacte souvent directement la “dette technologique” de l’entreprise, (ce qui peut avoir comme conséquence notamment de ralentir l’innovation).
Par exemple, nous sommes obligés de maintenir certains systèmes clients reposant sur des versions qui ne sont plus supportées depuis près de 10 ans : ces systèmes n’étant pas compatibles avec les outils modernes nous obligent, à notre tour, à maintenir des systèmes internes permettant leur explication et leur supervision également obsolètes, etc.
Il y a déjà quelques temps, nous avons pris la décision de ne pas prolonger les contrats mutualisés existants pour ces mêmes raisons, où certaines infrastructures font encore tourner du php4 ou du php3 avec des versions de MySQL 3 & 4.
Afin de pouvoir vous proposer les meilleurs services possibles que ce soit en terme de qualité, de redondance, de performances ou de prix, nous allons accélérer cette transition avec pour objectif d’avoir migré 100% du Legacy vers le Mainstream d’ici fin 2018 à la fois sur les infrastructures et systèmes clients, ainsi que sur l’interne.
Il y a un peu plus d’un an, nous avons du opérer, afin de prolonger ce Legacy, une migration de nos infrastructures historiques situées sur le site France Sud Digital Dimmension, vers TDF Realtor, notamment à cause des projets de type Capex dans lesquels les clients sont propriétaires de leurs propres infrastructures.
L’exploitation de ces dernières, qui pour la plupart reposent sur du matériel ancien est extrêmement lourde, car la plupart d’entre vous ne sont pas outillés, que ce soit techniquement ou humainement pour fonctionner de la sorte : nous nous sommes donc retrouvés pour ne pas vous laisser dans l’embarras technique à sortir de nos prérogatives et à devoir réparer votre propre hardware souvent à nos frais, notre modèle de fonctionnement n’étant pas adapté à ce métier.
Nous avons déjà arrêté il y a maintenant un an l’ouverture de nouveaux projets de type CAPEX : nous pouvons vous accompagner dans cette problématique pour trouver le bon acteur, prendre en charge le full management de votre projet, assurer la maîtrise d’ouvrage, mais nous ne souhaitons plus être nous même fournisseur de ces services. Nous avons donc pris la décision de ne pas reconduire ce type de contrat.
Beaucoup d’entre vous ont alors décidé de migrer sur nos offres full managées qu’il s’agisse de serveurs dédiés ou de Cloud (Public & Private), mais vous restez quelques uns à avoir continué sur l’ancien modèle. Nous avons prolongé cette activité aussi loin que possible, afin d’accompagner jusqu’à la fin de vie de son infrastructure Legacy notre plus ancien client, que nous accompagnons maintenant depuis 1999 !
L’arrêt du Legacy ne concerne pas que le housing, mais également les systèmes trop anciens qui ne sont plus maintenus par les éditeurs. Là aussi (et nombre d’entre vous ont déjà commencé), nous allons vous proposer des migrations des systèmes obsolètes vers les nouveaux systèmes.
Le site lui même de Realtor est concerné par cette migration : avec des performances supérieures de 30 à 180% à ces systèmes au sein de nos nouvelles installations, ainsi qu’un catalogue de services intégrés bien plus important, même les PRA seront migrés petit à petit. Cette opération nous permettra également de récupérer plus de 3000 adresses IP pour nos nouvelles infrastructures.
Enfin ce sont nos propres outils internes qui seront migrés afin de permettre une unification des outils et procédures utilisées pour l’ensemble des clients : vous pourrez ainsi tous profiter de l’ensemble des innovations permettant une qualité de service toujours meilleure (monitoring, gestion du support, exploitation, bot, intelligence artificielle, etc.)
Christophe Casalegno
Founder & CETO (Chief Executive & Technologies Officer).
You can follow me on : Twitter | Facebook | Linkedin | Telegram
Ubuntu Linux 16.04 LTS Xenial Xerus disponible sur les offres Digital Network
Posted by brain in Cloud on 24 avril 2016 with No Comments
Après l’annonce de Canonical indiquant la sortie de la dernière version d’Ubuntu, nous avons intégré la distribution Ubuntu Linux server 16.04 LTS Xenial Xerus sur l’ensemble de nos plateformes : cloud public, cloud privé and VPS.
A noter qu’il s’agit d’une version LTS (Long Term Support) et qu’à ce titre elle sera maintenue par Canonical durant 5 ans ce qui en fait un choix judicieux pour les projets à long terme.
Cette 6ème version LTS pour Ubuntu est également la première version à être supportée sur mainframe.
Cette version comporte de nombreuses améliorations tel que snap qui permet des mises à jours plus rapide et plus simples (moins de dépendances) ou encore LXD qui permet d’envisager des solutions de cloud computing ultra-rapides et ultra-denses.
Digital Network déploie les premiers datacenters distribués quantiques
Posted by brain in Cloud on 1 avril 2016 with No Comments
Après plus de 3 ans de recherches, les équipes de nos laboratoires ont pu décoder les mystères de l’intrication quantique. Rappelons que d’après les principales théories de la physique quantique, 2 objets intriqués, même s’ils sont séparés par une grande distance, sont considérés comme un seul système global. Or nos équipes ont réussi à expliquer puis à exploiter ce phénomène :
Il existe au niveau quantique une dimension tellement repliée sur elle même qu’elle reste imperceptible à notre échelle, mais pas à l’échelle des particules élémentaires. Pour simplifier, imaginons une feuille de papier (c’est à dire un univers à 2 dimensions). Sur cette feuille, vous pouvez dessiner 2 points qui peuvent être physiquement très éloignés l’un de l’autre (en fonction de la taille de la feuille). Pourtant, il suffit de rajouter une dimension, en pliant la feuille, ou de manière à en faire un cylindre aplati pour faire retrouver ces 2 points en contact l’un avec l’autre ou à très courte distance l’un de l’autre.
C’est exactement la même chose qui se passe à l’échelle quantique : Les 2 particules intriquées ne « communiquent » nullement par magie : elles sont en contact au travers d’une dimension microscopique. Il restait à savoir comment contrôler cette dimension de manière à pouvoir l’utiliser de manière à mettre au point un réseau sans aucune latence.
Depuis maintenant plus de 6 mois, nous déployons des micro-datacenter de 2m3 partout dans le monde : chaque microdatacenter est de niveau TIER4 et intègre : une double alimentation électrique, un système refroidissement passif effectué via la coque extérieure du Datacenter qui est elle même constituée d’un matériau quasi indestructible, ainsi qu’une interconnexion quantique à la fois interne et avec les autres micro-datacenter déployés dans le monde.
Concernant le stockage, nous avons résolu le problème de la plupart des solutions en virtualisant totalement les contrôleurs de stockage : grâce à notre système de communication quantique breveté, l’ensemble des stockages situés dans l’ensemble des microdatacenters déployés peuvent fonctionner comme un stockage distribué et répliqué global, sans aucune latence, et extensible à volonté. Dans les modèles actuels, ce sont les derniers SSD Samsung de 15 To qui ont été utilisés, ce qui permet de stocker dans nos baies de disques 2U à communication quantique 96 SSD 2 pouces et demi, soit 1440 To pour 2U. C’est sur cette solution que repose désormais nos solutions de cloud public et de cloud privé.
L’ensemble des bus de communication entre la mémoire, le processeur et les autres composants ont également été remplacés par une interface virtuelle quantique, ce qui permet d’éviter tout type de goulot d’étranglement. Seul problème pour l’instant : le protocole de routage quantique permettant de relier les différents composants et microdatacenters entre eux ne fonctionne qu’avec IPv6.
Actuellement les modèles déployés sont équipés de 28.800 to de stockage SSD, et de 960 processeurs Intel de dernière génération pour 240 To de RAM et devraient être prochainement disponibles à la vente au tarif de 6,9 millions d’euro par unité.
NB : ceci est un poisson.
Testez gratuitement notre nouvelle offre de Cloud Haute disponibilité Netcloud
Posted by brain in Cloud on 25 février 2016 with No Comments
Digital Netcom vous propose de tester gratuitement pendant 10 jours sa nouvelle plateforme de cloud Netcloud v3 haute disponibilité et hautes performances. Les principales nouveautés :
– Triple redondance des hyperviseurs
– L’ensemble des connexions et interconnexions passent en full 10 Gb/s
– Données de production sont stockées sur des baies de disques ZFS à 2 têtes maître / esclave
– Un snapshot global au niveau du stockage est effectué toutes les heures
– Une sauvegarde globale est effectuée toutes les 24H00 sur le même site
– Une sauvegarde intégrale des VM est effectuée toutes les 24H00 sur un second datacenter.
– 30 Gb/s en entrée sur chaque unité de cloud
– 750 Mb/s de transit internet intégralement provisionné (upgradable à 10 gb/s à la volée)
– Réseau privé entre vos VM de 1 à 10 Gb/s
– Anti-DDOS à mitigation dynamique inclus pour tous l’ensemble des clients
– Temps moyen d’intervention sur incident 24/7 : < 7 minutes
– Performances en écriture moyenne entre 200 et 300 Mo /seconde
– 1,5 To de trafic inclus
– Possibilité de choisir une géolocalisation en France, en Irlande et en UK
Vous pouvez cliquer sur le schéma pour l’agrandir
Infrastructure Netcloud v3
Réception et déballage des nouvelles unités de Cloud
Posted by brain in Cloud on 26 avril 2014 with No Comments
Déballage et vérification des nouvelles unités de Cloud Supermicro : toujours par paires : 2 x 32 cœurs physiques par machine sur la base de processeurs AMD Opteron, 2 x 256 Go de RAM, 2 x 12 disques de 2 To et 4×512 Go SSD Samsung 840 Pro utilisés avec la technologie Cachecade 2.0 de LSI et 2×2 ports 10 Gb/s dédiés à la réplication.
Ces prototypes seront montés toujours sous Proxmox mais avec une tentative d’implémentation de CephFS au lieu de DRBD. Si les tests sont concluants, les 12 autres unités similaires seront installées sur la base de ce nouveau socle.
-
- ouvelles unités de cloud vue par l’arrière : on peut y distinguer les doubles-alimentations Supermicro, les 2 ports 1 Gb/s redondant, le port dédié à l’administration (IPMI) ainsi que les 2 ports 10 Gb/S redondants.
-
- Nouvelles unités de cloud vue interne: on peut y distinguer le système de ventilation ainsi que d’optimisation thermique, une partie des 256 Go de RAM, les 2 processeurs AMD ou encore la carte RAID LSI.
-
- Nouvelles unités de cloud vue de devant : on peut voir les 2 x 12 disques durs de 2 To hot-plug en façade.
-
- Nouvelles unités de cloud vue interne : aperçu de l’ensemble des composants internes : carte mère, processeurs, ram, carte RAID LSI & carte Supermicro 2×10 Gb/s
-
- Nouvelles unités de cloud vue par l’arrière : zoom sur les racks arrières 2 pouces et demi dédiés aux SSD Samsung 840 Pro de 512 Go utilisés comme cache pour le raid 12 x 2 To disponible sur chaque machine.
MariaDB 10 disponible sur le Cloud Digital Network
Posted by brain in Cloud on 1 avril 2014 with No Comments
MariaDB, la solution SGBD alternative à MySQL crée par Michael Widenius (le fondateur de MySQL) vient d’arriver en version 10 et est dès à présent disponible sur le Cloud DNS.
MariaDB a commencé à s’imposer en devenant le nouveau SGBD standard installé sur les distributions Linux telles que Fedora, Mageia, Opensuse et plus récemment Redhat. Sa quasi-totale compatibilité avec MySQL lui a notamment permis de s’imposer et de remplacer ce dernier, dans de grands projets tels que Wikipedia ou Google.
Pour un comparatif rapide entre MySQL 5.6 et MariaDB 10 vous pouvez consulter le lien suivant : Comparatif Mysql vs MariaDB
Commentaires récents