Incident SBG OVHCloud – situation DN au 21/03/2021

Posted by brain in Cloud on 21 mars 2021 with No Comments

Suite à l’incident majeur ayant eu lieu sur le site OVHCloud de Strasbourg et après une étude des risques concernant la localisation SBG, ajouté à des éléments de situation tel que la destruction de l’ensemble des backups hyperviseur qui ne pourront pas être remplacés rapidement sur ce site, nous avons pris la décision de migrer tous les clients se trouvant à SBG sur d’autres clusters situés sur les sites de Roubaix et Gravelines.
 
Pour la suite à moyen terme, nous avons effectué une rapide analyse de risques des différents sites et combiné cette dernière à :
 
– vos contraintes réglementaires
– votre demande d’un bâtiment plus standard en terme de conception de refroidissement
 
Nous avons pour l’instant arrêté notre choix sur le datacenter de Francfort comme 3eme zone pour remplacer SBG. Nous vous tiendrons informé à ce sujet lorsque nous sortirons de la situation de crise actuelle. La photo satellite du site est disponible ci-dessous.

francfort

Concernant la situation de production :
 
– Une partie des backups clients (data + bdd) reste manquante. La volumétrie pour tout recréer prendra beaucoup plus de temps que de récupérer les backups actuels de SBG. ETA estimé -> une semaine
 
– Les backups hyperviseur (une copie intégrale de toutes les machines capable d’être rallumée sur n’importe quel datacenter) sont pleinement fonctionnels, toutes les 24H00 au moment de ce message. En cas de demande de récupération nous avons donc toujours la possibilité (sur GRA et RBX) de monter un répliquat de la VM sur une autre IP et vous y donner accès pour accéder à un backup glissant (en moyenne sur les 5 derniers jours).
 
– Le support technique fonctionne normalement
 
– Les livraisons sont opérationnelles, mais les backups « clients » (hors hyperviseur) des nouvelles livraison (fichiers + bases de données) sont temporairement stockées sur les infrastructures de backup de ScalarX (fondée également par Christophe Casalegno), dans le Datacenter OVH de Londres
 
– Nous ne seront pas en capacité de livrer de nouveaux serveurs dédiés avant plusieurs semaines vu la situation actuelle de la supply chain d’OVH qui doit tourner à plein régime à la fois pour produire des serveurs, et prochainement pour remettre en état des serveurs de SBG1.
 
– Notre capacité à livrer du cloud DN reste pour l’instant opérationnelle.
 
Notre serveur dns secondaire (baine) est définitivement détruit ainsi que ses backups snapshot OVH correspondant. Ce dernier a donc été complètement reconstruit chez un autre fournisseur à Paris afin qu’il reste accessible en cas d’incident majeur sur le réseau OVH et l’ensemble des configurations sont désormais actives. Nous envisageons de porter les serveurs dns à 4 avec un fake master afin de conserver un contrôle total en cas d’incident pour certains types de PRA.
 
Un nouveau cluster équipé de 96CPU (prochainement 128), 768 GB de RAM et 20TB de stockage NVME redondé a été setupé à RBX pour éviter une surcharge des clusters actuels lors de la migration des machines de SBG -> tests ok.
 
Nous avons procédé à l’inventaire des serveurs. Nous sommes encore en attente de la réponse de certains clients qui ont été migrés depuis des backups, mais le nombre de serveurs à transférer entre SBG et la nouvelle infrastructure Netcloud montée à RBX devrait être entre 60 et 80.
 
La priorisation suivante a été effectuée, agrémentée de quelques procédures d’exception relative à la criticité particulière de certains clients :
 
1) Migration des clients n’ayant ni production ni backup
2) Migration des clients n’ayant plus de production mais un backup
3) Migration des PRA/PROD des clients disposant de ces options
4) Migration des serveurs clients déjà rallumés mais devant récupérer des données manquantes.
5) Migration des backups fichiers + base de données pouvant être récupérées.
 
Le rallumage des serveurs se fera au fil de l’eau au fur et à mesure de leur rapatriement sur la nouvelle infrastructure. Bien entendu toutes ces opérations sont conditionnées par la remise sous tension des infrastructures par OVH.
 
 

Incident Datacenter OVH Strasbourg

Posted by brain in Cloud on 19 mars 2021 with No Comments

– Estimation actuelle au vu des informations dont nous disposons actuellement quant au redémarrage complet des plateformes Netcloud DN et des services de backups qui n’ont pas été détruits situés à SBG chez OVHCLOUD : 24 Mars 2021.
 
– Dans l’instant nous estimons qu’il y a de très fortes chances de n’avoir perdu aucune donnée de production client
 
– Quelques infrastructures #OVHCloud SBG (anciennement OVH GS) et maintenant MIS, infogérées par Digital Network, ont pu commencer à être rallumées hier avec succès
 
– Les clients MIS qui ne pouvaient pas être livrés de leurs infrastructures OVHCloud à cause de la saturation actuelle que subit la chaîne d’approvisionnement d’OVH, et ayant fait le choix de la solution d’une infrastructure fournie à titre gracieux par DN durant la période de transition ont bien tous été livrés : les environnements ont été reconstruits, les données migrées depuis les backups disponibles et remis en service.
 
– Le replay du dernier live de Christophe Casalegno au sujet de l’incident affectant les Datacenters OVHCloud de Strasbourg ainsi qu’aux différentes stratégies possibles à adopter pour ceux qui auraient tout perdu est disponible ici :
 

 
– Concernant les propositions de mises à disposition à titre gracieux d’infrastructures / serveurs, le plus rapide est de contacter Christophe Casalegno directement via le réseau Telegram (https://telegram.org) . Les informations de contact sont disponibles dans la description de la vidéo ci-dessus. Si vous êtes client direct DN et y disposez d’un accès vous pouvez également ouvrir un ticket dans le DDS.
 
– Les livraisons de nouvelles infrastructures cloud DN ont pu reprendre un rythme presque normal principalement grâce à notre capacity planning exclusif qui consiste à provisionner 100% des ressources commandées par 100% des clients, augmentées d’une capacité supplémentaire afin de pouvoir rallumer l’intégralité de l’infrastructure en cas de down de l’un des 3 datacenters (Gravelines, Roubaix et Strasbourg) sur lesquels nous sommes actuellement présent.
  
– Les nouvelles infrastructures livrées actuellement disposent temporairement de backups fichiers + base de données au sein des infrastructures de ScalarX situées dans le datacenter OVHCloud de Londres. Au fur et à mesure de la reconstruction de nos infrastructures de backups, les sauvegardes seront basculées sur leurs destination initiale.
  

Nouvelle plateforme Public Cloud : Netcloud 6.0

Posted by brain in Cloud on 27 juin 2020 with No Comments

Bonjour à tous, nous commençons les travaux de mise en service de notre nouvelle plateforme de Public Cloud : Netcloud 6.0. Au contraire des tendances du marché, nous avons décidé de ne pas décliner cette offre sur plusieurs types d’instance de type « CPU », « RAM », « Iops », « storage », etc. et de conserver notre logique d’instance universelle personnalisable : ainsi toutes nos instances continueront d’offrir en standard les meilleurs performances possibles dans chacun des domaines :

AMD Epyc

  • CPU : AMD Epyc 3.1 GHz / 3.8 GHz
     

  • RAM : jusqu’à 512GB par instance
     

  • Storage : jusqu’à 4 TB par volume NVME
     

  • Network : 1 Gb/s de bande passante par instance en standard.
     

  • Répartition des infrastructures France : Roubaix, Gravelines et Strasbourg.

    Bien que nos services d’infogérance de build et de run d’infrastructures restent ouverts et multi-cloud, nous prolongeons et renforçons également nos liens avec nos principaux partenaires dans cette aventure, que sont notamment OVHcloud et Proxmox VE. Une nouvelle génération de private cloud basée sur la même technologie suivra prochainement.

    Bien que nous ajoutions des offres d’instances managées « packagées » incluant à la fois les ressources Public Cloud dédiées, l’infogérance totale et le backup, il sera toujours possible de construire vos instances sur mesure pour vos besoins spécifiques avec attributions de ressources « exotiques ».
     
    Les tarifs restent inchangés que ce soit les prix publics ou les tarifs partenaires.

  • Digital Network devient Advanced Partner OVHCloud

    Posted by brain in Commercial on 28 octobre 2019 with No Comments

    Partenaire historique (depuis 1999), puis stratégique d’OVHCloud (anciennement OVH) depuis 2016 en tant que premier partenaire intégré en proposant l’offre d’infrastructures managées MIS, Digital Network, qui travaille avec le géant européen depuis près de 20 ans, renforce encore ses partenariats en tant qu’Advanced Partner du nouveau programme d’OVHCloud.
     
    Interrogé sur ce nouvel accord, Jerome Girard en charge de la commercialisation des solutions OVHCloud intégrées a notamment déclaré : « ce renforcement de notre partenariat se traduit aussi bien sur les aspects commerciaux que techniques en permettant une meilleure intégration de nos offres dans les différents univers proposés par OVH tout en assurant une meilleure réactivité grâce a une véritable synergie des équipes.  »
     
    De son coté, Christophe Casalegno, fondateur du groupe précise que : « L’objectif pour nous est avant tout de continuer d’améliorer notre synergie avec OVHCloud (OVH). C’est cette synergie, notamment dans dans le cadre du partage des roadmaps, qui nous permettent d’anticiper les évolutions technologiques proposées dans les différents domaines, notamment baremetal, cloud et storage, afin de les intégrer en amont dans la conception de nos produits et services afin de pouvoir faire profiter des meilleures innovations a nos clients. »
     

    Nouvelle infrastructure Proxmox Cloud disponible

    Posted by brain in Cloud on 21 octobre 2019 with No Comments

    AMD EPYC 7371Bonjour a tous, nous venons de terminer la migration vers la dernière version de notre infrastructure cloud toujours basée sur l’excellent Proxmox VE.

    L’infrastructure anciennement bi-datacenter passe en tri-datacenter avec une répartition équilibrée sur les datacenters OVHCloud (anciennement OVH) de Strasbourg, Roubaix et Gravelines afin de limiter au maximum les risques de panne générale.

    Le processeur retenu pour les nouveaux host est l’AMD Epyc 7371 qui offre une excellente fréquence par cœur de plus de 3 GHz, ce qui permet d’obtenir de bonnes performances même sur de petites instances.

    Enfin tous les stockages passent en RAID NVME afin d’assurer des performances maximales, notamment pour les serveurs de base de donnees MySQL, MariaDB, MongoDB et PostgreSQL

    Les instances en infogérance totale restent pour l’instant basées sur Debian Stretch (Debian 9). Pour le reste, l’ensemble des distributions Gnu/Linux du marché sont disponibles et notamment : Debian, Ubuntu, Fedora, openSUSE, CentOS, Arch Linux, Mageia, Slackware, Calculate Linux, etc.

    Pour en savoir plus direction: https://digital-network.net/solutions-cloud/

    OVHCloud Summit 2019 : merci a tous !

    Posted by brain in Général on 15 octobre 2019 with No Comments

    Merci a tous ceux qui sont venus nous rencontrer au stand S6 ainsi qu’assister à la conférence de Christophe Casalegno ce 10 Octobre 2019 lors de l’édition 2019 de l’ OVHCloud Summit (anciennement OVH Summit).

    Digital Network OVH Cloud Summit 2019

    Ce fut l’occasion pour nous également de célébrer à la fois les 20 ans d’existence d’OVH et de Digital Network.

    Back to Top

    Retrouvez nous également sur Twitter et Facebook 2018 © Digital Network.