Incident SBG OVHCloud – situation DN au 21/03/2021

Posted by brain in Cloud on 21 mars 2021 with No Comments

Suite à l’incident majeur ayant eu lieu sur le site OVHCloud de Strasbourg et après une étude des risques concernant la localisation SBG, ajouté à des éléments de situation tel que la destruction de l’ensemble des backups hyperviseur qui ne pourront pas être remplacés rapidement sur ce site, nous avons pris la décision de migrer tous les clients se trouvant à SBG sur d’autres clusters situés sur les sites de Roubaix et Gravelines.
 
Pour la suite à moyen terme, nous avons effectué une rapide analyse de risques des différents sites et combiné cette dernière à :
 
– vos contraintes réglementaires
– votre demande d’un bâtiment plus standard en terme de conception de refroidissement
 
Nous avons pour l’instant arrêté notre choix sur le datacenter de Francfort comme 3eme zone pour remplacer SBG. Nous vous tiendrons informé à ce sujet lorsque nous sortirons de la situation de crise actuelle. La photo satellite du site est disponible ci-dessous.

francfort

Concernant la situation de production :
 
– Une partie des backups clients (data + bdd) reste manquante. La volumétrie pour tout recréer prendra beaucoup plus de temps que de récupérer les backups actuels de SBG. ETA estimé -> une semaine
 
– Les backups hyperviseur (une copie intégrale de toutes les machines capable d’être rallumée sur n’importe quel datacenter) sont pleinement fonctionnels, toutes les 24H00 au moment de ce message. En cas de demande de récupération nous avons donc toujours la possibilité (sur GRA et RBX) de monter un répliquat de la VM sur une autre IP et vous y donner accès pour accéder à un backup glissant (en moyenne sur les 5 derniers jours).
 
– Le support technique fonctionne normalement
 
– Les livraisons sont opérationnelles, mais les backups « clients » (hors hyperviseur) des nouvelles livraison (fichiers + bases de données) sont temporairement stockées sur les infrastructures de backup de ScalarX (fondée également par Christophe Casalegno), dans le Datacenter OVH de Londres
 
– Nous ne seront pas en capacité de livrer de nouveaux serveurs dédiés avant plusieurs semaines vu la situation actuelle de la supply chain d’OVH qui doit tourner à plein régime à la fois pour produire des serveurs, et prochainement pour remettre en état des serveurs de SBG1.
 
– Notre capacité à livrer du cloud DN reste pour l’instant opérationnelle.
 
Notre serveur dns secondaire (baine) est définitivement détruit ainsi que ses backups snapshot OVH correspondant. Ce dernier a donc été complètement reconstruit chez un autre fournisseur à Paris afin qu’il reste accessible en cas d’incident majeur sur le réseau OVH et l’ensemble des configurations sont désormais actives. Nous envisageons de porter les serveurs dns à 4 avec un fake master afin de conserver un contrôle total en cas d’incident pour certains types de PRA.
 
Un nouveau cluster équipé de 96CPU (prochainement 128), 768 GB de RAM et 20TB de stockage NVME redondé a été setupé à RBX pour éviter une surcharge des clusters actuels lors de la migration des machines de SBG -> tests ok.
 
Nous avons procédé à l’inventaire des serveurs. Nous sommes encore en attente de la réponse de certains clients qui ont été migrés depuis des backups, mais le nombre de serveurs à transférer entre SBG et la nouvelle infrastructure Netcloud montée à RBX devrait être entre 60 et 80.
 
La priorisation suivante a été effectuée, agrémentée de quelques procédures d’exception relative à la criticité particulière de certains clients :
 
1) Migration des clients n’ayant ni production ni backup
2) Migration des clients n’ayant plus de production mais un backup
3) Migration des PRA/PROD des clients disposant de ces options
4) Migration des serveurs clients déjà rallumés mais devant récupérer des données manquantes.
5) Migration des backups fichiers + base de données pouvant être récupérées.
 
Le rallumage des serveurs se fera au fil de l’eau au fur et à mesure de leur rapatriement sur la nouvelle infrastructure. Bien entendu toutes ces opérations sont conditionnées par la remise sous tension des infrastructures par OVH.
 
 

Transition du Legacy vers le Mainstream

Posted by brain in Cloud on 28 octobre 2017 with No Comments

Bonjour à tous, il y a quelques jours lors de la publication du point sur Digital Network en 2017 que je vous invite à lire si vous ne l’avez pas déjà fait, j’ai notamment eu l’occasion de vous expliquer la transition métier que nous avons effectuée au cours des 4 dernières années, du métier de DSP (Datacenter Service Provider) à celui de MSP (Managed Services Provider).
 
Comme tous les acteurs des écosystèmes Cloud & Datacenter, nous avons à gérer du Legacy (pour ceux d’entre vous qui ne sont pas familiers avec ce concept, il s’agit de l’ensemble des infrastructures et des systèmes encore utilisés pour des raisons de criticités historiques malgré leur obsolescence technologique) qui impacte souvent directement la “dette technologique” de l’entreprise, (ce qui peut avoir comme conséquence notamment de ralentir l’innovation).
 
Par exemple, nous sommes obligés de maintenir certains systèmes clients reposant sur des versions qui ne sont plus supportées depuis près de 10 ans : ces systèmes n’étant pas compatibles avec les outils modernes nous obligent, à notre tour, à maintenir des systèmes internes permettant leur explication et leur supervision également obsolètes, etc.
 
Il y a déjà quelques temps, nous avons pris la décision de ne pas prolonger les contrats mutualisés existants pour ces mêmes raisons, où certaines infrastructures font encore tourner du php4 ou du php3 avec des versions de MySQL 3 & 4.
 
Afin de pouvoir vous proposer les meilleurs services possibles que ce soit en terme de qualité, de redondance, de performances ou de prix, nous allons accélérer cette transition avec pour objectif d’avoir migré 100% du Legacy vers le Mainstream d’ici fin 2018 à la fois sur les infrastructures et systèmes clients, ainsi que sur l’interne.
 
Il y a un peu plus d’un an, nous avons du opérer, afin de prolonger ce Legacy, une migration de nos infrastructures historiques situées sur le site France Sud Digital Dimmension, vers TDF Realtor, notamment à cause des projets de type Capex dans lesquels les clients sont propriétaires de leurs propres infrastructures.
 
L’exploitation de ces dernières, qui pour la plupart reposent sur du matériel ancien est extrêmement lourde, car la plupart d’entre vous ne sont pas outillés, que ce soit techniquement ou humainement pour fonctionner de la sorte : nous nous sommes donc retrouvés pour ne pas vous laisser dans l’embarras technique à sortir de nos prérogatives et à devoir réparer votre propre hardware souvent à nos frais, notre modèle de fonctionnement n’étant pas adapté à ce métier.
 
Nous avons déjà arrêté il y a maintenant un an l’ouverture de nouveaux projets de type CAPEX : nous pouvons vous accompagner dans cette problématique pour trouver le bon acteur, prendre en charge le full management de votre projet, assurer la maîtrise d’ouvrage, mais nous ne souhaitons plus être nous même fournisseur de ces services. Nous avons donc pris la décision de ne pas reconduire ce type de contrat.
 
Beaucoup d’entre vous ont alors décidé de migrer sur nos offres full managées qu’il s’agisse de serveurs dédiés ou de Cloud (Public & Private), mais vous restez quelques uns à avoir continué sur l’ancien modèle. Nous avons prolongé cette activité aussi loin que possible, afin d’accompagner jusqu’à la fin de vie de son infrastructure Legacy notre plus ancien client, que nous accompagnons maintenant depuis 1999 !
 
L’arrêt du Legacy ne concerne pas que le housing, mais également les systèmes trop anciens qui ne sont plus maintenus par les éditeurs. Là aussi (et nombre d’entre vous ont déjà commencé), nous allons vous proposer des migrations des systèmes obsolètes vers les nouveaux systèmes.
 
Le site lui même de Realtor est concerné par cette migration : avec des performances supérieures de 30 à 180% à ces systèmes au sein de nos nouvelles installations, ainsi qu’un catalogue de services intégrés bien plus important, même les PRA seront migrés petit à petit. Cette opération nous permettra également de récupérer plus de 3000 adresses IP pour nos nouvelles infrastructures.
 
Enfin ce sont nos propres outils internes qui seront migrés afin de permettre une unification des outils et procédures utilisées pour l’ensemble des clients : vous pourrez ainsi tous profiter de l’ensemble des innovations permettant une qualité de service toujours meilleure (monitoring, gestion du support, exploitation, bot, intelligence artificielle, etc.)
 
Christophe Casalegno
Founder & CETO (Chief Executive & Technologies Officer).
You can follow me on : Twitter | Facebook | Linkedin | Telegram

Datacenter de La Ciotat : Migration réseau Cogent vers Interoute

Posted by brain in Dédiés on 5 octobre 2014 with No Comments

Bonjour à tous, actuellement le transit des infrastructures de La Ciotat est assuré par le biais de 3 opérateurs (SFR, NeoTelecoms & Cogent). Ce soir à partir de 22H00 nous procèderons à la migration de l’opérateur Cogent vers Interoute. Cette migration devrait nous permettre une forte amélioration de nos temps de réponse sur ce site.

Back to Top

Retrouvez nous également sur Twitter et Facebook 2018 © Digital Network.