Blog

Panne du mardi 5 juin 2012 pour opentime.info

Le service Opentime.info a subi une panne importante ce mardi 5 juin 2012 avec plus de 14h presque consécutives "dans le noir".
Toute l'équipe de No Parking souhaite présenter à l'ensemble de ses clients ses excuses les plus sincères : c'est probablement la première fois que nous faisons face à un soucis de cet ampleur.
La plupart de nos clients ont vu un message "Fatal error : Unable to connect to database server". Dès 6h15, les premiers emails de clients arrivent. Puis entre 9h30 et 10h, tout s'accélère : les emails et les appels arrivent au bureau... Et pas grand monde pour y répondre : toute l'équipe technique est au Forum PHP 2012, et je suis en congés une semaine. Les premiers retards sont déjà présent à l'allumage.
Première diagnostic : le serveur est plein et MySQL n'a pas assez de place pour construire ses résultats. Un premier nettoyage effectué, je peux envoyé un email rassurant vers 13h10. Sauf que le répit sera de courte durée : à 13h55, le service retombe. Les besoins en espace disque sont plus importants que le nettoyage superficiel.
Deuxième diagnostic : le serveur est toujours plein et c'est un client en particulier qui remplit le plus gros de l'espace disponible (avec un ratio de 1 à 100). Il est temps de déplacer ce client en particulier vers un autre serveur plus à même de répondre à ce type de besoins. L'opération prendra plus de temps que prévu à cause du manque d'espace disque (toujours lui) sur le serveur de production : elle est bouclée à 17h31.
Les derniers réglages prendront quelques minutes (transfert de DNS, vérification des back-ups, redémarrage des services, etc.) : tout est désormais opérationnel à nouveau depuis 20h environ.
Un formulaire de dédommagement est ouvert pour tous les clients qui auront eu à faire face à ce problème : un avoir est prévu pour chacun d'entre eux.