Erreur mineure, catastrophe majeure - GitLab reste hors ligne pendant un jour

GitLab, une startup proposant une alternative au très populaire GitHub, a récemment connu une journée difficile une erreur humaine a provoqué la panne de l'ensemble du site pendant une journée complète.

Le problème de GitLab a commencé quand le site Web connaissait des problèmes de temps de chargement et de stabilité. Le site Web a été mis hors ligne afin de rectifier les problèmes. Cependant, lors de la maintenance, quelqu'un a involontairement commis l'erreur de supprimer accidentellement un répertoire contenant 300 Go de données de production réelles.

Heureusement pour GitLab, le contenu qui a été supprimé uniquement problèmes concernés et demandes fusionnées. Les dépôts et les wikis ne sont aucunement affectés par cette erreur, ce qui signifie que le les dommages causés par cette erreur n'étaient pas aussi graves comme cela aurait pu être

Une fois le répertoire supprimé, le personnel de GitLab se tourne immédiatement vers sa sauvegarde. Malheureusement pour eux, GitLab a rencontré encore un autre problème. Selon le fichier Google Doc qui était constamment mis à jour alors que GitLab avait du mal à se reconnecter, les 5 sauvegardes / réplications techniques que le site Web déployé n'a pas fonctionné de manière fiable, et dans certains cas étaient jamais mis en place en premier lieu.

Récupérer ces fichiers perdus depuis le cloud n’est pas une option pour GitLab, le démarrage ayant été décidé à la fin de l’année dernière vider le nuage afin de construire et d'exploiter ses propres grappes Ceph à la place. Inutile de dire que GitLab est en train de reconsidérer sa position sur ce sujet particulier.

@TheRegister @gitlab travaillera à rendre l'application plus performante et à explorer d'autres fournisseurs d'hébergement en cloud.

- Connor Shea (@connorjshea) 1 février 2017

Malgré la journée tumultueuse qu'a connue GitLab, le site Web est maintenant opérationnel comme d'habitude. Alors que le site a signalé que certaines données avaient été perdues au cours d'une fenêtre de six heures, le git les dépôts ont été laissés sains et saufs tout au long de l'épreuve. Un journal complet des incidents de tout l'événement peut être consulté ici.

Alors que beaucoup des leçons peuvent être tirées de la petite erreur de GitLab (principalement l’orgueil), la méthode de gestion de la crise adoptée par GitLab est plutôt admirable, la startup était claire et transparente avec ses utilisateurs. En espérant que GitLab tire les leçons de cette erreur. Sinon, sa base d'utilisateurs serait probablement moins indulgent si l'histoire se répète.

Source: Le registre