Troulite

Une mort des plus mystérieuses

Dimanche 10 Février 2008, d'étonnants suspects

Une faille de sécurité dans les noyaux Debian est reportée. Mais cette faille est a priori, et jusqu'à preuve du contraire, sans rapport avec le drame qui allait se jouer. Ce même dimanche, lors d'une randonnées en raquettes à la montagne et d'une raclette un poil trop copieuse, allait peut-être se jouer le destin de troulite.fr...

<Xavier_OM> private joke collocation : c marrant ce matin pas faim, et là... toujours pas faim :/

Eh bien non ! Il semblerait pourtant, contrairement aux apparences, que cette raclette n'ait aucun rapport avec cet odieux crime contre la Troulitie.

Lundi 11 Février 2008, découverte du corps

<Finrodd> hé ben on dirait que troulite a planté :?

Tels furent les premiers mots de Finrodd, horrifié suite à la découverte du corps gisant de troulite.fr. Même un ping ne semblait qu'à peine faire réagir ce corps maintenant inerte. Une tentative de réanimation par un passant échouera lamentablement, tant et si bien que troulite.fr tombera dans un coma plus profond encore que les textes de Gorgoroth. Ne pouvant rien faire de plus, il ne reste plus qu'à attendre les secours, qui ne pourront venir constater le crime que le lendemain.

Mardi 12 Février 2008, les secours arrivent enfin sur la scène du crime, troulite.fr est sauvé

Plus d'une journée et demi après, les secours sont là, en la personne de Jules. Après quelques manipulations, il parvient tant bien que mal à ranimer le serveur, non sans éveiller les démons troulitiens.

<jules> hmm c est bien cheulou ya rien qui s'affiche a l'écran
<jules> meme pas le 1er écran avant le bios
...
<jules> erf bizard il a l'air d'avoir fais un reboot tout seul pdt le lancement de linux
...
<jules> och il fait des cri cheulou
...
<Jean-Gui> ah ben il a booté

Allelouia, troulite.fr est vivant !

Lundi 18 Février, la rechute

<Jean-Gui> mon serveur est encore mort :'(
<jules> en fait j'avai pas trop prévu d'aller au mit aujourd'hui
<Jean-Gui> c'est férié aujourd'hui ? <jules> wé

Il faudra donc attendre encore un peu avant de savoir ce qu'il est arrivé à notre cher troulite.fr...

Mardi 19 Février et jours suivants, la Troulitie est en deuil

<jules> hmm en fait c'est louche il boot completement mais après il a l'air d'etre freeze
...
<jules> mdr trop chaud ton disk system il fait un bruit de scie circulaire en train de couper du metal
<jules> jamais entendu ça
<jules> je pensai meme pas que ce genre de sons était possible avec un pc
...
<jules> en meme temps il fait vraiment des bruits flippant
...
<Jean-Gui> j'me souviens plus, t'avais bien testé un live cd après avoir débranché tous les disques durs ?
<jules> euh oui aussi
<jules> et ça plantai en ramdom a different endroit du boot

Après de nombreux tests (memtest, cputest, hdtest, retrait des éléments un par un), la nouvelle tombe : troulite.fr a rendu l'âme, d'une manière fort mystérieuse (potentiellement un disque dur défaillant, couplé à un autre problème...).

Il est temps de récupérer ce qui peut être sauvé. Fort heureusement, des backups de la plupart des données importantes étaient faites régulièrement, ce qui a permis à la Troulitie de ne conserver une grande partie de sa culture. Seuls les blogs et wikis n'avaient pas été sauvés, à cause d'un étourdi webmaster moyen, qui avait oublié de backupper leurs chemins d'accès. Mais, tel un rayon de soleil transperçant la couverture nuageuse, Jules est arrivé à la rescousse et a réussi à récupérer toutes les données manquantes importantes directement depuis les disques durs !

Ouf, bien que nous pleurions la mort de troulite.fr, nous devons nous réjouir d'avoir pu protéger et récupérer tout ce qui faisait de troulite.fr ce qu'il était !

Le squat s'est sympa, mais gênant

Suite à la mort de troulite.fr, il fallait lui trouver un remplaçant le plus vite possible, les services ayant été interrompus bien trop longtemps. La solution temporaire est venue de Vivien, m'ayant autorisé à utiliser son serveur pour y réinstaller les services les plus importants. Ne voulant pas installer trop de libs et programmes, j'ai seulement réinstallé les plus fréquentés et indépendants. Il s'agissait des blogs, du wiki, MrLog (bot IRC), certains sites web et les emails (serveur mail déjà configuré. Seuls les utilisateurs ayant besoin d'un accès shell se verraient créer un compte, afin, une fois de plus, de ne pas m'étaler trop sur le serveur. De même, jai essayé autant que possible de tout rassembler dans une même arborescence afin de faciliter le nettoyage de fin de squat.

De longs débats

Tout allait pour le mieux avec ce demi troulite.fr, mais on se sentait quand même un peu à l'étroit. Et le squat du serveur de Vivien ne pouvait être que temporaire. Après quelques mois, il était donc temps de commencer à envisager le remplacement de feu troulite.fr. Les diverses possibilités se présentant à nous étaient :

• Acheter un serveur rackable et l'héberger au W3C/MIT :
  • Avantages : propriétaires du serveur, bande-passante quasi-illimitée, hébergement gratuit
  • Inconvénients : propriétaires du serveur, dépendance vis-à-vis de mon travail (non, je ne prévois pas de quitter ERCIM/W3C, mais sait-on jamais...), support difficile, prix de la redondance (alims, disques durs) assez élevé, évolutivité limitée (en raison du coût)
• Louer un serveur dédié type Dédibox/Kimsufi :
  • Avantages : peu cher, support matériel effectué par Free/OVH, délais d'intervention/réparation/remplacement corrects, évolutivité théoriquement bonne (changement d'offre, mise à niveau)
  • Inconvénients : pas du matériel à la pointe de la technologie (mais a priori suffisant), pas propriétaires du serveur (c'est moins fun :'()
• Achat de serveur et hébergement dans un datacenter à proximité
  • Avantages : propriétaires du serveur
  • Inconvénients : propriétaires du serveur, prix de la redondance, évolutivité limitée, hébergement très cher (environ 100€HT/mois !)

Après de nombreux échanges de mails troulitiens, nous avons opté pour l'offre Kimsufi la moins chère, étant plus avantageuse que son équivalente Dedibox, et le hardware étant normalement tout à fait suffisant pour notre utilisation.

Tel le Phénix, Troulite renaît de ses cendres

Le premier Septembre 2008, je me lance donc et me rends sur le site d'OVH pour y commander une Kimsufi. Première surprise, je suis redirigé sur http://www.kimsufi.com. Tiens, ils ont séparé l'offre pour particuliers des offres plus professionnelles. C'est pas un problème, du moment que les offres restent les mêmes. Vérifions : backup FTP de la totalité du disque plus permis (possible à hauteur de 10Go, pour 10€HT/mois !), "100 Mbps garantis de manière non permanente (SLA réseau Standard)" (cette phrase est un mystère pour moi, ils garantissent qu'ils ne peuvent assurer 100Mbps), plus d'IP fail over, et on a échappé de peu aux frais de mise en service (supprimés le lendemain ou surlendemain du lancement des nouvelles offres).

Malgré tout, cette offre Kimsufi L reste plus intéressante a priori que Dedibox. Je procède donc à l'inscription, pour 3 mois, au cas où nous soyons déçus par cette offre. Bonne nouvelle, quelques heures plus tard notre serveur dédié était en place et je recevais le mot de passe root par email.

Bon ben va falloir s'y mettre, migrer tous les services du squat vers ks35977.kimsufi.com (son p'tit nom), immédiatement renommé en troulite. Histoire de me faire la main sur les migrations, je commence par le domaine nullpointerexception, plus petit. Tout se passe bien. Changement des DNS OK, tout en gardant le squat comme mail hub et mail server. Ensuite, restoration de tous les répertoires utilisateurs. Ca se passe bien, c'est juste long, le serveur de backup étant derrière une simple ligne ADSL. Une fois ceci fait, je commence à migrer les différents sites web : www, blog, wiki, galerie. Puis vient le moment fatidique de la migration de toute la partie mail avant de pouvoir dire adieu au squat. Cela a été un peu laborieux. Heureusement Vivien a très bien détaillé les étapes d'installation d'Exim/Spamassassin/ClamAV/CourierIMAP dans une doc interne au W3C, et je me suis également aidé de la configuration du squat. Le plus gros problème auquel j'ai fait face était ClamAV qui refusait de démarrer correctement (il ne voulait pas créer de socket Unix). La seule solution que j'ai trouvée a été d'installer les paquets de Debian volatile (dépôt contenant des paquets devant être mis à jour souvent, comme les antispams ou antivirus). Et voilà ! On peut finir la conf DNS pour ne plus utiliser le squat ! Il reste encore quelques services à migrer, comme le SVN, le serveur FTP et le Webmail, mais cela se passe très bien.

C'est donc fini, tout à été restauré, à l'exception du WebDAV, que je ne recréerai probablement pas, celui-ci ne nous étant pas utile, et de BackupPC, mais ça ne saurait tarder.

Premier bilan sur Kimsufi : ça marche plutôt bien (ne pas oublier de repartitionner AVANT de remplir les partitions existantes, c'est plus simple), la mise en service a été très rapide, donc bilan très positif pour l'instant. On verra sur la durée.

Conclusion

Perdre un serveur quand on n'en a qu'un c'est très gênant. Vu le temps que ça a pris pour diagnostiquer la mort de troulite.fr, si le problème se représentait, je pense que je commencerai immédiatement la migration vers un squat afin de limiter au maximum le downtime des services (là, ils sont restés out environ un mois, ce qui est quand même énorme !). Dans cette dure épreuve pour la République Indépendante de Troulitie, je tiens à remercier (et mes compatriotes troulitens se joindront à moi, je n'en doute pas) Jules pour tout son travail de diagnostic et ses tentatives de sauvetage, ainsi que Vivien pour m'avoir laissé utiliser son serveur pendant plus de 5 mois.

Sur ce, dodo !