Si vous êtes passé sur scoopoe ce weekend, vous aurez sans doute remarqué que scoopeo ne fonctionnait pas très bien. En réalité le software God qui est censé monitorer les process Thin (Ruby on Rails) ne fonctionne pas du tout bien.

J’ai donc ce matin goupillé un script à ma façon basé sur crontab pour scanner les process. C’est une moulinette que j’utilise sur d’autres serveurs et qui a déjà fait ses preuves. Cela devrait être beaucoup plus stable. Enfin j’espère…

J’ai enfin trouvé le bug bizarre qui faisait apparaître le scoop de Laure Manaudou (et les autres vieux scoops mis en cache) dans le bloc à droite de la homepage. C’est réglé! Vous avez peut être vu apparaître quelques erreurs bizarres dans cette colonne ce matin

Le second bug corrigé était celui qui permettait de modifier un scoop après plus de 2 heures si on connaissait l’url à utiliser.

J’ai mis en place aujourd’hui une nouvelle infrastructure pour scoopeo. Il s’agit d’un test, mais si ça se passe bien cela devrait réduire le nombre de problèmes et théoriquement accélérer les pages. Phase suivante : réduire le poids des requêtes mysql.
Pour ceux que ça intéresse, Scoopeo tourne sous Nginx (un serveur http opensource d’origine russe). Celui-ci envoie toutes les pages fixes, images, css, js ainsi que les (trop peu nombreuses) pages cachées directement et fait office de proxy  devant un cluster de process Thin (et quelques Mongrel pour des requêtes bien précises comme la procédure d’enregistrement). Ce sont des process qui tournent et s’occupe de tout ce qui est Ruby (et donc parlent avec Mysql pour vous concocter les jolies pages de scoopeo).

Les process Mongrel sont contrôlés par un script bidouillé par moi même. Le cluster de Thin est contrôlé par God (ma découverte du jour).

edit : après 24 heures, je trouve la solution plutôt stable. Une seule erreur due à un bug dans le code, à part pendant les périodes de tests.

En cette belle matinée ensoleillée, j’ai optimisé la procédure de karma et l’ai remise en place. Elle est ultra rapide et ne bloque plus le serveur.

Pour ce qui est des problèmes de blogspam, je réfléchis à une solution basée sur un handicap appliqué aux noms de domaines ayant reçu un certain nombre de modérations (avec les “spam” ayant le plus de poids). Cet handicap serait dégressif avec le temps. Ceci serait couplé à une liste blanche pour intégrer les sites qui ne sont pas du spam comme youtube, flickr, … Qu’en pensez vous ?

EDIT : J’ai amélioré la principale requête de liste de scoops. Je pense qu’elle devrait être plus rapide. Je la laisse en test 24 heures, histoire de voir si le site est plus rapide.