Un moteur de recherche nancéien au service des lorrains

Un véritable moteur de recherche ? Drôle de défi... Alors, le voilà, parfaitement fonctionnel, indexant inlassablement les pages relatives à la Lorraine : A vous de l'essayer...

Comment ça marche ?

Le serveur

Avant toute chose, l'aspect technique est important. Un hébergement mutualisé ne permet pas ce genre de fantaisies. Un serveur loué pourrait bien le faire, mais reste relativement coûteux et ne permet pas toujours des sauvegardes faciles et fiables au vu du volume de données en jeu. Quant à un ordinateur à la maison, c'est définitivement trop coûteux en énergie.

A la recherche d'une solution simple, peu coûteuse et économique en énergie, j'ai d'abord opté pour une unité centrale à base de carte mère mini-ITX et processeur VIA C3 à 800 Mhz (voir photo). Econome à l'usage, il s'avère assez peu puissant. Fin octobre 2008, la carte mère m'ayant lâchement abandonné après deux ans de bons et loyaux services, j'optai pour la nouvelle plate-forme Intel Atom. L'offre Eee Box d'Asus répondait aux besoins : économe en énergie, peu coûteux à l'achat, équipé d'un Atom 270 qui offre l'avantage sur l'Atom 230 d'offrir les options d'économie d'énergie dédiées aux portables, il présente l'avantage d'être livré complet dans un boîtier peu encombrant. Equipé d'un Linux Eee-Debian, c'est une véritable bête de course comparée au Via C3.

L'aspect logiciel

Un moteur de recherche tel que celui-ci, comprend deux modules logiciels complémentaires. D'un côté, un robot indexeur qui visite les pages et indexe les plus intéressantes, et un module de requêtes, qui vous renvoie les réponses.

le robot indexeur

Tout commence par le robot d'indexation des pages. Il s'agit en fait d'un programme écrit en PHP, qui est conçu pour télécharger les pages puis en analyser le contenu. En fonction de ce dernier, la page est indexée ou non. Le programme fonctionne de manière autonome sur le serveur.

L'image ci-contre à gauche illustre le fonctionnement du bot : il choisit une page dans la base de données en limitant le nombre d'accès sur un domaine afin de ne pas surcharger le serveur du site, analyse les données pour déterminer si le fichier est compatible avec un certain nombre de critères, puis accepte ou non la page tout en lui attribuant une note, cherchant les expressions les plus courantes et enregistre les liens.

le module de requêtes

Mais un moteur de recherche, ce n'est pas que quelques dizaines (de milliers) de pages indexées dans une base de données, c'est aussi une interface censée répondre rapidement aux requêtes des utilisateurs. A chaque demande de l'utilisateur, les mots sont analysés de façon à tirer de la base de données les pages qui semblent les plus pertinentes. C'est de cette partie du moteur dont vous vous servez lorsque vous cliquez sur un nom de ville ou un lien interne à ce site, mais aussi lorsque vous effectuez une recherche : votre requête est alors envoyée au serveur qui doit sélectionner en quelques millisecondes un certain nombre de pages pertinentes, parmi plus de 1 giga-octets de données et plus de 80 000 pages indexées à l'heure où j'écris ces lignes. C'est de cette pertinence dont dépend l'efficacité d'un moteur de recherche, et c'est donc l'algorithme qu'il convient de soigner.

Lorsque vous effecuez une requête, il se passe un certain nombre de choses au sein du site nancy-guide.net (hébergé), et le module de requête (chez moi) :

Votre requête sur nancy-guide

Lorsque vous envoyez une requête, un script sis sur nancy-guide l'analyse et consulte un cache (un fichier temporaire). Si ce cache est suffisamment récent (plus ou moins une heure), alors le script vous renvoie la réponse directement. Si votre requête ne figure pas sur le cache, alors le script envoie votre demande au module de requêtes.

Votre requête sur le module éponyme

Deux cas de figure :
- le module analyse votre demande, créé un fichier. Le script patiente, copie le fichier en local (le cache), puis exploite la réponse.
- le module de requêtes est indisponible, auquel cas un message vous est envoyé par le biais du script de nancy-guide ;

Les réglages

A fin janvier 2008, le moteur fonctionnait assez aléatoirement : après 8 mois de travail, l'ensemble a été entièrement réécris en PHP5. La nouvelle mise en ligne date du 7/11/2008. Restent beaucoup de chose à affiner, dont l'affichage qui ne me sied pas entièrement...