Moteurs de recherches

Un moteur de recherche est une application permettant de retrouver des ressources (pages Web, forums Usenet, images, vidéo, fichiers, etc.) associées à des mots quelconques. Certains sites Web offrent un moteur de recherche comme principale fonctionnalité ; on appelle alors moteur de recherche le site lui-même

• Outil de recherche sur le Web constitué
  • de « robots », encore appelés bots, spiders, crawlers ou agents qui parcourent les sites à intervalles réguliers et de façon automatique (sans intervention humaine, ce qui les distingue des annuaires) pour découvrir de nouvelles adresses (URL). Ils suivent les liens hypertextes (qui relient les pages les unes aux autres) rencontrés sur chaque page atteinte. Chaque page identifiée est alors indexée dans une base de données, accessible ensuite par les internautes à partir de mots-clés.
  • Ou participatif : c'est l'intelligence humaine collective qui fourni les sites indexés, et indique leurs valeurs dans le moteur : par exemple par l'intermédiaire de marque page (delicious, etc..), et / ou de bouton sur les pages et les articles ( digg, etc … )

• Tracker : installé par défaut sur ubuntu

Voir recherche de fichiers

Liste de moteur de recherche web, en fonctionnement et libre. Différencier projets fait par "non profit" ou profit company : voir sun et oracle, une opa peut être fait sur une entreprise, du libre.

Internet libre ou Minitel web 2.0

• seeks (site)
• Yaci (site) et extension firefox

Non libre :

• Majestic-12 Dsearch (site) (stats)

Profit company

• Wikia Search (site) (source)

• OpenWebSpider ( site ) Open Source multi-thread Web Spider (robot à chenilles) et moteur de recherche avec beaucoup de fonctionnalités intéressantes
• ex-crawler ( site )

• Local Lucene ( site )

• Nutch (wiki)
• Xapian (site)
• OSS Open Search Server ( site )
• CLucene - a C++ search engine ( site )

• Jumper 2.0 Collaborative Search Engine (site)

• Compass semantic/java (site)
• regain ( site )
• Phraseanet (site) : pour le multimedia

Optimisation pour les moteurs de recherche ou SEO ( search engine optimisation).

• SEO Panel - A control panel for SEO (site)
• SEO Tools (site)

Robots.txt, ou le fichier d'exclusion des robots, est une ressource de format texte qui peut être placée à la racine d'un site Web, et qui contient une liste des ressources du site qui ne sont pas censées être indexées par les robots d'indexation des moteurs de recherche. ( voir aussi Spider trap )

Exemple pour bloquer un indexer spécifique :

User-agent: googlebot
Disallow: /

Un générateur de robot.txt

• Intelligence artificielle, web sémantique, et langage sémantique.
• Calcul Collaboratif
• P2P
• réseau social

• Moteur de recherche creative common.
• Liste des moteurs de recherches libres
• Liste de moteurs, sur sourceforge, les web crawler, les web spider, les webbots
• A Comparison of Open Source Search Engines

Contributeurs : Psychederic, …