Moteurs de recherches

Un moteur de recherche est une application permettant de retrouver des ressources (pages Web, forums Usenet, images, vidéo, fichiers, etc.) associées à des mots quelconques. Certains sites Web offrent un moteur de recherche comme principale fonctionnalité ; on appelle alors moteur de recherche le site lui-même.

Vous connaissez certainement les moteurs de recherches non-libres : Google, Yahoo!, Microsoft Bing, …

Pourquoi faut il ne pas utiliser les moteurs non-libres ? En y faisant des recherches sur ces moteurs, et en utilisant les services associés ( Gmail, Yahoo Mail, MSN live, … ), vous acceptez généralement une clause qui permet à ses propriétaires d'utiliser vos informations personnelles, notamment pour cibler leurs publicités, et leur donne beaucoup de pouvoir.

Déclarations d'Eric Schmidt (Google)

• "Nous savons à "peu près" qui vous êtes, à "peu près" ce qui vous intéresse, à peu près qui sont vos amis" ( a peu près, car les méthodes d'analyses et modélisations sont probabilistes, il faut lire on sait à X% qui vous êtes vraiment ).
• "Si 'je' regarde suffisamment vos messages et vos déplacements, avec de l'intelligence artificielle, nous pouvons prédire ce que vous allez faire"
• La nouvelle startup de google ( avec la cia ) : Recorded Future
• Un document récent indique également que Google pourrait commencer à vendre des annonces sur le Web basée sur les choses qu'il connaissait des gens de leur compte Gmail, et aussi de leur utilisation du service Google Checkout, un rival de PayPal.

D'autres liens pour faire le tour de la question: Le document montre une compréhension des implications de confidentialité. Rien ne se passerait "sans considération fort au sujet de la vie privée, au niveau juridiques et de l'industrie les meilleures pratiques à l'esprit». **Un objectif devrait être de limiter le sentiment des utilisateurs sur "Terrifiant" lié à la consultation des annonces très ciblées. ( le document )

• Faut-il avoir confiance en Google ? (stangblog)
• Video Le plan de google (masterplanthemovie.com)
• Prochaine étape de google : robotique, et … intelligence artificielle

Voir recherche de fichiers

Libres:

• Seeks
• Yacy

Non libre :

• Majestic-12 Dsearch (site) (stats)

Profit company

• Wikia Search (site) (source)

• OpenWebSpider ( site ) Open Source multi-thread Web Spider (robot à chenilles) et moteur de recherche avec beaucoup de fonctionnalités intéressantes
• ex-crawler ( site )

• via des marque pages : delicious
• via des boutons sur les pages et les articles : digg

• Local Lucene ( site )

• Nutch (wiki)
• Xapian (site)
• OSS Open Search Server ( site )
• CLucene - a C++ search engine ( site )

• Jumper 2.0 Collaborative Search Engine (site)

• Compass semantic/java (site)
• regain ( site )
• Phraseanet (site) : pour le multimedia

Optimisation pour les moteurs de recherche ou SEO ( search engine optimisation).

• SEO Panel - A control panel for SEO (site)
• SEO Tools (site)

Robots.txt, ou le fichier d'exclusion des robots, est une ressource de format texte qui peut être placée à la racine d'un site Web, et qui contient une liste des ressources du site qui ne sont pas censées être indexées par les robots d'indexation des moteurs de recherche. ( voir aussi Spider trap )

Exemple pour bloquer un indexer spécifique :

User-agent: googlebot
Disallow: /

Un générateur de robot.txt

Des générateurs :

• cooletpis
• htaccesseditor
• .htaccess Password Generator

• (en) Liste des moteurs de recherches libres
• (en) Liste de moteurs, sur sourceforge, les web crawler, les web spider, les webbots
• (en) A Comparison of Open Source Search Engines
• Les Sitemaps (xml)
• The Data Liberation Front : libéré vos informations des services de google

Contributeurs : Psychederic, …