Nutch

{{#invoke:Bandeau|ébauche}} Modèle:Infobox V3/Début Modèle:Infobox V3/Image Wikidata Modèle:Infobox V3/Séparateur Modèle:Infobox V3/Image Wikidata

{{#ifeq:Modèle:Wikidata|Modèle:Wikidata | | Modèle:Infobox V3/Tableau Ligne mixte Wikidata }}

Modèle:Infobox V3/Tableau Ligne mixte {{#invoke:Infobox/Fonctions/Logiciel|catByProgrammingLanguage}}

Modèle:Infobox V3/Fin avec WikidataModèle:Rien{{#ifeq:|| {{#if:

| }}{{#if:

   | {{#if: Nutch.png
       |
       |
     }}

}} }} Nutch est une initiative visant à construire un moteur de recherche open source. Il utilise Lucene comme bibliothèque de moteur de recherche et d'indexation. En revanche, le robot de collecte a été créé spécifiquement pour ce projet.

L'architecture de Nutch est hautement modulaire et permet à des développeurs de créer des plugins pour différentes phases du processus : récupération des données, analyse des documents, recherche, etc.

Doug Cutting est l'initiateur et le coordinateur de ce projet.

Il est entièrement développé en langage Java, mais les données qu'il manipule sont dans un format de données indépendant de tout langage de programmation. En Modèle:Date- a été présenté une version opérationnelle d'une démonstration de Nutch sur une base regroupant 100 millions de documents.

Historique

CreativeCommons.org s'appuie sur Nutch

Creative Commons inaugure en 2004 une beta version de son moteur de recherche qui parcourt le web à la recherche de texte, de son audio et de vidéo, indexant à cette date un million de pages ; tout cela réutilisable librement selon les termes des licences mis à disposition sur leur site web<ref>https://creativecommons.org/press-releases/entry/5064</ref>.

Leur moteur de recherche s'appuie le Resource Description Framework (RDF) qui utilise le méta-langage XML, standardisé par le World Wide Web Consortium (W3C).

Cette sortie coïncide avec celle du navigateur Web Mozilla Firefox dans sa version 1.0, rendant par la même possible la recherche de contenu libre.

Nutch rejoint Apache

En Modèle:Date-, Nutch est un projet de deux ans d'âge qui a d'abord été hébergé par Sourceforge et soutenu par sa propre organisation à but non lucratif. Cette organisation a été fondée dans le but de donner un copyright au projet et de pouvoir garder le droit de changer la licence. L'équipe a décidé que la licence Apache était la plus appropriée pour Nutch et qu'il n'avait plus besoin de l'aide d'une organisation extérieure. Les dirigeants et les développeurs sont maintenant soutenus par la fondation Apache.

Après cinq mois d'incubation, Nutch devient un sous-projet de Lucene.

Évaluation du moteur

Modèle:Refnec.

Contributions

Les Modèle:Refnec. Les contributeurs Modèle:Refnec.

Les critères d'acceptations sont :

• une haute qualité (du code) ;
• facilité de lecture ;
• facilité d'intégration ;
• cohérence avec les objectifs de Nutch.

Si tout est correct, le bout de code est inséré par les développeurs dans la base des sources et il devient partie intégrante de Nutch.

Utilisation de Nutch

Le gouvernement du Québec adopte Nutch

En Modèle:Refnec.

L'Oregon State University passe à Nutch

De Modèle:Date- à Modèle:Date-<ref name="osucws">[1], Depuis Janvier 2010 L'Oregon State University réutilise Google Search Appliance.</ref>, l'Oregon State University a remplacé son pôle de recherche Google par Nutch. Modèle:Refnec.

Voir aussi

Bibliographie

• A Search Engine for Natural Language Applications. Michael J. Cafarella, Oren Etzioni. Proceedings of the 14th International World Wide Web Conference, 2005 (WWW 2005).
• Thwarting the nigritude ultramarine: learning to identify link spam. Isabel Drost, Tobias Scheffer. Proceedings of the 16th European Conference on Machine Learning, 2005 (ECML 2005).
• Query Chains: Learning to Rank from Implicit Feedback. Filip Radlinski, Thorsten Joachims. Proceedings of the ACM Conference on Knowledge Discovery and Data Mining (KDD), ACM, 2005.

Articles connexes

• Licence Apache
• Lucene
• Modèle:Lien
• searx
• Seeks
• YaCy

Liens externes

• {{#invoke:Langue|indicationDeLangue}} La documentation française sur sourceforge
• {{#invoke:Langue|indicationDeLangue}} La page officielle sur apache
• {{#invoke:Langue|indicationDeLangue}} Le wiki officiel
• {{#invoke:Langue|indicationDeLangue}} Le Blog de Doug Cutting
• {{#invoke:Langue|indicationDeLangue}} La page officielle du projet Hadoop
• {{#invoke:Langue|indicationDeLangue}} Un article sur Nutch - Search Engine Watch
• {{#invoke:Langue|indicationDeLangue}} Un autre article - Tech News World