Dalla Biblioteca alla Rete
La ricerca dell’informazione nel Web:
indici e motori
Evelina Ceccato
8 aprile 2003
Parleremo di …
Strumenti per la ricerca
dell’informazione nel Web-space:
quali sono e come funzionano
Indici
Motori
Meta-motori
Al termine della lezione dovreste saper…
• Individuare lo strumento più utile
per una determinata ricerca
d’informazioni nel Web-space
• Utilizzare indici e motori in
modalità semplice ed avanzata
• Ricercare nel Web invisibile
Una precisazione necessaria:
Internet non è il Web
Prima d’iniziare una qualsiasi ricerca
d’informazioni nel Web, è utile rammentare che:
• il Web è un self-publishing medium che consente, a chiunque
possieda un computer collegato alla Rete, di diffondere
informazione a costo zero;
• l’informazione è immediatamente accessibile e può essere
aggiornata in tempo reale;
• non ci sono regole per la pubblicazione sul Web;
• non ci sono filtri;
• chiunque può accedere all’informazione disponibile gratuitamente
su Internet
• ed infine …
è indispensabile rammentare che…
• non è difficile recuperare informazione nel
Web,
• è difficile reperire l'informazione che ci
serve in quel preciso momento,
• è difficile
"giusta".
individuare
l'informazione
Per facilitare la ricerca d’informazioni nel Web, esistono degli
strumenti che, per comodità e per convenzione,
sono raggruppati in due tipologie:
• gli indici sistematici alias indici di ricerca per
categorie, per soggetti o per argomenti, indici ragionati,
subject directories, subject gateways, etc.
• i motori di ricerca alias indici di ricerca per termini o
per parole, search engine, robot, spider, etc.
Indici e motori presuppongono
un diverso approccio alla ricerca
Indici
Motori
• ricerca per argomento
• ricerca per parola
• ricerca nei titoli e, a
volte, negli abstract
e/o recensioni delle
pagine indicizzate
• ricerca nel testo
completo delle pagine
indicizzate (full-text)
Indici sistematici
Gli
indici
sistematici
sono
siti
Web
che
selezionano gli altri siti e li organizzano all’interno
di un sistema di classificazione gerarchica allo
scopo di facilitare il recupero dell’informazione da
parte del ricercatore.
Si può interrogare un indice:
• navigando da una categoria all’altra fino a
giungere al “soggetto” cercato
• ricercando per parole
Colleghiamoci ad un indice
Yahoo!
http://www.yahoo.com/
Ed ora vediamo la versione italiana
Yahoo! Italia
http://it.yahoo.com/
Diversi tipi di indici
• Generali (Yahoo!)
• Generali, curati da bibliotecari universitari
(Infomine http://infomine.ucr.edu/) o di biblioteche
pubbliche (Librarians’ Index to the Internet
http://lii.org/), etc.
• Specializzati in un determinato settore
(SOSIG http://sosig.ac.uk/)
• Con recensioni e valutazioni (The Argus
Clearinghouse http://www.clearinghouse.net/)
• Organizzati per classi biblioteconomiche
(BUBL http://www.bubl.ac.uk/)
È utile interrogare un indice quando:
• si cercano informazioni su un argomento che non
si conosce bene e del quale non si padroneggia la
terminologia
• si desidera “esplorare” un argomento generale o si
cercano informazioni di ogni tipo su un argomento
• si vuole sapere quali sono le risorse dedicate ad un
certo settore disciplinare
• si cerca un database specializzato (invisible Web)
Alcuni esempi
• BUBL LINK / 5:15
http://bubl.ac.uk/link/
• The WWW Virtual Library
http://vlib.org/
• Infomine
http://infomine.ucr.edu/
Caratteristiche degli indici
Le risorse sono:
•
Selezionate da persone (+ o - esperte): pro e contro del “filtro
umano”
•
Spesso valutate e aggiornate, ma non sempre
•
Spesso organizzate in categorie ordinate gerarchicamente
•
Archivio relativamente piccolo (no full-text)
•
Una stessa voce, una stessa pagina, in più punti dello schema
(ipertestualità)
•
Presentazione dei risultati
–
semplice elenco
–
descrizione e valutazione delle risorse
I motori di ricerca
Sono strumenti che raccolgono automaticamente,
grazie ad appositi programmi, centinaia di milioni
di pagine web ed offrono la possibilità di ricercare
all’interno dei loro archivi (daabase) nei quali,
talvolta, sono conservati anche i messaggi dei
newsgroup.
Il funzionamento dei motori
Il funzionamento di un motore può essere schematizzato in 4 fasi:
1.
2.
3.
4.
acquisizione delle pagine
indicizzazione dei documenti
interrogazione
presentazione dei risultati
Più in dettaglio…
1. acquisizione delle pagine: gli spiders seguono i link delle
pagine già presenti nel database ed archiviano le nuove pagine
recuperate
2. indicizzazione delle pagine: avviene in modo automatico e
si basa, generalmente, sul full-text, sui campi delle pagine
HTML e sui metatag. I metatag sono delle informazioni che
vengono inserite, dall’autore, nell’intestazione (HEAD) delle
pagine Web e sono relative, per esempio, all'autore o al
contenuto della pagina, oppure indicano una serie di parole
chiave associate al documento [AUTHOR GENERATOR ROBOT TITLE
DESCRIPTION KEYWORD sono i metatag più comuni]
3. interrogazione: da parte dell’utente
4. presentazione dei risultati: in base a tecniche statistiche
Possibilità di ricerca offerte dai motori
• Ricerca semplice e/o avanzata
• Ricerca per parola, frase, stringa
• Possibilità di limitare la ricerca per:
–
–
–
–
–
–
–
–
tipo di documento (testo, immagine, MP3, video, etc.)
lingua del documento
formato del documento (HTML, PDF, Word, etc.)
data
campo
dominio
ricerca di link ad una determinata URL
ricerca di pagine simili
Proviamo ad interrogare un motore:
AltaVista
http://it.altavista.com/
http://www.altavista.com/
AltaVista
riepilogo funzionalità
• 3 maschere di ricerca: semplice, maggior precisione
(ALL/AND, frase, ANY/OR, NOT), avanzata
• ricerca Web, immagini, MP3, video, directory
• ricerca semplice e maggior precisione
– ricerca limitata a tutto il mondo/Italia e lingua
• ricerca avanzata:
– maggior precisione + booleani (sintassi all’URL:
http://it.altavista.com/help/adv_search/syntax) + ranking
– limiti per:
•
•
•
•
•
data
tipo di file (HTML, PDF)
dominio
solo all’interno di un sito
comprimi sito: max 2 risultati per sito
Ed ora vediamone un altro
Google
http://www.google.it/
Google
riepilogo funzionalità
• 2 maschere di ricerca: semplice, avanzata
• ricerca Web, immagini, gruppi (newsgroup), directory
• ricerca semplice
– ricerca limitata a Web/Italia
– opzione Mi sento fortunato!
• ricerca avanzata:
– ALL/AND, frase, ANY/OR, NOT
– limiti per:
•
•
•
•
•
lingua
tipo di file (HTML, PDF, post-script, Word, Excell, PowerPoint, RTF)
data
campo
dominio
– cerca pagine simili
– cerca i link ad una pagina
Presentazione dei risultati
I risultati di una ricerca vengono spesso ordinati
IN BASE ALLA RILEVANZA
RELEVANCE RANKING
ALGORITMO
si vedano in appendice i criteri adottati per il relevance ranking
Risultati diversi per motori diversi
AltaVista
Google
http://it.altavista.com/ http://www.google.it/
È utile interrogare un motore quando
• si desidera la risposta ad una domanda precisa
• si cercano informazioni su un argomento
circoscritto, insolito, misconosciuto
• si possono utilizzare termini di ricerca non
comuni, specifici
• si cercano nomi propri
Statistiche e classifiche
http://www.motoridiricerca.it/classi.htm
Meta-motori
Consentono d’interrogare, spesso simultaneamente, diversi
motori ed indici sistematici. I meta-motori non hanno un
proprio archivio di pagine Web, ma utilizzano quelli dei singoli
motori.
Ci sono tantissimi meta-motori, ma quelli utili hanno le seguenti
funzionalità:
– accettano ricerche complesse
– schiacciano i risultati eliminando le ripetizioni
– presentano i risultati in base a tecniche di ranking oppure li
raggruppano per soggetto/argomento (clustering)
Vivísimo
http://www.vivisimo.com/
Organizza, automaticamente, i risultati dell'interrogazione simultanea di diversi
motori e indici sistematici in base alle URL, ai titoli ed alle brevi descrizioni
delle risorse Internet.
In pratica, Vivísimo funziona in questo modo:
1. interroga uno o più motori o indici
2. analizza i risultati e li raggruppa,automaticamente, in base alle URL, ai titoli
ed alle descrizioni
3. presenta i risultati in cartelle simili a quelle di Windows
Funziona solamente su documenti testuali.
Vivísimo offre due possibilità di ricerca: semplice ed avanzata.
• Ricerca semplice:
– Ricerca automatica in AND
– supporta OR, le virgolette “” per le frasi e - per il NOT
• Ricerca avanzata:
– Ricerca per campo
– Uso dei booleani e delle parentesi
– Varie possibilità di limitare la ricerca e di visualizzare i risultati
Copernic
http://www.copernic.com/
Si tratta di un software da scaricare ed installare.
Offre una versione gratuita, Copernic Agent Basic, che interroga circa 90 risorse,
tra motori ed indici sistematici, raggruppati in 10 categorie.
Le versioni a pagamento, Copernic Agent Personal e Copernic Agent Professional,
raggruppano le circa 1000 risorse interrogabili in 120 categorie.
•
•
•
•
•
•
•
Funzioni della versione Basic:
interroga simultaneamente i motori di ricerca
supporta la ricerca per ALL, ANY e per frase
elimina i risultati doppi ed i collegamenti non attivi
i risultati sono disponibili in 3 formati: standard, compatto, dettagliato
i risultati possono essere ordinati in diversi modi (per punteggio, per titolo, per
data, per motore, etc.)
i risultati possono essere filtrati per STATUS (pagine già viste, nuove, etc.), per
locazione geografica, per dominio
si può raffinare la ricerca all’interno dei risultati
Ixquick
http://ixquick.com/
• Ricerca documenti testuali, immagini, MP3, news;
• interroga simultaneamente i motori di ricerca;
• traduce semplici stringhe di ricerca nella sintassi utilizzata dai
singoli motori;
• supporta i booleani e la ricerca per frasi;
• elimina i duplicati;
• assegna una stella ad un sito per ogni motore di ricerca che lo ha
classificato nelle prime dieci posizioni;
• dà priorità ai siti che compaiono tra i primi dieci risultati di ogni
motore.
Dove i motori non cercano:
IL WEB INVISIBILE
Invisible Web
o
Deep Web
Cos’è il Web invisibile?
Contenuti di database interrogabili via Web
I risultati delle interrogazioni sono pagine Web generate
dinamicamente e non archiviate in nessun luogo
Esempio: i cataloghi in linea delle biblioteche (OPAC)
Pagine escluse dall’indicizzazione dei motori
I motori possono scegliere di non includere pagine non
scritte in linguaggio HTML oppure pagine costituite
interamente da immagini
Esempio: documenti scritti in PDF o in Word
Come ricercare nel Web invisibile?
The Invisible Web Catalog
http://www.invisibleweb.com/
Collezione di oltre 10.000 database interrogabili
Complete Planet
http://www.completeplanet.com/
Collezione mista di database interrogabili, pagine Web
con maschera di ricerca e pagine Web statiche
E ancora …
Google oppure Yahoo!*
Combinare il/i termini ricercati con la parola database
*Yahoo! Utilizza il termine database per descrivere gli archivi interrogabili recensiti
Ed ora … BUONA RICERCA
e se volete ancora un aiuto … eccovi un ottimo tutorial
Search strategies
http://www.lib.berkeley.edu/TeachingLib/Guides/Internet/Strategies.html#Recommend
Appendici
Criteri per il relevance ranking
Frequenza
numero di occorrenze dei termini utilizzati per la ricerca
all'interno della singola pagina recuperata.
Densità
rapporto fra il numero di occorrenze dei termini
all'interno della pagina e il totale delle parole contenute
nella pagina.
Rarità
rapporto inverso fra il numero di occorrenze dei termini
utilizzati per la ricerca all'interno del database del
motore e il totale delle parole contenute nel database
stesso. Alcuni motori dispongono anche di una lista di
stopwords che vengono ignorate.
Compresenza
presenza, nella pagina, di più d'uno dei termini richiesti
o addirittura di tutti.
Prossimità
presenza, nella pagina, di più d'uno dei termini richiesti
- o addirittura di tutti - nella medesima frase o
comunque vicini fra loro.
Criteri per il relevance ranking 2
Priorità
ordine in cui sono stati immessi i termini nel form di
ricerca.
Posizione
presenza dei termini in particolari zone della pagina […]
Aggiornamento a parità di requisiti, alcuni motori privilegiano le pagine
più recenti
Popolarità
numero dei link "in entrata" provenienti da altre pagine
contenute nel database del motore e numero delle
selezioni della pagina effettuate dagli utenti a partire
dalle schermate di risposta del motore. […]
Tariffazione
Altavista ha recentemente annunciato che sarà possibile,
pagando, garantire una posizione di rilievo alle proprie
pagine nella schermata di risposta.
Fonte: Ridi, Riccardo Strumenti e strategie per la ricerca di informazioni WWW Versione 2.1 (2000-08-06)
Riepilogo dei criteri per il relevance ranking
•
•
•
•
•
•
•
•
•
•
•
Frequenza: numero di occorrenze
Densità: numero di occorrenze / parole totali del documento
Rarità: 1 / (numero di occorrenze nella base dati / parole totali della base dati)
Compresenza (default solitamente OR)
Prossimità: parole vicine fra loro nel documento
Posizione: parole nei titoli di sezioni (<H>), nei link (<A HREF>), nelle
intestazioni (<HEAD>) e in particolare nel titolo (<TITLE>) o in altri metatag
come "keyword" e "description"
Aggiornamento: documenti più recenti
Popolarità
Sponsorizzazione
Analisi di citazione (Google, progetto Clever): utilizzo di un algoritmo che
considera il numero di link al documento, distinguendo fra repertori (hub) e fonti
primarie (authority), con risultati brillanti
Somiglianza delle parole con quelle di documenti già rintracciati
Fonte: Gnoli, Claudio Cercare informazioni in Internet: strumenti e strategie Versione 2.2 (2000-05-28)
Indici e motori a confronto
Indici semantici
Motori
• Ricerca per argomento
• Ricerca per parola
• Basso richiamo / Alta precisione
• Alto richiamo / Bassa precisione
• Selezione “umana” delle risorse
• Raccolta automatica delle risorse
• Archivio piccolo
• Archivio enorme
• Ricerca nei titoli e, a volte, negli
abstract e/o recensioni
• Ricerca full-text
• Risultati in ordine alfabetico
• Risultati ordinati in base ad un
“relevancy ranking algorithm”
Se volete saperne di più… in linea
• AltaVista Education
<http://www.altavista.wwmind.com/education2/index.php3>
• Bergman, Michael K., The deep Web: surfacing hidden value,
<http://www.brightplanet.com/deepcontent/Tutorials/DeepWeb>
• Finding It Online: Web Search Strategies
<http://home.sprintmail.com/~debflanagan/main.html>
• Guida completa ai motori di ricerca
<http://www.motoridiricerca.it/index.htm>
• Guide per la ricerca in Internet a cura di Maria Teresa Pesenti
<http://www.aib.it/aib/lis/motori.htm>
• The Major Search Engines
<http://searchenginewatch.com/facts/major.html>
• Les moteurs de recherche : fonctions et langages d'interrogation
<http://pages.infinit.net/duvalm/dossiers/moteurs_de_recherche.html>
Se volete saperne di più… a stampa
• BASILI, Carla [1995] La ricerca "per soggetto" dell'informazione in Internet,
"Biblioteche oggi", XIII, 6, p. 40-47.
• GRIFONI, Giovanna [1997] Come orientarsi tra i motori di ricerca. Una
panoramica sugli strumenti di recupero delle informazioni in Internet, “Biblioteche
oggi”, XV, 5, pp. 10-16, oppure <http://www.burioni.it/forum/grif-mot.htm>.
• KROL, Ed [1994] Internet, Milano, Jackson libri (Tit. orig.: The whole Internet.
User’s guide & catalog, 2 ed., Sebastopol (Cal.), O’Reilly, 1994).
• LESK, Michael [1997] Biblioteche digitali, “Le Scienze”, 350 (ottobre), pp. 66-68.
• LYNCH, Clifford [1997] La ricerca su Internet, “Le Scienze”, 350 (ottobre), pp. 6064.
• RIDI, Riccardo [1996] Internet in biblioteca, Milano, Bibliografica (Bibliografia e
biblioteconomia ; 51).
• SALARELLI, Alberto [1997] WWW, Roma, AIB (Enciclopedia tascabile ; 11).