Gli strumenti di ricerca disponibili in rete sono di due tipi:
•i motori di ricerca per termini
•gli indici sistematici
I motori di ricerca per termini ricercano parole o combinazioni di parole
in un archivio indicizzato di documenti in formato digitale.
L’indice è tenuto aggiornato da un “daemon” ovvero un software che si
muove continuamente lungo la rete, seguendo ogni link incontrato e
indicizzando tutte le pagine percorse
per quanto estesa, la base di indicizzazione di un motore di ricerca per
termini copre solo una parte delle pagine realmente disponibili in rete. A
metà 2002 il più importante motore di ricerca (Google) indicizzava circa
un miliardo e mezzo di pagine, e a maggio 2003 dichiarava di indicizzare
oltre tre miliardi di pagine Web
Oggi dichiara di indicizzare
“four billion web pages”
a metà del 2003, il numero complessivo di pagine Web era
approssimativamente compreso fra i 7 e i 10 miliardi.
Un buon motore di ricerca arriva a coprire, dunque, solo il 30-35% del
numero complessivo di pagine in rete.
Ne consegue, quindi, che i risultati di una ricerca in rete, per quanto
accurata non potranno essere mai considerati completi o esaustivi
Gli indici sistematici
la ricerca sistematica avviene su cataloghi ragionati di risorse,
“directory” in inglese, suddivisi per settori e organizzati
gerarchicamente.
In questo caso la base di dati è assai più ristretta ma la valutazione della
pertinenza di una determinata informazione non è più meccanica, bensì il
risultato di una selezione umana, e l'informazione è inserita all'interno di
una struttura di classificazione.
Una differenza rilevante tra i due sistemi è che il motore di ricerca per
termini indicizza e restituisce singole pagine - quelle nelle quali compare
il termine cercato - , mentre l'indice sistematico indicizza interi siti,
anche se ovviamente l'accesso al sito avviene anch'esso attraverso una
pagina: la sua pagina iniziale o home page.
La differenza tra motori di ricerca per termini e indici sistematici è
sostanziale, la confusione tra i due può essere accresciuta dal fatto che,
molti indici sistematici, come Yahoo, permettono l'accesso anche a un
motore di ricerca per termini, e viceversa.
Motore di ricerca per termini: http://www.yahoo.it/
Catalogo sistematico:
http://www.google.it/dirhp?hl=it&tab=wd&q=
Yahoo! è nato nell’aprile 1994, da David Filo e Jerry Yang, studenti
di ingegneria elettronica all'Università di Stanford, che avevano
iniziato a creare pagine riassuntive con link ai siti Internet di loro
interesse. Si trasformò progressivamente in un vero e proprio
database, ricco di migliaia di pagine indicizzate. All'inizio del 1995
Mark Andreessen, cofondatore della Netscape, percepì l'interesse
dello strumento creato da Filo e Yang, e si offrì di contribuire alla
trasformazione dell'iniziativa in una impresa commerciale. Adesso
Yahoo! è una impresa privata, quotata in borsa.
Open Directory
un altro, prezioso servizio di catalogazione sistematica dei siti è Open Directory
http://dmoz.org/
Al posto di un centinaio di redattori professionisti, Open Directory si basa sulle
segnalazioni di diverse migliaia (circa 56.000 nell'aprile 2003) di volontari. Un sistema
di controlli incrociati permette di verificare l'affidabilità delle segnalazioni e della loro
categorizzazione.
Questa risorsa si basa sullo spirito collaborativo della rete, e sull'idea della libera
condivisione di conoscenze tipica del movimento dell'open software. Ciò non ha
impedito tuttavia a Open Directory di diventare una realtà di tutto rispetto anche dal
punto di vista commerciale.
Open Directory è gestita da AOL (America On Line) attraverso la Netscape
Corporation, Open Directory ed è l'indice sistematico offerto da portali e siti di ricerca
di tutto rilievo: Google, America On Line, Netscape, Lycos, HotBot, Excite.
Ad oggi, Open Directory cataloga quasi quattro milioni di siti, organizzati in oltre
460.000 categorie, mentre Yahoo! cataloga fra i due e i tre milioni di siti.
E’ dall’Aprile del 2000 che Open Directory offre una base più ampia di siti indicizzati
di Yahoo!
http://dmoz.org/World/Italiano/
Altri servizi di catalogazione sistematica
Oltre a Yahoo! e Open Directory esistono altri servizi di catalogazione
sistematica delle risorse disponibili su Internet,
la directory di Looksmart http://www.looksmart.com/ è utilizzata nella
sezione 'directory' di Altavista e di Microsoft Network
About http://www.about.com è una directory organizzata in circa 700
aree tematiche, ciascuna delle quali affidata a un volontario esperto
('guida').
Infogrid http://www.infogrid.com unisce le funzioni di Web directory e
di metamotore di ricerca
http://www.reference.com è un elenco di risorse nel campo degli
strumenti di 'reference': dizionari, vocabolari, enciclopedie, atlanti e
servizi di mappe e indici sistematici del Web
Cataloghi sistematici in italiano
Come abbiamo visto sia Yahoo! che Open Directory hanno la versione italiana dei
indici.
Fra gli altri servizi vanno segnalati :
Virgilio, che offre una scelta informativa ricca anche di articoli e suggerimenti
http://www.virgilio.it
Arianna http://arianna.libero.it/ che permette ricerche sia sul proprio indice di siti
italiani, sia sui principali motori internazionali.
SuperEva http://www.supereva.it la cui directory è all'indirizzo http://dir.supereva.it
che integra le segnalazioni di un'altra web directory italiana, quella di 100Links
http://100links.supereva.it Il sito è nato nel dicembre 1999 ed è realizzato dalla società
Dada, che sul modello di About si affida a delle guide per realizzare le schede tematiche
dedicate alla segnalazione di risorse Web.
Il Trovatore http://www.iltrovatore.it
Godado http://www.godado.it orientato al marketing
ABCItaly, che dichiara un catalogo di 80.000 siti italiani http://www.abcitaly.com
I motori di ricerca per termini
Nei motori di ricerca per termini la ricerca avviene indicando una
parola, o una combinazione di parole, che consideriamo associata
al tipo di informazione che vogliamo reperire
I motori di ricerca per termini
I motori di ricerca utilizzano programmi chiamati "spiders" capaci
di visitare continuamente una grande quantità di siti web, leggere il
testo contenuto nelle pagine ed estrarre quelle parole/termini che
caratterizzano il sito. Per ogni pagina letta, lo spider cerca al suo
interno e memorizza ogni link (collegamento) ad altri siti,
aggiungendolo ad una lista di siti da visitare. In questo modo,
attraverso un processo a catena, lo spider è in grado di ottenere una
quantità enorme di indirizzi di siti e pagine web, riuscendo ad
incrementare il numero di siti conosciuti molto più di quanto possa
essere fatto dalle directory, che si basano su un lento meccanismo
di iscrizione e valutazione dei siti, operato da una redazione.
I motori di ricerca per termini
Per consentire ad uno spider di trovare agevolmente tutte le pagine
che compongono un sito web bisogna fare in modo che da
qualunque pagina del sito sia possibile risalire, direttamente o
indirettamente, a tutte le altre pagine. Il sistema migliore è quello
raccomandato per facilitare la navigazione di inserire in ogni
pagina del sito un link alla homepage. In questo modo, in
qualunque pagina del sito lo spider dovesse arrivare (magari
seguendo un link trovato su un altro sito) potrà risalire alla pagina
principale e, da lì, trovare tutte le altre pagine seguendo i link
incontrati.
I motori di ricerca per termini
Gli spider non prendono in considerazione la grafica delle pagine
ma focalizzano il loro lavoro di analisi esclusivamente sul testo.
Questo significa che ogni immagine o animazione viene ignorata e
che gli unici contenuti su cui lo spider si basa per valutare il sito
sono quelli testuali. Qualunque immagine gif e jpeg anche se
rappresenta un bottone testuale verrà ignorata. L'unico testo che lo
spider potrà leggere sarà quello ASCII, contenuto nei tag del codice
HTML.
I motori di ricerca per termini
Gli spiders considerano maggiormente le parole o frasi contenute:
•Nel titolo (tag TITLE): i motori di ricerca assegnano al titolo della
pagina una importanza molto alta.
•Nei meta tag (DESCRIPTION, KEYWORDS, ROBOTS) ovvero
tag speciali attraverso i quali si forniscono informazioni relative
alla pagina web
•Nelle intestazioni (tag H1…) una sorta di sottotitoli che hanno un
ruolo intermedio tra il titolo vero e proprio e il testo
•Nelle prime righe di testo di una pagina Web
•Nei testi che descrivono i link (tag A)
•Nelle parti evidenziate in neretto o in corsivo
•Nel nome del file (.html)
Prominenza e prossimità
Nel tentativo di realizzare pagine web fortemente focalizzate su
una keyword o keyphrase principale, è importante accertarsi che
tali parole-chiave compaiano nel testo della pagina in punti
particolarmente visibili. I motori di ricerca, infatti, possono
attribuire maggiore importanza a quei termini che occupano una
posizione ben visibile agli utenti. La "prominenza" delle keyword
(keyword prominence) e la loro "prossimità" (keyword proximity)
sono due importanti fattori che, se gestiti adeguatamente,
permettono di aumentare la rilevanza delle parole-chiave per una
pagina.
Prominenza (prominence)
Per prominenza di una keyword si intende la vicinanza tra la
keyword e l'inizio di una generica zona di riferimento. Le zone di
riferimento possono essere molteplici. Ad esempio, la prominenza
di una keyword nel testo di una pagina consiste nella vicinanza tra
la keyword e l'inizio del testo, la prominenza di una parola-chiave
nel titolo della pagina si riferisce a quanto la parola-chiave è vicina
all'inizio del titolo, e così via. Maggiore è la vicinanza con l'inizio
della zona presa in considerazione, maggiore sarà la visibilità della
keyword agli utenti e conseguentemente maggiore sarà il peso che i
motori di ricerca assegneranno alla keyword.
Tra le zone della pagina che bisogna prendere in considerazione,
quelle in cui è consigliato curare la prominenza sono il titolo (tag
TITLE), le intestazioni (tag H1, H2, ecc.) e i vari paragrafi di testo
della pagina, in particolar modo quelli che appaiono
all’inizio.Scegliendo come parola-chiave ” comunicazione", ecco
come potrebbe apparire il primo paragrafo del testo di una pagina:
….Il ruolo sempre più importante della comunicazione pubblica
impone un cambiamento radicale nel modo di lavorare. Gli uffici di
relazioni con il pubblico assumono un ruolo…..
Notate come la keyword principale appaia proprio all'inizio del
testo, garantendole una visibilità superiore rispetto alle altre parole
del paragrafo. Questa vicinanza soddisfa il requisito principale
della prominenza, tuttavia è stato osservato che alcuni motori di
ricerca ritengono similarmente visibili e attribuiscono dunque più
peso anche alle parole presenti in fondo alla zona presa in
considerazione.
Il nostro esempio potrebbe dunque variare nel seguente modo:
….Il ruolo sempre più importante della comunicazione pubblica
impone un cambiamento radicale nel modo di lavorare. Gli uffici di
relazioni con il pubblico assumono un ruolo importante anche nella
comunicazione interna
Adesso la keyword ”comunicazione" appare sia all'inizio che al
termine del paragrafo. Sarebbe stato possibile ideare un testo in cui
la parola chiave apparisse esattamente come prima e ultima parola
del paragrafo, ma è preferibile adottare questa soluzione solo nei
casi in cui il testo rimanga ben leggibile: a volte si ottiene un testo
più "naturale" e gradevole alla lettura proprio evitando a tutti costi
la coincidenza con i primi o gli ultimi termini del paragrafo.
Prossimità (proximity)
Per prossimità si intende la vicinanza reciproca delle keyword
prese in considerazione. Se una keyword si ripete all'interno del
testo e se tali ripetizioni sono vicine tra loro, si viene a creare
quello che potremmo definire un "punto di concentrazione" delle
parole-chiave, una concentrazione che può aumentare la rilevanza
delle parole-chiave all'interno del paragrafo e di conseguenza
nell'intera pagina. Ovviamente le ripetizioni di termini non devono
pregiudicare il grado di leggibilità del testo. Inoltre, a volte, nel
tentativo di aggiungere una keyword in più e aumentare così la
prossimità, si rischia di diminuirne la prominenza.
Prossimità (proximity) (segue)
Nel paragrafo di testo finora usato come esempio:
….Il ruolo sempre più importante della comunicazione pubblica
impone un cambiamento radicale nel modo di lavorare. Gli uffici di
relazioni con il pubblico assumono un ruolo importante anche nella
comunicazione interna
la seconda occorrenza della keyword è più distante dall'inizio del
paragrafo, quindi per acquistare in prossimità è stata persa un po' di
prominenza. Aggiungere ulteriori ripetizioni potrebbe essere
controproducente, appesantirebbe eccessivamente il paragrafo e
rischierebbe di far suonare un campanello d'allarme durante i
controlli di "genuinità" dei motori di ricerca.
Anche la formattazione grassetto e corsivo aumentano il peso della
parola chiave
Oltre ai sistemi “leciti” sinora descritti esistono anche una serie di trucchi
che aumentano artificiosamente il posizionamento di una pagina nei
risultati di un motore di ricerca:
Scrivere il testo con lo stesso colore dello sfondo della pagina: questo
permette di aumentare le parole chiave senza appesantire i testi delle
pagine. Solo lo spider legge le parole chiave che non sono visibili
all’utente.
Inserire il testo nei tag o meta tag che non vengono mostrati a video ma
che servono solo per descrivere alcune parti delle pagine html (ad
esempio i tag di commento)
Usare delle pagine di reindirizzamento da cui si transita solo per pochi
secondi per poi essere dirottati sulla pagina principale
Uso della tecnica di Cloaking che consente di visualizzare contenuti
diversi in base a chi li visita. Possono essere mostrate pagine zeppe di
keywords agli spiders e pagine normali agli utenti.
Come segnalare un sito web ai motori di ricerca?
E’ importante distinguere la segnalazione dalla registrazione di un sito
negli archivi di un motore di ricerca.
L’utente può solo segnalare l’esistenza di un sito perché la registrazione
viene fatta dal motore di ricerca.
La segnalazione, inoltre, non garantisce affatto la registrazione
La segnalazione viene fattta tramite un apposito modulo presente sul
motore di ricerca (alcuni motori come google richiedono solo la url
principale, altri come altavista richiedono tutti gli url delle singole
pagine)
http://www.google.it/intl/it/add_url.html
http://it.altavista.com/addurl/default
Fondato nel settembre 1998 da Larry Page e Sergey Brin, Google è
diventato in pochissimi anni il più importante motore di ricerca su
Web, tanto da far nascere nel mondo anglosassone il neologismo to
google, sinonimo di “cercare in rete”. Attualmente Google dichiara
di indicizzare quattro miliardi di documenti accessibili su Web:
Google infatti indicizza, oltre alle pagine HTML, anche diversi altri
tipi di documenti come i file PDF i documenti Word e le
presentazioni PowerPoint. L’Azienda ha più di 800 dipendenti, e
risponde a oltre duecento milioni di richieste al giorno.
Il nome del sito è un gioco di parole basato sulla parola 'googol',
inventata da Milton Sitotta, nipote del matematico Edward Kasner, per
riferirsi al numero rappresentato da un '1' seguito da cento '0': simbolo
dell'enorme quantità di informazione che il motore di ricerca gestisce.
La tecnologia di ricerca impiegata da Google: PageRank
Google utilizza una tecnologia basata su hardware e software
avanzato. La velocità con cui possono essere eseguite le ricerche è
attribuibile in parte all'efficienza dell'algoritmo di ricerca e in parte
all'elevato numero di PC collegati in rete, che, insieme,
contribuiscono a creare un motore di ricerca superveloce.
Il nucleo principale del software è rappresentato da
PageRank(TM), che consiste in un sistema che permette di
classificare le pagine Web in ordine di importanza. Il sistema è
stato sviluppato dagli stessi Larry Page e Sergey Brin all'Università
di Stanford. PageRank continua ad essere l'elemento chiave degli
strumenti di ricerca di Google.
Basato sullo specifico carattere "democratico" del Web, PageRank
sfrutta la vastissima rete di collegamenti associati alle singole
pagine per determinarne il valore. In pratica, Google interpreta un
collegamento dalla pagina A alla pagina B come un "voto" espresso
dalla prima in merito alla seconda. Tuttavia, non si limita a
calcolare il numero di voti, o collegamenti, assegnati a una pagina.
Oltre a effettuare questo calcolo, Google prende in esame la pagina
che ha assegnato il voto. I voti espressi da pagine "importanti"
hanno più rilevanza e quindi contribuiscono a rendere "importanti"
anche le pagine collegate
Integrità
I complessi metodi di ricerca automatici di Google sono studiati
per limitare al minimo le interferenze degli utenti. Sebbene
vengano visualizzati annunci pubblicitari accanto ad alcuni dei
risultati più rilevanti, Google non vende spazi pubblicitari
all'interno dei risultati (cioè i clienti non possono acquistare un
PageRank superiore). Le funzioni di ricerca di Google offrono un
sistema semplice, onesto ed obiettivo per trovare siti Web di alta
qualità contenenti dati rispondenti a quelli ricercati.
L'indirizzo di Google è http://www.google.com ma il sito è in
grado di interpretare le impostazioni del browser relative alle
lingue preferite presentandosi automaticamente con l'interfaccia
nella lingua preferita dall'utente.
La traduzione riguarda solo l'interfaccia, mentre il database sul
quale viene svolta la ricerca è comunque lo stesso.
l'interfaccia inglese è sempre raggiungibile attraverso il link
'Google in English'.
alla pagina http://www.google.it/language_tools?hl=it potete
scegliere l'interfaccia preferita fra una novantina di lingue diverse,
inclusi il latino e l'esperanto
Funzione Calcolatrice di Google
Per usare la funzione calcolatrice di Google, inserite nella spazio di
ricerca l’espressione che volete risolvere e fate Invio o cliccate su
Cerca con Google. La calcolatrice può eseguire espressioni
matematiche di semplice aritmetica (5+2*2 or 2^20) e più
complicate come (e^(i pi)+1). Potete anche sperimentare calcoli
con altri sistemi matematici come esadecimale e binario.
http://www.google.it
Funzione Ricerca di file .PDF
Google è in grado di ricercare anche file in formato .PDF (Adobe
Portable Document Format). Sebbene i file .PDF non siano così
numerosi come i file HTML, contengono spesso informazioni di
alta qualità non disponibili in altri formati.
Per i file .PDF, al posto dell'indicazione Versione cache viene
visualizzata l'indicazione Versione testo, che contiene una copia del
documento .PDF senza i relativi elementi di formattazione.
Per visualizzare i risultati senza i collegamenti .PDF, digitare
"filetype:pdf" nel campo di ricerca insieme ai termini ricercati.
http://www.google.it
Funzione pagine simili
sfrutta un algoritmo di 'filtraggio collaborativo' (basato cioè
sull'analisi delle abitudini di navigazione degli utenti) elaborato
dalla società Alexa (di proprietà di Amazon) per collegare fra loro
siti di argomento analogo.
Si può svolgere la ricerca direttamente dalla pagina di Alexa
http://www.alexa.com
i risultati sono gli stessi che si otterrebbero usando la funzione di
Google, ma i singoli siti sono accompagnati da una valutazione, da
note sul traffico del sito e da brevi recensioni.
Funzione Traduzione di pagine Web
Il nuovo programma di traduzione di Google (in versione Beta)
consente di superare qualsiasi barriera linguistica alla
comunicazione globale. L'uso di questa tecnologia di traduzione
automatica permette ad utenti di lingua inglese di accedere ad una
vasta gamma di pagine Web in altre lingue.
Se i risultati della ricerca comprendono pagine in lingue diverse
dall'inglese, viene visualizzato anche il collegamento alla versione
inglese della pagina.
Per visualizzare la traduzione dei titoli e delle sintesi dei risultati
delle ricerche in inglese, è possibile attivare l'opzione di traduzione
nella pagina Preferenze. Se si attiva questa opzione, Google traduce
automaticamente i risultati della ricerca in inglese.
GoogleWhacking
http://www.googlewhack.com è la ricerca di termini o espressioni per i
quali Google fornisce una sola, singola occorrenza.
Google Fight
http://www.googlefight.com è il confronto del numero di occorrenze di
due termini all'interno degli indici di Google. In genere, si tratta di nomi
di persone (da inserire tra apici). Un tipo particolare di Google Fight è
quello in cui si cerca di trovare due nomi con lo stesso numero di
occorrenze.
Uso degli operatori booleani per la ricerca avanzata
AND
OR
NOT
Altri motori di ricerca
Alltheweb http://www.alltheweb.com la migliore alternativa a Google.
Realizzato da una società europea, la norvegese Fast, http://www.fast.no
Alltheweb è stato acquistato nel 2003 dalla statunitense Ouverture
http://www.overture.com una delle società leader del settore, a sua volta
acquistata da Yahoo! nel luglio 2003.
Dichiarava di indicizzare a fine agosto 2003 oltre 3 miliardi di pagine.
Altri motori di ricerca per termini
Yahoo! (http://www.yahoo.com/).
MSN Search (http://search.msn.com/)
Altavista (http://www.altavista.com/)
Ask Jeeves (http://www.ask.com/)
HotBot (http://www.hotbot.com/)
Lycos (http://www.lycos.com/)
Alcune metarisorse
EZ-Find http://www.theriver.com/TheRiver/Explore/ezfind.html
I-tools http://www.itools.com/ http://www.itools.com/search/
http://www.stpt.com/pwrsrch.asp
http://www.faganfinder.com/
http://www.ithaki.net/
Il futuro: il Web agent
L’agente software è un programma in grado di svolgere per nostro conto
determinate ricerche reagendo autonomamente ai risultati della ricerca
stessa 'filtrandoli' attraverso l'uso di criteri specifici. Il programma
'agente' potrebbe inoltre risiedere fuori dal nostro computer (potrebbe ad
esempio trattarsi di un programma ospitato da un server remoto, o
addirittura 'distribuito' fra più server remoti) da un lato la necessità di
rimanere sempre collegati durante le ricerche e migliorando dall’altro le
prestazioni sui tempi di ricerca.
Uno degli esempi più evoluti in questo settore è rappresentato da
Copernic Agent http://www.copernic.com
Web semantico
XML costituirà la base ideale per la costrizione di quello che è stato
battezzato "Semantic Web".
L'idea di fondo del web semantico è quella di far diventare la Rete in
grado di capire le nostre richieste. I documenti non dovrebbero più
risultare come delle "isole di dati", ma piuttosto come dei database aperti
nei quali un "applicativo" possa distinguere le informazioni contenute,
ricavandone solo quelle richieste. Il web semantico si propone d'inserire
nell'architettura della Rete elementi in grado di consentire ad agenti
informatici una certa capacità d'azione. Si potrebbe ad esempio
immaginare che un motore di ricerca, scorrendo le pagine alla ricerca di
una prenotazione aerea, fosse in grado di capire quali link portano alle
pagine relative alla destinazione richiesta, quali siano i costi e gli orari
dei biglietti, di confrontare tra loro le offerte e di coordinare la partenza
con l'agenda dell'utente o con le limitazioni sui costi prima impostate.
Tutto questo non in virtù di sistemi di intelligenza artificiale, ma molto
più semplicemente in virtù di una marcatura dei documenti, attraverso un
linguaggio gestibile da tutte le applicazioni e dall'introduzione di
vocabolari specifici, cioè di collezioni di frasi alle quali possano
associasi relazioni stabilite fra gli elementi marcati.
In pratica il web semantico per funzionare deve poter disporre di
informazione strutturata e di regole di deduzione per gestirla, in modo da
accostare quelle informazioni che un'interrogazione ha richiesto.