La metodologia “Sentiment Analysis” applicata al Turismo La metodologia di ricerca “Sentiment Analysis” rappresenta uno strumento di analisi di sempre più larga e flessibile applicazione, con la progressiva estensione di ambienti social (o web 2.0) nei quali con sempre maggiore intensità cittadini, utenti di servizi, clienti inseriscono valutazioni, commenti, osservazioni, giudizi. In particolare, il settore del turismo ha visto una forte affermazione dei servizi web, e parallela riduzione e crisi dei servizi tradizionali di agenzia, diventando il primo settore economico che sta migrando end-toend sulla rete. Come logica conseguenza, è stato anche il primo a sviluppare siti web e blog spesso di valenza internazionale di valutazione sui servizi ricevuti da alberghi, ristoranti, trasporti ecc., estesi ormai anche ai luoghi turistici in quanto tali. I sentiment espressi dai viaggiatori dopo le loro esperienze sono ormai in numero e varietà ampiamente sufficiente per ricavare informazioni preziose sui punti di forza e di debolezza e sui trend di settore, e quindi avere un efficace ruolo di indirizzo per le politiche del turismo, che nei prossimi anni devono fronteggiare, in Italia, la progressiva perdita di significative quote di mercato, a favore di altre mete europee. Strategie di “Sentiment Analysis” La ricerca “Sentiment Analysis” rappresenta uno strumento estremamente completo ed affidabile di rilevazione, grazie ai numeri molto elevati di “conversazioni” sui quali lavora. Inoltre: - fornisce risultati in tempo reale (anche se le fonti – social media / blog – mutano altrettanto velocemente); - ha costi di rilevamento molto più ridotti rispetto ai tradizionali sondaggi ed analisi statistiche; 1 - può essere automatizzata con strumenti di analisi semantica, alcuni dei quali ormai disponibili e maturi ed estremamente efficaci. Le strategie di “Sentiment Analysis” sono classificabili in: 1. Analisi mirata a cura di esperti del settore con approfondita competenza linguistica: è una modalità obbligata per analizzare i sentiment espressi in lingue con alfabeto non latino, non essendo disponibili al momento applicazioni automatiche in grado di gestirle al meglio; in generale, questa modalità di analisi “manuale” presente anche il vantaggio di raffinare progressivamente il modello in base agli esiti della ricerca. 2. Analisi automatizzata con applicazioni specifiche di software di ricerca semantica: con il termine “web semantico” si intende la trasformazione del World Wide Web in un ambiente dove i documenti pubblicati (pagine HTML, file, immagini, e così via) siano associati ad informazioni e dati (metadati) che ne specifichino il contesto semantico in un formato adatto all'interrogazione e l'interpretazione (es. tramite motori di ricerca) e, più in generale, all'elaborazione automatica. Con l'interpretazione del contenuto dei documenti sono possibili ricerche basate sulla presenza nel documento di parole chiave. Una applicazione pratica di ricerca “Sentiment Analysis”svolta da Easy Italia Al fine di verificare e quindi proporre questo approccio per accompagnare il rilancio del settore del turismo, con particolare riferimento alle destinazioni sotto-utilizzate e quindi ad elevato potenziale presenti nel Mezzogiorno d’Italia, il team del servizio Easy Italia ha applicato la metodologia, sia utilizzando applicazioni automatizzate, per le lingue italiano e inglese, sia con analisi mirate per le lingue russa, cinese, giapponese e tedesco. In sintesi, l’azione si è svolta su: a) L’Analisi mirata a cura di esperti del settore con approfondita competenza linguistica analisi mirata su destinazioni selezionate per interesse/criticità in Italia Centro-Sud; le valutazioni selezionate e valutate da Easy Italia su 6 destinazioni (“città d’arte”) e per 4 lingue (russo, cinese, giapponese, tedesco), hanno portato a risultati significativi in un numero ridotto di giorni, con quasi 1.000 “sentiment” selezionati e valutati (su un corpus di dati controllati molto più ampio), Il team Easy Italia si è attivato per la rilevazione “Sentiment Analysis” su destinazioni selezionate per interesse/criticità usando le competenze nel settore del turismo, oltre che linguistiche, in suo possesso e utilizzando, come piattaforma di indagine, i contenuti rilevati in rete: 1. Individuazione dei tag appropriati (parole-chiave con le quali effettuare le ricerche). Attività preliminare alla vera e propria “Sentiment Analysis” è stata l’individuazione di parole-chiave (tag), utilizzabili per tutte le città d’arte oggetto dell’analisi, e specifiche per la tipologia di destinazione individuata. I tag selezionati sono stati scelti da una lista di circa 250 elementi presenti nel Database di Easy Italia, dai più generici ai più specifici. - Assistenza sanitaria, ospedali, cure mediche Barriere architettoniche, strutture accessibili Cultura e spettacolo (eventi) Trasporto pubblico locale Viabilità, parcheggi, ZTL, ecc. Musei e monumenti - Truffe Rapporti Enti e Istituzioni (forze dell'ordine, IAT e APT, ecc.) Aspetto urbano Ristorazione, shopping, ecc.; Ricettività 2. Utilizzo delle risorse in lingua per valutazione “sentiment” di città a vocazione turistica su social media/siti/blog turistici relativi al turismo verso l’Italia, in lingua. Si è proceduto all’utilizzo delle risorse del servizio multilingue “Easy Italia”, in particolare in lingua russa, cinese, giapponese e tedesca per valutazione “sentiment” delle n. 6 città-campione Napoli, Pompei, Sorrento, Costiera Amalfitana, Agrigento e Roma su n. 25 social/siti/blog turistici relativi al turismo verso l’Italia, in lingua (ovvero le fonti/piattaforme social utilizzate). 2 3. Valutazione del “sentiment” per singolo commento rilevato. Le conversazioni sono state estrapolate e ne è stato valutato il “sentiment”, sia in termini complessivi sia relativamente agli aspetti specifici presenti, attribuendo un punteggio da 1 (molto negativo) a 5 (molto positivo). Si è poi proceduto ad effettuare una media aritmetica ed al conseguente calcolo percentuale. 1 2 3 4 5 molto negativo negativo neutro positivo molto positivo Si è prestata massima attenzione alla valutazione del “sentiment” dei singoli commenti, e successiva estrapolazione di quelli più significativi nel rispetto dell’obiettivo di voler rendere la presente Analisi uno strumento efficace per le PA, gli enti e le istituzioni nell’individuare le criticità e nell’incrementare le eccellenze. 4. Predisposizione e svolgimento dei cicli di Valutazione. La rilevazione è stata condotta dagli operatori del servizio multilingue Easy Italia in n. 3 cicli temporali compresi tra: - l’8 e il 14 dicembre 2012; - il 5 e l’8 gennaio 2013 (raccogliendo ed esaminando i “sentiment” aventi come periodo della visita quello compreso tra la fine di dicembre 2012 e il 7 gennaio 2013); - l’11 e il 26 febbraio 2013.3. Quasi 1.000 “sentiment” sono stati selezionati e valutati (su un corpus di dati controllati molto più ampio). Risultati quantitativi dei n. 3 Cicli di Rilevazione dell’analisi mirata, per città e lingue: RUSSO CINESE GIAPPONESE TEDESCO TOTALE 87 92 21 10 210 3 10 = = 13 SORRENTO 10 11 = = 21 POMPEI 29 31 46 14 120 AGRIGENTO 19 17 20 23 79 ROMA 175 96 80 170 521 TOTALE 323 257 167 217 964 CITTA’/LINGUA NAPOLI COSTIERA AMALFITANA b) La ricerca automatizzata in partnership con Promo PA Fondazione In partnership con Promo PA Fondazione, con utilizzo dell’applicazione specializzata “Jeenuin”, che ha realizzato una piattaforma innovativa per il monitoraggio della web reputation, la ricerca (su n. 6 3 destinazioni) ha adottato un modello di analisi (automatizzata) basato sulla rilevazione delle opinioni affidate al web, in lingua inglese ed italiana, contenente le seguenti keyword: Napoli, Roma, Lecce, Lucca, Costiera Amalfitana/Amalfi, Palermo, utilizzando le seguenti 4 fonti/piattaforme social media: Trip Advisor, Lonely Planet, Twitter, Facebook, considerando le seguenti categorie/tag: - ristorazione/food - moda/fashion - eventi/events - intrattenimento/entertainment - servizi/services (inclusi trasporti) - arte/arts e per i mesi di dicembre 2012, gennaio e febbraio 2013. Oltre tre milioni di commenti, attinenti al tema turistico, sono stati rilevati dall’analisi automatizzata. Risultati I risultati, in estrema sintesi, danno una immagine maggiormente positiva rispetto ai correnti pregiudizi sull’offerta turistica italiana e del Mezzogiorno in particolare, con una forte prevalenza di giudizi positivi, pur in presenza di alcune segnalazioni di criticità che dovrebbero essere attentamente analizzate dagli operatori del settore: 1 Percentuali generali dei “Sentiment” 2 3 4 5 molto negativo negativo neutro positivo molto positivo 1,07 4,52 8,56 23,90 61,95 Ulteriori analisi di dettaglio sono disponibili per approfondimenti nella Parte II del presente documento. Conclusioni Un progetto di ascolto di “sentiment” focalizzato su poche destinazioni e limitato nel tempo ha già fornito risultati molto interessanti, che confermano la validità del metodo. Può, quindi, essere esteso ad altre destinazioni ed essere utilizzato in modo sistematico, anche in considerazione del fatto che può essere in gran parte automatizzato, quindi ha costi bassi. 4 Percentuali di gradimento per le città di: Roma, Napoli, Pompei, Agrigento - ROMA Roma – “Sentiment” russo Percentuale sentiment generale 1 2 3 4 5 molto negativo negativo neutro positivo molto positivo 1,14 4,00 5,14 12,00 77,71 Roma - “Sentiment” cinese Percentuale sentiment generale 1 2 3 4 5 molto negativo negativo neutro positivo molto positivo 2,08 5,21 14,58 21,88 56,25 Roma – “Sentiment” tedesco Percentuale sentiment generale 1 2 3 4 5 molto negativo negativo neutro positivo molto positivo 0,00 7,06 4,71 21,76 66,47 Roma – “Sentiment” giapponese Percentuale sentiment generale 1 2 3 4 5 molto negativo negativo neutro positivo molto positivo 2,50 10,00 11,25 27,50 48,75 - NAPOLI Napoli – “Sentiment” russo Percentuale sentiment generale 1 2 3 4 5 molto negativo negativo neutro positivo molto positivo 2,78 0,00 8,33 30,56 58,33 Napoli – “Sentiment” cinese Percentuale sentiment generale 1 2 3 4 5 molto negativo negativo neutro positivo molto positivo 4,76 9,52 19,05 33,33 33,33 5 Napoli – “Sentiment” tedesco Percentuale sentiment generale 1 2 3 4 5 molto negativo negativo neutro positivo molto positivo 0,00 20,00 20,00 30,00 30,00 Napoli – “Sentiment” giapponese Percentuale sentiment generale 1 2 3 4 5 molto negativo negativo neutro positivo molto positivo 0,00 0,00 14,29 33,33 47,62 - POMPEI Pompei – “Sentiment” russo Percentuale sentiment generale 1 2 3 4 5 molto negativo negativo neutro positivo molto positivo 0,00 4,76 0,00 38,10 57,14 Pompei – “Sentiment” cinese Percentuale sentiment generale 1 2 3 4 5 molto negativo negativo neutro positivo molto positivo 0,00 3,23 22,58 45,16 29,03 Pompei – “Sentiment” tedesco Percentuale sentiment generale 1 2 3 4 5 molto negativo negativo neutro positivo molto positivo 0,00 7,14 0,00 35,71 57,14 Pompei – “Sentiment” giapponese Percentuale sentiment generale 1 2 3 4 5 molto negativo negativo neutro positivo molto positivo 0,00 0,00 13,04 47,83 39,13 6 - AGRIGENTO Agrigento – “Sentiment” russo Percentuale sentiment generale 1 2 3 4 5 molto negativo negativo neutro positivo molto positivo 0,00 0,00 5,56 27,78 66,67 Agrigento – “Sentiment” cinese Percentuale sentiment generale 1 2 3 4 5 molto negativo negativo neutro positivo molto positivo 0,00 0,00 0,00 5,88 94,12 Agrigento – “Sentiment” tedesco Percentuale sentiment generale 1 2 3 4 5 molto negativo negativo neutro positivo molto positivo 0,00 4,35 4,35 30,43 60,87 Agrigento – “Sentiment” giapponese Percentuale sentiment generale 1 2 3 4 5 molto negativo negativo neutro positivo molto positivo 0,00 0,00 10,00 25,00 65,00 - COSTIERA AMALFITANA Costiera Amalfitana – “Sentiment” russo Percentuale sentiment generale 1 2 3 4 5 molto negativo negativo neutro positivo molto positivo 0,00 0,00 0,00 0,00 100,00 Costiera Amalfitana – “Sentiment” cinese Percentuale sentiment generale 1 2 3 4 5 molto negativo negativo neutro positivo molto positivo 0,00 0,00 0,00 30,00 70,00 7 - SORRENTO Sorrento – “Sentiment” russo Percentuale sentiment generale 1 2 3 4 5 molto negativo negativo neutro positivo molto positivo 0,00 0,00 0,00 10,00 90,00 Sorrento – “Sentiment” cinese Percentuale sentiment generale 1 2 3 4 5 molto negativo negativo neutro positivo molto positivo 0,00 0,00 18,18 27,27 54,55 MEDIE SENTIMENT (GENERALE E PER SINGOLO TAG): città di ROMA Medie dei Sentiment generale e per singolo tag città di ROMA Musei e monumenti; 4,64 Truffe; 1,49 Mobilità; 1,65 Rapporti con enti ed istituzioni; 2,07 Aspetto urbano; 3,62 Trasporti; 3,67 Ristorazione, shopping; 3,77 Cultura e spettacolo; 3,94 Accessibilità; 3 Assistenza sanitaria; 0 Sentiment generale; 4,39 Ricettività; 2,7 Sentiment generale Assistenza sanitaria Accessibilità Cultura e spettacolo Trasporti Mobilità Musei e monumenti Truffe Rapporti con enti ed istituzioni Aspetto urbano Ristorazione, shopping Ricettività 8 MEDIE SENTIMENT (GENERALE E PER SINGOLO TAG): città di NAPOLI Medie dei Sentiment generale e per singolo tag città di NAPOLI Musei e monumenti; 3,05 Mobilità; 1,59 Truffe; 0,88 Rapporti con enti ed istituzioni; 2,75 Aspetto urbano; 2,58 Trasporti; 2,03 Cultura e spettacolo; 2,9 Ristorazione, shopping; 2,39 Accessibilità; 2,29 Sentiment generale; 4,04 Assistenza sanitaria; 0 Ricettività; 2,08 Sentiment generale Assistenza sanitaria Accessibilità Cultura e spettacolo Trasporti Mobilità Musei e monumenti Truffe Rapporti con enti ed istituzioni Aspetto urbano Ristorazione, shopping Ricettività Esempio di sintesi finale e commenti suddivisi per “sentiment” rilevati - Risultati in lingua russo per la città di Roma (I ciclo di rilevazione): N. 5 siti russi: analizzati n.139 feedback (commenti/conversazioni) Conteggio sentiment generale 1 2 3 4 5 molto negativo negativo neutro positivo molto positivo 1 4 7 15 112 Percentuale sentiment generale 1 2 3 4 5 molto negativo negativo neutro positivo molto positivo 0,72% 2,88% 5,04% 10,79% 80,58% 9 % Percentuale sentiment generale 90,00 80,00 70,00 60,00 50,00 40,00 30,00 20,00 10,00 0,00 molto negativo negativo neutro positivo molto positivo Esempi di “sentiment” molto positivo (5): - Complimenti per i treni- veloci e comodi. - Molto positivo, il comportamento degli abitanti di Roma nei confronti dei gatti. - Mi è piaciuto il Colosseo di notte! E' bellissimo! E' stato da sempre il mio sogno di visitarlo! E' divino! Esempi di “sentiment” positivo (4): - Il Pantheon: monumento interessante, originale, ed entrata gratuita. Esempi di “sentiment” neutro (3): - Fori Imperiali: luogo interessantissimo, ma l’entrata è scomoda, e c’è poca informazione disponibile. - Abbiamo sentito tramite il TG che le catacombe del Colosseo erano aperte per le visite …: era una informazione falsa, ma le catacombe sono interessanti. - Purtroppo non abbiamo potuto entrare nel Colosseo causa fila incredibile. Esso resta bellissimo da tutte le angolazioni. - Un sacco di turisti intorno alla bellissima Fontana di Trevi: impossibile fare le foto. Turisti, turisti, turisti... la Fontana è quasi invisibile in mezzo alla folla. Esempi di “sentiment” negativo (2): - Taxi troppo caro, soprattutto di notte. - Siamo arrivati in albergo nel giorno del nostro matrimonio, con ancora i vestiti da sposi, ma l’amministrazione del hotel non ci ha prestato nessuna attenzione. Ci hanno chiesto un deposito di 400,00 € e 6,00 € (tassa di soggiorno) per ogni giorno di nostra permanenza. La struttura, dichiarata di 4 stelle, aveva servizi, stanze e quant'altro non corrispondevano nemmeno a un 3 stelle. Sono molto delusa. 10 Medie dei Sentiment generale e per singolo tag - Roma (russo) 6,00 5,00 4,68 4,81 4,57 4,46 4,14 4,20 4,00 3,00 3,00 2,25 2,00 1,00 1,00 tà vi et ti Ri c Ri s As pe t en t co n Ra pp o rti to ur to ba ra no zio ne ,s ho pp in g zio ni fe d ist itu Tr uf ie e M us ei Se nt im en t M ob ili tà m on um en ti 0,00 Tr as po rti 0,00 ge ne As ra sis le te nz a sa ni ta ria Ac ce Cu ss ib ltu ilit ra à e sp et ta co lo 0,00 1,00 Sentiment generale Assistenza sanitaria Accessibilità Cultura e spettacolo Trasporti Mobilità Musei e monumenti Truffe Rapporti con enti ed istituzioni Aspetto urbano Ristorazione, shopping Ricettività 1 () 11 I macro-tag utilizzati: Assistenza sanitaria, ospedali, cure mediche; Barriere architettoniche, strutture accessibili; Cultura e spettacolo (eventi); Trasporto pubblico locale; Viabilità, parcheggi, ZTL, ecc.; Musei e monumenti; Truffe; Rapporti con la cosa pubblica (forze dell'ordine, IAT e APT, ecc); Aspetto urbano; Ristorazione, shopping, ecc.; Ricettività, sono stati, per comodità, sintetizzati come indicato nel grafico. 11