I domini Imposter stanno ripubblicando il tuo sito web?

Pensiamo al web scraping come a uno strumento utilizzato per raccogliere contenuti web a fini di analisi delle informazioni, a volte a scapito del proprietario del sito. Ad esempio, qualcuno potrebbe raschiare sul Web tutte le pagine dei prodotti del sito di vendita al dettaglio di un concorrente per raccogliere informazioni sui prodotti offerti e sui prezzi attuali per cercare di ottenere un vantaggio competitivo.

Il web scraping può essere utilizzato per raccogliere dati di marketing, come l'identificazione di buone parole chiave per le campagne pubblicitarie, l'identificazione di argomenti di tendenza per i post del blog o l'identificazione di influencer in blog e siti di notizie importanti. I produttori potrebbero esaminare i siti di vendita al dettaglio per assicurarsi che i prezzi pubblicitari del produttore vengano rispettati e gli auditor della sicurezza potrebbero esaminare i siti per cercare vulnerabilità o violazioni delle politiche sulla privacy. E, naturalmente, gli scraper potrebbero raschiare il tuo sito per cercare vulnerabilità di sicurezza o contatti esposti o dettagli di lead di vendita. Nessuna di queste attività comporterebbe la ripubblicazione o la consegna del contenuto raschiato agli utenti finali.

Ci sono situazioni, tuttavia, in cui il contenuto della pagina web raschiata viene consegnato come pagina stessa direttamente ai visitatori. Come vedremo di seguito, ciò può essere fatto per ragioni benigne o meno. Negli scenari peggiori, questi possono essere veri e propri domini impostori, che cercano di interagire con utenti reali senza riconoscere la vera fonte dei tuoi contenuti . Anche in casi d'uso benigni, tuttavia, perdi un po' di controllo sull'esperienza del visitatore. Quando i tuoi contenuti vengono forniti con altri mezzi, da altri server o piattaforme, possono mettere a rischio l'esperienza dell'utente e la relazione commerciale che hai costruito con i tuoi utenti.

Come puoi identificare, monitorare e gestire questo rischio per la tua azienda? Esploriamo come puoi utilizzare l'analisi web o i dati di misurazione degli utenti reali sul tuo sito Web per ottenere informazioni dettagliate su eventuali domini impostori che ripubblicano il tuo lavoro. Descriviamo anche i tipi più comuni di ripubblicazione dei contenuti che vediamo nei dati del mondo reale raccolti in Akamai mPulse, sia benigni che problematici, in modo che tu sappia cosa cercare nei tuoi dati.

Come tenere traccia di attività sospette

Se stai appena iniziando a chiederti se qualcuno potrebbe ripubblicare i tuoi contenuti web, la cosa più semplice da fare è una ricerca su Google. Copia una frase di dieci o dodici parole da una pagina di interesse del tuo sito nella barra di ricerca di Google, inseriscila tra virgolette doppie e fai clic su Cerca. Si spera che dovresti vedere il tuo sito nei risultati di ricerca, ma se trovi la corrispondenza esatta della frase su altri siti, potresti essere vittima della ripubblicazione . Questo approccio è ovviamente un po' ad hoc. Potresti forse creare uno script di alcune ricerche su Google per eseguire periodicamente questo tipo di controlli. Ma quante pagine controlli? Come puoi selezionare in modo affidabile il contenuto delle pagine che la ripubblicazione non modificherà? E se le visualizzazioni di pagina ripubblicate non fossero mai inserite nei risultati di ricerca di Google?

Un approccio migliore consiste nell'utilizzare i dati che stai già raccogliendo con i tuoi servizi di analisi web o RUM (Real User M easurement ) . Questi servizi variano considerevolmente nelle loro capacità e nella profondità dei dati raccolti. In genere sono tutti strumentati come processi JavaScript che vengono caricati sulle pagine Web del tuo sito tramite un tag o uno snippet di codice del caricatore. Quando il servizio determina che una visualizzazione di una pagina (e/o qualche altra attività di interesse dell'utente) è stata completata, invia un "beacon" di dati a un sistema di raccolta, dove i dati vengono quindi ulteriormente elaborati, aggregati e archiviati per il futuro analisi.

Per aiutare a identificare la ripubblicazione di pagine Web da parte di domini impostori, ciò che desideri è un servizio che:

• Raccoglie i dati per ogni visualizzazione di pagina sul sito (idealmente);
• Raccoglie l'URL completo della risorsa HTML della pagina di base della visualizzazione della pagina;
• Accetta i beacon anche se il nome host nell'URL della pagina di base non è quello in cui è pubblicato il tuo sito;
• Consente di interrogare personalmente i dati raccolti e/o dispone già di query di dati progettate per trovare "domini impostori".
  

Cosa succede quando una pagina Web viene ripubblicata?

Quando una pagina Web viene eliminata con l'intenzione di essere consegnata come visualizzazione di pagina completa a un utente finale, lo scraper può modificare il contenuto. Le modifiche possono essere estese. La modifica di alcuni contenuti è più semplice di altri e, sebbene un dominio impostore possa modificare il testo o le immagini, la modifica di JavaScript può essere una proposta più impegnativa. Tentativi di modifica in JavaScript potrebbero interrompere la funzionalità della pagina, inibire il rendering corretto o presentare altri problemi.

La buona notizia per noi è che i tracker di analisi web o i servizi di misurazione degli utenti reali sono strumentati come JavaScript ed è improbabile che molti domini impostori tentino di modificare il contenuto per rimuoverli a causa dei rischi che potrebbero interrompere la pagina. Se lo scraper non rimuove intenzionalmente il codice dello snippet del caricatore o il tag per l'analisi web o il servizio RUM, in generale, verrà caricato correttamente e genererà un beacon per la visualizzazione della pagina, fornendoti la prova dell'attività del dominio impostore .

Questa è la chiave per tracciare i domini degli impostori con analisi web o dati RUM. Anche se nessuno dei contenuti della pagina viene distribuito dalla tua piattaforma o dai tuoi server, purché il codice JavaScript che stai utilizzando per l'analisi o il monitoraggio delle prestazioni venga caricato, puoi comunque ottenere dati sulla visualizzazione della pagina.

Trasformare i dati in informazioni

Ora che hai i dati, puoi estrarli per prove di domini impostori. Al più semplice, questa è una query di database che conta il numero di visualizzazioni di pagina per ogni nome host nell'URL della pagina, qualcosa come questo pseudocodice:

 results = query(""" select host, count(*) as count from $(tableName) where timestamp between '$(startTime)' and '$(endTime)' and url not like 'file:%' group by 1 order by 2 desc """);

Qualsiasi nome host nei risultati che non sia quello utilizzato dal tuo sito è un dominio impostore e vale la pena indagare. Per il monitoraggio continuo dei dati, probabilmente vorrai classificare i domini impostori che vedi nei dati e che hai identificato.

Ad esempio, alcuni domini utilizzati dai servizi di traduzione in linguaggio naturale che ripubblicano intere pagine Web potrebbero avere il seguente aspetto:

 # Translation domains translationDomains = ["convertlanguage.com","dichtienghoa.com","dict.longdo.com", "motionpoint.com","motionpoint.net","opentrad.com","papago.naver.net","rewordify.com", "trans.hiragana.jp","translate.baiducontent.com","translate.goog", "translate.googleusercontent.com","translate.sogoucdn.com","translate.weblio.jp", "translatetheweb.com","translatoruser-int.com","transperfect.com","webtrans.yodao.com", "webtranslate.tilde.com","worldlingo.com"]

A seconda delle tue esigenze, potresti creare array di domini "accettabili" e "problematici" o classificare i domini impostori in base alla loro funzione o tipo. Di seguito sono riportati i tipi più comuni di domini impostori che potresti vedere nei dati del mondo reale.

Ripubblicazione benigna

Non tutte le pagine Web raschiate fornite da un dominio di terze parti saranno dannose. Sulla base dell'analisi dei dati di Akamai mPulse su un ampio spettro di clienti, la maggior parte delle visualizzazioni di pagina da domini impostori sono in realtà servizi che un visitatore del sito sceglie intenzionalmente di utilizzare. Un visitatore del sito potrebbe essere in grado di godersi il contenuto della pagina che riterrebbe inaccessibile. In alcuni casi è probabile che i servizi siano utilizzati da dipendenti del titolare del sito stesso.

Le categorie principali qui descritte non sono affatto esaustive.

Traduzione in linguaggio naturale

I domini impostori più comuni sono quelli utilizzati dai servizi di traduzione in linguaggio naturale. Questi servizi possono raschiare una pagina Web, tradurre il testo codificato sulla pagina in un'altra lingua e fornire il contenuto modificato all'utente finale.

La pagina visualizzata dall'utente finale avrà un URL del dominio di primo livello del servizio di traduzione (come translate.goog, translateuser-int.com o translate.weblio.jp tra molti altri). rewordify.com cambia il testo inglese su una pagina in frasi più semplici per chi parla inglese alle prime armi. Sebbene tu non abbia alcun controllo sulla qualità delle traduzioni o sulle prestazioni dell'esperienza della pagina consegnata, è lecito ritenere che la maggior parte dei proprietari di siti non considererebbe questo un rischio o una preoccupazione aziendale.

Risultati memorizzati nella cache del motore di ricerca e dell'archivio Web

Un'altra categoria comune di domini impostori sono i domini utilizzati dai motori di ricerca per fornire risultati memorizzati nella cache o versioni archiviate delle visualizzazioni di pagina. In genere, si tratta di pagine che potrebbero non essere più disponibili sul sito ma sono disponibili in archivi di terze parti.

Potresti voler conoscere la frequenza di queste visualizzazioni di pagina e un'analisi più approfondita potrebbe determinare le specifiche di ciò che gli utenti finali stavano cercando nelle cache e negli archivi online. Con l'URL completo per ogni richiesta effettuata alle cache e agli archivi online, dovresti essere in grado di identificare le parole chiave o gli argomenti che compaiono più spesso in quei tipi di visualizzazioni di pagina.

Strumenti di sviluppo

Questi servizi saranno in genere utilizzati dai tuoi stessi dipendenti come parte dell'attività naturale di sviluppo e gestione del tuo sito. Un tipico strumento per sviluppatori potrebbe raschiare un'intera pagina Web, analizzarla per errori di sintassi in JavaScript, XML, HTML o CSS e visualizzare una versione contrassegnata della pagina che lo sviluppatore può esplorare.

Oltre agli errori di sintassi, gli strumenti potrebbero anche valutare la conformità di un sito con l'accessibilità o altri standard obbligatori per legge. Alcuni servizi di esempio visti nel mondo reale includono codebeautify.org, webaim.org e jsonformatter.org.

Strumenti per la pubblicazione di contenuti

Molto simili agli strumenti per sviluppatori sono strumenti che potresti utilizzare per gestire le tue esigenze di pubblicazione dei contenuti. L'esempio più comune è lo strumento Anteprima annunci di Google, che recupera una pagina, la modifica per includere un tag annuncio e il contenuto dell'annuncio da Google e lo mostra al proprietario del sito per vedere come sarebbe il risultato se pubblicato.

Un altro tipo di strumento di pubblicazione dei contenuti è un servizio che recupera una pagina Web, la confronta con i database per qualsiasi potenziale violazione del copyright o plagio e visualizza la pagina con il markup per identificare qualsiasi contenuto potenzialmente offensivo.

Domini transcodificatori

Alcuni servizi forniscono una pagina Web in forma modificata per migliorare le prestazioni o migliorare le caratteristiche di visualizzazione. Il servizio più comune di questo tipo è Google Web Light. Disponibile in un numero limitato di paesi su dispositivi con sistema operativo Android con connessioni di rete mobile lente, Google Web Light transcodifica la pagina Web per fornire fino all'80% di byte in meno preservando la "maggioranza dei contenuti pertinenti", il tutto in nome della distribuzione del contenuto nel browser Android Mobile molto più velocemente.

Altri servizi di transcoder modificano il contenuto della pagina per cambiarne la presentazione, ad esempio printwhatyoulike.com rimuove gli elementi pubblicitari in preparazione per la stampa su carta e marker.to consente a un utente di "contrassegnare" una pagina Web con un evidenziatore giallo virtuale e condividere la pagina con altri. Sebbene i servizi di transcodificatore possano essere ben intenzionati, esiste il potenziale sia per abusi (rimozione della pubblicità) che potenziali domande sull'integrità dei contenuti di cui tu, come proprietario del sito, devi essere a conoscenza.

Copie salvate localmente di pagine Web

Sebbene non siano comuni, vediamo beacon nei dati di Akamai mPulse con pagine servite da URL file:// . Si tratta di visualizzazioni di pagina caricate da una pagina Web visualizzata in precedenza che è stata salvata nella memoria locale del dispositivo. Poiché ogni dispositivo potrebbe avere una struttura di file system diversa , risultando in un numero infinito di "domini" nei dati dell'URL, generalmente non ha senso provare ad aggregarli per i modelli. È lecito ritenere che i proprietari dei siti non considerino questo un rischio o una preoccupazione per l'azienda.

Servizi proxy web

Un'altra categoria di domini impostori che possono essere accettabili sono quelli utilizzati dai servizi proxy web. Esistono due grandi sottocategorie di presunti servizi proxy benigni. Uno sono le deleghe istituzionali , come un sistema bibliotecario universitario che si abbona a una testata giornalistica online per consentire l'accesso al proprio corpo studentesco. Quando uno studente visualizza il sito, la pagina può essere consegnata da un nome host nel dominio di primo livello dell'università.

È lecito ritenere che la maggior parte degli editori non considererebbe questo un rischio o una preoccupazione per l'azienda se fa parte del proprio modello di business. L'altro tipo principale di proxy benigni sono i siti che mirano a offrire l'anonimato in modo che i visitatori possano consumare i contenuti di un sito Web senza essere tracciati o identificati. L'esempio più comune di quest'ultima sottocategoria è il servizio anonymousbrowser.org. Gli utenti di questi servizi possono essere o meno intenzionati.

Ripubblicazione dannosa

Anche se abbiamo visto che ci possono essere ragioni benigne per cui una pagina web viene raschiata e quindi consegnata da un dominio alternativo (e infatti, la ricerca mostra che casi d'uso benigni sono di gran lunga i più comunemente osservati nei dati di misurazione degli utenti reali di Akamai mPulse ), ci sono certamente casi in cui le intenzioni dei raschiatori sono maligne. I contenuti raschiati possono essere utilizzati per generare entrate in vari modi, dal semplice spaccio di contenuti rubati come propri al tentativo di rubare credenziali o altri segreti. Casi d'uso dannosi possono danneggiare sia il proprietario del sito che/o il visitatore del sito.

Raschiamento degli annunci

Nel settore dell'editoria, le entrate pubblicitarie sono fondamentali per il successo commerciale o il fallimento dei siti web. Naturalmente, la vendita di annunci richiede contenuti che i visitatori desiderano consumare e alcuni malintenzionati potrebbero trovare più facile rubare tali contenuti piuttosto che crearli da soli. Gli scraper pubblicitari possono raccogliere interi articoli da un sito e ripubblicarli su un dominio di primo livello diverso con tag pubblicitari completamente nuovi. Se lo scraper non è abbastanza sofisticato da separare completamente il contenuto dalla struttura della pagina e, ad esempio, include il codice JavaScript della pagina principale incluso lo snippet del caricatore per l'analisi web o il servizio RUM, puoi ottenere beacon di dati per queste visualizzazioni di pagina.

Phishing

Il phishing è un tentativo fraudolento di indurre gli utenti a rivelare informazioni riservate o private come credenziali di accesso, numeri di carte di credito, numeri di previdenza sociale o altri dati impersonando un sito attendibile. Per sembrare il più autentici possibile, i siti di phishing vengono spesso creati raschiando il sito legittimo che mirano a impersonare . Ancora una volta, se lo scraper non è abbastanza sofisticato da separare completamente il contenuto dalla struttura della pagina e, ad esempio, include il codice della pagina principale incluso lo snippet del caricatore per l'analisi web o il servizio RUM, puoi ottenere beacon per queste visualizzazioni di pagina in mPulse.

Browser o ricerca dirottamento

Una pagina Web può essere raschiata e ripubblicata con JavaScript aggiuntivo che contiene il browser o il codice di attacco di dirottamento della ricerca. A differenza del phishing, che induce gli utenti a cedere dati preziosi, questo tipo di attacco tenta di apportare modifiche alle impostazioni del browser . Cambiare semplicemente il motore di ricerca predefinito del browser in modo che punti a uno da cui l'attaccante ottiene entrate dai risultati di ricerca affiliati potrebbe essere redditizio per un cattivo attore. Se lo scraper non è sofisticato, iniettando un nuovo codice di attacco ma non modificando il codice della pagina principale preesistente, incluso lo snippet del caricatore per l'analisi web o il servizio RUM, puoi ottenere beacon per queste visualizzazioni di pagina in mPulse.

Paywall o proxy di bypass dell'abbonamento

Alcuni servizi affermano di aiutare gli utenti finali ad accedere alle pagine sui siti che richiedono abbonamenti per essere visualizzati senza disporre di un accesso valido. Per alcuni editori di contenuti, le quote di abbonamento possono rappresentare una parte molto significativa delle entrate del sito. Per altri, potrebbe essere necessario che gli accessi rimangano conformi alla legge affinché gli utenti utilizzino contenuti limitati da età, cittadinanza, residenza o altri criteri.

I servizi proxy che aggirano (o tentano di aggirare) queste restrizioni di accesso comportano rischi finanziari e legali per la tua attività . Soggettivamente, molti di questi servizi sembrano essere focalizzati specificamente sui siti di pornografia, ma tutti i proprietari di siti web dovrebbero stare alla ricerca di questi cattivi attori.

Disinformazione

Oltre a cercare di trarre profitto dallo scraping web, alcuni domini impostori possono essere utilizzati per fornire contenuti che sono stati modificati in modo da diffondere intenzionalmente disinformazione, danneggiare la reputazione o per scopi politici o di altro tipo.

Gestire i risultati

Ora che hai un modo per identificare e monitorare quando i domini impostori stanno ripubblicando il tuo sito web, quali sono i prossimi passi? Gli strumenti sono preziosi solo quanto la nostra capacità di utilizzarli in modo efficace, quindi è importante sviluppare una strategia per l'utilizzo di una soluzione di tracciamento del dominio impostore come parte dei processi aziendali. Ad alto livello, penso che questo si riduca a prendere decisioni su un processo di gestione in tre fasi:

1. Identificare la minaccia,
2. Dai priorità alla minaccia,
3. Risolvi la minaccia.

1. Identificazione delle minacce attraverso rapporti regolari

Dopo aver sviluppato le query del database per estrarre potenziali dati di dominio impostore dalle tue analisi web o dai dati di misurazione dell'utente reale, devi esaminare i dati su base regolare.

Come punto di partenza, consiglierei un rapporto settimanale che può essere scansionato rapidamente per qualsiasi nuova attività. Un rapporto settimanale sembra la cadenza migliore per rilevare i problemi prima che diventino troppo gravi. Un rapporto quotidiano potrebbe sembrare noioso e diventare qualcosa di facile da ignorare dopo un po'. I numeri giornalieri possono anche essere più difficili da interpretare, poiché puoi guardare un numero piuttosto piccolo di visualizzazioni di pagina che possono o meno rappresentare una tendenza preoccupante.

D'altra parte, i rapporti mensili possono causare problemi che si protraggono troppo a lungo prima di essere scoperti. Un rapporto settimanale sembra il giusto equilibrio per la maggior parte dei siti ed è probabilmente la migliore cadenza di partenza per i rapporti regolari.

2. Categorizzazione della potenziale minaccia

Come abbiamo considerato sopra, non tutti i domini impostori che ripubblicano i contenuti del tuo sito sono necessariamente di natura dannosa o un problema per la tua attività. Man mano che acquisisci esperienza con il panorama dei dati del tuo sito, potresti migliorare i tuoi rapporti regolari codificando a colori o separando i domini che conosci e che consideri non dannosi per aiutarti a concentrarti sui domini problematici sconosciuti, nuovi o noti che importa di più.

A seconda delle tue esigenze, potresti creare matrici di domini "accettabili" e "problematici" o classificare i domini impostori in base alla loro funzione o tipo (come le categorie "traduzione in linguaggio naturale" o "strumenti di pubblicazione dei contenuti" descritte sopra). Ogni sito avrà esigenze diverse, ma l'obiettivo è separare i domini problematici dai domini non preoccupanti.

3. Agisci contro i cattivi attori

Per ciascuna delle categorie problematiche che identifichi, determina i parametri che desideri utilizzare quando decidi come rispondere alla minaccia:

• Qual è il numero minimo di visualizzazioni di pagina prima di agire?
• Qual è il primo punto di escalation e chi ne è responsabile ?
• Quali parti interessate all'interno dell'azienda devono essere consapevoli dell'attività dannosa e quando?
• Le azioni da intraprendere sono documentate e riviste regolarmente da tutte le parti interessate (dirigenti, legali, ecc.)?
• Quando vengono intraprese azioni (come presentare un avviso di "rimozione DMCA" all'autore del reato o al suo fornitore di servizi o aggiornare le regole di Web Application Firewall per cercare di limitare l'accesso ai ladri di contenuti) i risultati di queste azioni vengono tracciati e riconosciuti?
• Come verrà riassunta l' efficacia di queste azioni per i dirigenti aziendali nel tempo?

Anche se non riesci a schiacciare ogni ripubblicazione dannosa del contenuto del tuo sito, dovresti comunque creare un solido processo in atto per gestire i rischi come qualsiasi altro rischio per l'azienda. Genererà fiducia e autorità con i tuoi partner commerciali, investitori, dipendenti e collaboratori.

Conclusione

Nelle giuste circostanze, le tue analisi web o i dati di misurazione degli utenti reali possono offrire visibilità nel mondo dei domini impostori, utilizzati dai web scraper per ripubblicare i contenuti del tuo sito sui loro server. Molti di questi domini impostori sono in realtà servizi benigni che aiutano gli utenti finali o ti aiutano in vari modi produttivi.

In altri casi, i domini impostori hanno motivazioni dannose, per rubare contenuti a scopo di lucro o per manipolarli in modo da arrecare danno alla tua attività o al visitatore del tuo sito. L'analisi web o i dati RUM sono la tua arma segreta per identificare eventuali domini impostori potenzialmente dannosi che richiedono un'azione immediata , nonché per comprendere meglio la prevalenza dei domini più benigni. I dati che raccogli sfruttano l'analisi web o la posizione del servizio RUM come osservatore nel browser del visitatore per vedere ciò che gli strumenti di monitoraggio e reporting della tua piattaforma non possono.

Analizzando i dati nel tempo, puoi saperne di più sui domini impostori e sulle loro intenzioni al fine di informare meglio la tua azienda sui rischi che stanno ponendo alla tua reputazione e alle esperienze dei tuoi visitatori e sviluppare e applicare meccanismi per proteggere la tua proprietà intellettuale.

Ulteriori letture su Smashing Magazine

• Protezione del tuo sito con la politica sulle funzionalità
• Rendi i tuoi siti veloci, accessibili e sicuri con l'aiuto di Google
• Cosa devi sapere su OAuth2 e sull'accesso con Facebook
• Politica sulla sicurezza dei contenuti, il tuo futuro migliore amico
• Respingere contro la violazione della privacy sul Web