Traffico bot e qualità dei clic: che cosa sta contando il tuo contatore

Qualsiasi servizio di reindirizzamento sa dirti quante richieste ha servito. Quasi nessuno sa dirti quante di quelle richieste erano persone, che è poi il numero che ogni report si presume in silenzio contenga. I link vivono nel web aperto: vengono indicizzati, mostrati in anteprima, scansionati, monitorati e raccolti, e gran parte di tutto questo avviene entro pochi secondi dalla pubblicazione, prima che un solo essere umano abbia visto il post.

Questo articolo parla dello strato che sta tra il contatore grezzo e un numero che puoi difendere in una riunione con il cliente: quale automazione conviene lasciar passare, perché identificare un crawler dal nome non è identificarlo, che cosa prova il tipo di rete e come trasformare tutto questo in regole e in un report onesto.

Il contatore grezzo è un contatore di richieste

Un motore di reindirizzamento conta quello che arriva. È questa la sua virtù — funziona per destinazioni che non controlli, sopravvive ai blocker e conta la scansione di un QR da un manifesto che non ha né sessione né referrer, come spiegato nella nostra guida al tracciamento dei clic sui link. Ed è anche il motivo per cui quel numero va qualificato.

Il traffico automatico che raggiunge un link breve si divide in gruppi riconoscibili:

• Scanner di link. Provider di posta, piattaforme di messaggistica e gateway di sicurezza scaricano i link alla consegna per controllare dove portano — ed è per questo che un link accumula clic nel minuto successivo a un invio, prima ancora che la consegna sia finita.
• Servizi di anteprima. Social e app di chat scaricano il link per costruire la card con titolo e immagine. Un redirector fatto bene risponde loro con i metadati invece di instradarli e contarli.
• Crawler di ricerca e SEO. Gli indicizzatori dei motori di ricerca, più gli strumenti SEO commerciali che scandagliano qualunque cosa trovino.
• Monitor. Controlli di uptime, compresi i tuoi. È per questo che le richieste HEAD vengono servite senza contare un clic.
• Scraper e sonde. Raccoglitori di prezzi, aggregatori di contenuti e scanner alla ricerca di link da poter dirottare altrove.

Due di questi gruppi sono traffico che hai chiesto tu, uno è infrastruttura neutra, uno non è il benvenuto. «Blocca i bot» li tratta tutti allo stesso modo.

I bot buoni, e l'unica cosa che li identifica

Lo user agent è un'affermazione

Lo user agent è un header che scrive il mittente. Qualunque cosa può metterci qualunque testo, quindi una richiesta che si dichiara Googlebot non prova niente, e uno scraper che si fa chiamare Chrome è più comune di uno che ammette che cos'è. Il confronto sullo user agent si guadagna comunque il suo posto — intercetta l'automazione che si identifica onestamente e corrobora gli altri segnali — ma dentro il classificatore è dichiaratamente un segnale debole: conferma, non decide.

La verifica mette alla prova qualcosa che il mittente non controlla

L'indirizzo da cui arriva una richiesta non è scelto dal mittente in nessun senso utile, ed è proprio questo che lo rende la cosa giusta da verificare. Ci sono due modi per farlo.

Alcuni operatori pubblicano gli intervalli usati dai loro crawler. Google, Bing e Apple lo fanno, e quei file vengono scaricati una volta al giorno dentro una struttura di consultazione rapida, così una richiesta da un intervallo elencato è confermata senza nessun lavoro di rete al momento della richiesta.

Per i crawler senza una lista pubblicata — Yandex, DuckDuckGo, Baidu, Petal — la verifica è un controllo del nome in due passaggi, ed entrambi i passaggi sono obbligatori:

Claim: "Googlebot" in the user agent

Step 1  reverse lookup of the address
        <address>  ->  crawl-<address>.googlebot.com   ends in the crawler's domain
Step 2  forward lookup of that name
        crawl-<address>.googlebot.com  ->  <address>    matches the original address
        verdict: verified crawler

Same claim, different address

Step 1  203.0.113.9  ->  host9.example-hosting.net     not the crawler's domain
        verdict: not verified, the claim is rejected

Il passaggio in avanti non è facoltativo. Chi controlla un blocco di indirizzi di solito può impostarne il record inverso come preferisce, quindi un nome inverso da solo può essere inventato. Risolvere quel nome in avanti e riottenere l'indirizzo di partenza è ciò che chiude il cerchio.

Anche il CDN davanti al redirector esegue una propria categorizzazione dei bot verificati, un verdetto che il mittente non può falsificare e che non costa niente leggere. La conferma viene quindi presa in ordine decrescente di autorevolezza: lista pubblicata, verifica del CDN, controllo del nome inverso e in avanti, e infine appartenenza a un intervallo di spider noti nel database degli indirizzi.

Perché il controllo del nome non gira mai mentre un visitatore aspetta

Una risoluzione inversa è una richiesta di rete con latenza imprevedibile, e il reindirizzamento è l'unico punto in cui i millisecondi sono visibili a una persona, quindi non gira mai in modo sincrono. Se una regola chiede se un crawler è verificato e la risposta non è in cache, la regola lo considera non verificato, la risoluzione parte in background e la risposta è in cache per il clic successivo da quell'indirizzo. Sbagliare verso «non verificato» costa una classificazione corretta; sbagliare verso una risoluzione sincrona costa a una persona reale un ritardo su ogni richiesta.

Il tipo di rete è contesto, non un verdetto

A prescindere da quello che un visitatore dichiara di essere, l'intervallo di indirizzi da cui arriva ha un carattere noto. Il database commerciale degli indirizzi che sta dietro a tutto questo classifica gli intervalli in un piccolo insieme di tipi:

| Tipo | Che cos'è l'intervallo | Quota degli intervalli IPv4 nel database | | --- | --- | --- | | Non elencato | Indirizzi ordinari, in larga parte domestici e aziendali | 72,1% | | Data center, hosting, cloud | Server, istanze cloud, browser ospitati | 15,3% | | Proxy pubblico aperto | Relay aperti attraverso cui chiunque può instradare | 9,2% | | VPN commerciale | Servizi VPN per consumatori e aziende | 3,2% | | Spider dei motori di ricerca | Intervalli noti per appartenere ai crawler | 0,17% | | Nodo di uscita TOR | Punti di uscita della rete TOR | 0,005% | | Anonimizzatore web | Pagine proxy che girano dentro il browser | 0,005% |

Leggi quella tabella con attenzione, perché è facile fraintenderla. Sono quote di intervalli di indirizzi in un database di riferimento, non quote del traffico di qualcuno. Un intervallo di un provider domestico serve un numero enorme di persone; un intervallo di hosting può non servirne nessuna. La tabella dice quali sono le categorie e con quanta finezza lo spazio degli indirizzi si divide tra loro, e non dice niente su che cosa ha ricevuto la tua campagna.

Il punto interpretativo conta più dei numeri. Un indirizzo di data center non significa bot. Le reti aziendali instradano i dipendenti attraverso infrastruttura cloud, i consumatori attenti alla privacy usano VPN commerciali per tutto, acquisti compresi, e i browser ospitati sono un modo normale di leggere il web. Cancella ogni clic da data center e cancellerai clienti veri. Il tipo di rete sposta la fiducia; da solo è un fatto che riguarda l'instradamento.

Il punteggio di qualità e a che cosa serve

Il classificatore produce due risultati: un tipo di visitatore — umano, crawler di ricerca, libreria HTTP, data center, VPN, TOR oppure sconosciuto — e un punteggio di qualità da 1 a 100 con le motivazioni che lo hanno prodotto. Gli ingressi sono quelli visti sopra più alcuni segnali di comportamento: quanto spesso lo stesso indirizzo colpisce lo stesso link nel giro di un minuto, se la richiesta porta una preferenza di lingua, e se l'insieme degli header corrisponde alla piattaforma che lo user agent dichiara.

Il punteggio non è un interruttore, e non lo è per scelta. Niente viene bloccato perché il punteggio è basso: il punteggio spiega un verdetto e alimenta i report, mentre il blocco si configura in modo esplicito. Il costo di un falso positivo è asimmetrico: un bot contato come umano distorce una percentuale, mentre un cliente bloccato come bot non arriva mai alla pagina e non te lo dice mai.

Tipo, punteggio e motivazioni compaiono nelle ripartizioni di geografia e qualità del traffico, dove la tabella delle reti è quella a cui i media buyer arrivano per primi: numero di sistema autonomo, nome del provider, tipo di intervallo, clic totali e clic umani in colonne separate. Lo scarto tra queste ultime due, provider per provider, è di solito tutta la storia di un acquisto di traffico. L'insieme completo è documentato nelle analytics geografiche.

Trasformare un verdetto in una decisione

Un verdetto serve solo se qualcosa può agirci sopra. Le regole di filtro del traffico attaccano a un link un elenco ordinato di condizioni, valutate sull'edge prima che venga scelta la destinazione, e la prima corrispondenza decide l'esito. Un link senza regole non esegue nessun lavoro in più.

Le condizioni che contano qui sono il tipo di visitatore, lo stato di crawler verificato, il tipo di rete e una soglia di punteggio di qualità, accanto a geografia, sistema autonomo, liste di indirizzi, dispositivo, lingua, referrer, pattern dello user agent, tag di campagna, ora locale e prima visita contro visita di ritorno. Gli esiti: lasciar passare, bloccare con un 404, bloccare con un 410, reindirizzare altrove, mostrare una pagina di avviso con il tuo marchio, oppure lasciar passare marcando la visita come sospetta.

Tre dettagli di progetto decidono se tutto questo si può far girare in produzione senza rischi.

Le condizioni hanno tre valori. Soddisfatta, non soddisfatta, oppure senza risposta perché il dato manca — e «senza risposta» non conta mai come corrispondenza. Se il database degli indirizzi non è disponibile, una regola condizionata al tipo di rete non scatta e il visitatore raggiunge la destinazione normale. Il filtro cede aprendo, mai chiudendo.

L'inversione ribalta solo le risposte certe. Una regola scritta come «tutti tranne la Germania» non scatta in silenzio sui visitatori di cui non è stato possibile determinare il paese. È il modo più comune in cui una regola geografica scritta con le migliori intenzioni si trasforma in un disservizio.

«Lascia passare» esiste perché i filtri si possano verificare. Una regola che lascia passare il traffico e registra di aver corrisposto è il modo di collaudare un filtro prima di permettergli di bloccare qualsiasi cosa: falla girare in modalità «lascia passare», leggi la ripartizione del traffico filtrato, conferma che intercetta quello che ti aspettavi, poi cambia l'azione.

Metti la politica generale nel set di regole valido per tutta l'area di lavoro, perché una politica sui data center riguarda raramente un solo link, poi usa le regole del singolo link — valutate per prime — per portare le eccezioni sopra il divieto generale. È così che il tuo monitor di uptime continua a funzionare sull'unico link che sorveglia. I limiti su regole e liste di indirizzi stanno nella documentazione delle regole di traffico.

Un dettaglio prima di scrivere una regola sulla prima visita: distinguere una prima visita da una di ritorno richiede un piccolo cookie sul tuo dominio di reindirizzamento, impostato solo quando una regola pone davvero quella domanda. Ha conseguenze sulla privacy, ed è per questo che si attiva per meccanismo e non per impostazione predefinita.

Che cosa cambia nel report per il cliente

È qui che il lavoro si ripaga, e riguarda soprattutto quali numeri finiscono sulla pagina.

| Riga del report | Senza uno strato di qualità | Con lo strato | | --- | --- | --- | | Numero di apertura | Clic | Clic umani, con i clic totali accanto | | Composizione | Assente | Umani, crawler verificati, data center, VPN, TOR, sconosciuti | | Tabella dei provider | Clic per rete | Clic e clic umani per rete | | Traffico filtrato | Invisibile | Volume per regola, con l'azione applicata da ciascuna | | Spiegazione di un picco | «Martedì è successo qualcosa» | Il tipo e la rete da cui è arrivato il picco |

Due abitudini rendono quel report onesto e non soltanto dettagliato. Mostra sempre entrambi i numeri: una cifra di clic umani senza il totale accanto invita al sospetto che il totale fosse scomodo. E riporta che cosa hai filtrato e perché — l'identificatore della regola e l'azione conservati su ogni evento corrispondente fanno sì che la ripartizione del traffico filtrato si legga correttamente anche per le regole che nel frattempo hai modificato o cancellato.

Per le agenzie la tabella dei provider è anche uno strumento commerciale: una rete che manda volume con quasi nessun clic umano è una conversazione da avere con un fornitore, e quella conversazione è più facile con una ripartizione per provider che con un aggregato. Le nostre pagine soluzioni per agenzie e soluzioni per affiliati spiegano come tutto questo si incastra nella reportistica ai clienti e nei pagamenti.

Una cosa da dire chiaramente, perché i fornitori di questa categoria tendono a non farlo: la classificazione è probabilistica. Uno scraper determinato che fa girare un browser vero da un indirizzo domestico verrà classificato come umano, e nessun prodotto sul mercato ti dirà il contrario. Questo strato toglie la maggioranza grande, facile e onesta su di sé dell'automazione, e ti dà le prove per indagare sul resto. Un report che lascia intendere certezza prima o poi si rivelerà sbagliato davanti a un cliente.

Una sequenza che funziona

1. Lascia il filtraggio dei bot attivo per impostazione predefinita nelle analytics e considera automatico, fino a prova contraria, qualsiasi picco che cominci prima che un essere umano possa aver visto il link.
2. Leggi la ripartizione per composizione prima del numero di apertura. Una quota di automazione insolita per quel canale è già di per sé il risultato.
3. Controlla nella tabella delle reti i provider in cui clic totali e clic umani divergono in modo netto.
4. Scrivi la prima regola in modalità «lascia passare», osserva la ripartizione del traffico filtrato per una settimana e promuovila a un'azione di blocco solo quando il volume che intercetta somiglia a quello che intendevi.
5. Tieni i crawler verificati sempre in transito ed esenta i tuoi monitor con una regola a livello di link sopra la politica dell'area di lavoro.
6. Riporta insieme clic umani e clic totali, mostrando il volume filtrato invece di sottrarlo in silenzio.

L'idea di fondo è semplice: un clic è una richiesta, una richiesta ha una provenienza, e la provenienza è misurabile. Quello che rende il lavoro conveniente è l'effetto di secondo ordine. I tassi di conversione calcolati sui clic umani sono stabili, le ripartizioni geografiche senza gli intervalli di hosting descrivono mercati invece di infrastruttura, e un cliente a cui hai mostrato una volta la composizione del suo traffico smette di chiedere se i numeri sono veri.