Traffico bot

Il traffico bot è qualunque richiesta a un link fatta da un software e non da una persona: i crawler dei motori di ricerca che costruiscono un indice, i fetcher di anteprima che messenger e social lanciano quando un link viene incollato in una chat, i monitor di disponibilità e gli scanner che setacciano il web aperto. I link brevi vivono in pubblico, quindi una parte di questo traffico è inevitabile, e buona parte è pure desiderata: una scheda di anteprima esiste solo perché un bot ha scaricato la pagina dietro al link.

Distinguere un tipo dall'altro è la parte difficile. L'header user-agent è un'autodichiarazione, e chiunque può inviare qualsiasi stringa: un nome da solo non prova nulla. Un crawler verificato si conferma al contrario — il suo indirizzo viene confrontato con gli intervalli che il suo operatore pubblica, oppure l'indirizzo si risolve a ritroso in un hostname sul dominio dell'operatore e quell'hostname si risolve in avanti sullo stesso indirizzo. Le regole di traffico possono poi trattare un crawler confermato in modo diverso da chi si limita a dichiararsi tale, e i report possono tenere separate le visite umane da quelle automatizzate invece di sommarle.