机器人流量

机器人流量，是指由软件而不是人向链接发出的任何请求：搜索引擎为建索引而来的爬虫，即时通讯和社交网络在链接被贴进聊天时跑的预览抓取器，可用性监测，以及在公开网络上四处扫荡的扫描器。短链接活在公开的世界里，所以这类流量总有一部分躲不掉，而且其中很多本来就是你想要的——一张预览卡片之所以存在，正是因为有机器人抓取了链接背后的那个页面。

难的是把这一类和那一类分开。user-agent 头是一份自我声明，任何人都能发送任意字符串，因此单凭一个名字什么也证明不了。已验证爬虫是反过来确认的：把它的地址与运营方公布的地址段比对，或者把地址反向解析成运营方域名下的一个主机名，再把这个主机名正向解析回同一个地址。这之后，流量规则就可以把一个确认过的爬虫，与任何只是自称爬虫的东西区别对待，报表也可以把真人访问和自动化访问分开，而不是把它们加在一起。