ボットトラフィックとクリックの品質：あなたのクリック数は何を数えているのか

どのリダイレクトサービスも、いくつのリクエストを処理したかは教えてくれます。そのうち何件が人間だったのかを教えてくれるサービスは、ほとんどありません——どのレポートも、暗黙のうちにその数字が入っていることになっているのに。リンクは開かれたWebの上にあります。索引され、プレビューされ、スキャンされ、監視され、収集されます。しかもその多くは公開から数秒のうちに、まだ誰一人その投稿を見ていない段階で起きます。

この記事で扱うのは、生のカウンターと、クライアントとの会議で擁護できる数字との間にあるレイヤーです。どの自動化を通したいのか、名前でクローラーを見分けることがなぜ識別にならないのか、ネットワークの種別は何を証明するのか、そしてそれをどうルールと正直なレポートに変えるのか。

生のカウンターはリクエストのカウンター

リダイレクトエンジンは、届いたものを数えます。それが長所です——自分の管理下にないリンク先でも機能し、ブロッカーを生き延び、セッションも参照元も持たないポスターからのQRスキャンまで数えます。リンクのクリックを計測する方法で扱ったとおりです。そして同時に、その数字に但し書きが要る理由でもあります。

短縮リンクに届く自動化トラフィックは、見分けの付くいくつかのグループに分かれます。

• リンクのスキャナー。 メールの提供事業者、メッセージングのプラットフォーム、セキュリティゲートウェイは、配信時にリンクを取得して行き先を確認します——送信直後の1分間に、配信が終わる前からクリックが積み上がるのはこのためです。
• プレビューの取得。 SNSやチャットアプリは、タイトルと画像の付いたカードを作るためにリンクを取得します。行儀のよいリダイレクターは、これらを振り分けて数えるのではなく、メタデータで応答します。
• 検索とSEOのクローラー。 検索エンジンの索引作成に加えて、見つけたものを片端から巡回する商用のSEOツールです。
• 監視。 自社のものも含めた稼働監視です。HEADリクエストがクリックを数えずに応答されるのは、この理由によります。
• スクレイパーと探索。 価格の収集、データの刈り取り、そして別の場所へ向け直せるリンクを探して回るスキャナーです。

このうち2つは自分から求めたトラフィック、1つは中立的なインフラ、1つは歓迎できないものです。「ボットを遮断する」は、これらを同じものとして扱います。

良いボットと、それを識別できる唯一のもの

ユーザーエージェントは主張にすぎない

ユーザーエージェントは、送り手が自分で書くヘッダーです。そこには何でも好きな文字列を入れられるので、Googlebotを名乗るリクエストは何の証明にもなりませんし、Chromeを名乗るスクレイパーのほうが、正直に身元を明かすものより一般的です。それでもユーザーエージェントの照合には存在意義があります——正直に名乗る自動化を捕まえ、ほかのシグナルを裏付けるからです——が、分類器の中では明示的に弱いシグナルとして扱われます。裏付けはしても、判断はしません。

検証は、送り手が制御できないものを試す

リクエストが届いた元のアドレスは、意味のある形では送り手が選べません。だからこそ、試すべき対象として正しいのです。やり方は2つあります。

自社のクローラーが使う範囲を公開している運営者がいます。Google、Bing、Appleはいずれも公開していて、それらのファイルは1日1回取り込まれて高速な参照表になるので、掲載された範囲からのリクエストは、リクエスト時にネットワーク処理を挟まずに確定します。

公開リストを持たないクローラー——Yandex、DuckDuckGo、Baidu、Petal——については、検証は2段階の名前の確認になり、その両方の段階が必要です。

Claim: "Googlebot" in the user agent

Step 1  reverse lookup of the address
        <address>  ->  crawl-<address>.googlebot.com   ends in the crawler's domain
Step 2  forward lookup of that name
        crawl-<address>.googlebot.com  ->  <address>    matches the original address
        verdict: verified crawler

Same claim, different address

Step 1  203.0.113.9  ->  host9.example-hosting.net     not the crawler's domain
        verdict: not verified, the claim is rejected

正引きの段階は省けません。アドレスブロックを管理している側は、たいてい逆引きのレコードを好きなように設定できるので、逆引きの名前だけなら偽装できます。その名前を正引きして元のアドレスが返ってくることが、この輪を閉じます。

リダイレクターの手前にあるCDNも、独自に検証済みボットの分類を行います。これは送り手には偽装できず、読み取りも高くつかない判定です。したがって確認は、確度の高い順に取ります。公開リスト、CDNによる検証、逆引きと正引きによる名前の確認、そしてアドレスデータベース上の既知のスパイダー範囲に含まれるかどうか、の順です。

名前の確認を、訪問者を待たせながら実行しない理由

逆引きは遅延の予測できないネットワークリクエストであり、リダイレクトはミリ秒が人間の目に見える唯一の場所なので、これが同期的に実行されることはありません。ルールがクローラーの検証状態を問い合わせたときに答えがキャッシュにない場合、ルールはそれを未検証として扱い、逆引きはバックグラウンドで実行され、そのアドレスからの次のクリックのときには答えがキャッシュにあります。「未検証」の側に倒して失うのは、1件の正しい分類だけです。同期的な逆引きの側に倒せば、実在の人間がリクエストのたびに待たされます。

ネットワークの種別は文脈であって、判決ではない

訪問者が何を名乗っているかとは別に、その訪問者が来たアドレス範囲には既知の性格があります。この背後にある商用のアドレスデータベースは、範囲を少数の種別に分類します。

| 種別 | その範囲が何か | データベース内のIPv4範囲に占める割合 | | --- | --- | --- | | 未掲載 | 一般的なアドレス。大半は個人と企業 | 72.1% | | データセンター、ホスティング、クラウド | サーバー、クラウドインスタンス、ホスティング型のブラウザー | 15.3% | | 公開プロキシ | 誰でも経由できるオープンな中継 | 9.2% | | 商用VPN | 個人向けと法人向けのVPNサービス | 3.2% | | 検索エンジンのスパイダー | クローラーのものと分かっている範囲 | 0.17% | | TORの出口ノード | TORネットワークの出口 | 0.005% | | Web匿名化サービス | ブラウザーで動くプロキシページ | 0.005% |

この表は誤読されやすいので、注意して読んでください。ここにあるのは参照用データベースに登録されたアドレス範囲の割合であって、誰かのトラフィックの割合ではありません。個人向けISPの1つの範囲は膨大な人数に使われますし、ホスティングの1つの範囲は誰にも使われていないかもしれません。この表が語るのは、どんな分類があり、アドレス空間がその間でどれくらい細かく分かれているかだけであって、あなたのキャンペーンが何を受け取ったかについては何も語りません。

数字よりも、その解釈のほうが重要です。データセンターのアドレスは、ボットを意味しません。企業ネットワークは従業員をクラウド基盤経由で通しますし、プライバシーを気にする消費者は買い物を含むすべてに商用VPNを使いますし、ホスティング型のブラウザーでWebを読むのは普通のことです。データセンターからのクリックをすべて消せば、実在の顧客を消すことになります。ネットワークの種別は確信を動かすものであり、それ自体は経路についての事実にすぎません。

品質スコアと、その用途

分類器は2つの出力を出します。訪問者の種別——人間、検索クローラー、ライブラリー、データセンター、VPN、TOR、不明——と、1から100までの品質スコア、そしてその根拠となった理由です。入力は上で挙げたものに加えて、行動のシグナルもあります。同じアドレスが1分以内に同じリンクを何回叩いたか、リクエストがそもそも言語の指定を持っているか、ヘッダーの組み合わせがユーザーエージェントの名乗るプラットフォームと整合しているか、です。

このスコアは、意図的にスイッチではありません。スコアが低いという理由で何かが遮断されることはなく、スコアは判定を説明してレポートを支えるだけで、遮断は明示的に設定します。誤検知の代償は非対称です。人間として数えられたボットは割合を歪めるだけですが、ボットとして遮断された顧客はページにたどり着かず、そのことをあなたに伝えてもくれません。

種別、スコア、理由は地域とトラフィックの品質の内訳に表示され、その中でメディアバイヤーが手を伸ばすのがネットワークの一覧です。自律システム番号、プロバイダー名、その範囲の種別、そして総クリック数と人間によるクリック数が、別々の列に並びます。プロバイダーごとに見たこの最後の2列の差が、たいていはトラフィック購入のすべてを物語ります。全項目は地理分析に記載しています。

判定を意思決定に変える

判定は、それに基づいて何かが動けるときにだけ役に立ちます。トラフィックのフィルタリングルールは、順序付きの条件のリストをリンクに結び付け、リンク先が選ばれる前にエッジで評価し、最初に一致したルールが結果を決めます。ルールが1つもないリンクは、余分な処理を一切行いません。

ここで関係する条件は、訪問者の種別、検証済みクローラーかどうか、ネットワークの種別、品質スコアのしきい値で、これに地理、自律システム、アドレスリスト、デバイス、言語、参照元、ユーザーエージェントのパターン、キャンペーンタグ、現地時刻、初回の訪問か再訪かが加わります。結果は、通す、404で遮断する、410で遮断する、別のリンク先へ送る、ブランド適用済みのスタブページを表示する、あるいは訪問を疑わしいものとして印を付けたうえで通す、のいずれかです。

これを本番で動かして安全かどうかは、3つの設計上の細部で決まります。

条件は3値です。 満たされるか、満たされないか、データがなくて答えられないか——そして「答えられない」が一致として数えられることはありません。アドレスデータベースが利用できないとき、ネットワークの種別を条件にしたルールは発動せず、訪問者は通常のリンク先に到達します。フィルタリングは開く側に倒れ、閉じる側に倒れることはありません。

反転は、確信のある答えだけを裏返します。 「ドイツ以外の全員」と書いたルールが、国を特定できなかった訪問者に対して黙って発動することはありません。善意で書かれた地理のルールが障害に変わる原因として、これが最も多いものです。

「通す」があるのは、フィルターを監査できるようにするためです。 トラフィックを通したうえで一致した事実を記録するルールは、何かを遮断させる前にフィルターを試す方法そのものです。まず通すモードで動かし、「フィルター済み」の内訳を読み、想定どおりのものを捕まえていることを確かめてから、動作を変えます。

データセンターについての方針が1本のリンクの話であることはめったにないので、全体の方針はワークスペース全体のルールセットに置き、例外は——先に評価される——リンク自身のルールに載せて、全体の禁止の上に重ねます。監視対象の1本のリンクで自社の稼働監視が動き続けるのは、この仕組みによります。ルールとアドレスリストの上限はトラフィックルールのドキュメントにあります。

初回訪問のルールを書く前に、細部を1つだけ。初回の訪問と再訪を見分けるには、自分のリダイレクトドメイン上に小さなCookieが必要で、これはルールが実際にその問いを立てたときにだけ設定されます。ここにはプライバシー上の帰結があり、だからこそ既定で有効なのではなく、仕組みとして必要になったときにだけ有効になります。

クライアントへのレポートで何が変わるか

この作業が元を取るのはここで、その中身のほとんどは、どの数字をページに載せるかという話です。

| レポートの項目 | 品質のレイヤーがない場合 | ある場合 | | --- | --- | --- | | 見出しの数字 | クリック数 | 人間によるクリック数と、その横に並ぶ総クリック数 | | 構成 | なし | 人間、検証済みクローラー、データセンター、VPN、TOR、不明 | | プロバイダーの表 | ネットワークごとのクリック数 | ネットワークごとのクリック数と人間によるクリック数 | | フィルターされたトラフィック | 見えない | ルールごとの件数と、各ルールが実行した動作 | | 急増の説明 | 「火曜日に何かが起きた」 | その急増が来た種別とネットワーク |

そのレポートを、単に詳しいだけでなく正直なものにする習慣が2つあります。まず、両方の数字を必ず見せること。人間によるクリック数の横に総数がなければ、総数のほうが都合が悪かったのだろうという疑いを招きます。そして、何をどんな理由でフィルターしたのかを報告すること——一致したイベントごとにルールの識別子と動作が保存されているので、その後に編集したり削除したりしたルールについても、「フィルター済み」の内訳は正しく読めます。

代理店にとって、プロバイダーの表は商談の道具でもあります。量を送ってくるのに人間によるクリックがほとんどないネットワークは、仕入れ先と話し合うべき相手であり、その話し合いは合計値よりもプロバイダーごとの内訳があるほうが進めやすくなります。これがクライアントへの報告や支払いにどう収まるかは、代理店向けソリューションとアフィリエイト向けソリューションのページで扱っています。

この分野のベンダーがあまり口にしないことを、はっきり書いておきます。分類は確率的です。家庭向けのアドレスから本物のブラウザーを動かす本気のスクレイパーは人間として分類されますし、市場にあるどの製品も、それを見抜けるとは言えません。このレイヤーが取り除くのは、大量で、見分けやすく、自分の身元を偽らない大多数の自動化であり、残りを調べるための証拠を手渡します。確実だと匂わせるレポートは、いずれクライアントの前で間違えます。

実際に回る手順

1. 分析ではボットのフィルタリングを既定で有効のままにし、人間がそのリンクを見られたはずのない時点で始まった急増は、そうでないと分かるまで自動化トラフィックとみなします。
2. 見出しの数字より先に、構成の内訳を読みます。そのチャネルとしては異常な自動化の割合そのものが、1つの発見です。
3. ネットワークの一覧で、総クリック数と人間によるクリック数が大きく乖離しているプロバイダーを確認します。
4. 最初のルールは通すモードで書き、「フィルター済み」の内訳を1週間観察し、一致した件数が意図どおりに見えてから、遮断する動作へ昇格させます。
5. 検証済みクローラーは通したままにし、自社の監視はワークスペースの方針より上に置くリンク単位のルールで除外します。
6. 人間によるクリック数と総クリック数は一緒に報告し、フィルターした件数は黙って差し引くのではなく表示します。

根っこにある考え方は単純です。クリックはリクエストであり、リクエストには出どころがあり、出どころは計測できます。やる価値を生むのは、その二次的な効果のほうです。人間によるクリック数を分母にしたコンバージョン率は安定し、ホスティングの範囲を除いた地域別の内訳はインフラではなく市場を語り、そして自分のトラフィックの構成を一度見せられたクライアントは、その数字が本物かどうかを尋ねなくなります。