Bot-Traffic und Klickqualität: was Ihre Klickzahl wirklich zählt

Jeder Weiterleitungsdienst kann Ihnen sagen, wie viele Anfragen er beantwortet hat. Kaum einer kann Ihnen sagen, wie viele dieser Anfragen Menschen waren — und genau diese Zahl unterstellt jeder Bericht stillschweigend. Links leben im offenen Web: Sie werden indexiert, in Vorschauen geladen, gescannt, überwacht und abgegriffen, und vieles davon geschieht Sekunden nach der Veröffentlichung, bevor ein einziger Mensch den Beitrag gesehen hat.

Dieser Artikel handelt von der Schicht zwischen dem rohen Zähler und einer Zahl, die Sie im Kundentermin verteidigen können: welche Automatik Sie durchlassen wollen, warum die Identifizierung eines Crawlers über seinen Namen keine Identifizierung ist, was ein Netztyp beweist und wie daraus Regeln und ein ehrlicher Bericht werden.

Der rohe Zähler ist ein Anfragezähler

Eine Weiterleitungsmaschine zählt, was ankommt. Das ist ihre Stärke — sie funktioniert für Ziele, die Sie nicht kontrollieren, sie übersteht Blocker, und sie zählt den Scan eines QR-Codes von einem Plakat, der weder Session noch Referrer hat, wie unser Leitfaden zum Messen von Klicks auf Links beschreibt. Und genau deshalb braucht die Zahl eine Einordnung.

Der automatisierte Traffic, der einen Kurzlink erreicht, zerfällt in erkennbare Gruppen:

• Link-Scanner. E-Mail-Anbieter, Messenger-Plattformen und Sicherheits-Gateways rufen Links bei der Zustellung ab, um zu prüfen, wohin sie führen — deshalb sammelt ein Link schon in der Minute nach dem Versand Klicks, bevor die Zustellung überhaupt abgeschlossen ist.
• Vorschau-Abrufer. Soziale Netzwerke und Chat-Apps rufen den Link ab, um die Karte mit Titel und Bild zu bauen. Eine gut erzogene Weiterleitung beantwortet sie mit Metadaten, statt sie zu routen und zu zählen.
• Such- und SEO-Crawler. Suchmaschinen-Indexierer, dazu kommerzielle SEO-Werkzeuge, die alles crawlen, was sie finden.
• Monitore. Verfügbarkeitsprüfungen, auch Ihre eigenen. HEAD-Anfragen werden genau deshalb beantwortet, ohne einen Klick zu zählen.
• Scraper und Sonden. Preissammler, Adressernter und Scanner auf der Suche nach Links, die sie anderswohin umbiegen können.

Zwei dieser Gruppen sind Traffic, um den Sie gebeten haben, eine ist neutrale Infrastruktur, eine ist unerwünscht. „Bots blockieren“ behandelt sie alle gleich.

Gute Bots und das Einzige, was sie identifiziert

Ein User Agent ist eine Behauptung

Der User Agent ist ein Header, den der Absender selbst schreibt. Dort kann beliebiger Text stehen, eine Anfrage, die sich Googlebot nennt, beweist also nichts, und ein Scraper, der sich Chrome nennt, ist häufiger als einer, der zugibt, was er ist. Ein Abgleich auf den User Agent hat trotzdem seine Berechtigung — er erwischt Automatik, die sich ehrlich zu erkennen gibt, und stützt andere Signale —, aber im Klassifikator ist er ausdrücklich ein schwaches Signal: Er bestätigt, er entscheidet nicht.

Verifizierung prüft etwas, das der Absender nicht kontrolliert

Die Adresse, aus der eine Anfrage kommt, sucht sich der Absender in keinem brauchbaren Sinn selbst aus — und genau das macht sie zum richtigen Prüfgegenstand. Dafür gibt es zwei Wege.

Manche Betreiber veröffentlichen die Bereiche, die ihre Crawler benutzen. Google, Bing und Apple tun das, und diese Dateien werden einmal täglich in ein schnelles Nachschlagewerk gezogen — eine Anfrage aus einem gelisteten Bereich ist damit bestätigt, ohne dass zur Anfragezeit Netzwerkarbeit anfällt.

Für Crawler ohne veröffentlichte Liste — Yandex, DuckDuckGo, Baidu, Petal — ist die Verifizierung eine zweistufige Namensprüfung, und beide Stufen sind Pflicht:

Claim: "Googlebot" in the user agent

Step 1  reverse lookup of the address
        <address>  ->  crawl-<address>.googlebot.com   ends in the crawler's domain
Step 2  forward lookup of that name
        crawl-<address>.googlebot.com  ->  <address>    matches the original address
        verdict: verified crawler

Same claim, different address

Step 1  203.0.113.9  ->  host9.example-hosting.net     not the crawler's domain
        verdict: not verified, the claim is rejected

Die Vorwärtsstufe ist nicht optional. Wer einen Adressblock kontrolliert, kann dessen Rückwärtseintrag meist auf einen beliebigen Wert setzen, ein Rückwärtsname allein lässt sich also erfinden. Erst wer diesen Namen vorwärts auflöst und die ursprüngliche Adresse zurückbekommt, schließt den Kreis.

Das CDN vor der Weiterleitung nimmt zusätzlich eine eigene Einordnung verifizierter Bots vor — ein Urteil, das der Absender nicht fälschen kann und dessen Auslesen nichts kostet. Die Bestätigung wird deshalb in absteigender Reihenfolge der Autorität genommen: veröffentlichte Liste, CDN-Verifizierung, Namensprüfung rückwärts und vorwärts, dann die Zugehörigkeit zu einem als Suchmaschinen-Crawler bekannten Bereich in der Adressdatenbank.

Warum die Namensprüfung nie läuft, während ein Besucher wartet

Eine Rückwärtsauflösung ist eine Netzwerkanfrage mit unvorhersagbarer Latenz, und die Weiterleitung ist die eine Stelle, an der Millisekunden für einen Menschen sichtbar sind — sie läuft deshalb nie synchron. Fragt eine Regel, ob ein Crawler verifiziert ist, und die Antwort liegt nicht im Cache, behandelt die Regel ihn als nicht verifiziert, die Auflösung läuft im Hintergrund, und beim nächsten Klick aus derselben Adresse liegt die Antwort bereit. Der Irrtum in Richtung „nicht verifiziert“ kostet eine korrekte Einordnung; der Irrtum in Richtung einer synchronen Auflösung kostet einen echten Menschen bei jeder Anfrage Wartezeit.

Der Netztyp ist Kontext, kein Urteil

Unabhängig davon, was ein Besucher zu sein behauptet, hat der Adressbereich, aus dem er kam, einen bekannten Charakter. Die kommerzielle Adressdatenbank dahinter teilt Bereiche in einen kleinen Satz von Typen ein:

| Typ | Was der Bereich ist | Anteil an den IPv4-Bereichen der Datenbank | | --- | --- | --- | | Nicht gelistet | Gewöhnliche Adressen, überwiegend Endkunden und Firmen | 72,1 % | | Rechenzentrum, Hosting, Cloud | Server, Cloud-Instanzen, gehostete Browser | 15,3 % | | Offener Proxy | Offene Relays, über die jeder routen kann | 9,2 % | | Kommerzielles VPN | VPN-Dienste für Endkunden und Unternehmen | 3,2 % | | Suchmaschinen-Crawler | Bereiche, die bekanntermaßen Crawlern gehören | 0,17 % | | TOR-Exit-Knoten | Austrittspunkte des TOR-Netzes | 0,005 % | | Web-Anonymisierer | Proxy-Seiten im Browser | 0,005 % |

Lesen Sie diese Tabelle sorgfältig, denn sie lädt zum Missverständnis ein. Das sind Anteile an den Adressbereichen in einer Referenzdatenbank, nicht Anteile am Traffic von irgendjemandem. Ein einziger Endkunden-Bereich eines Providers versorgt riesige Mengen an Menschen; ein Hosting-Bereich versorgt womöglich niemanden. Die Tabelle sagt, welche Kategorien es gibt und wie fein sich der Adressraum auf sie verteilt — und nichts darüber, was Ihre Kampagne bekommen hat.

Die Deutung wiegt schwerer als die Zahlen. Eine Adresse aus einem Rechenzentrum bedeutet keinen Bot. Firmennetze routen ihre Mitarbeiter über Cloud-Infrastruktur, datenschutzbewusste Verbraucher benutzen kommerzielle VPNs für alles, auch fürs Einkaufen, und gehostete Browser sind eine ganz normale Art, im Web zu lesen. Löschen Sie jeden Klick aus einem Rechenzentrum, dann löschen Sie echte Kunden. Der Netztyp verschiebt die Sicherheit; für sich allein ist er eine Tatsache über Routing.

Die Qualitätsbewertung und wofür sie da ist

Der Klassifikator liefert zwei Ausgaben: einen Besuchertyp — Mensch, Suchmaschinen-Crawler, Programmbibliothek, Rechenzentrum, VPN, TOR oder unbekannt — und eine Qualitätsbewertung von 1 bis 100 samt den Gründen dahinter. Die Eingänge sind die oben genannten plus Verhaltenssignale: wie oft dieselbe Adresse denselben Link innerhalb einer Minute trifft, ob die Anfrage überhaupt eine Sprachpräferenz mitbringt und ob der Satz der Header zu der Plattform passt, die der User Agent behauptet.

Die Bewertung ist mit Absicht kein Schalter. Nichts wird blockiert, weil die Bewertung niedrig ist; sie erklärt ein Urteil und speist die Berichte, während das Blockieren ausdrücklich konfiguriert wird. Der Preis eines Fehlalarms ist asymmetrisch: Ein Bot, der als Mensch gezählt wird, verzerrt einen Prozentwert — ein Kunde, der als Bot blockiert wird, erreicht die Seite nie und sagt Ihnen auch nie Bescheid.

Typ, Bewertung und Gründe erscheinen in den Aufschlüsselungen zu Geografie und Traffic-Qualität, wo Media-Buyer als Erstes zur Tabelle der Netze greifen: Nummer des autonomen Systems, Name des Anbieters, Typ des Bereichs, Klicks insgesamt und menschliche Klicks in getrennten Spalten. Der Abstand zwischen den letzten beiden, je Anbieter, ist meist die ganze Geschichte eines Traffic-Einkaufs. Der vollständige Umfang steht in der Geo-Analytics-Dokumentation.

Aus einem Urteil eine Entscheidung machen

Ein Urteil nützt nur, wenn etwas darauf reagieren kann. Regeln zur Traffic-Filterung hängen eine geordnete Liste von Bedingungen an einen Link, ausgewertet an der Edge, bevor das Ziel feststeht, und die erste passende Regel entscheidet über den Ausgang. Ein Link ohne Regeln führt überhaupt keine zusätzliche Arbeit aus.

Die hier einschlägigen Bedingungen sind Besuchertyp, Status als verifizierter Crawler, Netztyp und ein Schwellenwert für die Qualitätsbewertung, dazu Geografie, autonomes System, Adresslisten, Gerät, Sprache, Referrer, User-Agent-Muster, Kampagnen-Tags, lokale Uhrzeit und Erstbesuch gegenüber Wiederbesuch. Die Ausgänge: durchlassen, mit 404 blockieren, mit 410 blockieren, woandershin weiterleiten, eine Hinweisseite in Ihrer Marke zeigen oder durchlassen und den Besuch dabei als verdächtig markieren.

Drei Entwurfsdetails entscheiden darüber, ob sich das im Produktivbetrieb gefahrlos einsetzen lässt.

Bedingungen sind dreiwertig. Erfüllt, nicht erfüllt oder unbeantwortbar, weil die Daten fehlen — und unbeantwortbar zählt nie als Treffer. Ist die Adressdatenbank nicht verfügbar, greift eine Regel auf den Netztyp nicht, und der Besucher landet am normalen Ziel. Die Filterung fällt im Zweifel offen aus, nie zu.

Eine Umkehrung dreht nur sichere Antworten um. Eine Regel, die „alle außer Deutschland“ heißt, greift nicht klammheimlich bei Besuchern, deren Land sich nicht bestimmen ließ. Das ist der häufigste Weg, auf dem aus einer gut gemeinten geografischen Regel ein Ausfall wird.

Durchlassen gibt es, damit Filter prüfbar sind. Eine Regel, die Traffic durchlässt und lediglich festhält, dass sie gegriffen hat, ist der Weg, einen Filter zu testen, bevor er irgendetwas blockieren darf: im Durchlass-Modus laufen lassen, die Aufschlüsselung „Gefiltert“ lesen, bestätigen, dass er das erwischt, was Sie erwartet haben, und dann die Aktion ändern.

Legen Sie die allgemeine Richtlinie in den Regelsatz auf Workspace-Ebene, denn eine Richtlinie über Rechenzentren betrifft selten einen einzelnen Link, und benutzen Sie dann die eigenen Regeln eines Links — die zuerst ausgewertet werden —, um Ausnahmen über dem allgemeinen Verbot zu tragen. So arbeitet Ihr Uptime-Monitoring an dem einen Link weiter, den es beobachtet. Die Obergrenzen für Regeln und Adresslisten stehen in der Dokumentation zu Traffic-Regeln.

Ein Detail, bevor Sie eine Regel auf den Erstbesuch schreiben: Einen Erstbesuch von einem Wiederbesuch zu unterscheiden verlangt ein kleines Cookie auf Ihrer Weiterleitungsdomain, gesetzt nur dann, wenn eine Regel diese Frage tatsächlich stellt. Das hat Folgen für den Datenschutz — deshalb ist es eine Entscheidung, die der Mechanismus selbst verlangt, und keine Voreinstellung.

Was sich im Kundenbericht ändert

Hier zahlt sich die Arbeit aus, und es geht dabei vor allem darum, welche Zahlen auf die Seite kommen.

| Zeile im Bericht | Ohne Qualitätsschicht | Mit einer | | --- | --- | --- | | Leitzahl | Klicks | Menschliche Klicks, daneben die Klicks insgesamt | | Zusammensetzung | Fehlt | Mensch, verifizierter Crawler, Rechenzentrum, VPN, TOR, unbekannt | | Anbietertabelle | Klicks je Netz | Klicks und menschliche Klicks je Netz | | Gefilterter Traffic | Unsichtbar | Menge je Regel, dazu die Aktion jeder Regel | | Erklärung eines Ausschlags | „Am Dienstag ist etwas passiert“ | Typ und Netz, aus denen der Ausschlag kam |

Zwei Gewohnheiten machen diesen Bericht ehrlich und nicht bloß ausführlich. Zeigen Sie immer beide Zahlen: Eine Angabe zu menschlichen Klicks ohne die Gesamtzahl daneben weckt den Verdacht, dass die Gesamtzahl unbequem war. Und berichten Sie, was Sie gefiltert haben und warum — weil Regelkennung und Aktion in jedem getroffenen Event liegen, liest sich die Aufschlüsselung „Gefiltert“ auch für Regeln richtig, die Sie inzwischen geändert oder gelöscht haben.

Für Agenturen ist die Anbietertabelle zugleich ein kaufmännisches Instrument: Ein Netz, das Menge schickt und dabei fast keine menschlichen Klicks, ist ein Gespräch mit einem Lieferanten — und dieses Gespräch führt sich mit einer Aufschlüsselung je Anbieter leichter als mit einer Summe. Unsere Seiten zu Lösungen für Agenturen und Lösungen für Affiliates zeigen, wie sich das in Kundenberichte und Auszahlungen einfügt.

Eines sei klar gesagt, weil Anbieter in dieser Kategorie es meist nicht sagen: Die Klassifizierung ist wahrscheinlichkeitsbasiert. Ein entschlossener Scraper, der einen echten Browser aus einer Endkunden-Adresse fährt, wird als Mensch eingeordnet, und kein Produkt am Markt wird Ihnen etwas anderes erzählen. Diese Schicht entfernt die große, einfache, sich selbst zu erkennen gebende Mehrheit der Automatik und gibt Ihnen Belege, um den Rest zu untersuchen. Ein Bericht, der Gewissheit suggeriert, wird irgendwann vor einem Kunden falsch sein.

Eine Abfolge, die funktioniert

1. Lassen Sie die Bot-Filterung in Analytics standardmäßig eingeschaltet und behandeln Sie jeden Ausschlag, der beginnt, bevor ein Mensch den Link gesehen haben kann, bis zum Beweis des Gegenteils als Automatik.
2. Lesen Sie die Aufschlüsselung der Zusammensetzung vor der Leitzahl. Ein für den Kanal ungewöhnlicher Anteil an Automatik ist selbst schon der Befund.
3. Prüfen Sie in der Tabelle der Netze, bei welchen Anbietern Klicks insgesamt und menschliche Klicks scharf auseinanderlaufen.
4. Schreiben Sie die erste Regel im Durchlass-Modus, beobachten Sie die Aufschlüsselung „Gefiltert“ eine Woche lang und schalten Sie sie erst dann auf eine blockierende Aktion um, wenn die getroffene Menge so aussieht, wie Sie es gemeint haben.
5. Lassen Sie verifizierte Crawler weiter durch und nehmen Sie Ihre eigenen Monitore mit einer Regel auf Link-Ebene über der Workspace-Richtlinie aus.
6. Berichten Sie menschliche Klicks und Klicks insgesamt gemeinsam und weisen Sie die gefilterte Menge aus, statt sie still abzuziehen.

Der Gedanke dahinter ist einfach: Ein Klick ist eine Anfrage, eine Anfrage hat eine Herkunft, und Herkunft ist messbar. Was die Mühe lohnt, ist der Effekt zweiter Ordnung. Conversion-Raten, die gegen menschliche Klicks gerechnet werden, sind stabil, geografische Aufschlüsselungen ohne Hosting-Bereiche beschreiben Märkte statt Infrastruktur, und ein Kunde, dem man die Zusammensetzung seines Traffics einmal gezeigt hat, hört auf zu fragen, ob die Zahlen echt sind.