Wie kann ich Trafficvolumina von völlig fremden Projekten analysieren? (Bit.ly-Variante)

Bei einem dieser szenetypischen Verkaufsvorträge aus dem Bereich „Influencer-Marketing“/“Social-Media-Marketing“ tauchte die Frage der Überprüfbarkeit(en) diverser Werthaltigkeitsprognosen auf. Während meiner Nachfragen und Gesprächsangebote wurde signalisiert, dass die Abgabe solcher Prognosen schwer sei und die Prognosen eher auf subjektiven Begriffen wie „zwischenmenschliche Kontakte zum Influencer“ und „Erfahrungen“ beruhen. Nun gebe ich mich mit Subjektivitäten nur ungern zufrieden und mache mich selbst auf die Suche nach Antworten.

Eine bei uns etablierte Prüfvariante basiert auf dem URL-Shortener „Bit.ly“ und dessen Analysevarianten, die offensichtlich vielen Dienstleister_innen / Analysebetreibenden gar nicht so bekannt sind.

Kurzer Zwischenabsatz: Was ist eigentlich ein URL-Shortener? Wikipedia schreibt dazu:

„Unter einem Kurz-URL-Dienst, engl. URL Shortener, versteht man einen Dienst, der für beliebige URLs existierender Webseiten eine zweite, alternative URL zur Verfügung stellt. Diese Alias-URL führt über eine HTTP-Weiterleitung zum Aufruf der ursprünglichen Webseite. Der auch short URL, URL alias oder Kurzlink genannte Alias besteht meist aus wenigen (ASCII-)Buchstaben oder Zahlen. Dies dient dazu, für unhandliche, große sowie problematische Sonderzeichen enthaltende URLs, kurze und unproblematische Aliase (besser zu merken, schneller einzugeben, …) bereitzustellen. Solche URLs finden sich vor allem bei Websites, die mit Datenbankvariablen operieren. Weit verbreitet ist die Nutzung von Kurz-URLs auch in Mikroblogging-Diensten und Status-Meldungen in sozialen Netzwerken, die beide nur eine begrenzte Anzahl von Zeichen pro Nachricht erlauben. Um die Weiterleitung von Kurzlinks anzuzeigen, ohne sie zu besuchen, können „Redirect Checker“ verwendet werden.“

(Quelle: https://de.wikipedia.org/wiki/Kurz-URL-Dienst)

Hier gibt es zwei Verfahren:

[Manuell]

Möchte man sich die Daten in einem schönen und logisch aufbereiteten Überblick anschauen, geht man so vor:
-> Schauen, ob ein Objekt mit einer Bit.ly-URL hinterlegt ist
-> Ergänzung der Bit.ly-URL mit einem „+“ und Übertrag in den Browser (Beispiel: https://bitly.com/2JJBUJC+)
Für erweiterte Daten (Ref, Land etc.) benötigt man einen Account auf Bit.ly, wo man nach Einloggen und Bestätigen an die gewünschten Informationen kommt.

[Technisch/Maschinell]

An der Stelle kommt der etwas kompliziertere Technikteil. Zur Erklärung: Nachfolgend zeige ich die interessanten Endpoints mit einer Durchnummerierung, welche wichtig für die Darstellung eines groben Algorithmuskonzeptes sein wird.

Um alle Funktionen nutzen zu können, benötigt die Anwenderin diesen Token. Den Code bekommt man, indem folgende Anleitung durchgeführt wird: „How do I find my OAuth access token?„. Nach der Tokenorganisation sollte man sich selbstverständlich mit den Abfragevolumina beschäftigen. Hier meine ich, dass 100 Abfragen je Minute ganz okay sind, jedoch definitiv nicht ausreichen, um bspw. gewaltige Systeme im Umfang von Zalando auch nur im Ansatz analysieren zu können. Das Problem löst man entspannt, indem man sich die gewünschte Menge an Accounts und Tokens besorgt. Die Tokens werden in einem solchen Fall in einer entsprechenden Liste gespeichert (Text, DB) und der Abfragealgorithmus „kann“ sich dort auch per Zufallsgenerator „bedienen“.

(1) [Basisfunktionen]
Ich nutze diese Endpoints gern für Gegenproben und allgemeine Recherchearbeiten.
https://api-ssl.bitly.com/v3/link/info?access_token=deintoken&link=bitlyurl
Die auslesbaren Informationen zeigen einen Fehlercode (bspw. Crawlingprobleme, „N/A“ usw.) und die Metriken „original_url“, „canonical_url“.

(2) [Auslesen der generierenden Accounts, „Encoders“]
https://api-ssl.bitly.com/v3/link/encoders?access_token=deintoken&link=bitlyurl
Die auslesbaren Informationen zeigen die Accounts, welche die analysierte URL bearbeitet/eingestellt hatten.

(3) [Auslesen der Querverweise inkl. Traffic]
Habe ich nun eine eindeutig identifizierbare URL vorliegen, interessiere ich mich selbstverständlich für die Beantwortung folgender Fragen:
(a) Wo befindet sich die aktive URL?
(b) Wieviel Traffic generiert die aktive URL über DEN identifizierten Linkspender?

Diese Informationen lassen sich über den folgenden „Endpoint“ Abrufen:
https://api-ssl.bitly.com/v3/link/referrers?access_token=deintoken&link=bitlyurl

Datenstruktur:
data->referrers[nr.]->referrer // -> Linkplatz
data->referrers[nr.]->click // -> Click über den Linkplatz

Eine alternative Variante ist über das Auslesen der verweisenden Domain machbar und logisch, sofern man sich nicht für den Deeplink innerhalb eines Projektes/einer Domain interessiert. Ich habe diesen Endpoint nie angebunden, weil primär die Unterseite der verweisenden Domain spannend ist
https://api-ssl.bitly.com/v3/link/referring_domains?access_token=deintoken&link=bitlyurl

(4)[Clickstatistiken, allgem.]
https://api-ssl.bitly.com/v3/link/clicks?access_token=deintoken&link=bitlyurl
Dieser Endpoint wirft nur die Clickanzahl zurück, die über den Link kommt.

(5)[Clickstatistiken, nach Ländern.]
https://api-ssl.bitly.com/v3/link/countries?access_token=deintoken&link=bitlyurl
Dieser Endpoint wirft nur die Clickanzahl zzgl. der Länder der Clickenden zurück. Hierbei handelt es sich um die Ländercodes. Diese müssten natürlich bei einer Softwareumsetzung in leicht verständliche Zeichenketten + Flaggen etc. umgewandelt werden.

Ein mögliches Umsetzungskonzept sieht so aus:
[1] Token besorgen
[2] Sitemap der Analyseprojekte besorgen UND zusammengefasste URLs extrahieren
[2.1] extrahierte URLs in geeignete Liste/Datenbank speichern
[2.2] Sitemapdownload/URLextract in eine Prozedure fassen
[3] Scraper
[3.1] Lade URL-Liste
[3.2]
for lfnr=0 to ende(URL_Liste) do
begin
//-> extrahiere Querverweise zzgl. Clicks
httpget+extract(3)
//-> extrahiere Clicks nach Ländern
httpget+extract(5)
end

Ich besprach u.a. dieses Konzept und eine konkrete Umsetzung 2015 beim Affiliatestammtisch (Leipzig) und ich bin mit der „hauseigenen“ Lösung soweit zufrieden.

Einige Performancedaten sind:

URL-Liste mit 100-5000 Einträgen
– Datenerfassungsdauer: ca. 1 Stunde

URL-Liste mit 5000-10.000 Einträgen
– Datenerfassungsdauer: ca. 1-2 Stunden

Die W&L-GbR-Lösung basiert derzeit (noch) auf die Datenspeicherung via CSV. Das liegt u.a. daran, dass ich erst sehr spät den Wert von „richtigen“ Datenbanken wie SQL & SQLite erkannt habe. Wie auch immer: Die Erfassung der o.g. Daten verlangt natürlich auch die Etablierung diverser Auswertungsansätze, weil man nicht aus purem „Selbstzweck“ diese Daten erfasst. Ich sehe folgende Szenarien, bei der die Bit.ly-Variante zum Einsatz kommen kann:

[Konkurrenzscreening]

Die typische „SEO-Denke“ geht (leider) immer davon aus, dass das Sichten via Datendienstleister (XOVI, Sistrix) und Backlinks/Backlinkstrukturen für die Marktbegutachtungsaktivitäten ausreicht. Das stimmt leider so nicht, denn diese Ansätze liefern keinerlei transparente Einblicke in mögliche Traffic- und Traffic-via-Zielgruppeninformationen. Hier rate ich schon seit 2011 zu einer projektbezogenen Einbindung einer „Nutzwertanalyse“. Die Analyse via Bit.ly-API kann bei dauerhaftem Monitoren komplexer Sitemaps eben genau aussagen, wann welche Trafficqualität über welche Social Media/Backlinks zum beobachteten Objekt kam und kommt.

[Influencermarketingbeurteilungen]
Bei dieser Variante kann man auf das umfangreiche Scrapen diverser Sitemaps verzichten und manuell die typischen Promotionslinks in den Scraper eintragen.
Ist die Erfassungsprozedure entsprechend konfiguriert, lassen sich VOR der Inanspruchname einer Influencermarketingagentur/Influenceraccounts Prognosen zu:
(a) Länderspezifische Trafficströme
(b) Clickstatistik/Zeiteinheit (Tag, Woche etc.)
(c) Weiterempfehlung des [Werbe]links, gezeigt durch „Streueffekt“
anstellen. Ich empfehle analog zu den allgemeinen Verkaufsargumenten der Sparte „Influencermarketing“ genau diese Gegenprüfvariante.

[Backlinkrecherchen und Backlinkaquise]

Diesen Ansatz hatte ich – zusammen mit Anne – bereits während den Arbeiten an den Projekten der Empora Fashion Group aufgestellt. Wenn man also bei schwierigen Projektlagen (damals: Mode, viele Produkte etc.) sich bewusst die Konkurrenz via Bit.ly-Analysen anschaut, lassen sich eben über den Ref-Endpoint plötzlich Linkspender identifizieren, welche durch die Zusammenführung mit den Clickzahlen Trafficvolumina versprechen können. Verlinkungen machen nur dann Sinn, wenn eben der gesetzte Link nicht primär im Sinne der „SEO-Denke“ wirkt, sondern Zielgruppen anspricht und via Gegenprobe auf Konkurrenzprojekte auch saubere Clickgestaltungen (Historie, Land etc.) quasi „verspricht“.

Weitere Gedanken, Ideen oder Austauschwunsch? Gerne via Kommentar, e-Mail oder Anfragen.