Google-Trends, Auslesen: Update

https://trends.google.com/trends/api/widgetdata/multiline/csv?req={"time":"2019-01-27 2020-01-27","resolution":"WEEK","locale":"de","comparisonItem":[{"geo":{"country":"DE"},"complexKeywordsRestriction":{"keyword":[{"type":"BROAD","value":"hannes"}]}}],"requestOptions":{"property":"","backend":"IZG","category":0}}&token=[DeinToken]&tz=-60

Die URL lässt sich bei GTrends nach entsprechender Analyse des Downloads via G-Chrome -> Netzwerk nachvollziehen. Eine quasi-dynamische Generierung entsprechender URL-Listen via Quelle „Keywords“ ist möglich und ich denke heute über eine Integration in das InstaLOC-Reportingsystem nach.

Hinweis(e):

csv? -> json? entspricht dem Exportformatwechsel.

Mini-„Recap“ zur OTMR2019

Am 11. 10. besprach ich mit interessierten Teilnehmer_innen einige Aspekte der Arbeiten an den Datenbanksystemen rund um „InstaLoc2.0“.

Die Veranstaltung wurde von der sympathischen Kanzlei „Spirit Legal“ organisiert und meine anfängliche Skepsis (Inhalte, hoher Verkaufsdruck) wurde durch diverse Vorabgespräche und die Speakerliste beseitigt.

Aber nun zu den Eindrücken.

Die Veranstaltung startete mit einer Keynote von Glacier Kwong und hier wurde das interessierte Publikum über die aktuelle Situation in HongKong und Überwachungstendenzen seitens der staatlichen Obrigkeit(en) und Konzernen via Daten/BigData informiert. Obwohl die dargebotenen Informationen für mich (privat+geschäftlich) nicht neu waren, passte diese Keynote sehr gut. Der Grund ist: man muss permanent auch in der professionellen Benutzung und Verwertung der Plattformen auf die Gefahren des Mißbrauchs hinweisen.

Wegen meinem Interesse an u.a. konkreten Einsatzszenarien der Ergebnisse aus dem Feld der datengetriebenen Marktforschung schaute ich mir die Session von Petra Lukaschewski und Michael Benz an.

Michael Benz stellte in einem ca. 30 Minuten-Slot die Funktionsweise(n) und Logiken von „Whyapply“ vor. Es geht hierbei um eine besondere Form der Mitarbeiter_innen-Akquise via Einholen von groben Projektideen zwecks Vorabsichtung potentiell interessanter Köpfe. Soweit ich das System verstanden habe, veröffentlichen pot. Arbeitgeber_innen bei Whyapply eine besondere Form der Wettbewerbe um Ideen zur Lösung aktueller (Mini)probleme.

Petra Lukaschewski klärte das interessierte Publikum zum nachhaltigen Teamaufbau auf. Mich faszinierte hier, dass offensichtlich ein enormer Nachholebedarf beim Management konkreter Arbeits+Gehaltsverhandlungen existiert und die Gesprächspartner_innen gerade auch im Kampf um die besten Köpfe (offensichtlich) externe Hilfe zwingend notwendig eingekauft werden muss.

Ganz kurz schaute ich in den Vortrag von Dr. Jonas Kahl und Thomas Busch rein. Beide sprachen erstaunlich praxisnah über die Arbeit am Problem der Sperr- u. Löschpraxis von u.a. Tweets u. Twitteraccounts. Mir wurden hier einige Beispiele präsentiert und wir diskutierten auch über technische Muster und das Problem, dass engagierte Anwält_innen (leider) wenig Zugang zu uns Nerds haben. Vielleicht ergeben sich hier in den eventuellen Nachgesprächen weitere Kommunikationskanäle?

Fazit:

Wenn ich mir den üblichen Szene/Branche-Veranstaltungskatalog anschaue, sticht die OTMR durch den klaren Bezug auf einen richtigen Austausch von Expertenwissen hervor. Branchentypische Verkaufsgespräche entdeckte ich nicht und ich kann den Besuch dieser Veranstaltung definitiv empfehlen. Zielgruppen wären: Entscheidungsträger_innen aus sämtlichen Marketingsparten, Geschäftsführer_innen mit Bezug u./o. Entscheidungsbedarf rund um die Marketingstrategien und sämtliche Marketingdienstleister_innen inkl. Agenturen.

Ein Engagement bei der OTMR2020 ist für mich aktuell denkbar. :-)

Instagram scrapen: ohne Token, Teil 2

Diverse Änderungen zwangen mich zur Recherche nach weiteren Endpoints mit inkl. JSON-Export

1. Suche nach Orten

//www.instagram.com/web/search/topsearch/?context=place&query=%22germany%22

2. Suche nach Accounts (öffentliche)

//www.instagram.com/web/search/topsearch/?context=user&query=%22germany%22

3. Suche nach Orten UND Accounts

//www.instagram.com/web/search/topsearch/?context=blended&query=%22germany%22

4. Suche nach Orten, Variante mit Pseudotoken

https://www.instagram.com/graphql/query/?query_hash=ac38b90f0f3981c42092016a37c59bf7&variables={%22id%22:%22236942553%22,%22first%22:12,%22after%22:%22XXXXXXXX%22}

Notiz: Query_Hash ggf. gegenprüfen und Alternativen organisieren!

Tensorboard, div. Tutorials (Sammlung)

Basics

How to Use TensorBoard?“ (Grundlagenartikel zum Verständnis der Funktionsweisen)

What is the word embedding in Tensorflow with Tensorboard’s Embedding projector“ (Grundlagenartikel mit einfachen Importfunktionen für den Projector)

Anaconda / Git (allgem. Artikel mit Erklärung zur Installation v. Git auf Anaconda)

gensim2tensorboard (“ Train word embeddings with gensim and visualize them with TensorBoard.“)

TensorFlow and deep learning, without a PhD (Tutorial, recht einfach gehalten)

InstaLOC. Wechsel der Datenerfassung und Konzepterweiterung

Um die Jahreswende veranlasste ich den angekündigten Wechsel der Datenerfassungstechnologie. Im Zuge dessen fanden konzeptionelle „Brainstormings“ bzgl. einer Abstrahierung sämtlicher Auswertungsansätze statt. Dies bedeutet, dass die Erkenntnisse aus dem Instagramuniversum auf weitere Plattformen und deren offenen Schnittstellen angewendet werden. Beispiele hierfür sind – aktuell – Twitter, Youtube, Pinterest, Tumblr und in bestimmten / eng gefassten Ansätzen Weibo + Facebook.

Interessant(er) geworden sind die Erkenntnisse aus den Zusammenführungen der anonymisierten InstaLOC-Rohdaten mit Openstreetmap. Folgende Datei / Tabelle verdeutlicht den aktuellen Datenbestand auf Basis von ca. 1.4Mio / 2.5 Mio abgeglichenen Geodaten:

Download: Instaloc_ Datenbestand/Statistik (Ergebnisse aus der Prüfung auf eine ca. 60GB umfassende SQLite-DB)

Die Datei beschreibt die Auflistung aller erfassten Länder nach Aufsummierung der codierten User, der Postings und – im experimentellen Status – der Aktiviäten in Form der Aufsummierten Zeitstempel. Hochinteressant ist die Position von Deutschland, was Rückschlüsse auf die Landesrolle im Sinne des Marketings auf der Plattform vermuten lässt.

In den nächsten 2 Wochen werde ich mich tiefergehender mit diversen Datamining- und Datenauswertungsvarianten auseinander setzen und nach Visualisierungsoptionen recherchieren. Die (Teil)fokussierung auf Geodaten erzwingt bspw. die Anbindung an die bekannten Maps-Services (Googlemaps, Openstreetmap etc.).

Gesprächsanfragen bitte an office(at)pontipix.de senden. Freigaben von Informationen und das Zulassen tiefergehender Gespräche werden in einem 4er Team diskutiert.

SQLite, Delphi und Unicode

Gestern bereinigte ich einen Bug in den Systemen von „InstaLOC“. Hierbei ging es um eine Aufbereitung der Locationdatensätze (1.7Mio) in eine leichter lesbare Form. Aufgefallen war mir, dass bspw. chinesische Zeichen in Form von „???“ beim Auslesen und Übertragen dargestellt wurden. Dies ist das Unicode-Problem und meine Lösung war simpel: Wechsel der Spaltenvariable von „VARCHAR“ auf „STRING“.

Notiz: Instagramaccount aufräumen und effektiv managen.

Vor einigen Tagen beschloss ich eine Neuausrichtung meines Accounts und stand vor folgenden Problemen:

(1) Wie kann man extrem schnell und mit möglichst wenig Aufwand uralte Beiträge entfernen?
(2) Wie räumt man schnell und effektiv die Aboliste auf?

Ninjagram und ähnliche Systeme wurden gesichtet und getestet. Hier stellte ich einen hohen Zeitaufwand fest und landete bei der Android-App „Cleaner for Instagram„. Das Werkzeug erlaubt das Entfernen von mehreren 1000 Beiträgen per Stapelverarbeitung, filtert Abos nach Aktivitäten (Follow / NON-Follow / Interaktionsfreudigkeiten etc.) und kostet – je nach Funktionsumfang – zwischen 3,09 € bis 4,89 €.

Projekt InstaLOC, Aktuelle Statistiken

Der aktuelle Datenbestand umfasst:

587.903 Locations inkl. Geocodes, IDs und Namen
12.669.502 Unique Tagclouds
5.633.457 Beiträge ohne Locationzuordnung
8.516.617 Beiträge mit Locationzuordnung
4.863.200 codierte User
10.700.170 Unique Zeitstempel (Beiträge)

Die Masterdatenbank umfasst alle erfassten Datensätze und die Scrapingtechnologie schafft das genannte Volumen innerhalb von 3-4 Werktagen.

Datenbanken, Bigdata und die Aufbereitung der Abfragen

Nach Durchsicht der aktuellen Datenbasis aus den Projekten „HashtagDB“ und „InstaLOC“ musste ich etwas nachdenken und mir eine Lösung zur Aufbereitung der extremen Datenfülle überlegen. Das Problem ist, dass zwar via SQLite-Studio und der integrierten SQL-basierten Abfragemöglichkeiten gute Abfrage- und Auswertungsmöglichkeiten vorliegen, jedoch lassen sich keinerlei Gewichtungsprozeduren hier realisieren. Ein angedachter Lösungsweg war die Anbindung von Excel via der bereitgestellten API. Trotz (technischer) Realisierbarkeit tauchten auf verschiedenen Rechnern immer wieder Ressourcenprobleme auf. Ich entschied mich heute (final) für eine 3-Stufenlösung:

(1) Vorgewichtung
Die Vorgewichtung erfolgt via SQLite-Studio in Form der – hier dokumentierten – Abfragen. Wir, oder ein geschulter Externer, setzen entsprechende Metaebenenanfragen an die Datenbanken ab und extrahieren die Ergebnisse im Standard-CSV-Format.
Metaebenenanfragen können sein:
(a) Gib mir alle Tagwolken aus dem Zeifenster 08-2018 aus, die mind. zum Inhalt „urlaub“ haben und in dem Raum Leipzig gepostet wurden.
(b) Zeige mir die beliebtesten Postings aus dem Raum Berlin mit Inhalt „Schmuck“.

(2) Nachgewichtung
Die Nachgewichtung erfolgt hier mit Hilfe einer kleinen Software. Diese importiert die Ergebnisse aus der „Vorgewichtung“ und liefert über geeignete Berechnungsfunktionen Interpretationshinweise zu:
(a) Welche Beziehungen existieren zwischen den Hashtags?
(b) Welche Beziehungen existieren zwischen den Tags, den Locations und den aktiven Accounts?
(c) Wer gewichtet Trends in welchem Zeitfenster, an welcher Location?

(3) Interpretation und Reporting
Die Nachgewichtungssoftware exportiert die generierten Gewichtungsergebnisse in ein geeignetes Standarformat, welches von Openoffice und Excel akzeptiert wird. Die grafische Auswertung und die Aufbereitung für nachgelagerte Beratungsgespräche und Interpretationen im Team / bei den Kund_innen findet genau in diesem Umfeld statt.

Privat vertrete ich den Anspruch an die absolute Transparenz bzgl. der Rohdaten / der Datensätze. Ich habe aber auch, nach verdammt vielen Diskussionen, verstanden, dass 4-20GB große Datensätze von Geschäftsfreund_innen und Kund_innen nicht behandelbar sind. Daher der skizzierte Kompromis der Aufbereitung via Excel, Powerpoint & Co. und Quercheck auf die gefilterten Daten aus der „Nachgewichtung“.

Anfragen, Hinweise oder Nachfragen gerne via Kommentar, eMail oder Telefon.

Influencermarketing, Instagram und das (lästige) Problem der suboptimalen Followerzahlen?

Ich glaube, dass die Leser_innen des Arbeitsblogs mit extrem hoher Wahrscheinlichkeit meine enorme Skepsis gegenüber der „offziellen“ Strategie des Influencermarketings verstanden haben und ich denke, dass ich etwas mehr Erklärung schuldig bin. Es ist eigentlich einfach und bei Sichtung der Kritiken (also … nicht nur meine) tauchen immer wieder Argumente rund um die einkaufbaren Follower auf und hier vertrete ich nun einmal den Ansatz, dass man die Strategie „Influencermarketing“ eben wegen der massiven Kritiken nicht auf Basis der Subjektivitäten „Erfahrung“ oder „Zwischenmenschlichkeit“ beurteilen muss, sondern man MUSS diesen Ansatz eben auch mit Hintergrundwissen zu den Einflussfaktoren / „alternativen“ Strategien jedes Mal neu bewerten (also: je Szenarium, je Projekt, je Kund_in usw.).

Nun ist eine spannende Problemquelle beim Instagrambasierten Influencermarketing eben die Frage, ob die einkaufbare Reichweite (hier: Follower) auch tatsächlich „real“ ist. Ich wundere mich immer wieder, wie selten eben diese unfassbar spannende Problematik so selten und so unbefriedigend diskutiert wird, obwohl gefühlt einige 1000 Anbieter mit entsprechenden Kaufangeboten auf dem Markt völlig problemlos recherchierbar sind. Es gehört für mich zum Tagesgeschäft dazu, die Konkurrenz zu beobachten, welche eben diese spezielle Marketingform anbietet und natürlich entdecke ich da viele Blogbeiträge und Erfahrungsberichte zu wahnsinnig emotional ausgeschmückten Worstcase-Szenarien und ich mache mir da immer einen Spaß und frage nach konkreten Erfahrungen. Sprich: man kann in der hochintellektuellen Sparte „Marketing“ ja schlichtweg nur zu Dingen Formulierungen tätigen, von denen man schlichtweg auch etwas versteht und hierzu gehört auch das Durchspielen von Experimenten und NICHT (!) das kritiklose Wiederholen von nicht nachprüfbaren Experimenten der Werbeszene. Man sollte schon im Interesse der Sichtung dieser einkaufbaren Follower sich um das Erwirtschaften eigener (!) Erfahrungen bemühen.

Eines davon erledigte ich vor geraumer Zeit mit einem extra aufgesetzten Instagramaccount und hier ging ich so vor:
[1] Recherche bei Google
https://www.google.de/search?q=buy+instagram+followers+cheap
(„cheap“ deswegen, weil ich kein Interesse am Verspielen von Geld hatte.)
Im Rahmen des ersten Grobchecks entdeckte ich, dass die vielen Anbieter sich „beweisen“ wollen und man bietet potentiellen Kund_innen eben auch Testpakete – natürlich – kostenfrei an.

[2] Recherche bei Google, nach kostenlosen Followertestpaketen
https://www.google.de/search?q=buy+instagram+followers+free+trial
https://www.google.de/search?q=10+free+instagram+followers+trial
https://www.google.de/search?q=50+free+instagram+followers+trial
https://www.google.de/search?q=20+free+instagram+likes

Ich sehe nun einen bunten und wunderschön ausgeschmückten Laden mit sehr vielen interessanten Angeboten und weil mir hier der moralische Zeigefinger (oder besser: der basislose moralische Zeigefinger) keine Freude bereitet, experimentierte ich mit den folgenden Angeboten ein wenig herum:

[Pro Forma – Hinweis]
Ich übernehme keine Verantwortung, wenn die Benutzung der nachfolgenden Angebote nicht die gewünschten Effekte produziert.

http://www.buzzdayz.com/free-instagram-follower-trial/
https://www.quickfansandlikes.com/
http://www.gramozo.com/free-trial/
https://www.getmassfollowers.co.uk/
http://buyhugefollowers.co.uk/
http://www.thebestfollowers.co.uk/
https://instalegendary.com/
https://soclikes.com/
https://getmoreinsta.com/index.php?page=addfreefollowers

Eine besonders interessanter Anbieter ist:
https://plusmein.com/index.php?page=addfreefollowers
Dieser erlaubt das Einbuchen von jeweils 20 Follower je 24 Stunden und damit kann der Experimentalaccount über einen schönen Zeitraum hinweg „wachsen“. Eine „Runde“ des Testaccounts durch diese Liste „erntete“ zwischen 250 und 300 relativ stabile Follower.

Ein paar Worte zur Bewertung der zusammengeschnorrten Follower.
Ich habe hier eher „gemischte“ Gefühle zur Qualität: ich sehe klischeehafte Fakeaccounts (also: junge Frau, extrem viele Abos, wenig Follows, keine|wenig Medien) und ich sehe natürlich auch sehr natürlich wirkende Accounts und das lässt mich fragen, woher diese Anbieter denn die vermittelbaren Accounts überhaupt nehmen und ein wenig Recherche ergab, dass die meisten Quellen sich auf das Interaktionen – gegen Coin – System beziehen. Interessant ist der Anbieter „plusmein.com“, denn hier entdeckte ich in den ersten Testläufen durchaus auch neue Follower, deren Daten und Medien dem typischen Bild des einkaufbaren Influencers entsprechen.
Ganz ehrlich: ich habe keine Ahnung, wie dieser Anbieter arbeitet und woher die Accounts stammen und im Moment theoretisiere ich in Richtung „Engagement Gruppe“, wobei das natürlich nicht final verifizierbar sein dürfte. Obwohl die Qualitäten wechselhafter Natur sein können, sehe ich auch, dass der Schwundfaktor im – sagen wir mal – „natürlichen“ Rahmen bleibt, wobei ich auch sehe, dass die Interaktionen da, wenn auch äußerst gering sind.
Komme ich nun zur moralischen Einordnung und hier vertrete ich – wie erwähnt – eine eher pragmatische Sichtweise, gerade deswegen, weil die Einordnung der Followerlisten in Fake / Non-Fake sehr schwierig ist. Natürlich existieren sehr viele Indikatoren für eben „schwierige“ Ansätze innerhalb einer Accountstruktur und diese sind Ungleichgewichte in den Zahlen, komische Kommentare, aber mal ganz ehrlich: es gibt durchaus Menschen, die wie die Irren unfassbar vielen anderen Menschen folgen, dann gibt es Accounts, die ohne Verantwortung oder „Zutun“ eben Ziel von Spamcommentattacken werden. Mir passiert sowas ständig, den Kund_innen ebenfalls und ich sehe da immer wieder automatisch generierte Comments aus eben auch der Feder deutscher Accounts aus der Berater_innenszene, der Socialmediaberater_innen und selbstverständlich auch völlig normale Firmen. Das hängt auch damit zusammen, dass viele eben diese Werkzeuge wie „Ninjagram“ verwenden und die Hoffnung hegen, dass abgesetzte Kommentare Aufmerksamkeit erzeugen.
Also: „Fakes“ sind definitiv nicht sauber und extrem eindeutig identifizierbar und das gilt auch für den Kauf oder das oben beschriebene Zusammenschnorren. Also quält mich eine Frage: Wieso existieren stark moralisierende Argumente rund um ein nicht nachprüfbares Thema? Ich erkenne keinerlei Logik in der eigenen Geschäfts- und Dienstleistungsaufwertung, wenn nicht überprüfbare Followerlisten als pauschal „sauber“ deklariert werden und das via Behauptung schlichtweg „nur“ in den Raum gestellt wird.

Ob nun diese Positionierungsvariante edel, gut, moralisch einwandfrei oder sogar „praktikabel“ ist, muss und soll jeder Mensch für sich selbst entscheiden. Mir steht das Erheben des moralischen Zeigefingers nicht zu, würde aber das eventuelle Einsatzszenarium immer wieder neu bewerten und während eines eventuellen Schnorrens / Einkaufens unbedingt auf folgende Dinge achten:

(1) Absolut saubere Contentqualität.
(2) Klare, deutliche und zielgruppengenaue Kommunikation.
(3) Natürliche Marketingmaßnahmen

Fragen, Gedanken, Hinweise? Gern über Kommentar oder via Telefonat. Ich suche übrigens tatsächlich händeringend nach einem sauberen Followerlistenauswertungsalgorithmus.