Hashtagprojekt – Einblicke in die Datenbank, Tagliste(n) und Queries

Der angedockte Client wurde um entsprechende Exportfunktionen erweitert und das Projekt beherbergt folgende Datensätze:

(a) Queries
Diese Angaben beschreiben die Tags, welche via API als Suchanfrage verarbeitet werden.

Downloads
searchview_0-9.zip
searchview_a-z.zip

(b) erfasste Tags
Diese Angaben sind das Ergebnis aus (a). Bitte hier beachten, dass die Listen ungewichtet sind und keine Häufungen ausgeben.

Downloads
tagview_0-9.zip
tagview_a-f.zip
tagview_g-m.zip
tagview_n-s.zip
tagview_t-z.zip

[Delphi] Texte im Unicode speichern.

Bei einer speziellen Exportfunktion des Hashtagprojektes entdeckte ich, dass die „savetofile“-Prozedure leider keine Unicode-Zeichenketten (Pictogramme, etc.) in die gewünschte Text-Datei oder CSV übertragen kann. Die Problemlösung sieht so aus:

procedure tform1.savetounicode(mytext: tmemo; filename: string);
begin
Writer := TStreamWriter.Create(filename,
false, TEncoding.UTF8);
Writer.WriteLine(mytext.Text);
Writer.Write(mytext.Text);
Writer.Free();
end;

Aufruf der Prozedure:
savetounicode(memo,dateipfad+dateiname);

Inspiriert von:
Saving string or stringlist to unicode textfile

[Notiz] Instagram: Accountbeobachtungen und dauerhafte Auswertungen der Grunddaten

Nach einigen Gesprächen mit Kund_innen, Kolleg_innen und Geschäftsfreund_innen habe ich mich nun final dazu entschieden, eine kleinere Anwendung für die Accountbeobachtung zu entwickeln. Eigentlich hält sich hier der Programmieraufwand stark in Grenzen, aber ich wundere mich dennoch, dass eine simple Grunddatenschau (also: Anzahl der Posts, Fans und Abos) auf dem freien Markt via Tools und Dienstleistungen durchaus sehr teuer ist.
Also: ab Mitte der kommenden Woche werde ich unseren Partner_innen eine Lösung freigeben, welche sich stark am Hashtagprojekt orientiert. Die Grundlage hierfür ist eine Windowsanwendung mit angedockter SQLite-Datenbank, die per EMail-Schnittstelle ansteuerbar sein wird. Die konkrete Reportinggestaltung wird sich am Ursprungsprojekt orientieren.

Hashtagprojekt – Reportings (Beta!) – Version 0.1b

Das Projekt erlaubt nun eine Detailbegutachtung von einem der erfassten Tags. Die Reportingfunktion lässt sich über die folgende Befehlszeile abrufen „analyse:tag“ (Beispiele: analyse:geschenk, analyse:winter, analyse:schnee, analyse:vater usw.) und sie liefert über die EMail-Schnittstelle diese Daten zurück:

(1) Tagschau / Tagüberblick
Download: geschenk_10012017.pdf
Das Dokument zeigt die Häufungsentwicklung des Wortes „geschenk“ inklusive der Veränderung in % und die 10 wichtigsten „Untertags“.

(2) Tabelle: Häufungsentwicklung des analysierten Tags
Download: geschenk_haeufung_10012017.xlsx
Diese Datei zeigt die Rohdaten aus der Datenbank und beschreibt die Häufungsveränderung je Updatezeitraum.

(3) Tabelle: Rohdatenauflistung, Untertags
Download: geschenk_liste_10012017.xlsx
Diese Datei zeigt alle erfassten Thementags inklusive der aktuellen Häufung zum letzten Updatedatum an, welche die Zeichenkette „geschenk“ in sich tragen. Sie zeigt auch die Abweichung zum analysierten Tag „geschenk“ in %.

[Updatenotiz] Das Hashtagprojekt (Instagram) – Datenbankentwicklung(en)

Der Umfang der Datenbank beträgt aktuell 45549889 Datensätze mit einem ungefähren Ergebnisvolumen von 1380000 je Updateturnus. Die Datenbankdatei umfasst zum aktuellen Datum 2.56 GB und wächst um 300 MB je Update. Mich hat diese Entwicklung natürlich stark überrascht und eine Freigabe der kompletten Daten in Form einer geeigneten Webanwendung wird leider nicht mehr möglich sein. „Wir“ haben nach einigen Diskussionen uns daher dazu entschlossen, dass „wir“ ausgewählten Kolleg_innen und den Kund_innen bei Bedarf die Datei per DVD heraus kopieren werden.

Download: Datenbankentwicklung – Überblick.
Die folgenden Dateien verdeutlichen die Eintragsentwicklungen der Datensammlung.
(a) Exceltabelle
dbueberblick.xlsx
(b) Verlaufsdiagram


Ab sofort wird einmal je Tag ein Update durchgeführt und hierüber die Grenzen der Datenbank und deren Performanceprobleme getestet (aktuell: ca. 5 Sek. je kleine Abfrage). Weil doch nun öfters An- und Nachfragen zum Projekt hier eintrudeln, möchte ich an dieser Stelle unsere Bedingungen oder Befindlichkeiten klären:
Alle Anfragen zum Projekt oder auch Testanfragen können per Telefon oder eMail (siehe Impressum!) abgesendet werden. In den Gesprächen werde ich allerdings folgende Sachen abklopfen:
– Was genau hast Du mit den Daten vor?
– Welche konkreten Vorstellungen hast Du von Instagram, was machst Du da und sind Deine Projekte „organisch“? (kein Spam usw.)
– Wie möchtest Du Dich in das Projekt einbringen?
– Welchen Hintergrund hast Du? (Forschung, Agentur, Socialmediaberatung, Socialmediaoptimierung)
Bei Kontaktaufnahme bitte ich auch zu beachten, dass ich zwar bzgl. des Projektes viele Infos ausdiskutieren lasse, jedoch dass konkretere Beratungen oder Beratungsleistungen zu ganz speziellen Projekten prinzipiell im Rahmen unserer Dienstleistungen und Angebote abgearbeitet werden.

Das Erkennen und Ausnutzen von Themenwelten via Instagram-Hashtags

Mit Fertiggstellung des Komplexes „Hashtaganalyse“, ergaben sich einige interessante Diskussionen mit den Betatester_innen und Kund_innen über die konkrete Identifikation von „Themenwelten“.

Eine „Themenwelt“ wäre bspw. – ganz aktuell –

WEIHNACHTEN
Die Allgemeinbildung, Sozialisation und auch der „Menschenverstand“ sagt hier natürlich klar, dass diese „Themenwelt“ verschiedene Informationen oder „Subthemen“ beinhalten könnte. Diese wären unter anderem:
– tannenbaum
– gans
– geschenke, geschenk
– xmas, christmas
– feier, feiern, frohesfest, weihnachtsfest
– u.v.m.

Diese simplen Überlegungen führen allerdings letztendlich zu einem interessanten Problem: man kann ausgehend von den eigenen Gedankengängen zu den „Themenwelten“ niemals davon ausgehen, dass eine abholbare und ansprechbare Zielgruppe ähnliche Gedanken, Emotionen und Wahrnehmungen hat. Dieses Dilemma lässt sich über den folgenden Weg lösen.

(1) Download und Speichern der Posts mit Hilfe der Instagram-API

Endpoint: https://api.instagram.com/v1/tags/{tag-name}/media/recent?access_token=ACCESS-TOKEN

Interpretationsfähige Daten aus dem Endpoint:
(a) URL des Posts
(b) verwendete Hashtags
(c) Anzahl: Likes und Comments
(d) Beschreibung, Statement
(e) Autor-ID (für Influencer-Marketing)
(f) Location, Geo-Code

(2) Auswertungen

Die erfassten Hashtags werden nun in einer Liste dargestellt und nach der Eliminierung der Duplikate ergeben sich die folgenden Funktionen
(a) Durchzählen auf die Hashtagkombinationen aus den gespeicherten Datensätze und entsprechende Gewichtung
(b) Gegenprüfung auf die Hashtagkombinationen
Die erfassten Hashtagkombinationen lassen sich über diesen Ansatz ebenfalls aufsummieren und hierüber gewichten (… wurde xyz mal verwendet …).
(c) Einbeziehung der Häufungen UND der Häufungsentwicklungen in die Themenweltenanalyse

Diese Grobskizze zur Auswertung muss natürlich in einen konkreten Algorithmus einfliessen, der letztendlich zwecks Gegenprobe die Ergebnisse den jeweiligen Verantwortlichen vorlegen muss.

Ich werde in der letzten Zeit ständig gefragt, was man denn mit den Resultaten aus solchen Analyseprozeduren anstellen kann. Es ist eigentlich recht einfach:
(a) Die gewichteten Taggruppen geben Aufschluss darüber, ob die angedachten Kampagnen „Sinn machen“.
(b) Die gewichteten Taggruppen geben in Verbindung mit der Häufungsanalyse Aufschluss darüber, ob denn angedachte Kampagnen einen Trend ausnutzen. (Häufungsentwicklungen beachten!)
(c) Die gewichteten Taggruppen liefern einen ersten Anhaltspunkt über Tags, welche beim Contentmarketing genutzt werden können.
(d) Eher spekulativ: Die gewichteten Taggruppen können als Recherche für Textideen dienen.

Der Instagram-Recherche-Komplex wird noch in diesem Jahr um die Themenweltrecherche erweitert und die Betatester_innen / Kund_innen bekommen zeitnah entsprechende Infos.

[Updatenotiz] – Hashtagprojekt (Instagram), Reports

Um die Reportings enorm zu erleichtern, habe ich an die Datenanalysesoftware eine geeignete PDF-Exportfunktion angebunden. Irgendwo in diesem Blog befinden sich Hinweise darauf, dass der Hashtaganalysekomplex mit Hilfe von Delphi realisiert und gepflegt wird. Für Interessierte Entwickler_innen verweise ich bzgl. der durchaus schwierigen PDF-Problematik auf:

(1) Forum (synopse)
(2) PDF-Engine v. „Synopse“

Einige interessante Hinweise, Quellcodes und „Tutorials“ befinden sich im verlinkten Forum.

Zu den Analysereports:
Ich orientiere mich hier bewusst an das Layout der bekannten SEO-Datendienstleister und folgende Beispiele sind realisiert:

(1) Einzelprüfung
Die Einzelprüfung ist mit dem Schnittstellenbefehl „tagabfrage“ vergleichbar, sie bezieht sich auf das Datum des letzten Datensatzes und beinhaltet die Häufungsentwicklung des abgefragten Tags, der Themenwelt (oder: ähnliche Tags) und einigen erklärenden Schaubildern.

Download / Beispiele: weihnachten.pdf, microsoft.pdf, release.pdf, reporting.pdf, software.pdf, xmas.pdf

(2) Mehrfachprüfungen
Diese Prüfung bezieht sich aktuell auf zwei Tags, wird später ggf. auf ein höheres Volumen ausgeweitet.

Download / Beispiele: weihnachten_geschenk.pdf, weihnachten_tannenbaum.pdf

Beide Reportingverfahren werden ab Wochenende den Betatester_innen und Kund_innen via eMail-Schnittstelle zur Verfügung gestellt.

Weil wir intern noch einige Gestaltungsdiskussionen führen, sind folgende Erweiterungen der PDF-basierten Reports „angedacht:
– Häufungsentwicklungen via Schaubild der aufgeführten „TOP-10“ aus den Themenwelten
– Vergleich von X Tags bzgl. deren Häufungsentwicklungen via prozentualer Abweichung
– geringfügige Layoutanpassungen

In einer Konzeptdiskussion kamen wir hier zum Ergebnis, dass eine dauerhafte Beobachtung geposteter Medien inklusive der Fotos, der Tags, der Kommentare, der ID-Codes und der Likes interessant sein kann, um in die Bewertung klassische Interaktions-Metriken einfliessen zu lassen und quasi „nebenbei“ potentielle Influencer zu identifizieren. Die Realisierung eines geeigneten Algorithmus ist zwar relativ problemlos, jedoch werde ich mich dieser Aufgabe in der arbeitsfreien Jahreswendezeit widmen.

Aktivitäten auf Xing, Übernahme einer Gruppe

Vor einigen Tagen übernahm ich die Administration und das Management einer XING-Gruppe.
Diese trägt den Namen „Erfolgreich im Internet“ und ich lade hiermit alle interessierten Leser_innen des Arbeitsblogs ein, da aktiv zu werden. 😉
Ich führe diese Gruppe zusammen mit einigen Moderator_innen und „wir“ legen da einen extremen Wert auf die professionelle Diskussion aller interessanter Themen rund um SEO, Socialmedia-Marketing, Socialmedia-Optimierungen und den technischen Aspekten des Internetmarketings. Es wird hier stark darauf geachtet, dass diese Plattform absolut (!) spamfrei bleibt und natürlich dienen zukünftige Aktivitäten auch der Erwirtschaftung diverser Erkenntnisse und reduplizierbaren Strategien rund um die Problematiken der Vermarktung von Dienstleistungen und Informationen via XING.

Updatenotiz: Datenbank – Hashtagprojekt

Das folgende Diagram beschreibt das Datenbankvolumen in seiner Entwicklung seit Relaunch des Systems:

Download: dbueberblick

Zur Erklärung:
Die Bezeichnung „Unique-Tags“ beschreibt die Summe der gefundenen und „einzigartigen“ Terms / Tags  und die Bezeichnung „Datensätze“ gibt Aufschluss darüber, wieviele Datensätze (also: unique-tag, Häufung) im kompletten Zeitraum erfasst worden sind.

Die Exporte wurden ebenfalls etwas modifiziert. Diese liefern ab sofort die Ergebnisse – wahlweise – in den Formaten „.xlsx“ und „.csv“ über die EMail-Schnittstelle zurück. Beispiele sind (a) Liste => „Theater“ (ungenau) und (b) Wolke => „Theater“ (ungenau).