[Updatenotiz] Hashtagprojekt und die weiteren Pläne

Geänderte Rahmenbedingungen und viele Gespräche mit den lieben Betatester_innen führten zu einer Umplanung der Softwareentwicklung. Der aktuelle Client wird in zwei Module aufgegliedert:

(a) Datenbankmodul
– Recherche und Auswertung der Rohdatenpakete aus dem Hashtagprojekt
– Reportings, Reportingmodule
– Textanalysemodul

(b) API-Modul
– Anbindung an die API-Endpoints (Media, User, Locations), wie bereits im Bot umgesetzt
– Screening von Accounts
– Reportings, Reportingmodule

Da die Algorithmen bereits in anderen Projekten existieren, wird der Versionswechsel relativ schnell erledigt sein und ich rechne mit einer Einführung in das Tagesgeschäft innerhalb der aktuellen Woche.

[Updatenotiz] Instagrambot – 2.0 (Beta)

Der „Bot“ ist nun komplett auf SQLite umgestellt und die nächste Versionsnummer wird folgende (neue) Funktionen umfassen:

(1) Projektmanagement
– kategoriebasiertes Liken je Account, bezogen auf zielgruppenorientierte Themenwelten
– kategoriebasiertes Liken je Account, bezogen auf Locations

(2) Locations
– Anbindung einer Locationresearchfunktion in Verbindung mit der Facebook-Places-API
– Locationgewichtung nach Posts, Themenwelten und Beliebtheit

(3) Externe Datenquellen
– Anbindung der Hashtagdatenbank zwecks Querprüfung und Tagrecherchen

(4) Monitoring, Erfolgskontrollen
– Dauerhaftes Speichern der Grunddaten (=> Abos, Abonnenten, Posts als Zahl)
– Ergebnisdarstellungen in Form von Diagrammen und PDF-Exports

[Updatenotiz] Das Hashtagprojekt (Instagram) – Datenbankentwicklung(en)

Der Umfang der Datenbank beträgt aktuell 45549889 Datensätze mit einem ungefähren Ergebnisvolumen von 1380000 je Updateturnus. Die Datenbankdatei umfasst zum aktuellen Datum 2.56 GB und wächst um 300 MB je Update. Mich hat diese Entwicklung natürlich stark überrascht und eine Freigabe der kompletten Daten in Form einer geeigneten Webanwendung wird leider nicht mehr möglich sein. „Wir“ haben nach einigen Diskussionen uns daher dazu entschlossen, dass „wir“ ausgewählten Kolleg_innen und den Kund_innen bei Bedarf die Datei per DVD heraus kopieren werden.

Download: Datenbankentwicklung – Überblick.
Die folgenden Dateien verdeutlichen die Eintragsentwicklungen der Datensammlung.
(a) Exceltabelle
dbueberblick.xlsx
(b) Verlaufsdiagram


Ab sofort wird einmal je Tag ein Update durchgeführt und hierüber die Grenzen der Datenbank und deren Performanceprobleme getestet (aktuell: ca. 5 Sek. je kleine Abfrage). Weil doch nun öfters An- und Nachfragen zum Projekt hier eintrudeln, möchte ich an dieser Stelle unsere Bedingungen oder Befindlichkeiten klären:
Alle Anfragen zum Projekt oder auch Testanfragen können per Telefon oder eMail (siehe Impressum!) abgesendet werden. In den Gesprächen werde ich allerdings folgende Sachen abklopfen:
– Was genau hast Du mit den Daten vor?
– Welche konkreten Vorstellungen hast Du von Instagram, was machst Du da und sind Deine Projekte „organisch“? (kein Spam usw.)
– Wie möchtest Du Dich in das Projekt einbringen?
– Welchen Hintergrund hast Du? (Forschung, Agentur, Socialmediaberatung, Socialmediaoptimierung)
Bei Kontaktaufnahme bitte ich auch zu beachten, dass ich zwar bzgl. des Projektes viele Infos ausdiskutieren lasse, jedoch dass konkretere Beratungen oder Beratungsleistungen zu ganz speziellen Projekten prinzipiell im Rahmen unserer Dienstleistungen und Angebote abgearbeitet werden.

[Updatenotiz] – Hashtagprojekt (Instagram), Reports

Um die Reportings enorm zu erleichtern, habe ich an die Datenanalysesoftware eine geeignete PDF-Exportfunktion angebunden. Irgendwo in diesem Blog befinden sich Hinweise darauf, dass der Hashtaganalysekomplex mit Hilfe von Delphi realisiert und gepflegt wird. Für Interessierte Entwickler_innen verweise ich bzgl. der durchaus schwierigen PDF-Problematik auf:

(1) Forum (synopse)
(2) PDF-Engine v. „Synopse“

Einige interessante Hinweise, Quellcodes und „Tutorials“ befinden sich im verlinkten Forum.

Zu den Analysereports:
Ich orientiere mich hier bewusst an das Layout der bekannten SEO-Datendienstleister und folgende Beispiele sind realisiert:

(1) Einzelprüfung
Die Einzelprüfung ist mit dem Schnittstellenbefehl „tagabfrage“ vergleichbar, sie bezieht sich auf das Datum des letzten Datensatzes und beinhaltet die Häufungsentwicklung des abgefragten Tags, der Themenwelt (oder: ähnliche Tags) und einigen erklärenden Schaubildern.

Download / Beispiele: weihnachten.pdf, microsoft.pdf, release.pdf, reporting.pdf, software.pdf, xmas.pdf

(2) Mehrfachprüfungen
Diese Prüfung bezieht sich aktuell auf zwei Tags, wird später ggf. auf ein höheres Volumen ausgeweitet.

Download / Beispiele: weihnachten_geschenk.pdf, weihnachten_tannenbaum.pdf

Beide Reportingverfahren werden ab Wochenende den Betatester_innen und Kund_innen via eMail-Schnittstelle zur Verfügung gestellt.

Weil wir intern noch einige Gestaltungsdiskussionen führen, sind folgende Erweiterungen der PDF-basierten Reports „angedacht:
– Häufungsentwicklungen via Schaubild der aufgeführten „TOP-10“ aus den Themenwelten
– Vergleich von X Tags bzgl. deren Häufungsentwicklungen via prozentualer Abweichung
– geringfügige Layoutanpassungen

In einer Konzeptdiskussion kamen wir hier zum Ergebnis, dass eine dauerhafte Beobachtung geposteter Medien inklusive der Fotos, der Tags, der Kommentare, der ID-Codes und der Likes interessant sein kann, um in die Bewertung klassische Interaktions-Metriken einfliessen zu lassen und quasi „nebenbei“ potentielle Influencer zu identifizieren. Die Realisierung eines geeigneten Algorithmus ist zwar relativ problemlos, jedoch werde ich mich dieser Aufgabe in der arbeitsfreien Jahreswendezeit widmen.

Updatenotiz: Datenbank – Hashtagprojekt

Das folgende Diagram beschreibt das Datenbankvolumen in seiner Entwicklung seit Relaunch des Systems:

Download: dbueberblick

Zur Erklärung:
Die Bezeichnung „Unique-Tags“ beschreibt die Summe der gefundenen und „einzigartigen“ Terms / Tags  und die Bezeichnung „Datensätze“ gibt Aufschluss darüber, wieviele Datensätze (also: unique-tag, Häufung) im kompletten Zeitraum erfasst worden sind.

Die Exporte wurden ebenfalls etwas modifiziert. Diese liefern ab sofort die Ergebnisse – wahlweise – in den Formaten „.xlsx“ und „.csv“ über die EMail-Schnittstelle zurück. Beispiele sind (a) Liste => „Theater“ (ungenau) und (b) Wolke => „Theater“ (ungenau).

[Updatenotiz] Instagrammonitoring, Recherchen und die Hashtags

Nach einigen Diskussionen rund um die Freigabefunktionen der Datensätze, sind wir intern endlich zu einem Resultat gekommen.

Die Monitoringanwendung wird um eine eMail-basierte Schnittstelle erweitert. Dies sieht so aus:

– Freigabe der „berechtigten“ Personen über deren Absender-Mailadresse via Datenbankeintrag im System
– eventuell: Einführung eines Quota-Systems (XYZ-Abfragen je Person …)
– Abfrageschema: Subject => Abfragebefehl, Body => Inhalte

Über die Aufbereitungen der Resultate werden wir intern und in Absprache mit den Kund_innen noch intensiv diskutieren.
Ich werde die Entwicklung der Abfrageschemata und die entsprechenden Befehle hier dokumentieren.

Updatenotiz – Instagramanalyse, Hashtags & Co.

Nach der Organisation der Datenbank – ich verwende übrigens „SQLite“ – haben wir uns intern zu einer Erweiterung des Analysesystems entschieden. Ein entsprechendes Update wird im Laufe der aktuellen Arbeitswoche ausgerollt und es umfasst dann:

(1) Instagram-Account-Beobachtung
– thematische Erfassung von Accounts mit schwachem Bezug zu „Influencermarketing“
– Erfassung der Grunddaten (Profil, Statement, Anzahl: Posts | Abos | Fans)
– EVENTUELL: komplettes Screening der Feeds inkl. der Beitragsauswertung nach Likes und Comments

(2) Reporting, Abfragen und das Gewinnen von Erkenntnissen aus den Datensätzen
– Orientierung an der alten Webversion
– Ausgabe: Themenwolken, je nach Abfragemodus (Wortbestandteil, genaues Wort, Zusammenhang mit bestimmten Häufungen)
– Diagramme => Häufungsentwicklungen
– Diagramme => Aufsummierung der erfassten Tags zu den Themen
– Diagramme => Accountentwicklungen auf basis der Grunddaten

Ich denke derzeit noch über ein geeignetes Modell der Abfrageübermittlung nach. Da das System hier auf einem lokalem Rechner mit Internetzugang läuft, werde ich mit hoher Wahrscheinlichkeit die Abfragen und Rückgaben der Ergebnisse via eMail einprogrammieren.

Updatenotiz zum Projekt „Instagram-Hashtag-Datenbank“

Nach einigen interessanten Diskussionen und Beobachtungen entschieden wir uns zu einem Systemwechsel.

Dies bedeutet:
– die Scripte und die Datenbanken werden zeitnah vom Server gelöscht
– die Reichweitendaten (Zeitraum: Sommer – 2015 bis Sommer 2016) werden archiviert und in das DB-Management eine Windows-Anwendung übertragen
– Reichweitenprüfzeiträume werden auf mindestens 15 Minuten getaktet

Durch den Übertrag auf eine Windows-Anwendung werden vor allem tiefergehende Interpretationsmöglichkeiten zu den Tags, den Themenwelten und den Medienhäufungen // Reichweiten möglich.
Ich werde mich bei passender Gelegenheit auf diesem Blog zu den Reports äußern und ggf. Beispieldatensätze veröffentlichen.

[Updatenotiz] Instagrambot – Version 1.2 BETA

Nach einigen Gesprächen rund um diese oder jene Analysemöglichkeiten zu den Accounts entschied ich mich für die Entwicklung der folgenden Funktionen:

[Statistiken]
(1) IG-Accounts
– Erfassen der Grunddaten außerhalb der API und unabhängig von den Token
– Erfassen der letzten Posts inkl. der Postsgrunddaten (Zeitstempel, Summe Likes // Comments)

(2) Aktivitäten
– Erfassen der Likes je Zeiteinheit (Tag, Stunde etc.)
– Erfassen der Themenwelten (Taggruppen, Einzeltags, Zielgruppen etc.), welche geliked wurden

[Ziele]
Beide Reportings lassen sich zusammenführen und das Ergebnis erlaubt die Diskussion folgender Fragen:
– Welche Aktivitäten „produzieren“ welche Rückläufer in Form von Followerzuwachs // Followerverlust und generelle Interaktionen auf den Accounts?
– Existieren Zusammenhänge zwischen den Aktivitäten und der Platzierung von Beiträgen unter den „beliebtesten Posts“?
Die erhobenen Daten werden u.U. mit der nächsten Version natürlich in ein reportfähiges Format exportierbar sein (Diagramme, eventuell PDF).

[Updatenotiz] Marktrecherche 0.8b

Die neue Version der Software wurde soeben fertig gestellt und verteilt.
Die folgende Galerie zeigt einige Ausschnitte aus der Pinterestrecherchefunktion. Hierbei habe ich das System der „Interessensmatrizen“ wieder aufgenommen.
Das Programm „verlangt“ die Eingabe eines Projektes inklusive der zu analysierenden Themenwelten. Hier wurden die Daten aus dem Projektbeispiel „Wohnen“ (=>wohnzimmer, schlafzimmer, kinderzimmer, badezimmer, bad, flur, haus, wohnung) analysiert.

(A) Screenshots

(B) Beispieldatensätze
Die nachfolgenden Excel-Tabellen sind Exports aus der Anwendung.
Sie zeigen:
(1) Rohdaten – Pinterest // Suchvorschläge
pint_suggest.xlsx
Die Datenerhebung erfolgt über die Funktionen, welche ich im Artikel „Pinterest – Suchvorschläge auslesen“ beschrieb.
(2) Rohdaten – Pinterest // Themenwelten
pint_rohdaten.xlsx
Die Datenerhebung erfolgt über die Funktionen, welche ich im Artikel „Pinterest – Themenwelten auslesen“ beschrieb.
(3) Pinterest // Themenwelten gewichten, Zusammenzählung
Um die erhobenen Daten in ein interpretationsfähiges Format zu bringen, werden in der Anwendung die gefundenen „Unterthemen“ oder „weiterführende Themen“ zusammen gezählt und nochmal in Zuordnung zu den „Themenwelten“ dargestellt. Die Datei pint_zfg.xlsx zeigt das entsprechende Beispiel.