Deepfakes erkennen – Teil 1

Vor einigen Monaten sprach mich ein alter Geschäftskontakt und Freund auf diese Deepfakeproblematik an und ich fand endlich Gelegenheit, mir das Thema sehr genau anzuschauen. Wie ging ich hier vor? Die Antwort ist simpel: ich organisierte mir die Software „Automatic 1111“ inkl. aller relevanten Checkpoints (Daten) + Loras und generierte im ersten Schritt 50.000 Deepfakes. Hierbei wurde auf folgende Punkte geachtet:

  1. Generierung von Medien mit verschiedenen Qualitäten
  2. Promptaufbau auch mit Fokus auf Emotionen, Licht/Schatten-Effekte
  3. Generierung von Deepfakes mit Inhalt(en): alle Geschlechter, alle Altersgruppen, viele Millieu-Beispiele

Ich legte die besten Generierungen diversen Freund:innen zur Ansicht vor, um meine (!) Fehlinterpretationen zu bereinigen. Bei der Vorlage achtete ich sehr genau darauf, dass ich ausschließlich weibliche „normschöne“ Deepfakes (keine Aktfotografien) 2 Gruppen präsentierte:

  1. männlichen Freunden
  2. weiblichen Freunden

Hochspannend waren die Rückmeldungen aus der Gruppe (2) und ich hörte in vielen Gesprächen folgende Hinweise:

  • „Da stimmt etwas nicht“
  • „Die Personen haben keinen Charakter“
  • „Die Personen haben keine Seele“

Die Gruppe (1) reagierte anders:

  • „Wow“
  • „Wo hast Du die Frau kennen gelernt?“

Eigentlich witzig, hier noch einmal über die Ergebnisse meiner kleinen und natürlich unprofessionell durchgeführten „Marktforschung“ nachzudenken. Allerdings entschied ich mich, mich mit der Aussage „Die Personen haben keine Seele“ etwas intensiver zu beschäftigen und da die Augen ja der „Spiegel der Seele“ sind, war die Problemlösung „Deepfakeerkennung“ schnell geregelt.

Alle geprüften Deepfakes aus dem Pool der 50.000-Bilder zeigen diese Deepfake-Indikatoren:

  • Deformierte Iris + Pupille
  • leichte und starke Abweichungen der Iris + Pupillengröße bei beiden Augen
  • leichte und starke Fehldarstellungen der Irisgestaltung (Bezug: ein Auge, beide Augen)

In dem Umfeld der Bildgenerierung existieren selbstverständlich extrem gut trainierte Daten und auch Loras, welche das Problem der (fehlerhaften) Augendarstellung lösen können, jedoch sind auch in den relevanten Experimenten die genannten „Bugs“ aufgefallen.

Wie sieht nun unser Ansatz aus? Wir sammeln noch ca. 150.000 weitere Deepfakes, trainieren eine sehr spezielle KI und geben das Resultat (DIE Daten, DIE KI) Mitte 2024 einem potentiell interessierten Publikum frei.

Wie kann man nun Deepfakes OHNE tiefergehendes technisches Wissen und Daten erkennen? Meine Ratschläge sind:

  1. Wenn es sich „komisch anfühlt“, stimmt mit dem Medium etwas nicht.
  2. Wenn das Medium zu glatt und zu professionell ausschaut und die Gestaltung nicht in den Kontext und die Story passt, stimmt etwas mit dem Medium nicht.
  3. Immer auf die Verbindung der Motive (Vordergrund, Mittelgrund, Hintergrund) achten, hier lassen sich auch manchmal Unstimmigkeiten erkennen.
  4. Interessant sind auch Leberflecken, Narben an untypischen Stellen im Gesicht / auf der Haut
  5. Unstimmigkeiten bei Zähnen / Zahndarstellungen liefern Hinweise auf Deepfakes

Neue Dienstleistung: „Bildgenerierung“ und KI-Training.

Ab sofort bieten wir folgende Dienstleistung an:

  1. Analyse + Beratung zu den ansprechbaren Zielgruppen
  2. Entwicklung von Prompts unter Berücksichtigung der Datenmodelle (Stable Diffusion)
  3. Training von sog. „Concept“-Loras
  4. Training von sog. „Objekt“-Loras
  5. Aufsetzen der BildgenerierungsKI-Umgebung
  6. Generierung von ~100 Bildern je Prompt / Szenarium unter Berücksichtigung der üblichen Auflösungen

Folgende Anwendungen ergeben sich aus diesem Komplex:

  1. absolut perfektes Briefing für Fotograf:innen, da den Einkäufer:innen kreativer Dienstleistungen (Fotografie, Bildgestaltung etc.) auf Basis der Bilder die Grundlage für Briefings gegeben werden können.
  2. Stimmungsbilder für Blogs und Socialmedia-Auftritte

Interesse? Gerne Kontakt.

Tipps & Tricks für die Erstellung von CSV-Produktkatalogen für Affiliate-Webseiten

[Hinweis: Dieser Artikel erschien auf dieser Seite bereits im Jahre 2014. Da er noch immer aktuell ist, haben wir ihn im März 2024 überarbeitet und neu publiziert.]

Für unsere Affiliate-Blogs sind wir auf qualitativ hochwertige Produktkataloge im Format CSV oder XML angewiesen. Leider passiert es recht häufig, dass diese Dateien fehlerhaft oder nur sehr unzureichend mit Informationen ausgestattet sind. Aus diesem Grund fasse ich hier zusammen, worauf wir besonderen Wert legen.

In aller Kürze:

✔ CSV-Dateien aktuell und übersichtlich halten mit einer Anzahl von Produkten zwischen 150 bis ca. 3.000
✔ Eindeutige und aussagekräftige Produkttitel bzw. Produktnamen
✔ Individuelle Produktbeschreibungen (auch gern mit HTML/CSS) für individuelle Produkte, keine Produkt-Dubletten vom gleichen Produkt in z. B. anderen Farben
✔ Strukturierung in Form von Produktkategorien
✔ Aussagekräftige Produktfotos

Die ausführliche Variante:

Der Produkttitel bzw. Produktname sollte eindeutig und aussagekräftig sein. Vermeiden Sie z.B. dreihundert verschiedene Produkte mit demselben Produktnamen „Esstisch“. So sind Produkte sowohl übers Frontend, Backend als auch via Suchmaschinen besser auffindbar, leichter zu verwalten und schneller wiederzuerkennen.

Halten Sie Ihre CSVs bzw. die Produkte darin unbedingt aktuell. Stellen Sie sich den Frust vor, wenn Kundschaft glaubt, ein Produkt auf einer Affiliate-Seite gefunden zu haben und im Zielshop feststellen muss, dass es dort längst nicht mehr verkauft wird.

✔ Wenn Sie ein Produkt in verschiedenen Ausführungen im Sortiment haben (z.B. eine Lampe in 10 verschiedenen Farben) und jede Variation davon einzeln in die CSV einbinden, achten Sie bitte unbedingt auf individuelle Produkttitel und individuelle Produktbeschreibungen. Leider müssen wir regelmäßig komplette CSV-Datensätze mit teilweise tollen Produkten verwerfen, die zu großen Teilen aus Produkt-Dubletten bestehen und es in keinem Verhältnis zur aufgewendeten Zeit stünde, diese händisch (auch nach regelmäßigen Updates) zu editieren. Gerade für Affiliate-Marketing empfiehlt es sich daher, in die CSV nur ein Artikel einer Reihe aufzunehmen und in der Produktbeschreibung auf die verschiedenen Varianten im Zielshop hinzuweisen. Positiver Nebeneffekt hierbei ist, dass Sie nur eine aussagekräftige Produktbeschreibung brauchen und Ihre CSV automatisch übersichtlicher wird.

Machen Sie sich Gedanken über Ihre Produktkategorien. Unseren Erfahrungen nach lassen sich Inhalte von Affiliate-Blogs sehr gut mit Hilfe von Produktkategorien strukturieren, über die wiederum potentielle Käufer*innen schnell und einfach innerhalb der Seiten navigieren können. „Möbel“ taugt gut als eine Oberkategorie für Möbelstücke, lässt aber auch viel Spielraum für Konkretisierungen: Esszimmerstühle, Beistelltische, Garderoben etc. „Sonstiges“ oder auch „Sale“ eignen sich nicht als Produktkategorie. Je vielfältiger und genauer Ihre Produktkategorisierungen, desto größer sind unsere Möglichkeiten, die Affiliate-Webseite thematisch zu optimieren. Das Gleiche gilt übrigens auch für Produktschlagwörter.

✔ Noch ein, zwei Bemerkungen zu den Produktbeschreibungen. Nicht zu unterschätzen sind wie immer korrekte Orthographie & Grammatik. Beschreiben Sie Ihre Produkte so ausführlich wie möglich. Hierbei können Sie mit der Editiersprache HTML direkten Einfluss nehmen auf die Darstellung Ihres Produkttextes. Bedenken Sie auch, dass sich potentielle Kundschaft noch nicht auf Ihrem Webshop befindet, sondern Ihre Produkte in dem Moment auf einer Affiliate-Seite studiert, die viele Informationen und Zusammenhänge nicht transportiert, die auf Ihren Seiten für die Kund*innen sofort ersichtlich wären. Es sind Ihre Texte, Fotos und Details, die potentielle Kund*innen animieren (können), Ihren Webshop zu besuchen und eventuell eines Ihrer Produkte zu kaufen.

✔ Im Absatz über Produkt-Dubletten habe ich bereits die Übersichtlichkeit von CSV-Dateien angesprochen. Gelegentlich stolpern wir über CSVs, die komplett vollgestopft sind mit Tausenden von Artikeln und oft die riesige Produktbandbreite eines einzelnen Onlineshops abbilden. Mit diesen CSVs können wir leider gar nichts anfangen, seitdem wir aufgehört haben, externe CSVs eigenhändig zu editieren (und wir spätestens beim ersten Update der CSV wieder vor demselben Problem stünden).
Überlegen Sie sich daher genau, welche Produkte Sie in Ihre Affiliate-CSV aufnehmen. Unseren Erfahrungen nach lohnt es sich, eine Auswahl an z.B. hochpreisigen Produkten („Knallerprodukte“) Ihres Kerngeschäfts bereitzustellen und auf all die kleinen „Nebenprodukte“ wie z.B. Ersatzteile zu verzichten. Ziehen Sie auch in Betracht, mehrere CSVs mit verschiedenen thematischen Schwerpunkten für das Affiliate-Marketing anzubieten. Für unseren Gebrauch hat eine CSV eine annehmbare, gut einzupflegende Größe, wenn sie zwischen 150 und 3.000 Produkte enthält.

Haben Sie unbedingt ein besonderes Augenmerk auf die Fotos in Ihren Produktkatalogen. Eine CSV-Datei ohne Fotos bzw. den URLs zu diesen Fotos ist für uns unbrauchbar. Dies ist zum Glück eher selten der Fall. Öfter kommt es aber vor, dass einzelne Foto-URLs falsch sind oder auf fehlende Dateien auf Servern verweisen. Von uns gern gesehen sind auch CSVs mit einem Angebot an verschieden großen Fotos (Thumbnail, mittel bis sehr groß). Achten Sie hierbei bitte auf eine userfreundliche Auflösung und Dateigröße der Fotos.

Tensorflow unter Windows mit GPU-Unterstützung laufen lassen

(1) https://www.dll-files.com/cudnn64_8.dll.html, die DLL downloaden

(2) die DLL in C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3\bin speichern

(3) pip install tensorflow[and-cuda] (linux)

(4) https://www.tensorflow.org/install/pip#windows-native

(5) https://discuss.tensorflow.org/t/tensorflow-2-13-0-does-not-find-gpu-with-cuda-12-1/18939

conda install -c conda-forge -y zlib-wapi