Deepfakes erkennen – Teil 3

Etwas komplizierter war und ist die Analyse von Deepfake-Videos. Hierbei experimentierte ich mit verschiedenen Ansätzen, wie Fraktalanalysen und der interessante Analyseweg ist die Prüfung auf der Pixelebene.

Beispiele „Deepfakes“

Beispiel „Kein Deepfake“

Die Analyseidee kam mir nach der Sichtung extrem vieler Video-Deepfakes. Hier fand ich bei personengebundenen Werken 2 Auffälligkeiten: (1) ein Austausch des Gesichtes und (2) ein Austausch der Mund- und Lippenareale.

In extrem vielen Fällen sind die Resultate sehr schlecht und relativ zügig erkennbar, in wenigen Fällen war die „manuelle“ Erkennung durchaus etwas komplizierter. Jedoch ist mir aufgefallen, dass die manipulierten Areale leicht „wackeln“ und hinsichtlich der Bewegungsabläufe leicht oder sehr stark unlogisch sein können.

Der Weg der Pixelanalyse kann Manipulationen visualisieren und hier fallen einige spannende Sachen auf: Deepfakes produzieren „matschige Areale“, die Gesichtskonturen verschwimmen und das liegt daran, dass bei den analysierten Proben die manipulierten Areale sich nicht im Kontext zum Gesamtwerk „bewegen“.

Deepfakes erkennen – Teil 2

Eine weitere potentiell spannende Deepfake-Erkennungsoption ist die Analyse der Datensätze. Hier gehe ich über 2 Wege vor:

(1) Die Prompts

Im Grunde ist das simpel zu erklären. Man besorgt sich Zugänge zu den relevanten Online-Generierungsdiensten (bitte selbst recherchieren, oder bei uns anrufen!) und testet die wichtigen + wichtigeren „Checkpoints“ via Prompt so durch: „instagramphoto, [Name der Person]“ und prüft da die Resultate.

Man kann das manuell oder maschinell realisieren und ich fand bei beiden Varianten nicht nur die üblichen Prominenten, Schauspieler:innen und Politiker:innen (teilw. weltweit), sondern auch kleine + große Influencer:innen (TikTok, Instagram und LinkedIN).

Leider fand ich (noch) keine Gelegenheit, einen Workflow zu realisieren, welcher die Resultate der „Prompt-Variante“ daher nimmt, um die Rohdatenquellen zu identifizieren.

(2) Die Loras

Speziell auf der Plattform https://civitai.com/ lassen sich, nach meiner Prüfung, sogenannte „Loras“ finden, welche auf Basis öffentlicher Bilder von Promis, Politiker:innen (weltweit) und auch Schauspieler:innen generiert wurden. Diese Loras sind als „Mini-KI“ zu verstehen und lassen sich mittels Prompts in Verbindung mit den großen Datensätzen selbstverständlich verwenden.

Zusammengefasst:

Der Modus (1) und (2) beschreibt zwar nicht die Erkennung von Deepfakes auf Basis von vorgelegten Medien, allerdings habe ich die Rechercheoptionen in das „Tagesgeschäft“ überführt, weil die Existenz von Datenspuren (Modelle + Loras) im Grunde aussagt: „Man kann da Deepfakes erstellen“.

Deepfakes erkennen – Teil 1

Vor einigen Monaten sprach mich ein alter Geschäftskontakt und Freund auf diese Deepfakeproblematik an und ich fand endlich Gelegenheit, mir das Thema sehr genau anzuschauen. Wie ging ich hier vor? Die Antwort ist simpel: ich organisierte mir die Software „Automatic 1111“ inkl. aller relevanten Checkpoints (Daten) + Loras und generierte im ersten Schritt 50.000 Deepfakes. Hierbei wurde auf folgende Punkte geachtet:

  1. Generierung von Medien mit verschiedenen Qualitäten
  2. Promptaufbau auch mit Fokus auf Emotionen, Licht/Schatten-Effekte
  3. Generierung von Deepfakes mit Inhalt(en): alle Geschlechter, alle Altersgruppen, viele Millieu-Beispiele

Ich legte die besten Generierungen diversen Freund:innen zur Ansicht vor, um meine (!) Fehlinterpretationen zu bereinigen. Bei der Vorlage achtete ich sehr genau darauf, dass ich ausschließlich weibliche „normschöne“ Deepfakes (keine Aktfotografien) 2 Gruppen präsentierte:

  1. männlichen Freunden
  2. weiblichen Freunden

Hochspannend waren die Rückmeldungen aus der Gruppe (2) und ich hörte in vielen Gesprächen folgende Hinweise:

  • „Da stimmt etwas nicht“
  • „Die Personen haben keinen Charakter“
  • „Die Personen haben keine Seele“

Die Gruppe (1) reagierte anders:

  • „Wow“
  • „Wo hast Du die Frau kennen gelernt?“
  • …

Eigentlich witzig, hier noch einmal über die Ergebnisse meiner kleinen und natürlich unprofessionell durchgeführten „Marktforschung“ nachzudenken. Allerdings entschied ich mich, mich mit der Aussage „Die Personen haben keine Seele“ etwas intensiver zu beschäftigen und da die Augen ja der „Spiegel der Seele“ sind, war die Problemlösung „Deepfakeerkennung“ schnell geregelt.

Alle geprüften Deepfakes aus dem Pool der 50.000-Bilder zeigen diese Deepfake-Indikatoren:

  • Deformierte Iris + Pupille
  • leichte und starke Abweichungen der Iris + Pupillengröße bei beiden Augen
  • leichte und starke Fehldarstellungen der Irisgestaltung (Bezug: ein Auge, beide Augen)

In dem Umfeld der Bildgenerierung existieren selbstverständlich extrem gut trainierte Daten und auch Loras, welche das Problem der (fehlerhaften) Augendarstellung lösen können, jedoch sind auch in den relevanten Experimenten die genannten „Bugs“ aufgefallen.

Wie sieht nun unser Ansatz aus? Wir sammeln noch ca. 150.000 weitere Deepfakes, trainieren eine sehr spezielle KI und geben das Resultat (DIE Daten, DIE KI) Mitte 2024 einem potentiell interessierten Publikum frei.

Wie kann man nun Deepfakes OHNE tiefergehendes technisches Wissen und Daten erkennen? Meine Ratschläge sind:

  1. Wenn es sich „komisch anfühlt“, stimmt mit dem Medium etwas nicht.
  2. Wenn das Medium zu glatt und zu professionell ausschaut und die Gestaltung nicht in den Kontext und die Story passt, stimmt etwas mit dem Medium nicht.
  3. Immer auf die Verbindung der Motive (Vordergrund, Mittelgrund, Hintergrund) achten, hier lassen sich auch manchmal Unstimmigkeiten erkennen.
  4. Interessant sind auch Leberflecken, Narben an untypischen Stellen im Gesicht / auf der Haut
  5. Unstimmigkeiten bei Zähnen / Zahndarstellungen liefern Hinweise auf Deepfakes

Neue Dienstleistung: „Bildgenerierung“ und KI-Training.

Ab sofort bieten wir folgende Dienstleistung an:

  1. Analyse + Beratung zu den ansprechbaren Zielgruppen
  2. Entwicklung von Prompts unter Berücksichtigung der Datenmodelle (Stable Diffusion)
  3. Training von sog. „Concept“-Loras
  4. Training von sog. „Objekt“-Loras
  5. Aufsetzen der BildgenerierungsKI-Umgebung
  6. Generierung von ~100 Bildern je Prompt / Szenarium unter Berücksichtigung der üblichen Auflösungen

Folgende Anwendungen ergeben sich aus diesem Komplex:

  1. absolut perfektes Briefing für Fotograf:innen, da den Einkäufer:innen kreativer Dienstleistungen (Fotografie, Bildgestaltung etc.) auf Basis der Bilder die Grundlage für Briefings gegeben werden können.
  2. Stimmungsbilder für Blogs und Socialmedia-Auftritte
  3. …

Interesse? Gerne Kontakt.

Lora: c41_hasselblad_portra400Lora

Das Modell basiert auf einigen ausgewählten Analog-Scans vom Typ Mittelformat. Hierbei handelt es sich um einen überlagerten Portra400-Farbfilm.

Wofür ist das Paket interessant?

  1. Stimmungsbilder (Urlaub, emotionale Szenen)
  2. Details, Detailbilder mit Fokus auf „Natürlichkeit“
  3. Produktfotos
  4. Innenraumgestaltungen (Wohnzimmer, Schlafzimmer, Küche)
  5. …

Wir haben mit dem Modell 2000 Bilder generiert und es ist eine Gewichtung von 0.8 bis 1.0 in Verbindung mit den bekannten „SDXL“-Datensätzen zu empfehlen.

Interesse an einer Zusammenarbeit? Gerne Kontakt via office@pontipix.de.

Portfolioauszug und Download des Lora unter: https://civitai.com/models/353556/c41hasselbladportra400

Training von Loras // Civitai-Variante

Im Bereich der Contentproduktion inkl. Befüllung von Blogs + SocialMedia-Accounts wird der Einsatz moderner KI-Methoden immer interessanter u. eine Variante ist die Bildgenerierung mit Hilfe von StableDiffusion.

Ich mag SD / SDXL (StableDiffusion) wegen der unkomplizierten Organisation und der beachtlichen Qualität. Ein wichtiges Kernelement sind die Loras, hierbei möchte ich nicht zuviel Technik erklären und nur auf EINE Trainingsmöglichkeit eingehen.

Wozu das Training? Antwort: Loras kann man im Grunde als „kleine“ trainierte Modelle, die Informationen zu der Darstellung von „Umgebungen“, „Lichtverhältnisse“ oder auch kleine + große Objekte beinhalten können.

Ich trainiere aktuell unsere Loras mit Hilfe der Plattform: https://civitai.com/login?ref_code=WOB-CEH (Ref.-Link). Diese Plattform vergleiche ich gerne mit einer Art Facebook für Digital-Künstler:innen.

Zum Training (Achtung: Besorge Dir da einen Account!)

  1. https://civitai.com/models/train
  2. Dem Lora einen Namen geben (Bspw: KB_Kentmere400 für das Training auf Basis meiner Negativscans | Fotolanor)
  3. Auf die Kachel „Concept“ Clicken
  4. Alles Bestätigen
  5. Bilder hochladen und Label definieren (Label dient im Nachgang auch als „Triggerword“, daher Label GUT definieren und notieren!)

Rest: siehe Galerie.

Hier alles bestätigen, die 500 „Buzz“ bezahlen und den Trainingsprozess auslösen!

Tipps & Tricks für die Erstellung von CSV-Produktkatalogen für Affiliate-Webseiten

[Hinweis: Dieser Artikel erschien auf dieser Seite bereits im Jahre 2014. Da er noch immer aktuell ist, haben wir ihn im März 2024 überarbeitet und neu publiziert.]

Für unsere Affiliate-Blogs sind wir auf qualitativ hochwertige Produktkataloge im Format CSV oder XML angewiesen. Leider passiert es recht häufig, dass diese Dateien fehlerhaft oder nur sehr unzureichend mit Informationen ausgestattet sind. Aus diesem Grund fasse ich hier zusammen, worauf wir besonderen Wert legen.

In aller Kürze:

✔ CSV-Dateien aktuell und übersichtlich halten mit einer Anzahl von Produkten zwischen 150 bis ca. 3.000
✔ Eindeutige und aussagekräftige Produkttitel bzw. Produktnamen
✔ Individuelle Produktbeschreibungen (auch gern mit HTML/CSS) für individuelle Produkte, keine Produkt-Dubletten vom gleichen Produkt in z. B. anderen Farben
✔ Strukturierung in Form von Produktkategorien
✔ Aussagekräftige Produktfotos

Die ausführliche Variante:

✔ Der Produkttitel bzw. Produktname sollte eindeutig und aussagekräftig sein. Vermeiden Sie z.B. dreihundert verschiedene Produkte mit demselben Produktnamen „Esstisch“. So sind Produkte sowohl übers Frontend, Backend als auch via Suchmaschinen besser auffindbar, leichter zu verwalten und schneller wiederzuerkennen.

✔ Halten Sie Ihre CSVs bzw. die Produkte darin unbedingt aktuell. Stellen Sie sich den Frust vor, wenn Kundschaft glaubt, ein Produkt auf einer Affiliate-Seite gefunden zu haben und im Zielshop feststellen muss, dass es dort längst nicht mehr verkauft wird.

✔ Wenn Sie ein Produkt in verschiedenen Ausführungen im Sortiment haben (z.B. eine Lampe in 10 verschiedenen Farben) und jede Variation davon einzeln in die CSV einbinden, achten Sie bitte unbedingt auf individuelle Produkttitel und individuelle Produktbeschreibungen. Leider müssen wir regelmäßig komplette CSV-Datensätze mit teilweise tollen Produkten verwerfen, die zu großen Teilen aus Produkt-Dubletten bestehen und es in keinem Verhältnis zur aufgewendeten Zeit stünde, diese händisch (auch nach regelmäßigen Updates) zu editieren. Gerade für Affiliate-Marketing empfiehlt es sich daher, in die CSV nur ein Artikel einer Reihe aufzunehmen und in der Produktbeschreibung auf die verschiedenen Varianten im Zielshop hinzuweisen. Positiver Nebeneffekt hierbei ist, dass Sie nur eine aussagekräftige Produktbeschreibung brauchen und Ihre CSV automatisch übersichtlicher wird.

✔ Machen Sie sich Gedanken über Ihre Produktkategorien. Unseren Erfahrungen nach lassen sich Inhalte von Affiliate-Blogs sehr gut mit Hilfe von Produktkategorien strukturieren, über die wiederum potentielle Käufer*innen schnell und einfach innerhalb der Seiten navigieren können. „Möbel“ taugt gut als eine Oberkategorie für Möbelstücke, lässt aber auch viel Spielraum für Konkretisierungen: Esszimmerstühle, Beistelltische, Garderoben etc. „Sonstiges“ oder auch „Sale“ eignen sich nicht als Produktkategorie. Je vielfältiger und genauer Ihre Produktkategorisierungen, desto größer sind unsere Möglichkeiten, die Affiliate-Webseite thematisch zu optimieren. Das Gleiche gilt übrigens auch für Produktschlagwörter.

✔ Noch ein, zwei Bemerkungen zu den Produktbeschreibungen. Nicht zu unterschätzen sind wie immer korrekte Orthographie & Grammatik. Beschreiben Sie Ihre Produkte so ausführlich wie möglich. Hierbei können Sie mit der Editiersprache HTML direkten Einfluss nehmen auf die Darstellung Ihres Produkttextes. Bedenken Sie auch, dass sich potentielle Kundschaft noch nicht auf Ihrem Webshop befindet, sondern Ihre Produkte in dem Moment auf einer Affiliate-Seite studiert, die viele Informationen und Zusammenhänge nicht transportiert, die auf Ihren Seiten für die Kund*innen sofort ersichtlich wären. Es sind Ihre Texte, Fotos und Details, die potentielle Kund*innen animieren (können), Ihren Webshop zu besuchen und eventuell eines Ihrer Produkte zu kaufen.

✔ Im Absatz über Produkt-Dubletten habe ich bereits die Übersichtlichkeit von CSV-Dateien angesprochen. Gelegentlich stolpern wir über CSVs, die komplett vollgestopft sind mit Tausenden von Artikeln und oft die riesige Produktbandbreite eines einzelnen Onlineshops abbilden. Mit diesen CSVs können wir leider gar nichts anfangen, seitdem wir aufgehört haben, externe CSVs eigenhändig zu editieren (und wir spätestens beim ersten Update der CSV wieder vor demselben Problem stünden).
Überlegen Sie sich daher genau, welche Produkte Sie in Ihre Affiliate-CSV aufnehmen. Unseren Erfahrungen nach lohnt es sich, eine Auswahl an z.B. hochpreisigen Produkten („Knallerprodukte“) Ihres Kerngeschäfts bereitzustellen und auf all die kleinen „Nebenprodukte“ wie z.B. Ersatzteile zu verzichten. Ziehen Sie auch in Betracht, mehrere CSVs mit verschiedenen thematischen Schwerpunkten für das Affiliate-Marketing anzubieten. Für unseren Gebrauch hat eine CSV eine annehmbare, gut einzupflegende Größe, wenn sie zwischen 150 und 3.000 Produkte enthält.

✔ Haben Sie unbedingt ein besonderes Augenmerk auf die Fotos in Ihren Produktkatalogen. Eine CSV-Datei ohne Fotos bzw. den URLs zu diesen Fotos ist für uns unbrauchbar. Dies ist zum Glück eher selten der Fall. Öfter kommt es aber vor, dass einzelne Foto-URLs falsch sind oder auf fehlende Dateien auf Servern verweisen. Von uns gern gesehen sind auch CSVs mit einem Angebot an verschieden großen Fotos (Thumbnail, mittel bis sehr groß). Achten Sie hierbei bitte auf eine userfreundliche Auflösung und Dateigröße der Fotos.

Testreihe // Validierung von Modellen (KI-generierte Portraits (6)

Prompt: „front shot, portrait photo of a 25 y.o french woman, looks away, natural skin, skin moles, cozy interior, (cinematic,kodak portra 200, 35mm film grain)1.1“

Negativ-Prompt: „(worst quality, low quality, normal quality, lowres, low details, oversaturated, undersaturated, overexposed, underexposed, grayscale, bw, bad photo, bad photography, bad art)1.4, (watermark, signature, text font, username, error, logo, words, letters, digits, autograph, trademark, name)1.2, (blur, blurry, grainy)+, morbid, ugly, asymmetrical, mutated malformed, mutilated, poorly lit, bad shadow, draft, cropped, out of frame, cut off, censored, jpeg artifacts, out of focus, glitch, duplicate, (airbrushed, cartoon, anime, semi-realistic, cgi, render, blender, digital art, manga, amateur)1.3, (3D ,3D Game, 3D Game Scene, 3D Character)1.1, (bad hands, bad anatomy, bad body, bad face, bad teeth, bad arms, bad legs, deformities)1.3“

Model: sdvn6Realxl_detailface

Testreihe // Validierung von Modellen (KI-generierte Portraits (5)

Prompt: „front shot, portrait photo of a 25 y.o french woman, looks away, natural skin, skin moles, cozy interior, (cinematic,kodak portra 200, 35mm film grain)1.1“

Negativ-Prompt: „(worst quality, low quality, normal quality, lowres, low details, oversaturated, undersaturated, overexposed, underexposed, grayscale, bw, bad photo, bad photography, bad art)1.4, (watermark, signature, text font, username, error, logo, words, letters, digits, autograph, trademark, name)1.2, (blur, blurry, grainy)+, morbid, ugly, asymmetrical, mutated malformed, mutilated, poorly lit, bad shadow, draft, cropped, out of frame, cut off, censored, jpeg artifacts, out of focus, glitch, duplicate, (airbrushed, cartoon, anime, semi-realistic, cgi, render, blender, digital art, manga, amateur)1.3, (3D ,3D Game, 3D Game Scene, 3D Character)1.1, (bad hands, bad anatomy, bad body, bad face, bad teeth, bad arms, bad legs, deformities)1.3“

Model: theTrualityEngine_trualityENGINEPRO.safetensors.diff

Testreihe // Validierung von Modellen (KI-generierte Portraits (4)

Prompt: „front shot, portrait photo of a 25 y.o french woman, looks away, natural skin, skin moles, cozy interior, (cinematic,kodak portra 200, 35mm film grain)1.1“

Negativ-Prompt: „(worst quality, low quality, normal quality, lowres, low details, oversaturated, undersaturated, overexposed, underexposed, grayscale, bw, bad photo, bad photography, bad art)1.4, (watermark, signature, text font, username, error, logo, words, letters, digits, autograph, trademark, name)1.2, (blur, blurry, grainy)+, morbid, ugly, asymmetrical, mutated malformed, mutilated, poorly lit, bad shadow, draft, cropped, out of frame, cut off, censored, jpeg artifacts, out of focus, glitch, duplicate, (airbrushed, cartoon, anime, semi-realistic, cgi, render, blender, digital art, manga, amateur)1.3, (3D ,3D Game, 3D Game Scene, 3D Character)1.1, (bad hands, bad anatomy, bad body, bad face, bad teeth, bad arms, bad legs, deformities)1.3“

Model: epicphotogasm_lastUnicorn.safetensors.diff