1. Ingestion & Video Processing:

   • Tools: yt-dlp, FFmpeg, PySceneDetect.

   • Prozess: Automatisiertes Monitoring von HLS/DASH-Streams und Mediatheken. Szenenwechselerkennung (Content-aware Shot Boundary Detection) isoliert relevante Interview- und Sprecher-Segmente. Extraktion von I-Frames / Keyframes und Separation der Audio-Spuren.

2. Multimodale Signal-Extraktion:

   • Spatial / OCR: PaddleOCR oder angepasste Transformer-basierte OCR-Pipelines, fokussiert auf Regions of Interest (ROI: unteres Bilddrittel / Chyrons / Bauchbinden) zur Extraktion von Text-Metadaten (Name, Beruf, Ortsangabe).

   • Audio / ASR & NER: Transkription via Whisper ASR mit nachgelagertem Named Entity Recognition (NER; SpaCy / BERT-basiert), um im Dialog fallende Eigennamen und Kontext-Entitäten zu erfassen.

   • Biometrische Embeddings: Face Detection (RetinaFace / MTCNN) + Alignment und Extraktion 512-dimensionaler Feature-Vektoren via InsightFace (ArcFace ResNet/MobileFaceNet-Backbone).

2. Entity Resolution, Vector Matching & Wissensgraph

• Vektor- und Text-Indexierung:

  • Gesichts-Embeddings werden mittels ANN-Suche (Approximate Nearest Neighbor, HNSW-Index) in Qdrant oder PostgreSQL mit pgvector gegen die kuratierte Ground Truth abgeglichen. Metrik: Cosine Distance.

  • Extrahierte Text-Strings durchlaufen einen phonetischen und Fuzzy-String-Matching-Filter (Levenshtein-Distanz, Token Sort Ratio) gegen Personenregister.

• Ground Truth & ETL-Pipelines:

  • Anbindung offiziellem Open Data: Bundestag Open Data API, Abgeordnetenwatch API, EU WhoIsWho, Wikidata SPARQL-Endpoints, kommunale Ratsinformationssysteme via OParl-Standard und das offizielle Lobbyregister des Bundestages.

  • Historisierung: Temporale Gültigkeitszeiträume für Mandate und Parteifunktionen zur korrekten Attribution historischer Archivaufnahmen.

3. Heuristische Diskrepanz-Logik & Scoring

Um Alert Fatigue in Redaktionen zu vermeiden, nutzt das System einen dreistufigen Klassifikations- und Scoring-Filter:

1. Transparenz-Filter (Negativ-Kriterium / Exclusion):

   Ergibt das NER auf Bauchbinde oder ASR-Transkript eine explizite Nennung von Funktion, Mandat oder Partei (z. B. Regex-Match auf Parteinamen, MdB/MdL-Kürzel), wird der Frame als deklariert geflaggt und kein Review-Ticket erstellt.

2. Rollen-Diskrepanz (Positiv-Kriterium / Trigger):

   Biometrische Vektor-Ähnlichkeit liegt über dem Schwellenwert (z. B. $\text{Cosine Similarity} \ge 0.88$) oder exakter Namens-Match im Transkript, während die Bauchbinde neutrale Rollenbezeichnungen aufweist (z. B. „Passant“, „Anwohner“, „Kunde“) oder gänzlich fehlt.

3. Plausibilitäts-Scoring ($S_{\text{total}}$):

   $$S_{\text{total}} = 0.40 \cdot S_{\text{biometrie}} + 0.30 \cdot S_{\text{text/ocr}} + 0.30 \cdot S_{\text{geo/kontext}}$$

   Einträge mit hohem $S_{\text{total}}$ werden priorisiert in das FastAPI-Backend eingespeist.

4. Review-Dashboard & Regulatory / Privacy Compliance

• Human-in-the-Loop UI: React/Next.js-Dashboard mit Side-by-Side-Vergleich (TV-Frame vs. lizenziertes Referenzporträt), Timecode-Referenz, Konfidenz-Metriken und direkten Links zu den amtlichen Mandats- und Lobbyregistern.

• Privacy-by-Design & DSGVO / EU AI Act:

  • Asymmetrische Vektorspeicherung: Feature-Vektoren von nicht gematchten Gesichtern werden im flüchtigen Speicher (RAM) verarbeitet und nach Inferenz sofort verworfen (Ephemeral Processing). Es findet kein Tracking privater Bürger statt.

  • Keine autonome Entscheidungsgewalt: Reines Decision-Support-System (Assistenzsystem), wodurch es die regulatorischen Vorgaben an hochriskante biometrische Fernidentifikationssysteme durch strikte redaktionelle Letztentscheidung und Audit-Logs erfüllt.