Bildfrequenz
Die Bildfrequenz (präziser Bildwechselfrequenz), oder auch Bildrate ist ein Begriff aus der Film- und Videotechnik. Sie bezeichnet die Anzahl der Einzelbilder, die pro Zeitspanne aufgenommen oder wiedergegeben werden und wird meist in der Einheit fps (englisch: frames per second), seltener BpS (Bildrahmen/Bilder pro Sekunde) oder Hz (Hertz) angegeben. Hochgeschwindigkeitskameras können schon mehrere Millionen davon besitzen. Diese werden dann oft für Zeitlupen gebraucht. ⓘ
Die Variable Bildwechselfrequenz (englisch variable frame rate) ist ein Begriff aus dem Bereich der Videokompression für ein Feature, das von manchen Containerformaten unterstützt wird. Es erlaubt die Veränderung der Bildfrequenz beim Abspielen eines Videos. Zudem kann die Vorstellung einer festen Bildfrequenz komplett ignoriert werden und für jedes Bild ein eigener Timecode erstellt werden. ⓘ
Die variable Bildwechselfrequenz ist vor allem hilfreich, wenn ein Video eine große Anzahl komplett statischer Bilder enthält. In diesem Fall kann die Kompressionsrate verbessert werden. ⓘ
Zudem kann man das Auftreten von Artefakten bei der Bildfrequenzkonvertierung verhindern, wenn ein Video eine Kombination von Abschnitten mit 24/25/30/50/60 Bildern/Sekunde enthält. ⓘ
Standbilder von Aufnahmen in dunklen Umgebungen können mit einer zeitweise abgesetzten Bildwiederholfrequenz länger belichtet werden und somit ein helleres Bild erzeugen. ⓘ
Menschliches Sehen
Die zeitliche Empfindlichkeit und Auflösung des menschlichen Sehvermögens hängt von der Art und den Merkmalen des visuellen Reizes ab und ist von Person zu Person unterschiedlich. Das menschliche Sehsystem kann 10 bis 12 Bilder pro Sekunde verarbeiten und sie einzeln wahrnehmen, während höhere Raten als Bewegung wahrgenommen werden. Moduliertes Licht (wie z. B. ein Computerbildschirm) wird von der Mehrheit der Studienteilnehmer als stabil wahrgenommen, wenn die Frequenz über 50 Hz liegt. Diese Wahrnehmung von moduliertem Licht als gleichbleibend ist als Flimmerfusionsschwelle bekannt. Wenn das modulierte Licht jedoch ungleichmäßig ist und ein Bild enthält, kann die Flimmerfusionsschwelle sehr viel höher sein und im Bereich von Hunderten von Hertz liegen. Was die Bilderkennung betrifft, so wurde festgestellt, dass Menschen ein bestimmtes Bild in einer ununterbrochenen Serie verschiedener Bilder erkennen, von denen jedes nur 13 Millisekunden dauert. Die Persistenz des Sehens führt manchmal dazu, dass sehr kurze visuelle Reize von einer Millisekunde Dauer zwischen 100 ms und 400 ms wahrgenommen werden. Mehrere sehr kurze Reize werden manchmal als ein einziger Reiz wahrgenommen, wie z. B. ein grüner Lichtblitz von 10 ms, der unmittelbar von einem roten Lichtblitz von 10 ms gefolgt wird, der als ein einziger gelber Lichtblitz wahrgenommen wird. ⓘ
Film und Video
Stummfilme
Frühe Stummfilme hatten eine angegebene Bildrate von 16 bis 24 Bildern pro Sekunde (fps), aber da die Kameras von Hand bedient wurden, änderte sich die Rate oft während der Szene, um sich der Stimmung anzupassen. Die Filmvorführer konnten die Bildfrequenz auch im Kino ändern, indem sie die Spannung für den Filmtransportmechanismus im Projektor mit einem Rheostat regelten. Die Filmgesellschaften wollten oft, dass ihre Stummfilme in den Kinos mit höheren Bildwechselfrequenzen gezeigt werden, als sie gefilmt wurden. Diese Bildwechselfrequenzen reichten aus, um den Eindruck von Bewegung zu erwecken, wurden aber als ruckelig wahrgenommen. Um das wahrgenommene Flimmern zu minimieren, wurden Projektoren mit Doppel- und Dreifachblende eingesetzt, so dass jedes Bild zwei- oder dreimal angezeigt wurde, was die Flimmerrate auf 48 oder 72 Hertz erhöhte und die Belastung der Augen reduzierte. Thomas Edison sagte, dass 46 Bilder pro Sekunde das Minimum sind, das das Auge braucht, um Bewegung wahrzunehmen: "Alles, was darunter liegt, belastet das Auge". Mitte bis Ende der 1920er Jahre stieg die Bildfrequenz für Stummfilme auf 20 bis 26 Bilder pro Sekunde. ⓘ
Tonfilme
Als 1926 der Tonfilm eingeführt wurde, wurden Schwankungen in der Filmgeschwindigkeit nicht mehr toleriert, da das menschliche Ohr empfindlicher auf Frequenzänderungen reagiert als das Auge. In vielen Kinos wurden Stummfilme mit 22 bis 26 Bildern pro Sekunde gezeigt, weshalb die Industrie als Kompromiss 24 Bilder pro Sekunde für Tonfilme wählte. Zwischen 1927 und 1930, als verschiedene Studios ihre Ausrüstung modernisierten, wurde die Rate von 24 FPS zum Standard für 35-mm-Tonfilme. Bei 24 FPS durchläuft der Film den Projektor mit einer Geschwindigkeit von 456 Millimetern pro Sekunde (18,0 Zoll). Dies ermöglichte es, mit einfachen Zwei-Lamellen-Verschlüssen eine projizierte Bildserie mit 48 pro Sekunde zu erzeugen, was Edisons Empfehlung entsprach. Viele moderne 35-mm-Filmprojektoren verwenden Verschlussklappen mit drei Lamellen, um 72 Bilder pro Sekunde zu projizieren - jedes Bild wird dreimal auf der Leinwand angezeigt. ⓘ
Zeichentrickfilm
Bei gezeichneten Animationen werden bewegte Figuren oft "zu zweit" aufgenommen, d. h. für jeweils zwei Bilder des Films (der in der Regel mit 24 Bildern pro Sekunde läuft) wird eine Zeichnung gezeigt, was bedeutet, dass es nur 12 Zeichnungen pro Sekunde gibt. Auch wenn die Bildaktualisierungsrate niedrig ist, ist die Flüssigkeit für die meisten Themen zufriedenstellend. Wenn eine Figur jedoch eine schnelle Bewegung ausführen muss, ist es in der Regel notwendig, auf die "Einser"-Animation zurückzugreifen, da die "Zweier"-Animation zu langsam ist, um die Bewegung adäquat zu vermitteln. Eine Mischung aus beiden Techniken sorgt dafür, dass das Auge getäuscht wird, ohne dass unnötige Produktionskosten anfallen. ⓘ
Die Animation für die meisten "Samstagmorgen-Cartoons" wurde so billig wie möglich produziert und meist auf "Dreier" oder sogar "Vierer" gedreht, d. h. drei oder vier Bilder pro Zeichnung. Das bedeutet, dass nur 8 bzw. 6 Zeichnungen pro Sekunde gemacht werden. Auch Anime wird in der Regel in Dreierschritten gezeichnet. ⓘ
Moderne Videonormen
Aufgrund der Netzfrequenz der Stromnetze wurde die analoge Fernsehübertragung mit Bildwechselfrequenzen von 50 Hz (im größten Teil der Welt) oder 60 Hz (Kanada, USA, Japan, Südkorea) entwickelt. Die Frequenz des Stromnetzes war äußerst stabil und daher logisch für die Synchronisation zu verwenden. ⓘ
Mit der Einführung der Farbfernsehtechnologie musste die Frequenz von 60 FPS um 0,1 % gesenkt werden, um das "Dot Crawl" zu vermeiden, ein Artefakt, das auf alten Schwarzweiß-Displays auftritt und auf stark farbgesättigten Oberflächen zu sehen ist. Es wurde festgestellt, dass durch eine Verringerung der Bildfrequenz um 0,1 % der unerwünschte Effekt minimiert werden konnte. ⓘ
Ab 2021 basieren die Videoübertragungsstandards in Nordamerika, Japan und Südkorea immer noch auf 60 / 1,001 ≈ 59,94 Bildern pro Sekunde. In der Regel werden zwei Bildformate verwendet: 1920×1080 ("1080i/p") und 1280×720 ("720p"). Verwirrenderweise werden Zeilensprungformate üblicherweise mit der halben Bildrate, 29,97/25 FPS, und der doppelten Bildhöhe angegeben, aber diese Angaben sind reine Gewohnheit; in jedem Format werden 60 Bilder pro Sekunde erzeugt. Bei einer Auflösung von 1080i werden 59,94 bzw. 50 Bilder mit 1920×540 Pixeln erzeugt, die im fotografischen Prozess auf die halbe Höhe gestaucht und bei der Wiedergabe auf einem Fernsehgerät wieder gestreckt werden, um den Bildschirm zu füllen. Das 720p-Format erzeugt 59,94/50 oder 29,97/25 1280×720p-Bilder, die nicht gequetscht werden, so dass keine Erweiterung oder Quetschung des Bildes erforderlich ist. Diese Verwirrung war in den Anfängen der digitalen Videosoftware branchenweit verbreitet. Viele Software wurde falsch geschrieben, da die Entwickler glaubten, dass nur 29,97-Bilder pro Sekunde erwartet würden, was nicht stimmte. Es stimmte zwar, dass jedes Bildelement nur 29,97 Mal pro Sekunde abgerufen und gesendet wurde, aber die unmittelbar darunter liegende Pixelposition wurde 1/60 Sekunde später abgerufen und war Teil eines völlig separaten Bildes für das nächste 1/60-Sekunden-Bild. ⓘ
Ein Film mit einer nativen Rate von 24 Bildern pro Sekunde konnte nicht ohne das notwendige Pulldown-Verfahren angezeigt werden, was oft zu "Ruckeln" führte: Um 24 Bilder pro Sekunde in 60 Bilder pro Sekunde umzuwandeln, wird jedes ungerade Bild doppelt, jedes gerade Bild dagegen dreifach wiedergegeben. Dadurch entsteht eine ungleichmäßige Bewegung, die stroboskopisch wirkt. Andere Konvertierungen weisen ähnliche ungleichmäßige Bildverdopplungen auf. Neuere Videostandards unterstützen 120, 240 oder 300 Bilder pro Sekunde, so dass Bilder für Standard-Bildraten wie 24, 48 und 60 FPS bei Film oder 25, 30, 50 oder 60 FPS bei Video gleichmäßig abgetastet werden können. Natürlich können diese höheren Bildfrequenzen auch mit ihrer ursprünglichen Frequenz angezeigt werden. ⓘ
Die Bildrate in den Spezifikationen elektronischer Kameras kann sich auf die maximal mögliche Rate beziehen, wobei in der Praxis andere Einstellungen (wie die Belichtungszeit) die Frequenz auf eine niedrigere Zahl reduzieren können. ⓘ
Hochkonvertierung der Bildrate
Bei der Aufwärtskonvertierung der Bildrate wird die zeitliche Auflösung einer Videosequenz erhöht, indem ein oder mehrere Zwischenbilder zwischen zwei aufeinanderfolgenden Bildern synthetisiert werden. Eine niedrige Bildrate verursacht Aliasing, führt zu abrupten Bewegungsartefakten und verschlechtert die Videoqualität. Folglich ist die zeitliche Auflösung ein wichtiger Faktor, der die Videoqualität beeinflusst. Algorithmen für FRC werden in vielen Anwendungen eingesetzt, darunter zur Verbesserung der visuellen Qualität, zur Videokomprimierung und zur Erzeugung von Zeitlupenvideos. ⓘ
Methoden
Die meisten FRC-Methoden lassen sich in die Kategorien optischer Fluss oder kernelbasierte und auf Pixelhalluzination basierende Methoden einteilen. ⓘ
Flussbasierte FRC
Flussbasierte Methoden kombinieren linear vorhergesagte optische Flüsse zwischen zwei Eingabebildern, um Flüsse vom Ziel-Zwischenbild zu den Eingabebildern zu approximieren. Sie schlagen auch eine Flussumkehrung (Projektion) vor, um eine genauere Bildverzerrung zu erreichen. Darüber hinaus gibt es Algorithmen, die den überlappenden Flussvektoren in Abhängigkeit von der Objekttiefe der Szene über eine Flussprojektionsschicht unterschiedliche Gewichte geben. ⓘ
Pixel-Halluzination-basierte FRC
Auf Pixel-Halluzination basierende Methoden verwenden eine deformierbare Faltung zum Center-Frame-Generator, indem optische Flüsse durch Offset-Vektoren ersetzt werden. Es gibt Algorithmen, die auch mittlere Frames mit Hilfe von deformierbarer Faltung im Feature-Bereich interpolieren. Da diese Methoden jedoch im Gegensatz zu den flussbasierten FRC-Methoden direkt Pixel halluzinieren, neigen die vorhergesagten Frames dazu, unscharf zu sein, wenn sich schnell bewegende Objekte vorhanden sind. ⓘ
Instrumente
| Werkzeug/Programm | АVerfügbarkeit | Multiplikator für maximale Bildsteigerung ⓘ |
|---|---|---|
| AviSynth MSU Frame Rate Conversion Filter | kommerziell | jede positive ganze Zahl |
| Adobe Premiere Pro | kommerziell | 100 |
| Vegas Pro | kommerziell | 100 |
| Topaz Video Enhance AI | kommerziell | 100 |
| Erweiterter Bildfrequenz-Konverter (AFRC) | kostenlos | jede positive ganze Zahl |
| FlowFrames Video AI Interpolation | kostenlos | Bis zu 8x |
- AviSynth MSU Frame Rate Conversion Filter
- Der AviSynth MSU Frame Rate Conversion Filter ist ein Open-Source-Tool für die Hochkonvertierung von Videobildraten. Er erhöht die Bildrate um einen ganzzahligen Faktor. So kann zum Beispiel ein Video mit 15 fps in ein Video mit 30 fps konvertiert werden. ⓘ
- Adobe Premiere Pro
- Adobe Premiere Pro ist ein kommerzielles Videobearbeitungsprogramm, mit dem Sie Ihr Video verlangsamen können, indem Sie optische Fluss- und Zeitumwandlungseffekte auf konventionell gedrehtes Filmmaterial anwenden, um besser aussehende und flüssigere Zeitlupen zu erstellen. ⓘ
- Vegas Pro
- Vegas Pro ist ebenfalls ein kommerzielles Videobearbeitungsprogramm. Es gibt auch eine Methode zur Erstellung von Zeitlupenvideos. Dazu müssen Sie das Ausmaß der Bewegung in Ihrem Video und die prozentuale Abspielgeschwindigkeit auswählen. ⓘ
- Topaz Video Enhance AI
- Topaz Video Enhance AI verfügt über das Chronos AI-Modell, das Deep Learning verwendet, um die Videobildrate ohne Artefakte zu erhöhen. Dieser Algorithmus generiert neue Frames, die oft nicht von den mit der Kamera aufgenommenen Frames zu unterscheiden sind. ⓘ
- Erweiterter Bildfrequenz-Konverter (AFRC)
- Der Hauptvorteil des AFRC-Algorithmus liegt in der Verwendung mehrerer Techniken zur Qualitätsverbesserung, wie adaptive Artefaktmaskierung, Verarbeitung schwarzer Streifen und Verdeckungsverfolgung:
- Die adaptive Artefaktmaskierungstechnik ermöglicht es, Artefakte für das Auge weniger wahrnehmbar zu machen und so die Gesamtqualität des verarbeiteten Videos zu verbessern;
- Die Verarbeitung schwarzer Streifen ermöglicht es, Artefakte zu vermeiden, die häufig in interpolierten Bildern auftreten, wenn schwarze Streifen in der Nähe der Bildränder vorhanden sind;
- Okklusionsverfolgung führt eine qualitativ hochwertige Wiederherstellung der interpolierten Frames in der Nähe der Ränder durch, wenn eine Bewegung in Richtung zum/vom Frame-Rand vorhanden ist. ⓘ