Die neue Upscaling-Technologie von Adobe nutzt künstliche Intelligenz, um die Videoauflösung zu verbessern

Bei den meisten der kürzlich von Adobe angekündigten neuen Funktionen und Erfahrungen handelt es sich um KI, etwa das Hinzufügen und Entfernen von Objekten in Premiere Pro und das Erstellen textbasierter Bilder in Photoshop. Und jetzt hat das Unternehmen enthüllt VideoGygaganeine experimentelle KI-Funktion, die besagt, dass sie Videos um das Achtfache hochskalieren kann, ohne dass die üblichen Effekte wie Flackern oder Verzerrungen auftreten. die Kante erwähnt.

Laut Adobe übertrifft VideoGigaGAN andere Video-Super-Resolution-Methoden (VSR), da es die üblichen Artefakte und Flimmern vermeidet, die GANs (General Adversarial Networks) bieten. Gleichzeitig sorgt es für mehr Klarheit und Details – wo die meisten anderen Systeme nicht beides gleichzeitig leisten können.

Natürlich erzeugt das System nicht vorhandene Details aus dem Nichts, sodass dies nicht für Dinge wie forensische Videoverbesserung geeignet wäre. Zum Beispiel Krimiserien im CSI-Stil. Aber die hinzugefügten Details wirken beeindruckend echt, wie die Textur der Haut und des weichen Haares, Schwanenfeder-Detail Und mehr.

Laut Adobe-Forschern basiert das Modell auf einem großformatigen Bildverstärker namens GigaGAN. Frühere VSR-Modelle hatten Schwierigkeiten, in den Ergebnissen reichhaltige Details zu erzeugen, daher kombinierte Adobe „zeitliche Aufmerksamkeit“ (Reduzierung von Artefakten, die sich im Laufe der Zeit ansammeln), Feature-Diffusion (Hinzufügen von Details, wo sie nicht vorhanden sind), Anti-Aliasing und den sogenannten „HF-Shuttle“. “ (Shuttle-Hochfrequenzfunktionen), um das Endergebnis zu erstellen.

Wenn es zu Produkten wie Premiere Pro oder After Effects hinzugefügt wird, könnte es Videoproduzenten ermöglichen, Filmmaterial mit niedriger Auflösung viel besser aussehen zu lassen, obwohl die Verwendung von KI zur Verbesserung von Menschen eine umstrittene Praxis ist. Es gibt noch kein Wort darüber, ob Adobe dies plant (derzeit sind die Clips kurz und werden nur mit 12 Bildern pro Sekunde abgespielt), aber viele Unternehmen, darunter NVIDIA, Microsoft, Blackmagic Design und andere, arbeiten ebenfalls an KI-Upscaling-Technologie.