Die Adobe AI-Videovorlage ist da und bereits in Premiere Pro enthalten

Adobe steigt in generative KI-Videos ein. Unternehmen Firefly-Videovorlagedas Anfang des Jahres angekündigt wurde, wird heute mit einer Vielzahl neuer Tools auf den Markt gebracht, darunter einige in Premiere Pro, mit denen Entwickler Filmmaterial erweitern und Videos aus Standbildern und Textansagen erstellen können.

Das erste Tool – Geneative Extend – wird in der Beta-Version von Premiere Pro eingeführt. Es kann verwendet werden, um das Ende oder den Anfang sehr kurzer Aufnahmen zu verlängern oder Anpassungen während der Aufnahme vorzunehmen, z. B. die Korrektur von verschobenen Augenlinien oder unerwarteten Bewegungen.

Clips können nur um zwei Sekunden verlängert werden, sodass Geneative Extend eigentlich nur für kleine Bearbeitungen geeignet ist, aber dies kann die Notwendigkeit ersetzen, Filmmaterial erneut aufzunehmen, um kleine Probleme zu beheben. Erweiterte Clips können mit 720p oder 1080p bei 24 fps erstellt werden. Es kann auch für Audio verwendet werden, um die Bearbeitung zu erleichtern, allerdings mit Einschränkungen. Es verlängert beispielsweise Soundeffekte und Umgebungs-„Raumtöne“ um bis zu zehn Sekunden, nicht jedoch gesprochene Dialoge oder Musik.

Zwei weitere Tools zur Videoerstellung werden im Internet eingeführt. Die erstmals im September angekündigten Text-zu-Video- und Bild-zu-Video-Tools von Adobe werden jetzt als begrenzte öffentliche Betaversion in der Firefly-Web-App eingeführt.

Die Text-zu-Video-Funktion funktioniert ähnlich wie andere Videogeneratoren wie Runway und Sora von OpenAI – Benutzer müssen lediglich eine Textbeschreibung dessen eingeben, was sie erstellen möchten. Es kann eine Vielzahl von Stilen simulieren, wie zum Beispiel normale „echte“ Filme, 3D-Animationen und Stop-Motion, und erstellte Clips können mithilfe einer Auswahl an „Kamerasteuerungen“, die Dinge wie Kamerawinkel, Bewegung und Aufnahmeentfernung simulieren, weiter verbessert werden. .

Die Funktion „Bild zu Video“ geht sogar noch weiter, indem sie es Benutzern ermöglicht, ein Referenzbild zusammen mit einer Textaufforderung hinzuzufügen, um eine bessere Kontrolle über die Ergebnisse zu erhalten. Adobe empfiehlt, damit Rohaufnahmen von Fotos und Fotografien zu erstellen oder Neuaufnahmen durch Hochladen eines Standbilds aus einem vorhandenen Video zu visualisieren. Das Vorher-Nachher-Beispiel unten zeigt, dass dies Wiedergaben nicht wirklich ersetzen kann, da viele Fehler wie wackelige Kabel und sich verschiebende Hintergründe in den Ergebnissen auftauchen.

Auch komplette Filme wird man mit dieser Technologie in absehbarer Zeit nicht mehr drehen können. Text-zu-Video- und Bild-zu-Video-Clips haben derzeit eine maximale Länge von fünf Sekunden und die Qualität beträgt 720p und 24 Bilder pro Sekunde. Im Vergleich dazu kann Sora laut OpenAI Videos mit einer Länge von bis zu einer Minute erstellen, „unter Beibehaltung der visuellen Qualität und unter Einhaltung der Benutzeranweisungen“ – aber das ist noch nicht öffentlich verfügbar, obwohl es Monate vor den Tools von Adobe angekündigt wurde.

Die Erstellung von Text-zu-Video, Bild-zu-Video und generativer Skalierung dauert jeweils etwa 90 Sekunden, aber Adobe sagt, dass man an einem „Turbo-Modus“ arbeitet, um diese Zeit zu reduzieren. So restriktiv sie auch sind, sagt Adobe, dass seine Tools, die auf seinem Video-KI-Modell basieren, „kommerziell sicher“ sind, weil sie auf Inhalten geschult sind, für deren Nutzung der Kreativsoftware-Riese freigegeben wurde. Models von anderen Anbietern wie Runway stehen unter Beobachtung, weil sie angeblich auf Tausenden gestohlener YouTube-Videos trainiert haben – oder im Fall von Meta vielleicht sogar subjektiv Videos – Die kommerzielle Rentabilität kann für einige Benutzer ein entscheidender Faktor sein.

Ein weiterer Vorteil besteht darin, dass Videos, die mit dem Firefly-Videomodell von Adobe erstellt oder bearbeitet wurden, mit Inhaltsanmeldeinformationen eingebettet werden können, um bei der Online-Veröffentlichung KI-Nutzungsrechte und Eigentumsrechte offenzulegen. Es ist nicht klar, wann die Betaversion dieser Tools beendet sein wird, aber sie sind zumindest öffentlich verfügbar – mehr als wir sagen können OpenAI SoraUnd Metas Movie Gen und Googles Veo-Generatoren.

Die Einführung von KI-Videos wurde heute auf der MAX-Konferenz von Adobe angekündigt, wo das Unternehmen auch eine Reihe weiterer KI-gestützter Funktionen in seinen Kreativ-Apps vorstellt.