Forscher bei Apple haben Keyframer vorgestellt, einen Prototyp eines KI-gestützten Animationstools, mit dem Benutzer 2D-Bildern Bewegung hinzufügen können, indem sie beschreiben, wie sie bewegt werden.
In Forschungsbericht veröffentlicht am 8. FebruarApple sagte, dass große Sprachmodelle (LLMs) in der Animation trotz des Potenzials, das sie in anderen kreativen Medien wie Schreiben und Bilderzeugung gezeigt haben, „zu wenig erforscht“ wurden. Als Beispiel dafür, wie die Technologie angewendet werden kann, wird das LLM-basierte Keyframer-Tool gezeigt.
Mit GPT4 von OpenAI als Basismodell kann Keyframer Scalable Vector Graphic (SVG)-Dateien – ein Illustrationsformat, dessen Größe ohne Beeinträchtigung der Qualität geändert werden kann – und CSS-Code generieren, um das Bild basierend auf einer Textaufforderung zu animieren. Laden Sie einfach Ihr Foto hoch, geben Sie etwas wie „Lass die Sterne leuchten“ in das Eingabeaufforderungsfeld ein und klicken Sie auf „Erstellen“. Beispiele in der Forschungsarbeit zeigen, wie eine Zeichnung des Saturn zwischen Hintergrundfarben wechseln kann oder wie Sterne in den Vordergrund ein- und ausblenden.
Benutzer können mehrere Animationsdesigns gleichzeitig erstellen und Eigenschaften wie Farbcodes und Animationsdauer in einem separaten Fenster anpassen. Es sind keine Programmierkenntnisse erforderlich, da Keyframer diese Änderungen automatisch in CSS umwandelt, obwohl der Code selbst ebenfalls vollständig bearbeitet werden kann. Dieser beschreibungsbasierte Ansatz ist viel einfacher als andere Formen der KI-generierten Animation, die typischerweise viele verschiedene Anwendungen und etwas Programmiererfahrung erfordern.
„Ein Teil von mir macht sich Sorgen, dass diese Tools die Funktionalität ersetzen könnten, weil das Potenzial so groß ist“, sagte ein professioneller Motion-Designer, der an Apples Forschung teilgenommen hat. „Aber ich denke, sie zu erkennen und als Animation zu verwenden – das ist nur ein weiteres Tool in unserem Werkzeugkasten.“ . „Unsere Fähigkeiten. Es ist wirklich spannend.“
Allerdings ist es noch ein langer Weg. Keyframer ist noch nicht für die Öffentlichkeit verfügbar und die Benutzerstudie in Apples Forschungsbericht umfasste nur 13 Personen, die beim Ausprobieren des Tools nur zwei einfache vordefinierte SVG-Bilder verwenden konnten.
Apple hat in dem Papier auch sorgfältig auf seine Einschränkungen hingewiesen und angegeben, dass Keyframer sich auf webbasierte Animationen wie Ladesequenzen, Datenvisualisierung und animierte Übergänge konzentriert. Im Gegensatz dazu ist die Art von Animation, die man in Filmen und Videospielen sieht, zu komplex, als dass man sie allein mit Beschreibungen erstellen könnte – zumindest im Moment.
Keyframer ist eine von mehreren KI-Innovationen, die Apple in den letzten Monaten angekündigt hat. Im Dezember reichte das Unternehmen einen Antrag ein Menschliche Gaußsche Flecken (HUGS), mit dem aus Videos animationsfähige menschliche Avatare erstellt werden können. Letzte Woche hat Apple außerdem MGIE veröffentlicht, ein neues KI-Modell, das Bilder mithilfe von Textbeschreibungen bearbeiten kann.