Hauchen Sie Ihren Bildern Leben ein – mit der unglaublichen Videosyntheseleistung von Gen-2 des KI-Pioniers Runway Research. Diese bahnbrechende Software verwandelt Ihre statischen Eingaben wie von Zauberhand in raffinierte, detaillierte Videokreationen.

Geben Sie einfach eine Textbeschreibung ein, laden Sie ein Bild hoch, oder lassen Sie Ihrer Fantasie freien Lauf. Das fortschrittliche Diffusionsmodell von Gen-2, das auf Millionen von Clips trainiert wurde, kann Bilder interpolieren und die Auflösung verbessern. Das Ergebnis? Glatte, hochwertige Kurzvideos, die fast magisch aussehen.

In diesem Bericht werden wir die Text-zu-Video- und Bild-zu-Video-Funktionen von Gen-2 eingehend untersuchen. Von den ersten Schritten bis zum kreativen Überschreiten von Grenzen.

Als Pionier der multimodalen KI-Kreativität hat Runway Gen-2 entwickelt, um neue Möglichkeiten für die Erstellung nahtloser, nuancierter Videoinhalte zu eröffnen. Diese Technologie ermöglicht es jedem, fortschrittliche generative Videotechniken zu nutzen. Lassen Sie uns eintauchen und sehen, wie Gen-2 Ihre kreativen Visionen zum Leben erwecken kann!

Was ist Gen-2?

Gen-2 ist ein generatives KI-System, das sich auf die Bild- und Videosynthese spezialisiert hat. Es ist eines der ersten kommerziell erhältlichen Text-to-Video-Modelle und wurde entwickelt, um Videos aus Textanweisungen oder einem vorhandenen Bild zu generieren. Gen-2 ist ein Diffusionsmodell, das lernt, von einem Ausgangsbild, das ausschließlich aus Rauschen besteht, schrittweise Rauschen zu subtrahieren, um sich so der Aufforderung Schritt für Schritt anzunähern. Es wurde mit einem internen Datensatz von 240 Millionen Bildern und 6,4 Millionen Videoclips trainiert. 

Einige Merkmale von Gen-2 sind:

• Feinabstimmung der Generationen durch erweiterte Einstellungen.
• Speichern von Startnummern für künftige Generationen.
• Ermöglichung der Hochskalierung für eine verbesserte Videoauflösung.
• Verwendung von Interpolation zur Glättung von Bildern.

Die ersten Schritte sind einfach –  Sie können sich mit Ihrem Google-Konto bei Runway anmelden, Gen-2 aus der Liste der Modelle auswählen, einen Prompt wählen, die Einstellungen anpassen (dies ist meist nur möglich, wenn Sie ein Abonnement abgeschlossen haben), das Video erstellen und dann eine Vorschau anzeigen und die Ausgabe optimieren. Ausführliche Anleitungen finden Sie hier, aber die benutzerfreundliche Oberfläche von Gen-2 ermöglicht es Ihnen, sofort loszulegen.

Merkmale der Gen-2-Schnittstelle erklärt

• Webbasierte Schnittstelle: Auf Gen-2 kann über die Runway-Webplattform zugegriffen werden, sodass die Benutzer das Modell direkt von ihrem Browser aus nutzen können, ohne dass Software heruntergeladen oder auf der Festplatte gespeichert werden muss1.
• Videos generieren: Benutzer können mit Gen-2 Videos auf der Grundlage von Textaufforderungen oder vorhandenen Bildern generieren. Das Modell nutzt fortschrittliche KI-Techniken, um Videos zu synthetisieren, die mit den gegebenen Aufforderungen übereinstimmen1.

• Feinabstimmung: Gen-2 bietet erweiterte Einstellungen, mit denen die Benutzer die Generationen nach ihren Wünschen feineinstellen können. Dazu gehört die Anpassung der Anzahl der Bilder, der Auflösung und anderer Parameter, um die gewünschte Ausgabe zu erreichen2. Diese Funktion ist nur für abonnierte Benutzer verfügbar.
• Upscaling: Die Nutzer haben die Möglichkeit, die Auflösung der erzeugten Videos hochzuskalieren, um die visuelle Qualität und Klarheit der Ausgabe zu verbessern2.

• Interpolation: Gen-2 nutzt Interpolationstechniken, um die Bilder in den erzeugten Videos zu glätten, was zu flüssigeren und nahtloseren Übergängen zwischen den Bildern führt2.

• Seed-Nummern speichern: Die Benutzer können Seed-Nummern für künftige Generationen speichern, um bestimmte Videoausgaben zu reproduzieren oder zu wiederholen2.

• Eigentum an der Ausgabe: Runway-Nutzer behalten das volle Eigentum an den mit Gen-2 erstellten Videos.
• Bearbeiten von Videos und Bearbeiten von Audio und Untertiteln: Runway-Nutzern steht eine Bibliothek mit Werkzeugen zur Bearbeitung der erstellten Videos zur Verfügung.

Gen-2 Prompts beste Praktiken

Sorgfältig ausgearbeitete Prompts ermöglichen es Ihnen, die unglaublichen Videosynthesefähigkeiten von Gen-2 zu nutzen. Überprüfen Sie die Ausgaben und passen Sie die Einstellungen an, um Ihre kreative Vision zu verwirklichen. Hier sind einige Tipps für effektive Gen-2 Prompts:

• Fügen Sie Details zu Stil, Aufnahme, Thema, Aktion, Einstellung und Beleuchtung ein.
• Seien Sie spezifisch – fügen Sie Emotionen und Eigenschaften hinzu
• Experimentieren Sie mit verschiedenen Souffleuren und Stilen
• Denken Sie an die Grenzen – das Ergebnis entspricht möglicherweise nicht perfekt den Erwartungen.
• Nach der Erstellung überprüfen und anpassen – Bilder, Auflösung usw. optimieren.

Beispielaufforderungen und Ergebnisse

Beachten Sie, dass alle diese Videoclips mit dem kostenlosen Tarif erstellt wurden und die Plattform Still Runway die weitere Bearbeitung der erstellten Videos mit einer Reihe verschiedener vordefinierter Effekte erleichtert.

Text zu Video

1. “Eine filmische Aufnahme eines Wolfs in einem verschneiten Wald in ultrarealistischem HD im Winter”

2. “Eine Straßenszene mit einer Gruppe von Touristen, die auf der Karlsbrücke in Prag in der goldenen Abendstunde spazieren gehen, im Stil der Kinematographie und einer schönen Komposition ”.

3. “Flächige Drohnenaufnahme eines Tals inmitten einer üppigen Bergkette, hochauflösende Morgenstimmung im Stil eines 3D-Animationsfilms”.

4. “Ein Schuss von einer Cartoon-Illustration von einem Cowboy reitet sein Pferd von hinten in Texas Grasland, animierte realistische High-Definition-Abendlicht ”

5. “Eine filmische Totale einer Panda-Mutter und ihres Jungen, im Stil einer Cartoon-Illustration im Morgenlicht”

6. “Spionagefilm lange Schuss schöne Geheimagentin in einem roten Kleid High-End-Restaurant warme Lichter”

7. “In dieser atemberaubenden Filmaufnahme ist der Rand einer Klippe in Griechenland zu sehen, wobei das ultra-realistische HD-Abendlicht die Schönheit der Szene noch unterstreicht. Die Aufnahme wurde von einer Drohne gefilmt, was sie noch beeindruckender macht.”

8. “Zarte Farben, abstraktes Design, Zeitlupe, 4K”

Bilder zu Video

9. Auf die Aufforderung folgte dieses Bild

“Eine mittelgroße Aufnahme einer charmanten lächelnden Prinzessin mit einem schönen blonden Teint und blauen Augen blinzelt, in einer Tiara gekleidet, geht spielerisch auf eine malerische Landschaft, am Morgen, ultra-realistische 4k Auflösung.”

10. Auf die Aufforderung folgte dieses Bild

“Eine lange Einstellung des Pandas und seines Jungtiers, die sich nebeneinander sitzend amüsieren, in Anlehnung an das Bild 4k mit Superauflösung ultrarealistisch im Kinostil.”

11. Auf die Aufforderung folgte dieses Bild

“Vollbild eines Ninja-Schergen, der im Dunkeln einen Kapuzenpulli trägt und mit einem Schwert in das nächtliche Haus eindringt, ein animierter Horrorfilm ”

12. Eine Erzählung, gefolgt von einem Referenzbild

“Wenn du dir diese Szene vorstellst, füllt sich die Luft mit einer süßen, ätherischen Melodie, als würde die Natur selbst singen, um die Anwesenheit des Wingsprite zu ehren. Das sanfte Summen der Bienen, das leise Rascheln der Blätter und die fernen Rufe der Waldtiere verschmelzen zu einer fesselnden Symphonie.”

Wie hoch sind die Kosten?

Es ist wichtig zu beachten, dass die einzelnen Generationen derzeit auf 4 Sekunden für alle Pläne begrenzt sind. Die Standardauflösung für Gen-2 ist 768×448, aber die Nutzer können die Auflösung in den Einstellungen anpassen. Die Nutzer behalten das volle Eigentum an ihren Ausgabevideos.

Abschließende Überlegungen

Nach einem eingehenden Blick auf die Fähigkeiten von Gen-2 ist eines klar: Diese KI eröffnet Kreativen eine neue Welt der Möglichkeiten. Durch die Umwandlung von Text und Bildern in lebendige, atmende Videos wird ein ungeahntes kreatives Potenzial freigesetzt. Auch wenn es in der Zukunft noch Raum für Verbesserungen gibt.

Natürlich kann der Preis die erweiterte Nutzung für einige einschränken. Aber mit einem kostenlosen Plan für immer kann jeder mit den magischen Verwandlungen von Gen-2 experimentieren. Auch diese Technologie wird nicht stillstehen, da Runway Research weiterhin neue generative Grenzen erforscht.

Die Videosynthese von Gen-2 gibt Ihnen den Pinsel in die Hand, um Ihre Ideen zu verwirklichen. Beugen Sie diese Technologie nach Ihrem kreativen Willen und sehen Sie, welche Wunder Sie produzieren können!