Adobe sagt, es baue ein Modell der künstlichen Intelligenz zur Generierung von Videos. Aber es verrät nicht, wann genau dieses Modell auf den Markt kommt, oder viel darüber, sondern nur die „Tatsache“, dass es existiert.
Adobes Modell wird als eine Art Reaktion auf Sora von OpenAI, Image 2 von Google und Modelle der wachsenden Zahl von Start-ups im aufstrebenden Bereich der generativen KI-Videos angeboten und ist Teil der wachsenden Firefly-Familie generativer KI-Produkte des Unternehmens Es wird seinen Weg in Premiere Pro, Adobes Flaggschiff-Videobearbeitungsprogramm, finden und noch in diesem Jahr erscheinen, sagt Adobe.
Wie viele heutige generative KI-Videotools erstellt das Modell von Adobe Bilder von Grund auf (entweder eine Nachricht oder Referenzbilder) und ermöglicht drei neue Funktionen in Premiere Pro: Hinzufügen von Objekten, Entfernen von Objekten und generative Erweiterung.
Diese Funktionen sind selbsterklärend.
Durch das Hinzufügen von Objekten können Benutzer ein Segment eines Videoclips auswählen (z. B. das obere Drittel oder die untere linke Ecke) und eine Nachricht eingeben, um Objekte in dieses Segment einzufügen. In einem Briefing zeigte ein Adobe-Sprecher ein Standbild einer echten Aktentasche voller Diamanten, die vom Adobe-Modell generiert wurde.
Bild: Von AI, Adobe generierte Diamanten.
Durch das Entfernen von Objekten werden Elemente aus den Videos entfernt, z. B. Mikrofone an einer Verlängerung oder Stange oder Kaffeetassen im Hintergrund eines Videos.
Objektentfernung mit KI. Man erkennt, dass die Ergebnisse nicht ganz perfekt sind. Bild: Adobe
Bei der generativen Erweiterung werden am Anfang oder Ende eines Clips ein paar Frames hinzugefügt (leider hat Adobe nicht angegeben, wie viele Frames). Bei der generativen Erweiterung geht es nicht darum, ganze Szenen zu erstellen, sondern Zwischenbilder hinzuzufügen, um sie mit einem Soundtrack zu synchronisieren oder eine Aufnahme zu bewahren, um ihr zusätzlichen Rhythmus zu verleihen, beispielsweise um eine emotionale Note zu verleihen.
Bild: Adobe
Um die Angst vor anzugehen Deepfakes Adobe sagt, dass Inhalte, die im Zusammenhang mit generativen KI-Tools wie diesen unweigerlich entstehen, in Premiere enthalten sein werden (Metadaten zur Identifizierung von KI-generierten Medien). Inhaltsnachweise, ein Medienherkunftsstandard, den Adobe im Rahmen seiner Content Authenticity Initiative unterstützt, waren bereits in Photoshop enthalten und Bestandteil der Firefly-Bildgebungsmodelle von Adobe. In Premiere zeigen sie nicht nur an, welche Inhalte von KI generiert wurden, sondern auch, welches KI-Modell zur Generierung verwendet wurde.
Ich habe Adobe gefragt, welche Daten (Bilder, Videos usw.) zum Trainieren des Modells verwendet wurden. Das Unternehmen hat nicht gesagt, ob und wie (oder ob) es die Mitwirkenden am Datensatz entlohnt.
Letzte Woche zitierte Bloomberg mit der Angelegenheit vertraute Quellen: gemeldet dass Adobe Fotografen und Künstlern auf seiner Stock-Media-Plattform Adobe Stock bis zu 120 US-Dollar für die Einreichung kurzer Videoclips zahlt, um sein Videogenerierungsmodell zu trainieren. Die Bezahlung soll je nach Präsentation zwischen etwa 2,62 US-Dollar pro Minute Video und etwa 7,25 US-Dollar pro Minute liegen, wobei Bilder mit höherer Qualität entsprechend höhere Preise verlangen.
Das wäre eine Abkehr von Adobes aktueller Vereinbarung mit Adobe Stock-Künstlern und -Fotografen, deren Arbeit das Unternehmen zum Trainieren seiner Bilderzeugungsmodelle verwendet. Das Unternehmen zahlt diesen Mitwirkenden einen jährlichen Bonus und keine einmalige Gebühr, abhängig von der Menge an Inhalten, die sie auf Lager haben, und davon, wie diese genutzt werden. Dabei handelt es sich jedoch um einen Bonus, der einer undurchsichtigen Formel unterliegt und nicht von Jahr zu Jahr garantiert wird.
Die Berichterstattung von Bloomberg zeigt, wenn sie korrekt ist, einen Ansatz, der in krassem Gegensatz zu dem von generativen KI-Videokonkurrenten wie OpenAI steht, die dies wiederholt getan haben es ist gesagt worden das Daten von öffentlich zugänglichen Websites, einschließlich YouTube-Videos, extrahiert hat, um seine Modelle zu trainieren. Neal Mohan, CEO von YouTube, sagte kürzlich, dass die Verwendung von YouTube-Videos zum Trainieren des Text-zu-Video-Generators von OpenAI einen Verstoß gegen die Nutzungsbedingungen der Plattform darstellen würde, und verwies auf die rechtlichen Schwächen des Fair-Use-Arguments von YouTube et al.
Unternehmen, darunter OpenAI, sind verklagt wegen Vorwürfen, dass sie gegen das Urheberrecht verstoßen, indem sie ihre KI auf urheberrechtlich geschützte Inhalte trainieren, ohne Quellenangabe zu machen oder die Eigentümer zu bezahlen. Adobe scheint darauf bedacht zu sein, diesen Umstand zu vermeiden, ebenso wie seine manchmal KI-generativen Konkurrenten Shutterstock und Getty Images (die ebenfalls Vereinbarungen zur Lizenzierung von Modelltrainingsdaten haben) und sich mit seiner Entschädigungsrichtlinie für geistiges Eigentum als nachweislich „sichere“ Option zu positionieren für Unternehmenskunden.
Was die Bezahlung angeht, sagt Adobe nicht, wie viel es Kunden kosten wird, die kommenden Video-Rendering-Funktionen in Premiere zu nutzen; Über Preise wird vermutlich noch diskutiert, aber das Unternehmen reveló dass das Zahlungssystem dem generativen Kreditsystem folgen wird, das mit seinen ersten Firefly-Modellen etabliert wurde.
Für Kunden mit einem kostenpflichtigen Adobe Creative Cloud-Abonnement verlängern sich die generativen Credits jeden Monat, wobei die Kontingente je nach Plan zwischen 25 und 1000 pro Monat liegen. Komplexere Workloads (z. B. Bilder mit höherer Auflösung oder mehrere Bildgenerationen) erfordern in der Regel mehr Credits.
Die große Frage, die sich stellt, ist: Werden die KI-gestützten Videofunktionen von Adobe verfügbar sein? wirklich Beiträge von unterschiedlichem Wert nach seinen Kosten?
Bisher waren es Firefly-Bildgebungsmodelle weit verspottet als enttäuschend und fehlerhaft im Vergleich zu Midjourney, OpenAIs DALL-E 3 und anderen konkurrierenden Tools. Das Fehlen eines Veröffentlichungszeitplans für das Videomodell weckt nicht viel Vertrauen, dass das gleiche Schicksal vermieden werden kann. Auch die Tatsache, dass Adobe sich weigerte, Live-Demonstrationen zum Hinzufügen und Entfernen von Objekten und zur generativen Erweiterung zu zeigen, und stattdessen auf einem zuvor aufgezeichneten Video bestand.
Vielleicht um sich abzusichern, gibt Adobe an, mit Drittanbietern über die Integration seiner Videogenerierungsmodelle in Premiere sowie über leistungsstarke Tools wie die generative Erweiterung und mehr zu verhandeln.
Einer dieser Anbieter ist OpenAI.
Adobe sagt, dass es mit OpenAI zusammenarbeitet, um Möglichkeiten zu finden, Sora in den Premiere-Workflow zu integrieren. Angesichts der Fähigkeiten des KI-Startups ist eine Partnerschaft mit OpenAI sinnvoll in seinen Vorschlägen an Hollywood kürzlichEs ist bezeichnend, dass Mira Murati, CTO von OpenAI, dieses Jahr an den Filmfestspielen von Cannes teilnehmen wird. Weitere frühe Partner sind Pika, ein Startup, das KI-Tools zum Generieren und Bearbeiten von Videos entwickelt, und Runway, einer der ersten Anbieter auf dem Markt mit einem generativen Videomodell. .
Ein Adobe-Sprecher sagte, das Unternehmen sei offen für eine zukünftige Zusammenarbeit mit anderen.
Um es ganz klar zu sagen: Diese Integrationen sind derzeit eher ein Gedankenexperiment als ein funktionierendes Produkt. Adobe betonte wiederholt, dass es sich um eine „frühe Vorschau“ und „Forschung“ handele und nicht um etwas, mit dem Kunden in absehbarer Zeit spielen könnten.
Und das ist der allgemeine Tenor des generativen Videoprodukts von Adobe.
Adobe versucht mit diesen Anzeigen eindeutig zu signalisieren, dass man über generatives Video nachdenkt, wenn auch nur im vorläufigen Sinne. Es wäre töricht, dies nicht zu tun: Wer unvorbereitet in den Wettlauf um generative KI gerät, riskiert den Verlust einer wertvollen neuen potenziellen Einnahmequelle, vorausgesetzt, dass sich die wirtschaftlichen Verhältnisse letztendlich zu Gunsten von Adobe entwickeln. Schließlich ist das Trainieren, Ausführen und Verteilen von KI-Modellen teuer.
Aber ehrlich gesagt sind die darin gezeigten Konzepte nicht sehr überzeugend. Da Sora auf dem Vormarsch ist und mit Sicherheit weitere Innovationen auf dem Weg sind, muss das Unternehmen viel beweisen.
