Lumiere to najnowszy model AI od Google, który potrafić generować filmy. Firma pochwaliła się przykładowymi materiałami i wygląda na to, że może to być najbardziej zaawansowane narzędzie tego typu na rynku.

Lumiere to model dyfuzji tekstu do wideo przeznaczony do syntezy filmów przedstawiających realistyczny, różnorodny i spójny ruch. Architektura U-Net czasoprzestrzeni nieprzerwanie generuje podczas trwania filmu, co wyróżnia ten sposób na tle innych modeli wideo.

Dzięki wdrożeniu zarówno przestrzennego, jak i (co ważne) czasowego pobierania próbek w dół i w górę oraz wykorzystaniu wstępnie wyszkolonego modelu dyfuzji tekst–obraz, Lumiere uczy się bezpośrednio generować pełną szybkość klatek i wideo o niskiej rozdzielczości poprzez przetwarzanie go w wielu skalach czasoprzestrzennych. Jak to często bywa – wszystko zawsze ma prezentować się idealnie. Jak finalnie wygląda? To już inna rzecz. Czy faktycznie Lumiere to takie profesjonalne i potężne narzędzie AI?

Lumiere – przykłady wideo wygenerowane przez AI

Lumiere
Te obrazki w ruchu wyglądają naprawdę bardzo dobrze, a ruch jest niezwykle płynny

Lumiere można podzielić na parę kategorii tworzenia wideo (dokładnie jest ich pięć). Shruti Mishra na swoim koncie na Twitterze zaprezentowała 5-sekundowe wideo. Oczywiście wygenerowane przez nowe narzędzie AI.

1. Konwersja tekstu na wideo

2. Konwersja na podstawie określonego stylu

3. Edycja konkretnego elementu wideo

4. Animacja określonego fragmentu zdjęcia

5. Edycja istniejącego wideo za pomocą podpowiedzi pisemnych

Lumiere to narzędzie AI od Google, które generuje krótkie materiały wideo

Subskrybuj DailyWeb na Youtube!

Lumiere szkoli się na zestawie danych, które obejmują 30 milionów filmów z opisami tekstowymi. Wygenerowane wideo mają długość 80 klatek (16 klatek na sekundę). Podstawowy model jest trenowany w rozdzielczości 128 × 128 pikseli. Wynikiem są 5-sekundowe filmy o rozdzielczości 1024 × 1024 pikseli.

To oczywiście nie są zbyt długie filmy, ale przykłady pokazują wysoką jakość materiałów. Ruch postaci jest naturalny i bez zauważalnych skaz graficznych. Zdaje sobie sprawę z tego, że na podstawie takich prostych formuł Lumiere pewnie wytworzy jakieś wideo z mankamentami. W kwietniu 2023 roku pisałem o reklamie pizzy, którą stworzyła sztuczna inteligencja. Był to jeden z najgorzej wykonanych materiałów, jakie widziałem. Nowe narzędzie Google na pewno będzie lepszym modelem AI.

Laptop HP ZBook Power 15 G10 – moc i wydajność stacji roboczej w przystępnej cenie i smukłej formie

Owszem, wygeneruje wideo tylko do 5 sekund, ale wierzę w to, że limit ten jest tylko kwestią czasu. Jeśli Lumiere się przyjmie, na pewno będzie rozwojowym projektem Google, który pozwali na generowanie dłuższych materiałów. Inne przykłady oraz szczegóły nowego modelu AI znajdziecie na oficjalnej stronie programu.