Modele wideo oparte na dyfuzji, ale teraz - **w czasie rzeczywistym**! Proste filtry wideo działają w czasie rzeczywistym, ale mogą jedynie wykonywać podstawowe zmiany kolorów i style. Modele dyfuzji wideo (Veo i przyjaciele) to magia, ale generują obrazy przez wiele sekund/minut. MirageLSD to magia w czasie rzeczywistym. W przeciwieństwie do prostych filtrów wideo, modele dyfuzji rzeczywiście *rozumieją*, co widzą, więc mogą inteligentnie stylizować wszystkie części strumienia (np. zakładając kapelusze na głowy lub miecze świetlne do rąk itd.). I są dowolnie kierowane, np. za pomocą tekstowych podpowiedzi. Dostosowywalne, inteligentne filtry wideo odblokowują wiele fajnych pomysłów w czasie: - przekształcanie strumieni z kamer w alternatywne rzeczywistości - reżyserowanie i kręcenie własnych filmów, odgrywając sceny z rekwizytami. Czas rzeczywisty => natychmiastowa informacja zwrotna/recenzja. - kodowanie gier w stylu vibe wokół prostych sfer/klocków, a następnie użycie modelu dyfuzji w czasie rzeczywistym do teksturowania gry, aby uczynić ją piękną. - stylizowanie i dostosowywanie dowolnego strumienia wideo: gry, filmy, ... np. Skyrim, ale "BARDZIEJ EPICKI"? DOOM II, ale nowoczesna jakość Unreal Engine tylko za pomocą podpowiedzi? Film grozy, ale "słodki, różowy i tylko króliki"? Nie wiem! - tła do rozmów wideo+++ - wirtualne przymierzanie ubrań w czasie rzeczywistym - okulary: np. czy można w czasie rzeczywistym zamienić swoją wizję w kreskówkę? - teraz możemy zbudować Lustro Erised z Harry'ego Pottera, pokazujące "surowy strumień" ciebie w lustrze, ale wzbogacone o twoje najgłębsze pragnienia (jak to zinterpretowała AI). - Nie wiem, prawdopodobnie pomijam największą rzecz, tyle możliwości!
Decart
Decart18 lip, 04:44
Przedstawiamy MirageLSD: Pierwszy model AI do dyfuzji na żywo (LSD) Wprowadź dowolny strumień wideo, od kamery lub czatu wideo po ekran komputera lub grę, i przekształć go w dowolny świat, który pragniesz, w czasie rzeczywistym (<40ms opóźnienia). Oto jak to działa (z demonstracją, której możesz użyć!) :
326,63K