Ve evet Google, text to video modeli Lumiere’i duyurdu. Lumiere, metin veya resim komutlarından gerçekçi videolar üreten bir metinden videoya difüzyon modelidir.
Lumiere’in önceki TTV modellerinden farklı olarak uzamsal ve zamansal olarak tutarlı video üretme yeteneği büyük bir sıçrama sağlar. Bu, her karede sahnelerin görsel olarak tutarlı kalmasını ve hareketlerin pürüzsüz olmasını amaçlar.
Modelin işlevleri arasında metinden videoya, görüntüden videoya dönüştürme, video düzenleme, video boyama ve stilize oluşturma bulunmaktadır. Lumiere, kullanıcılara metin prompt’ları veya görüntü komutları üzerinden farklı videolar üretebilme yeteneği sunar.
Yapay Zekâ Google Lumiere
Lumiere’in öne çıkan özellikleri şunlardır:
- • Metinden videoya: Kullanıcılar bir metin istemi girdiklerinde Lumiere, saniyede 16 kare hızında 80 kareden oluşan 5 saniyelik bir video klip oluşturabilir.
- • Görüntüden videoya: Lumiere, bir görüntüyü komut olarak alır ve onu bir videoya dönüştürür.
- • Stilize üretim: Referans bir görüntü stili kullanarak Lumiere, belirli bir stilde video oluşturabilir.
- • Video boyama: Lumiere, maskelenmiş bir video sahnesini alabilir ve onu boyayarak düzenleyebilir.
Lumiere’in çalışma prensibi, uzayda ve zamanda küçültmeyi öğrenen bir Uzay-Zaman U-Net (STUNet) mimarisi kullanmasıdır. Bu model hem uzayda hem de zamanda tutarlı bir hareket elde etmek için tasarlanmıştır.
Google Research Lumiere
Google Research, yaptığı kullanıcı çalışmasıyla Lumiere’in diğer TTV modellerine göre tercih edildiğini belirtmiştir. Lumiere, daha uzun ve tutarlı videolar üretebilme potansiyeline sahiptir, ancak sahne geçişleri veya çoklu çekim video sahnelerini işleme konusunda bazı sınırlamalara sahiptir.
Google, Lumiere’in kötüye kullanım riskine dikkat çekerek, videoların etkili bir şekilde filigranlanması veya telif hakkı sorunlarından kaçınma yöntemlerini bulma umudunu ifade etmiştir. Bu sayede, Lumiere’in güvenli ve etik kullanımını sağlamak amaçlanmaktadır. Siz Google, text to video modeli Lumiere’i duyurdu haberi hakkında ne düşünüyorsunuz?
