AI Gen 1 — як зі звичайного зображення згенерувати відео
Про RunwayML - компанія з розробки ШІ
RunwayML — революційна компанія, яка використовує можливості штучного інтелекту та глибокого навчання, щоб революціонізувати спосіб взаємодії людей з даними. Ця компанія є лідером у розробці та застосуванні найсучасніших технологій штучного інтелекту для розв'язання реальних проблем.
RunwayML була заснована у 2017 році командою вчених ШІ та інженерів програмного забезпечення, які хотіли створити платформу ШІ, доступну для всіх. Їхнє бачення полягає в тому, щоб зробити рішення на основі штучного інтелекту доступнішими та дозволити людям використовувати його без необхідності бути експертом у цій технології.
За останні роки технологія штучного інтелекту досягла значних успіхів, і організації з усього світу вкладають значні кошти в її розвиток. RunwayML — не виняток.
Про Gen 1
Gen 1 — це платформа, машинного навчання, створена RunwayML. Вона дозволяє реалістично і послідовно створювати відео спираючись на вихідні зображення, стилістику доданих матеріалів, а також текстові підказки. Програма надає користувачам повний набір інструментів і підтримку для створення власних відео.
https://research.runwayml.com/gen1
Щоб використовувати програму, користувачі повинні мати обліковий запис і доступ до платформи. Отримавши обліковий запис, вони можуть створити проєкт і почати вивчати функції платформи, а також отримати доступ до спільноти розробників платформи, яка може допомогти їм із будь-якими запитаннями.
у 2022 році декілька компаній випустили подібні моделі створення відео з тексту. Meta оприлюднила Make-a-Video, а Google Phenaki та Muse. Обидва рішення підтримують створення коротких відеокліпів за допомогою введення тексту користувачем. Минулого тижня Google запустив Dreamix, яка виглядає найбільш схожою технологією у порівнянні з Gen-1. Подібно до рішення Runway, Dreamix використовує наявний відеовміст і застосовує до нього нові стилі.
Судячи з демонстраційного відео Runway, схоже, що модель компанії Gen-1 відкриває нові можливості, яких не вистачає в конкурентних продуктів. По-перше, Runway дозволить користувачам змінювати наявний вміст за допомогою введення тексту та зображень. Runway стверджує, що його відеовміст GEN-1 отримав «перевагу перед теперішніми методами для переходів із зображення на зображення та відео на відео» більш ніж на 73% (Stable Diffusion 1.5) і 88% (text2Live).
Найближчими днями компанія хоче розкрити технічні подробиці на своєму веб-сайті. Наразі лише декілька користувачів отримали запрошення спробувати Gen-1. Існує список очікування, але незрозуміло, коли технологія стане доступною для користувачів режиму.
Як працюватиме платформа?
Крок 1: Стилізація
За допомогою зображень або текстової підказки передайте або опишіть стиль, який хочете побачити на відео або не певних кадрах.
Крок 2: Storyboard
Перетворюйте звичайні статичні макети на повністю стилізовані та анімовані візуалізації за допомогою редактора
Крок 3: Маска
Виділіть об’єкти у своєму відео та змініть їх за допомогою простих текстових підказок.
Крок 4: Рендер
Перетворюйте нетекстуровані рендери на реалістичні результати, застосувавши вхідне зображення або підказку.
Крок 5: Налаштування режиму
Розкрийте всю потужність Gen-1, налаштувавши модель для отримання ще більш точних результатів.
Приклади роботи з Gen 1
Актор у відео стає супергероєм мультфільму. Його перетворення базується на вхідному зображенні. Модель можна допрацювати власними зображеннями для кращих трансформацій.
Gen-1 також може ізолювати та змінювати об’єкти у відео, наприклад, перетворивши золотистого ретривера на далматинця, застосовувавши текстури до нетекстурованих 3D-об’єктів. Текстури також створюються за допомогою текстової підказки.
Відео, відредаговані штучним інтелектом, ще не можуть конкурувати з професійно відредагованим відео. Вони містять помилки зображення, спотворену геометрію або просто виглядають фальшивими та нереальними. Але проєкт ще на зародковому етапі.
«Системи штучного інтелекту для синтезу зображень і відео швидко стають більш точними, реалістичними та керованими»
Gen-1 використовує наявний відеоконтент і перетворює його на новий відеовміст за допомогою текстових інструкцій або зображень. Технологія відкриває нові можливості не лише в комерційному середовищі, але й для хобі та домашнього використання. Ймовірно, це лише питання часу, коли подібні інструменти будуть запущені на популярних веб-хостингах і потокових відео.
https://research.runwayml.com/gen1
⚡ Якщо тобі сподобався цей матеріал, підпишись на наші соціальні мережі Instagram / Facebook / Linkedin / Telegram. Там ти знайдеш більше цікавих матеріалів про дизайн.
🖤 Підтримати проект ←Банка Mono