Luma Dream Machine — нейросеть, генерирующая видео по запросу
14 июня 2024 | 17:00
Компания-разработчик нейросетей Luma AI, опередив всех своих конкурентов, выпустила в общий доступ свой передовой ИИ Dream Machine. Нейронка генерирует небольшие видео в самых разных стилях — от фотореализма до мультипликации.
В этой статье расскажем, как правильно общаться с Luma Dream Machine, какие есть лимиты и можно ли купить на неё подписку из России.
В этой статье расскажем, как правильно общаться с Luma Dream Machine, какие есть лимиты и можно ли купить на неё подписку из России.
Зачем использовать Luma Dream Machine?
Кроме очевидного баловства, чтобы опробовать сервис руками, Dream Machine может помочь с самыми разными задачами:
Создать анимацию из собственного изображения
В Dream Machine можно загружать изображения, которые будут оживать согласно вашему запросу.
Собрать небольшой фильм
Сейчас это доступно с помощью функции Extend: вы генерируете 5-секундное видео, а после ИИ допиливает его продолжение по новому промпту.
Процесс небыстрый, но это всё ещё эффективнее по времени, чем создавать видео с нуля самому.
Процесс небыстрый, но это всё ещё эффективнее по времени, чем создавать видео с нуля самому.
Сгенерирует кадры для видео
Кадры можно будет использовать для, например, музыкального клипа. А саму песню за вас создаст нейросеть Suno AI, подробнее о ней рассказываем здесь.
Предполагаем, когда возможности ИИ расширятся, с его помощью можно будет создавать полноценные видеоролики.
Предполагаем, когда возможности ИИ расширятся, с его помощью можно будет создавать полноценные видеоролики.
Как создать видео в Luma Dream Machine?
Воспользоваться нейросетью может любой желающий — даже из РФ. Для регистрации вам понадобится просто зайти через аккаунт Google, других способов входа на платформе не предусмотрено.
После регистрации вы можете сразу начинать генерировать. Интерфейс сайта сейчас очень скромен: пока доступны только несколько опций — создавать видео, смотреть собственные работы и оплачивать подписку.
Скачать видео тоже можно, но через браузер в формате MP4. Dream Machine предлагает только скопировать ссылку на ваше видео, чтобы поделиться им.
После регистрации вы можете сразу начинать генерировать. Интерфейс сайта сейчас очень скромен: пока доступны только несколько опций — создавать видео, смотреть собственные работы и оплачивать подписку.
Скачать видео тоже можно, но через браузер в формате MP4. Dream Machine предлагает только скопировать ссылку на ваше видео, чтобы поделиться им.
На этом скриншоте изображены все ключевые элементы интерфейса. Такой минимализм связан с молодостью платформы — похоже, разработчики хотели запуститься как можно скорее
Попросим Dream Machine сгенерировать нам видео по следующему запросу:
Пролёт камеры над постапокалиптическими руинами города, далее камера разворачивается над каменной аркой на 180 градусов к небу, чтобы показать звёздное ночное небо
Все зарубежные нейросети лучше всего понимают английский язык, поэтому сразу переводите всё написанное через качественный переводчик. Преобразовали запрос в следующий:
Flying the camera over the post-apocalyptic ruins of the city, the camera turns over the stone arch and then 180 degrees towards the sky to reveal the starry night sky.
Получили вот такой результат.
Пролёт камеры над постапокалиптическими руинами города, далее камера разворачивается над каменной аркой на 180 градусов к небу, чтобы показать звёздное ночное небо
Все зарубежные нейросети лучше всего понимают английский язык, поэтому сразу переводите всё написанное через качественный переводчик. Преобразовали запрос в следующий:
Flying the camera over the post-apocalyptic ruins of the city, the camera turns over the stone arch and then 180 degrees towards the sky to reveal the starry night sky.
Получили вот такой результат.
Качество не самое лучшее, но всё создано нейросетью — бесплатно и за пару минут
Советуем не использовать имена и названия в запросах, нейросеть может считать их неправильно. Кроме того, лучше разобраться в съёмочных терминах, чтобы правильно формулировать описание, как должна двигаться камера в видео, иначе нейросеть сделает это на свой вкус.
Помогут в формулировании запросов и готовые шаблоны, которые постоянно вылезают под строкой для ввода промпта:
Видео по ним получаются действительно качественными: если смотреть на небольшом экране, точно можно спутать с реальной съёмкой.
Помогут в формулировании запросов и готовые шаблоны, которые постоянно вылезают под строкой для ввода промпта:
- An old lady laughing underwater, wearing a scuba diving suit, her expression denotes calm and happiness
- Grazing cows move slowly across an idyllic meadow, the camera tracking alongside them in a smooth side-angle motion
- Extreme closeup footage of a young sailor woman with a concerned expression during a rainstorm.
Видео по ним получаются действительно качественными: если смотреть на небольшом экране, точно можно спутать с реальной съёмкой.
Это видео вышло очень качественным, даже несмотря на жутковатые зрачки женщины
Ожидаем, что создатели доработают нейронку — качество картинки подрастёт, а длина генерируемого видео увеличится и без функции Extend — не хочется заново запускать генерацию ради дополнительных 5 секунд.
«Удлиняем» видео с помощью функции Extend
Если видео длиной в 5 секунд вас не устраивает, вы всегда можете его продлить с помощью функции Extend. Просто нажмите на соответствующую кнопку под сгенерированным видео и напишите, что вы хотите увидеть в продолжении.
Правда, удлинить видео можно всего на 5 секунд — на видео длиной в минуту придётся потратить 12 генераций!
Вот как это выглядит:
1. Сначала мы сгенерировали видео по промпту «Зубастый шар на приёме у стоматолога».
1. Сначала мы сгенерировали видео по промпту «Зубастый шар на приёме у стоматолога».
Шар превратился в очень жуткую спинку стула
2. После — продлили видео по новому, ещё более безумному промпту: «Изо рта у шара начинает литься бензин» и получили расширенный 10-секундный ролик.
Бензина на видео так и не увидели, зато в последнюю секунду личико стула неожиданно преобразилось.
Конечно, фильм с таким функционалом не сделать, но экспериментальный ролик для визуализации — проще простого.
Что даёт подписка на Luma Dream Machine?
Нейросеть — условно бесплатная, но для использования её на полную мощность придётся заплатить. Тарифные планы на сайте Luma AI следующие:
Кроме того, что с подпиской увеличится количество генераций в месяц, вы получите возможность удалить вотермарку — что позволит вставлять готовые видео в личные работы
Самый важный пункт для тех, кто будет пользоваться ИИ профессионально — высокий приоритет в генерациях, поскольку сейчас очередь на генерацию скапливается мгновенно. Поэтому одно видео может стоять в очереди не один час.
Из-за такой нагрузки Luma ограничили число генераций для бесплатных тарифов до 5 в день, что тоже ударило по пользователям, которые не хотят покупать подписку.
Из-за такой нагрузки Luma ограничили число генераций для бесплатных тарифов до 5 в день, что тоже ударило по пользователям, которые не хотят покупать подписку.
Как оплатить подписку на Luma Dream Machine из России?
Главная проблема — оплатить подписку можно только с помощью карт зарубежных банков, российская карта не пройдёт.
С оплатой поможет Telegram-бот VALUT.NET — сервис позволяет в несколько кликов выпустить анонимную виртуальную карту с 3DS в долларовом счёте и оплачивать покупки на зарубежных сайтах.
Пополнить карту можно рублями, а для выпуска не потребуется ни паспорт, ни ваши личные данные. Подробнее о карте VALUT.NET можно прочитать в этой статье.
С оплатой поможет Telegram-бот VALUT.NET — сервис позволяет в несколько кликов выпустить анонимную виртуальную карту с 3DS в долларовом счёте и оплачивать покупки на зарубежных сайтах.
Пополнить карту можно рублями, а для выпуска не потребуется ни паспорт, ни ваши личные данные. Подробнее о карте VALUT.NET можно прочитать в этой статье.
Итоги
Luma Dream Machine — это действительно крутой инструмент, в перспективе способный упростить жизнь многим работникам анимационной сферы. Кроме того, уже сейчас нейросеть может помочь всем желающим воплотить в реальность любую безумную идею для ролика.
В случае с Luma Dream Machine, без подписки не получится пользоваться нейронкой профессионально. Да и авторское право обязательно нужно каждому криейтору.
Но пока ИИ всё ещё чувствуется сыроватом для масштабных работ, поэтому с нетерпением ждём, когда нейросеть выйдет на новый уровень видеовизуализации любого промпта.
В случае с Luma Dream Machine, без подписки не получится пользоваться нейронкой профессионально. Да и авторское право обязательно нужно каждому криейтору.
Но пока ИИ всё ещё чувствуется сыроватом для масштабных работ, поэтому с нетерпением ждём, когда нейросеть выйдет на новый уровень видеовизуализации любого промпта.