Client動画制作・映像制作なら千葉県松戸市の映像制作会社ファイン
コラム
「動画生成AI」GoogleがLumiere」（リュミエール）を発表
革新的な変革をもたらすAIモデル
全動画を一貫した単一のプロセスで生成が可能
| Googleが動画生成AI「Lumiere」を2024年1月24日に発表しました。Lumiereではフレーム同士が自然につながった違和感の少ない動画を生成可能で、テキストや画像を入力して動画を生成できるほか、動画の一部分を指定して別の動画に置き換えたり、写真の一部分だけを動かしたりといった操作も可能です。 Lumiere Google Research LUMIERE A Space-Time Diffusion Model for Video Gene |
|
| 目次 ■Googleの動画生成AI「Lumiere」とは ■自然で違和感の少ない動画生成技術 ■「Lumiere」の特徴 ■「Lumiere」の技術的特徴と革新性 ■Space-Time U-Netアーキテクチャ |
|
■Googleの動画生成AI「Lumiere」とは |
 Googleが新たに開発した動画生成AI「Lumiere」は、高品質で柔軟性を持つ動画生成ツールです。 Lumiereは、テキストや画像を入力して動画を生成することはもちろん、動画の特定の部分を指定して別の動画に置き換えたり、写真の一部を動かしたりすることも可能です。 Lumiereは、動画全体のフレームを一度に生成するアプローチを採用しており、よりリアルで滑らかな動画が実現されます。 Lumiereは、1024×1024ピクセルの5秒間の動画を生成することができます。 |
■自然で違和感の少ない動画生成技術 |
テキストや画像を入力して動画を生成できるAIは数多く存在していますが、それらのAIの多くは「フレームを複数枚生成し、フレーム同士を補間する」という手法で動画を生成しているため、フレーム同士のつながりが不自然になりがちです。 一方で、Lumiereは「動画全体のフレームを一度に生成する」という手法を採用しており、フレーム同士のつながりが自然で違和感の少ない動画を生成することが可能となっています。 生成可能な動画のフレームレートは16fpsで、生成される動画の長さは5秒です。 以下の動画からLumiereで生成した動画の生成例を確認することができます。 |
■「Lumiere」の特徴 |
GoogleのLumiereの主な特徴について見ていきます。 １，テキスト、静止画、動画からの動画生成 Lumiereは多様な入力方法に対応しています。テキスト、静止画、既存の動画など、様々なメディアからの入力に基づいて動画を生成でき、この機能は、ユーザーが独自のクリエイティブなアイデアを動画に変換することを可能にしてくれます。例えば、簡単な文章やスケッチからも、魅力的な動画生成画もできます。 ・Text-to-video機能 この機能を使うと、テキストから動画を生成することができます。Lumiereは、Space-Time U-Netアーキテクチャを使用しており、テキストから動画を生成する際に、自然な動きを持つ動画を生成することができます。 この機能では、ユーザーはテキストの記述をするだけで動画を生成することができます。 例えば、映画のシーンや広告のシナリオをテキストで記述して、それを基にした動画を作成することができます。  ・Image-to-video機能 Lumiereは、画像から動画を生成するImage-to-video機能も持っています。この機能を使うと、画像から動画を生成することができます。 画像からビデオを生成する機能なので、一枚の画像を元に動画を生成することができます。 この機能を使うことで、画像内の特定のオブジェクトや風景を動かし、動画として再現することが可能になります。   ・STYLIZED GENERATION機能 さらに、Lumiereは、STYLIZED GENERATION機能を持っています。スタイライズド生成は、芸術的なスタイルや特定の視覚効果を適用して動画を生成することができます。 この機能を使うと、1枚の画像を参照にして、その画像のスタイルに合わせた動画を生成することができます。例えば、「Reference Style Image」に設定したがぞyのスタイルを参照して「熊を踊らせる（A bear dancing））」といった指定をすることで、参照元の芸術スタイルを反映した動画の生成が可能です。  ・Video Inpainting機能 Video Inpaintingは動画内の特定部分を編集することが出来る機能です。例えば、ビデオインペインティングを使うことで、動画内の人物やその一部を変更したり、追加したりすることができます。 動画の一部分だけを選択して加工をするため、女性の首から下だけを選択して、「金色のストラップレスガウンを着ている」「しま模様のストラップレスドレスを着ている」というプロンプトを入力することで女性の衣服を変更する加工が可能です。  また、他の例ではヒヨコの胴体を選択して「バスローブを着ている」というプロンプトで加 工したり、頭頂部を選択して「パーティーハットを着用している」というプロンプトを入力することで、加工することもできます。  ・Cinemagraphs機能 動きを加える機能として、シネマグラフが搭載されています。 この機能を活用することで、画像の一部分を動かすといった操作も可能です。 静止画に動きを加えることで、より魅力的な動画を作成することができます。Runwayのモーションブラシが一時期話題になりましたがそれに似た機能になります。 「チョウの羽根を羽ばたかせる」   動画の欠けた部分を補うことも可能です。動画の一部分を黒塗りし、黒塗りした部分を生成動画で補うこともできます。  Lumiereの技術的な詳細は以下の論文で確認できます。 [2401.12945] Lumiere: A Space-Time Diffusion Model for Video Generation Lumiere: A Space-Time Diffusion Model for Video Generation |
■「Lumiere」の技術的特徴と革新性 |
Lumiereに搭載されたこれらの機能を使って、映像制作、広告制作、アート制作など、多岐にわたる分野での利用が期待されています。 また、Lumiereの導入によって、これまで時間とコストがかかっていた動画制作のプロセスが大幅に簡略化される可能性なども期待されています。 論文によると、「3000万本の動画とそれに対応するテキストキャプションを含むデータセットでテキストから動画を変換するモデル（T2V）をトレーニングした」と言われており、Googleは、トレーニングデータの入手方法は明らかにしていません。 Googleは「この研究の主な目標は、初心者ユーザーでも創造的かつ柔軟な方法でビジュアルコンテンツを生成できるようにすることだ。だが、われわれの技術には、偽コンテンツや有害コンテンツを作成できてしまうというリスクがあり、安全で正しい使用を確保するには、悪意ある使用法を検出するツールを開発・適用することが重要だと考えている」という内容のコメントを発表しています。 |
■Space-Time U-Netアーキテクチャ |
 Lumiereの最も注目すべき技術的特徴は、「Space-Time U-Netアーキテクチャ」を採用しているという点になります。 このアーキテクチャにより、Lumiereは動画生成プロセスにおいて次のような特徴を有しています。 ・一貫した単一パス生成 Lumiereは従来の動画生成モデルとは異なり、全動画を一貫した単一のプロセスで生成することができます。これにより、素晴らしい一貫性と高い品質の動画が実現されます。 ・高品質の動画生成 Space-Time U-Netアーキテクチャは、空間と時間を総合的に考慮して、よりリアルで自然な動きの動画を生成する能力を持っています。 |
■サービスの公開 |
Lumiereは、AIを活用した動画生成の分野において新しい可能性を示してくれています。 サービス自体は今後公開予定とのことですが、今後のさらなる進展が期待される分野です。 |
| --------------------------------------------------------------------------------------- ▶ ビジネス向けYouTube「動画編集サービス」 ▶ 採用・リクルート専門「動画制作サービス」 |
|
| --------------------------------------------------------------------------------------- 千葉県松戸市の映像制作企業 株式企業ファイン ▶ お問い合せ TV番組制作／企業VP制作／DVD制作／イベント映像制作／CM制作 インフォマーシャル制作／デジタルサイネージ制作／CG制作 観光PR映像制作／WEB映像制作／プロモーションビデオ YouTube動画制作／YouTube動画編集／企業pv／企業説明動画 サービス説明動画／企業説明動画／セミナー動画／研修動画 マニュアル動画／縦型動画／ショート動画／リール動画 Instagram動画／TikTok動画／Facebokk広告／SNS広告 |
