R&D
BRIAN ENO’S THE SHIP プロジェクト裏側のご紹介 BRIAN ENO'S THE SHIP - Behind the scenes
2016.09.15
[Project Overview]
アンビエントミュージックの先駆者として知られるブライアン・イーノ氏。その彼が、グラミー賞にもノミネートされた2012年作品『LUX』以来となるソロ・アルバム『The Ship』を発表し、Dentsu Lab Tokyoがそのミュージックビデオの制作を今回担当しました。制作におけるプロセスについて、ご紹介いたします。
[Concept Development]
ミュージックビデオの制作にあたり、まず、ブライアン・イーノ氏から『The Ship』に通底するテーマについてお伺いしたところ、「歴史を通じて繰り返される人類の野心とパラノイア」とお聞きしました。これは、現代も、過去も、かわらず人類は、新たなテクノロジーに対し、大きな過信を寄せる一方(野心)で、そのテクノロジーを上回る何かによって裏切られる（パラノイア）の繰り返しである、とのことでした。ブライアン氏が、よく引き合いに出していた実例は、例えば、当時のテクノロジーの粋を集め、「不沈船」といわれるものの、処女航海の際に、北大西洋に沈むことになったタイタニック号、などです。
この話を聞き、我々は現代において、ブライアン氏が語ったコンセプトに相当するものは何か？と考え、昨今の世の中において発展が目覚ましい人工知能(Artificial Intelligence)、機械知能(Machine Intelligene)がまさに相当するのではないか？と考えました。
そして、ミュージックビデオにこの機械知能を構築し、この機械知能にミュージックビデオを生成させるアプローチをとるのが、楽曲のコンセプトと照らし合わせてみても、最適なのではないかと考えました。
機械知能を制作し、それが映像を生成し続ける、という作品形態に。
[Machine Intelligence Study]
機械知能をプロジェクトに使うにあたり、まずチームで機械知能に関するサーベイを行いました。ご存知の通り、この分野は、日進月歩で発展しています。ニュースをにぎわしている通り、車の自動運転、言語の翻訳など、様々な分野でどんどん使われています。その中でも、例えば、GoogleのDeep Dreamが有名ですね。
GoogleのDeep Dream。衝撃的なこの絵は、瞬く間に世界中のメディアを駆け巡りました。
ほかにも、いろいろリサーチを進めていく中、チームとして、機械知能がもたらす「誤謬」が面白い、と感じるようになりました。例えば、Dentsu Lab Tokyoのインタビューに登場してもらった、Samim Winiger氏が発表したプロジェクトで、”Generating Stories about Image”というものがあります。
画像に対して、機械知能が生成したテキストサンプル(右)の一部。写真の説明が、「恋愛小説的」になっている。
これは、ある特定の学習を行った機械知能に、写真の内容を解説したテキストを生成させる、というものです。実際に、Googleのサービスで、写真をアップロードすると、「いったい何の写真なのか？」を判断し、アップロードした写真に自動でタグ付けを行い、写真の管理を行いやすくしてくれます。
Samimのプロジェクトの場合、写真の解説をさせる機械知能に、大量の恋愛小説を学習させることにより、生成される文章も、通常の写真の解説ではなく、かなり情熱的な表現をした写真の解説になっていきます。
この、「誤謬」に表現の可能性があると感じ、プロジェクトを進めていくことにしました。もし、過去の人類の出来事の写真素材を大量に学習した機械知能が、現代の様子を改めてみたとき、過去と現代をどう関連づけるのか？実際にまずデモを作ってみて、検証してみました。
実際に作成したデモからのサンプル画像。
この機械知能は、与えられた画像（左）をみて、何に似ていると思うかを右に表示させています。当然のことながら、ロジカルに考えると全く別の画像なのですが、あながち間違いとも言い切れず、何かしら風刺めいたものが感じられます。
[Approach and Finished Product]
この面白さを実際の作品にも転用することを目指しました。
過去1世紀分の「人類の歴史」としての画像
現代の事象の画像を機械知能が解析。
過去に学習した内容との関連性を算出。
構築した機械知能に、過去１世紀分の画像素材を大量に学習させた上で、現代のネット上で収集できるニュース写真を機械知能に処理させます。人類の歴史を学習した機械知能が、現代から過去の出来事を想起し、まるで「思い起こしている」ような、ある種のデジャブ映像として、映像を生成し続けます。
そうして、生成された映像からのキャプチャが以下の通りです。左に、最新ニュースの画像とテキストを表示。上部のバーには、その最新ニュース画像からひも解かれる過去に学習した画像が列記されます。中央部には、その画像を組み合わせて生成される画像が閲覧できます。
実際に生成された画面のキャプチャ。
作品は、一定ではなく、アクセスする時期によって、違った映像が生成される作品になっています。また、今後は、ウェブだけでなく、ほかの形態（インスタレーション）などへの転用をした作品作りも行っていきたいと考えています。
[Project Overview]
Brian Eno is known as the harbinger of the ambient music genre. Dentsu Lab Tokyo has collaborated with him to produce the music video for his latest solo album “The Ship” since the grammy awards nominated “LUX” from 2012.This entry shows the detailed process of the project.
[Concept Development]
Upon realizing the music video, Brian Eno explained the underlying concept of “TheShip” as “Humankind seems to teeter between hubris and paranoia: the hubris of our ever-growing power contrasts with the paranoia that we’re permanently and increasingly under threat. He constantly mentioned about Titanic, which was the ultimate collection of cutting-edge technologies of that time, often referred as “the unsinkable ship” that eventually met is death inevitably at the North Atlantic during her first voyage.
When we heard this from Brian, we considered what would be something equivalent in the present society, and started talking about artificial intelligence and machine intelligence, and how it relates perfectly with Brian’s statement.
In light with the score’s concept, we thought that the best approach to take for this project is to build a machine intelligence, and let this software generate the music video experience for the viewers.
Build a machine intelligence, and the software generates the video.
[Machine Intelligence Study]
As we decided to utilize machine intelligence, we researched about the projects around this topic in the world thoroughly. As many of the readers may be aware, the topic advances at an astounding rate. Automated driving cars, translation of languages are just one example that appear on the news. One of the famous among all the works is Google’s Deep Dream.
Google’s Deep Dream: This shocking image generated hit the media all over the world.
The more projects we studied, the more we thought that the “error” which the machine intelligence presents is intriguing. For instance, Samim Winiger,who also appeared in our interview previously, has done an amazing project called “Generating Stories about Image.”
Sample text(right) is generated based on the input image(left). The caption generated is modeled from romantic novels.
The machine intelligence built for this project, with a very special training done, generates a caption text which explains the image. When someone uploads an image Google Photo, for instance, a caption which explains the image is generated, and is used to tag the image automatically, enabling the user to manage the images.
In the case of Samim’s project, by making the machine intelligen study vast amount of romantic novels as a training data, the caption generated becomes very passionate, rather than an ordinary explanation of the image.
We considered that the “error” described here has a potential for this project. What if there is a machine intelligence that studied the collective images of human history, and then interpreted the images from the present society? How would the machine intelligence associate the past and the present? We started building demos to answer to these questions.
Sample images from the actual demo.
This machine intelligence is given an image(left), and displays another image(right) which the software thinks it’s “similar.” Logically speaking, the result is erroneous, obviously, however, upon scrutinization, you can see that it’s not a complete mistake, but rather sense a touch of irony to the result.
[Approach and Finished Product]
We aimed to have this aspect incorporated into the actual project as well.
Images collected from over a century to represent history of humankind.
The machine intelligence analyzes the images of current society.
Associates from the past and the present are computed.
The machine intelligence is equipped with images from over a century, and then provided with news images collected online from present society. It associates the present images and the past, and generates a video experience as if the machine intelligence is retrospecting the past.
The images captured below are the results of such video generation.On the left of the screen images from the latest news sources are being loaded. On the top of the screen, images from the past that are related with the current news sources are loaded. In the middle of the screen, those images are combined to create the video experience.
Actual images that are generated.
This project is never at a constant state, but rather, based on the time visited, different video experience is generated. We aim this project to go beyond it’s current form as a website, but rather expand into other forms such as installation.
