笑顔が曲になるころに

こんにちは。

クウジット空実創作エンジニア、おのです。
tokyoZ久しぶり!

去る昨年の7月、クウジット10周年記念パーティーが行われました。その際、それぞれのメンバーが得意分野を持ち寄って紹介するということになりまして、わたくしは顔認識エンジンを用い 表情で音楽演奏をする仕組み、「顔で弾く楽器」を作成・展示いたしました。

10周年記念パーティーの様子

この10周年記念パーティーは、クウジットとも関係の深い「グー・チョキ・パートナーズ」の小野寺さん、愛ちゃんが司会をやってくれました。

  

さて、そのときに この「顔で弾く楽器」の展示が小野寺さんの目にとまることになり、二人がMCしているご当地番組「虎ノ門でごめんなさい」で紹介させていただくことになったのでした。

紹介の様子がこちら。
昨年の8月末のことです。

「顔で弾く楽器」は、カメラで認識された顔の笑顔度や首振り、カメラ上の位置などをリアルタイムで測りつつ、それを音階など音楽パラメータに変換して音を出すという仕組みです。

顔で弾く楽器説明図

顔で弾く楽器説明図

このとき小野寺さんの中にあった構想は、「虎ノ門ソングを作ろう!」という番組内での試みの中で、曲中に虎ノ門ではたらく人たちの笑顔由来のフレーズを入れたい、というものでして、「なんかそういう曲作ってくれない? 番組のジングルも作ってよー」という依頼がわたくしに。だいぶ人選に困っているに違いない…。

曲を作ることや楽器演奏は趣味としてやってはいるものの、人の依頼で曲を作るということはあまりやったことがなかったので、大丈夫かなーと思いながらも、大丈夫です!と喫茶店で言われるままに引き受けたのが昨年秋のことです。

それから悩むこと3ヶ月、まずはオープニングとかエンディングに使えるかな、という曲が完成しました。でもせっかくなので、番組MCである小野寺さん、愛ちゃん、そして 同じく番組出演中の しょうこママの三人の笑顔由来のフレーズを、虎ノ門ソングに先んじてこの曲に入れてしまえ、と思いたち、小野寺さんに三人それぞれの笑顔の動画を撮って来てもらうよう依頼したのが1月の半ば。

  

夏の番組でのデモ演奏とは違い、思い思いに撮ってもらった笑顔動画から曲のフレーズとしていい感じのものがいかにうまく抽出できるかというところで、なかなか興味深い実験となりました。

さて、笑顔動画からのフレーズ抽出のために用意したのは 普段自分が曲を作るときに使っている自宅PCのDTM(Desktop Music)環境に「顔で弾く楽器」を追加インストールしたもの(フレーズ生成&楽曲作成マシーン)と、動画再生用のPC(笑顔動画再生マシーン)の二つ。そして動画再生用PCの動画を自宅PCに入力するためにキャプチャーデバイスで接続します。「顔で弾く楽器」は動画入力に対してMIDIコントロールデータを出力するので、これを内部的に音楽制作ソフトに接続したら準備完了です。

笑顔動画からフレーズ生成説明図

笑顔動画からフレーズ生成説明図

まず動画をループ再生し、それによって「顔で弾く楽器」が奏でるフレーズを延々聴きつづけ、「顔で弾く楽器」のパラメータを変更しながら音域や音階・音色を変えていき、曲として「おいしい音」が出てくる動画上のポイントを探します。ポイントが見つかったら 音楽制作ソフトでレコーディングして、その部分を すでに出来ている曲に重ねていきます。

実のところ、当初 笑顔由来のフレーズは隠し味的な効果音として使うつもりでいました。しかしなかなか面白い音が出ていたので イントロの効果音的用法に加え、曲中に「笑顔ソロバトル」として3人の笑顔フレーズを楽器のソロ競演のように登場させて盛り上げる構成にしてみました。

それでは、完成品のご紹介です。

まずはイントロです。

小野寺さんの笑顔なのかなんなのかわからない表情からスタートし、愛ちゃんのころころ転がる表情に切り替わった後、 しょうこママのど真ん中の笑顔で一気にパワー充填!!という感じで曲が始まります。

そして曲中のソロバトル。

これ、なかなかソロバトルっぽいいい感じになっていると思うんですけど、どうですかね。
もはやどこの表情からフレーズをとってきたかわからなくなってしまったので、顔と音の対応はだいたいで…すみません!でもねつ造はしてません。すべて笑顔由来の成分でできています。

この曲の紹介はこの放送でさせていただきました!
次は虎ノ門ソングか…。どうしよう。

The following two tabs change content below.

ono

2015年1月クウジット入社。空実創作エンジニアとして技術でリアルを楽しくすることを日々模索中。

シェアする

  • このエントリーをはてなブックマークに追加

フォローする