笑顔が曲になるころに

こんにちは。

クウジット空実創作エンジニア、おのです。
tokyoZ久しぶり！

去る昨年の7月、クウジット10周年記念パーティーが行われました。その際、それぞれのメンバーが得意分野を持ち寄って紹介するということになりまして、わたくしは顔認識エンジンを用い表情で音楽演奏をする仕組み、「顔で弾く楽器」を作成・展示いたしました。

10周年記念パーティーの様子

この10周年記念パーティーは、クウジットとも関係の深い「グー・チョキ・パートナーズ」の小野寺さん、愛ちゃんが司会をやってくれました。

さて、そのときにこの「顔で弾く楽器」の展示が小野寺さんの目にとまることになり、二人がMCしているご当地番組「虎ノ門でごめんなさい」で紹介させていただくことになったのでした。

紹介の様子がこちら。
昨年の8月末のことです。

「顔で弾く楽器」は、カメラで認識された顔の笑顔度や首振り、カメラ上の位置などをリアルタイムで測りつつ、それを音階など音楽パラメータに変換して音を出すという仕組みです。

顔で弾く楽器説明図

このとき小野寺さんの中にあった構想は、「虎ノ門ソングを作ろう！」という番組内での試みの中で、曲中に虎ノ門ではたらく人たちの笑顔由来のフレーズを入れたい、というものでして、「なんかそういう曲作ってくれない？番組のジングルも作ってよー」という依頼がわたくしに。だいぶ人選に困っているに違いない…。

曲を作ることや楽器演奏は趣味としてやってはいるものの、人の依頼で曲を作るということはあまりやったことがなかったので、大丈夫かなーと思いながらも、大丈夫です！と喫茶店で言われるままに引き受けたのが昨年秋のことです。

それから悩むこと3ヶ月、まずはオープニングとかエンディングに使えるかな、という曲が完成しました。でもせっかくなので、番組MCである小野寺さん、愛ちゃん、そして同じく番組出演中のしょうこママの三人の笑顔由来のフレーズを、虎ノ門ソングに先んじてこの曲に入れてしまえ、と思いたち、小野寺さんに三人それぞれの笑顔の動画を撮って来てもらうよう依頼したのが1月の半ば。

夏の番組でのデモ演奏とは違い、思い思いに撮ってもらった笑顔動画から曲のフレーズとしていい感じのものがいかにうまく抽出できるかというところで、なかなか興味深い実験となりました。

さて、笑顔動画からのフレーズ抽出のために用意したのは普段自分が曲を作るときに使っている自宅PCのDTM(Desktop Music)環境に「顔で弾く楽器」を追加インストールしたもの（フレーズ生成＆楽曲作成マシーン）と、動画再生用のPC（笑顔動画再生マシーン）の二つ。そして動画再生用PCの動画を自宅PCに入力するためにキャプチャーデバイスで接続します。「顔で弾く楽器」は動画入力に対してMIDIコントロールデータを出力するので、これを内部的に音楽制作ソフトに接続したら準備完了です。

笑顔動画からフレーズ生成説明図

まず動画をループ再生し、それによって「顔で弾く楽器」が奏でるフレーズを延々聴きつづけ、「顔で弾く楽器」のパラメータを変更しながら音域や音階・音色を変えていき、曲として「おいしい音」が出てくる動画上のポイントを探します。ポイントが見つかったら音楽制作ソフトでレコーディングして、その部分をすでに出来ている曲に重ねていきます。