【第7回】リアルな顧客主義をつくる、AI。―クリエイティブの超・変化がやってきた

今回のお話は、ライブ会場での観客の表情を認証し、感情を捉えるAI。エンタメ業界の雄、エイベックスが挑戦しているテクノロジー、そしてその先にあるビジネス。ある種、意外な感じもしたが、実は、前回、取材した博報堂スダラボのFace Targting ADと同じ、マイクロソフト社の「顔認識API」をベースにつくられている。業界により、目的により、AIはまったく違う用途をわれわれに提供してくれる。そんなソリューションの世界がもう始まろうとしているのだろう。エイベックス株式会社・CEO直轄本部デジタルクリエイティブグループ ゼネラルマネージャー山田真一さんにお聞きし、その最先端をレポートしようと思う。

黒澤:電通のコピーライターAICOのような文章の自動生成から始まって、今回で7回目になります。今日は「喜怒哀楽」、このような感情系のAIは初めてなのでいろいろと興味があります。まず、はじめに開発の発端、どういう経緯があってできたのかお聞きしたいと思います。

山田:去年の夏、マイクロソフトさんのシアトル本社におじゃまして、先進的な技術や世界の事例などを教えてもらう機会がありました。その時にAIで感情を分析して、アクションを起こす事例を見て、ひらめきました。自分自身、ライブに来ているお客さまの顔をよく見ます。職業病なのですが、どんな客層かなとか、ほんとに喜んでいる瞬間はいつかなとか、仕事柄知りたくて、この悩みと事例が結びついて、この企画が始まりました。シアトルから戻って企画書をつくって、社内で提案して、約1カ月後の7月末(2017年)のライブで実現しました。

黒澤:その7月のライブはカメラで撮影して、マイクロソフトのアプリケーションを使うというカタチでしたか。

山田:ええ、技術としてはマイクロソフトさんのAIサービス「Microsoft Cognitive Services」を活用しています。僕らが顔情報を学習させているわけではなく、もうすでに何十、何百万人の顔を学習した、使い勝手のいいAIを活用しました。

黒澤:もう教師データが入っているってことですね。それは、外国人の顔データだと思いますが、日本人でも正確にデータは取れるものなのでしょうか。

山田:多少、年齢が若く判断されますけど、ある程度傾向がわかっているのでその分バイアスをかければ問題ないです。AIの出した数字をそのまま評価せず、少し割引いてやります。

黒澤:面白い発見はありました?
 

山田:よくライブで盛り上がると、タオルを振り回したりしますよね。でも実際、顔を認識すると真顔になっていて、もしかすると事務的な作業になっているのかな、と感じました。周りがやっているからやらなきゃという場の雰囲気でやっているのかなと。ああいうシーンは笑っているものだと思っていたんですけど、実は笑っていない。データが少ないのであくまで仮説なんですが、毎回お決まりでタオルを回すのは、お客さまにとってあんまりよくないかもしれないと推測されます。中長期的に見ていく必要はありますが、でも、こういったことを見逃しがちだと気づいて、ライブの制作とかで役立てる場面もある、と思いました。

黒澤:ツアーのなかで、どのようにテストしているか、お聞きしたいです。

山田:たとえば、まったく同じ内容の公演で日々に違いがあるか、同じように計測できるか試しました。連続6公演をやったときに、いちばん笑顔が多いシーン、特徴的なシーンはどの公演でもほぼ前後1分ぐらいの誤差で一致したので、盛り上がりの傾向値は計測されているなと。来場者はもちろん毎回違うので、システムとしての正確性は測れていると考えています。

黒澤:カメラの性能や撮影環境でかなり左右されるのではないかと思いますが。

山田:そうですね。昨年の7月からスタートして、日々やっていくなかで、カメラを変えたり、取り付け方を変えたり、技術的な検証を重ねているところです。カメラで撮影するときに、暗いと映らないんじゃないかとか、ライブだから明るすぎてもだめなんじゃないかとか、それはカメラの性能にかなり左右されました。一番最初のイベントで使ったカメラは暗いとき全然映ってなく、データの欠落があって、それでカメラの選定に結構時間をかけましたね。あるときは2台カメラを設置し、左右違うカメラを置いてみるとか。そういったこともやってきています。

黒澤:例えば1000人だと何台くらいのカメラがいるのでしょうか。

山田:今の段階だと、1台につき50~100名くらい検証できます。4Kカメラを使ってその規模。あとは、会場によっても違います。以前、映画館でやったときは、ゆったり座れるので人と人との距離が大きく離れます、それに対してライブスタンディングは密集していて、顔だけが出ている。そうなると一台のカメラで認識できる顔の数も多くなります。

黒澤:今は、オーディエンス個人というより、全体の温度感を測る目的で運用されているのでしょうか。

山田:そうですね。映画館だと同じ位置にいるので特定の個人の感情を追うこともできますが、ライブの場合は難しいです。ただ、可能性として、今回のAIを使うことで、AIが同じ人が来ているという認識もしてくれる。リピーターの判定とか、ライブ中に同じ人のデータを取り出すのはできます。ただ今は、下向いたり横向いたりで、一人にフォーカスするとどうしても欠落が多いものになるので、全体の傾向値でとることが多いです。

黒澤:ライブの来場者に関する情報は、チケット販売時はわからないと聞きました。

山田:チケット自体を直販している数は少なく、プレイガイド経由で売っていることが大半なので、そちらで買うと、あくまでプレイガイドさんの顧客情報になります。僕らの方には、ファンクラブ限定みたいな限られたチケットであれば、顧客情報のデータが入ってきますが、それ以外は「お客さまが見えない」状況です。

黒澤:それは今までの悩みでもあったんですね?

山田:現時点でもですね。それに加えて、チケットは、ペアで買ったりすることが多いので、一人が2枚買ったら、もうひとりの顧客情報はわからない。買った人のしかわからない。

黒澤:男ばっかり買ってるけど、実は彼女を連れてくることが多いアーティストだってありますしね。

山田:そうなんです。チケットの販売は、買った人が顧客情報として記録されますけど、買った人じゃない人が来る可能性も多いにあります。父親がクレジットカードで買って、娘、息子が行く。そうすると、マーケティング情報としては全然違う属性の人を分析してしまう。ターゲティング自体がまったく間違ってしまう。そこで、実際に来ている人がどのくらいの年代が多くて、そのなかでも盛り上がってる人はどんな人?ということがわかるので、その場を楽しんだ人に、リアルにフォーカスを当てたマーケティングが可能になります。それは、すごく新しいと思いますし、今まで見えてない特徴がすごく明確になっていきます。

黒澤:なるほど! リアルなマーケティングが可能になるわけですね。

山田:年齢、性別だけでなく、ライブ会場で楽しんだかどうかという指標を加えることが今までになかったんです。せいぜいアンケートがありますけど、さまざまなバイアスがかかって、悪いこと言いづらかったり、もしくは悪いことばっかり書かれたりとか。正しい情報ではなくなってしまう。しかし、公演中は自然な表情が出ますので、その素の顔を評価できると、リアルな実態に近いものになります。

黒澤:のってなく、静かだけど、すごく感動して聞いている曲とかも、ありえます。そういった表情を評価することもできるのでしょうか?

山田:そうですね。使っているAIは8種類の感情を分析できるのですが、それぞれ感情の出方が楽曲、シーンによっても違うので、笑顔が多かったということだけを評価軸にするのは違うと思っています。きちんと考えるべきはどういう感じ取り方を狙っているのか、楽曲制作者の意志がどう表れてるのかを評価するべきです。盛り上がる場面で、笑顔を増やそうと思っていたけど盛り上がらなかったとか、しっとりと聴かせるタイミングで悲しい顔を引き出せているのか、とか。そういったところが良し悪しを評価する軸になるのかなと思っています。

黒澤:盛り上げたい、しっとり聴かせたいっていうセットリストを考えるとか。企画の狙いがあることが前提になっているんですね。

山田:そうです。ステージをつくるとき、そこを狙うんです。盛り上がる曲を続けたり、しっとりと聞かせたいときはそういう曲を続けたり、その演出がとても大事で、それがお客さまの反応に反映できているかどうかが大きなポイントです。今回のAIは、そこを実証していくツールにもなります。

黒澤:同じ音楽イベントでも、ライブとミュージカルでも感情が違う可能性はありますか。

山田:やっぱり音楽は数分間ですし、ひとつの曲に集中して聞く。だからその一曲のなかで感情の揺れ幅っていうのはあまりないんです。でも、映画とか舞台になると、ひとつのセリフ、ひとつのシーンの転換で大きく感情が変わる。より起伏が激しいものになる。映画になると、シーンの転換が一瞬なので、ぱっと絵が変わっただけでびっくりしたり。そのまま顔に瞬時に反映される。

黒澤:リアルタイムで、秒単位で計測していらっしゃるのですか? 

山田:そうです。データの突き合わせは面倒ですけど。前回映画館で映画『DCスーパーヒーローズ vs鷹の爪団』の感情分析をしたときは、全部の映像を見比べながら、このシーンに切り替わったからこの感情が引き出せたんだ、っていうところまでやりました。

黒澤:その突き合わせは、やはり人間の作業なんですね(笑)。

山田:そうです(笑)。理由を探すというか、この秒に感情のピークがきていて、その要因はなんだろう?を、確認するのは人間なので、結構大変です。このグラフは「鷹の爪」のときのものです。後半の頭は、集大成のネタが入っていて、みんなが笑っちゃう。笑えるように企画したんです。
 

黒澤:制作者の意図が観客に伝わったということですね!

山田:そうなんです。それが立証できています。連続ドラマつくるときに、プロット版ってつくるじゃないですか。その段階でこのAIを入れて、感情を分析することで、制作の方向性を変えたり、そもそもやる・やらない、の判断材料にすることができます。そうすれば、クリエイティブ領域にも活用していけると思っています。

黒澤:外販もゆくゆくはお考えですか。

山田:今、PoC(Proof of Concept/概念実証)を何社かとやっている段階です。

黒澤:いままでとは違うビジネス開発になります。

山田:たとえば、音楽でも映画でもない業界で、大規模なイベントをやってらっしゃる。そんな方が、来場者の表情を分析したいというニーズもあります。教育とかでもいいですね。授業中の表情を認識することで、学習の充実度を測ったりして、それを評価していくなど、ソリューションとしても面白いものが考えられそうです。

黒澤:「顔を認識する」ってそういったいろいろな横展開ができるんですね。

山田:最近の予備校とかの教育現場はオンラインでやっていたりします。PCやスマホで、授業を1時間受けてたりもします。それらのデバイスにはカメラが着いているため、顔認識しやすい環境にあると言えます。

黒澤:スダラボの、顔認識のFace Targting AD*も同じですね?

山田:エンジンは一緒です。スダラボのは広告のソリューションとして、僕らはマーケティングデータの活用として使っています。

黒澤:コアなテクノロジー部分は一緒なのに、使い方はまったく違います。

山田: AIをどう使いこなしていくかという、ある意味のクリエイティブ発想がどんどん大切になっていくでしょう。ディープラーニングだ、なんだって開発してくれる会社は世の中に数多く出て来ている。僕らがやることは、そのすばらしい技術をどう活用していくかを考えるということだと思っています。

黒澤:今は、感情分析AIをやってらっしゃいますけど、その他にもいろいろなプロジェクトを進めて、活用を考えていらっしゃいますか。

山田:はい。本来の部署の役割は、エイベックスグループ内の顧客情報をまとめて分析して、マーケティングに活かす部門です。あわせて、分析だけでなく、そのための基盤をつくったりというインフラ寄りのこともやってます。その両軸で走るなかで、今回の感情分析AIは欠けているピースを埋める役割です。それが全社で活用できるソリューションになればひとつの軸として進めていけます。

黒澤:欠けてるピースについて、興味があります。

山田: 我々の構造の問題として、CDとか配信はそれぞれ、販売会社さん、サービス会社さんがやっていて、エイベックスではないんです。CD屋の流通はタワレコやTSUTAYAといった販売店さんなので、そこで誰が買ったかはわからない。iTunesとかアマゾンミュージックとか、サブスクリプションにしても同じで、プラットフォームに提供した瞬間に、何回再生されたかはわかるけど、誰が再生したかわからない。そういう構造的な問題があって、我々が持ち得るデータは基本的に自社のチャネルを通したものだけです。独自にECサイトも持ってるし、ファンクラブサイトもあるから、欠けているそのピース、つまり一番のコアである来場者の一番高まっている瞬間の分析がすごく重要なんです。

黒澤:さきほども、お話に出ていましたが、意外とリアルな顧客との情報接点を持ってないんですね。

山田:そこが構造的に悩ましい。解決法がない。小売店を自社から出すとかはできないんです。

黒澤:確かに、データがたまるところは流通とか、通信とかで、コンテンツ制作するところにはなかなかたまらない。もともとはコンテンツを流通に置いて、顧客が買うという構図だから、流通が得するためにも本来、コンテンツをつくる人に流通チャネルの顧客情報を知らしめるべきと言う考え方もありますね。

山田:そういうところもあるので、数少ないお客さまとの接点であるライブ現場で、いかに顧客情報と結びつけていくかは、今後力をいれていくべきと思っています。今回のAIは、そのひとつのアプローチですね。実は、ライブ会場でグッズを買った人も誰だかわからないんです。ライブ会場行って、3000円の高いTシャツ買ってくれて。でも物販にいるのはバイトの店員だけなので、レジでの難しいオペレーションを入れることができない。

黒澤:物販をわざわざ買っている人は、強いエンゲージメントができているってことですよね。それが誰だかわからないのは損失ですね…。

山田:本来、僕らがきちんとトラッキングしなきゃいけない層なんですよね。お客さまは好きなアーティストであれば、何時間も並んでくれる人たちで、その人達ほど大事にしなきゃいけないのに、誰だかわからないっていう状況なんです。もちろんそこも、販売時の煩雑さを考えると、購入時に会員IDを提示するといったオペレーションも難しい。そこを簡易的にできる仕組みづくりも今後必要なんです。

黒澤:ライブ会場で今始めている、人の感情を捉えるAIの延長上に、ヒントがあるかもしれないですね。もっと顧客と近づいて、より強い絆で結ばれる方法。それは企業の取り組みとしても重要だと思いました。

話は変わりますが、去年新人アーティストのlol(エルオーエル)のライブで感情分析AIを導入して、今年は別アーティストですか?

山田:今いくつかを選定中で、時期の違うアーティストのツアーを組み合わせて、年間計画を立てています。そのなかには、大規模なアリーナクラスのアーティストもいます。大きいハコになったときにカメラをどうするか、という課題はあります。現時点で、最大規模600人までは実験済みです。

黒澤:実証実験を積み重ねて、さまざまなビジネスの芽も開発していってるんですね。

山田:いつまで実証実験って言うんだって感じもありますが(笑)。早くカタチにしていくために、チャレンジを続けたいと思います。

黒澤:貴重なお話、ありがとうございました。


顔の表情という「曖昧なもの」も、AIはデータとして学習し、答えを導き出す。数値データにしにくい、非構造化データのジャンルこそ、AIは本領を発揮する。「世界で最も重要な資源はもはや石油ではなく、データである」。そんな新たなデータの時代がリアルにやってきたことが、今回の取材で確認できた。

AIは、あらたな顧客との接点を創造し、今の枠を超えた、あらたなビジネスを創造する。利便性実現や効率化・省人力化ではない、実はきわめて創造的なテクノロジーではないかと思う。今ある技術とどう掛け算をするかという創造性も必要だ。

最後に忘れてはいけないのが、顔認識の場合の、プライバシーの問題だ。山田さんも、その問題を完全にクリアにしながら進めてゆく、まだ国内の法整備が未開発な中で動向をきちんと把握しながらやってゆく、と言われていた。

人の人生を震わすほどの感動を、ライブや映画などのエンタメが実現してゆく。ここはぜひ、その顧客を置き去りにしない、新しいチャレンジに注目してゆきたい。

【執筆者プロフィール】
黒澤晃(くろさわあきら)氏
横浜生まれ。東京大学卒業。1978年、広告会社・博報堂に入社。コピーライター、コピーディレクターを経て、クリエイティブディレクターになり、数々のブランディング広告を実施。日経広告賞など、受賞多数。2003年から、クリエイティブマネージメントを手がけ、博報堂クリエイターの採用・発掘・育成を行う。2013年退社。黒澤事務所を設立。東京コピーライターズクラブ(TCC)会員。