音をクラウド解析処理を実行するIoTデバイ「Listnr

ー パナソニック、Cerevoと共同開発。Kickstarterでクラウドファンディング実施 ー

乳幼児音声から感情認識するソフトウェアは株式会社パナソニックの技術を採用、製品は株式会社Cerevoが共同で開発

Listnrアイデアソン イベントレポート

2015年2月17日、Listnrの活用方法を考えるアイデアソンをDMM.make AKIBAにて開催いたしました。当日は雪もちらつくあいにくの天気でしたが、30名近い方に参加いただき、Listnrに関するさまざまなアイデアをいただきました。



アイデアソンは前半にLisntrの概要や技術的仕様を紹介、後半はLisntrを活用したアイデアを個人ワーク、グループワークの順で実施。最後に各グループの代表がグループのアイデアをプレゼンし、最後に最優秀グループ賞、最優秀個人賞を表彰いたしました。


当日のプレゼンテーションはこちらの動画をご覧ください。


※イベント冒頭で音が切れておりますがご了承ください


音を聞くパートナー「人間の第2の耳」がListnrのコンセプト


InterPhenom代表の江原理恵からは、Listnrの概要を紹介しました。Listnrのコンセプトはキービジュアルに耳がついているように、「人間の第2の耳にしたい」という想いを込めたデバイスです。


さまざまなソフトウェアやデバイスを活用して人間の能力は発達してきたが、音を聞くということに関してまだまだできることはあるのではないか。スピーカーとは対照的に、音を聞くパートナーとしての意味を込めて「Listnr」という名称になりました。


利用イメージはKickstarter掲載の動画をご覧ください



リスナーができることは大きく2つ。1つはサウンドコントローラで、音を立てることで家電のオンオフができます。


もう1つがLisntrの特徴でもある赤ちゃんモニター。赤ちゃんの泣き声や、赤ちゃんが何かを言い始めたときに、それがどのような感情なのかを判定してスマートフォンへ通知してくれます。


ListrはマイクとLEDを搭載しており、Wi-Fiでインターネットへ接続。音が鳴るとその音に反応して録音を開始し、クラウドへ送信します。


この2つの機能を使ってどういうことができるのか。音をわざわざ立てるのではなく、生活の中で自然に存在する音を使って何かをできるようにしたい。それがListnrのコンセプトです。


赤ちゃんの感情だけでなく、音声データさえあれば犬の感情を判定することもでき、人間も会話だけでなく音域や周波数というデータを用いてどんな会話かを判断することもできる。音楽を聴いている瞬間など、あらゆる身近な音を使ってそれをつなげていきたい。音を使って未来をサポートしていけるようなアイデアを楽しみにしています。


無線LANとマイク、LEDを搭載。音を感知して自動でクラウドへアップロード


続いてLisntrの開発を手がけるCerevo代表の岩佐琢磨からは、Listnrの技術的仕様をご説明しました。


ListnrはIEEE 802.11b/g/n対応の無線LANとフルカラーのLEDを搭載。音声入力は本体前後に2つマイクを搭載しており、360度の録音が可能です。


APIは「リアルタイムデバイス制御」「録音データの取得」「感情/音声認識結果の取得」が利用可能。


リアルタイムデバイス制御では、本体LEDのカラー指定や発光時間の制御、音量の振れ幅を検知して録音を開始、プライバシーを配慮したミュート設定などが指定できます。


録音データはWAV形式で、ファイル単位でサーバーへPOST。


音声解析エンジンで解析した結果をCSVでPOST。


Listnr本体で音声解析を行なうのではなく、解析はクラウドサーバーで行なう仕組み。そのため音声解析エンジンを使わない仕組みも可能。


これらAPIを利用することで、大きな音を認識して録音したり、一定時間の音声を録音したり、音声解析の結果に基づいたコマンドを送信するといった仕組みを開発できます。


パナソニックの10%ルールから生まれたコンセプト。子供の声がきっかけとなって家族のコミュニケーションに


最後にパナソニックの飯田恵大から、今回の製品開発に至った経緯や音声解析の仕組みを説明しました。


もともとこのアイデアは、パナソニックにある「10%ルール」がきっかけ。ちょうど1年半前、6ヶ月になる子供がいるけれど忙しくて声も聴けないという状況でこういう製品が欲しいと思い、「ベイビーブレス」というコンセプトで考え、岩佐さんにアイデアを持ち込んだ。


システムとしてはWi-Fiにつながるマイクを家に設置し、周囲数メートルで規定音量を超えたものを10秒録音する仕組み。これは乳幼児だからこそできた仕様で、音声をテキストにしたいのであれば話している内容や集団を正確に認識しなければいけないが、そういう精度は無視して開発した。


実際には規定音量を超えたら録音し、それをクラウドサーバーで判定。雑音なのか子供なのかの認識度は90%以上で、さらにその声から感情を4つに分類する。分類精度は67%で、精度はもっと上げていく予定だが、まずはエンタメ寄りの製品としてこのくらいの精度でも十分楽しんでいただけるだろうと考えた。


判定した結果がスマホに通知され、パパが仕事の休み時間にスマホを見ると子供の様子がわかる。「昼間泣いてたな」という様子を知って奥さんとの会話につなげたり、面白い言葉が録音できたらコメントでやりとりしたり、子供の声をきっかけとして家族のコミュニケーションにつながって欲しい。


質疑応答


Q: デバイス内蔵のマイクを使うと思うが、マイク端子があればガンマイクでピンポイントの音を取れる。そういう拡張は考えているか

A: 指向性のマイクは考えていないわけではないが、宅内でどう動くかわからない環境では無指向のほうが宅内の状況を把握しやすいと考えた。ある程度ここの音を取りたいということは指向性組み合わせてもいいかもしれない。ぜひそのあたりはアイデア欲しい


Q: マイクはどこにあるのか

A: 本体の前後にあるのでどちらかは正面になる。基本的にはほぼ360度取れるはず


Q: 解析は何秒くらいで返ってくるか

A: 現状は負荷によるが10秒弱ぐらい


Q: 音声認識で把握できる人数は

A: 個人識別はできないので子供が2人いてどちらかが泣いたら反応する


Q: 10秒ごとに録音してサーバーに投げるということだが、それを短くできるのか

A: 精度を保つためにこの時間。用途としてリアルタイム性を求めているわけでないのでそこの時間はさほど気にならないだろう。


Q: 録音するのを何かのトリガーでスタートすると思うが、5秒前から送るということもできるのか

A: ハードの仕様としてはできるがAPIを用意する必要がある。アイデアソンでそういうアイデアがあれば実装する可能性もあるが必ず実装されるというわけではない


Q: APIの拡張ができるという話があったが、WAVを受け取ってその解析ができるのか、解析したCSVをいじれるのか。

A: 両方できる。今回用意した認識エンジン使ってもいいし、エンジンを使わずに録音した生のファイルを確認することもできる。


アイデアソン


アイデアソンは始めに個人で考えたアイデアをグループで持ちより、ブラッシュアップして1つのアイデアに集約。そのアイデアをグループ代表1名にプレゼンテーションしていただきました。



以下は今回のアイデアソンで発表されたグループアイデアです。


  • 「はじめての一言」から始まる語彙DBの視覚化。子供が初めて発した言葉を記録してデータベースに登録。他のユーザーと比較して全国平均もわかる
  • アイデア名「ハックション」。Lisntrで咳やくしゃみをカウント、休むほどではないが体調不良の人がわかる
  • アイデア名「バズハンター」。居酒屋やカフェなどの雑談から流行のバズワードを集計、どんなバズワードがいつ盛り上がっているのかをチェックして集計結果を販売する
  • 子供の声から新しい言葉を通知して記録。それをリアルタイムに通知したり、アルバム化して後から振り返る
  • アイデア名「Sign Listnr」。耳の聞こえない人の代わりに周囲の音を識別し、音以外の形で通知するデバイス
  • アイデア名「ミステリーリスナーズ」。Kinectを組み合わせ、店内で商品に手を伸ばしている時の声なのかどうかを分析。人が商品を購入するときの声や感情を蓄積し、購入のきっかけとなるキーワードを分析できる
  • アイデア名「リスパシー」。祖父や祖母の家に設置して生活音を録音、もう1台を自宅において安否確認したり、録音したデータを時間差で送りauことで孫と祖父祖母が簡単にコミュニケーションできる
  • 動物園で動物の感情を解析したり、博物館で子供の感情を解析。解析結果をLEDで通知

審査の結果、最優秀グループアイデアは「人間を離れて動物をターゲットとしたところが面白い」と、動物園で動物の感情を解析するアイデアが選ばれました。また、個人アイデアはインターホンの呼び出し相手に応じて自動で音声応対する「スマート居留守」、カメラと連携して子供の喜んでいる顔を自動で撮影する「子供カメラ連動」など8つものアイデアを考えた方に送られました。



アイデアソンに参加いただいた方々のブログはこちらです。


人間の第2の耳となるか? Listnr(リスナー)のアイデアソンに参加 - 伊藤浩一のWindows Phone応援団(旧W-ZERO3応援団)
音をクラウド解析するリスニング・デバイス「Listnr」アイデアソンに行ってきた - 異聞録
ajimitei labo.: 2015/02/17 Listnr アイデアソンに参加

Copyright © 2015 Interphenom All Rights Reserved