研究シーズの概要
画像をクリックするとPDFが表示されます
皆さんが日常見ているテレビ番組や映画など、蓄積されたマルチメディア情報から自分の見たい、聞きたい情報を探し出すにはどのようにしていますか?さまざまな種類のメディアに記録、蓄積されたデータは「ことば」では、うまく表現できないものもたくさんあります。たとえば、メロディーはわかるけど、曲名や作曲者、演奏者がわからない。自分の好きな女優の出ている映画のシーンを探したい。そんなとき、インターネットで主流のキーワード検索と同じ仕組みでうまく探し出せるでしょうか。
情報を探す場合、その情報を探すためのキーとなる情報が必要になります。また逆に、探される情報には、その情報がどのよう情報かを示す、情報への情報(メタ情報)が必要になります。映像や音声情報に対するメタ情報は、実際のデータを構造化した上で付与されます。メタ情報の例を図に示します。付与されたメタ情報(意味情報であるハイレベルから、特徴量のようなローレベル)を利用することで、「ことば」だけでなく似たシーンやメロディーなどでも適切な映像や音楽を探し出し、目的のシーンを特定できるようになります。
このような仕組みを利用するために自動で映像や音声にメタ情報を付与する仕組みとその応用システム、サービスの研究をおこなっています。
