こんにちは。
最近、ヒョウモントカゲモドキの２匹目が増えました、いきものがかりのおかあさん SSです。
元から居たヒョウモントカゲモドキ①も、新たに加わったヒョウモントカゲモドキ②も、どちらもとてもかわいいため、日々のイライラから癒されています。
さて、前回、ヒョウモントカゲモドキの動画解析を目論見中と書きました。
（→前回記事『別邸（？）「レオパ レス」とスマートホーム』）
最近はAI技術を応用した、人工知能チャットBOTの「ChatGPT」や、イラストや画像を生成してくれる「Midjourney」などが流行っています。
これらは、ChatGPTであればテキスト、Midjourneyであれば画像、といった膨大なデータを事前学習し、データパターンの記憶・解析をし、ユーザが入力したコマンドやデータの指示を受けて、その入力値に基づいたアウトプットを出力するものです。
ということで、これらの技術を活用し、動画解析の仕組みを構築してみることにしました。
ゴールとしては、わが家のペットであるヒョウモントカゲモドキの動画を解析して、何時間起きているのか調べることを目指します。
まず今回は、動画解析を実現するための情報収集をお題といたします。
動画解析サービスは世の中に多数ありますので、大手クラウドサービスに限定して見てみることにしましょう。
【Amazon Web Services Amazon Rekognition Video】
特徴としては、監視カメラの映像をリアルタイムに分析するといった使い方ができることのようです。
リアルタイムで分析を行う場合はKinesisと連動させ、S3に保存した動画ファイルを分析させることもできるようです。
■メディア形式
・MP4（.mp4）：OK
・FLV(.flv)：NG
・AVI（.avi）：NG
・MOV（.mov）：OK
・WMV（.wmv）：NG
・WebM（.webm）：NG
・MPEG2（.mpg）：NG
■ストリーミング動画対応
・可能
■価格（12月間無料利用枠で月1,000分までは無料）
①動画ファイル
・ラベル検出：$0.13/分
・コンテンツのモデレーション：$0.13/分
・テキスト検出：$0.13/分
・顔検出：$0.13/分
・有名人の認識：$0.13/分
・顔検索：$0.13/分
・人物の動線の検出：$0.13/分
②ストリーミング動画
・顔検索：$0.15/分
【Google Cloud Platform Video AI】
動画を分析するサービスで「AutoML Video Intelligence」と「Video Intelligence API」に分かれています。
事前学習済みの場合は「Video Intelligence API」、独自モデルを使いたい場合は「AutoML Video Intelligence」になるようです。
特徴としてはストリーミング動画アノテーション（タグ付け、メタデータの作成）を使用して、動画からほぼリアルタイムで情報を検出し、抽出できるようです。
使い方としては、Youtubeで採用しているような、おすすめ動画をアプリに表示する感じでしょうか。
■メディア形式
・MP4（.mp4）：OK
・FLV(.flv)：OK
・AVI（.avi）：NG
・MOV（.mov）：OK
・WMV（.wmv）：NG
・WebM（.webm）：OK
・MPEG2（.mpg）：NG
■ストリーミング動画対応
・可能
■動画データの入力方法
・ファイルのアップロード
・指定URLによる参照
■価格（1,000 分までは無料）
①動画ファイル
・ラベル検出：$0.10/分
・ショット検出：$0.05/分、ラベル検出を利用している場合は無料
・不適切コンテンツ検出：$0.10/分
・音声文字変換：$0.048/分（音声文字変換の課金対象は対応言語の en-US のみ）
・オブジェクト トラッキング：$0.15/分
・テキスト検出：$0.15/分
・ロゴ検出：$0.15/分
・顔検出：$0.10/分
・人感センサー：$0.10/分
・Celebrity recognition：$0.10/分
②ストリーミング動画
・ラベル検出：$0.12/分
・ショット検出：$0.07/分
・不適切コンテンツ検出：$0.12/分
・オブジェクト トラッキング：$0.17/分
【Microsoft Azure Video Indexer】
特徴はビデオとオーディオのモデルを使用して、ビデオから分析情報を抽出ができるようです。
面白そうな機能としては、動画音声の文字列起こしですね。
■メディア形式
・MP4（.mp4）：OK
・FLV(.flv)：OK
・AVI（.avi）：OK
・MOV（.mov）：OK
・WMV（.wmv）：OK
・WebM（.webm）：OK
・MPEG2（.mpg）：OK
■ストリーミング動画対応
・不可
■動画データの入力方法
・ファイルのアップロード
・指定URLによる参照
■価格 Webの場合：10時間、API経由：40時間無料）
動画ファイル
・入力時間 1 分あたりの価格
・Basic オーディオ インデックス分析：¥1.82127
・Standard オーディオ インデックス分析：¥3.46909
・高度なオーディオ分析：¥5.782
・標準ビデオ インデックス分析：¥13.010
・高度なビデオ分析：¥21.682
さて、今回のゴールはヒョウモントカゲモドキの１日の稼働時間を調べることです。
方式として、ストリーミング動画の解析ではなく、録画保存した動画ファイルの解析を行うことにしました。
さらに、できれば、事前モデル学習をしている動画解析サービスだとありがたく、費用はおこづかいで賄う予定ですので、安いに越したことはありません。
また上記を見る限り、機能にはそれほど大きな差がないようなので、トラブル発生時の対応を考慮し、書籍やインターネットで情報量が多そうなサービスがよいです。
これらの要件から、結論として、【Amazon Web Services Amazon Rekognition Video】を使うことにしました。
次回の記事では、動画を撮影する機器の選定について、書ければと思っています。
SS