こんにちは，しまさん（@shimasan0x00）です．
VTuberの分析を統計量を示すだけでないアプローチでやれていければなと思いながらしています．
そんな私ですが，VTuberの分析をするという理由とは別で単純にVTuberの配信を定期的に視聴しています．
面白い人の配信はほんとうに作業のオトモにもなりますし，単純に可処分時間を使って楽しく拝見させていただいています．
そんな私ですが，作業時間以外で視聴するもので多いのが「コラボ配信」です．
これは自身が把握しているVTuber以外の人でも面白い方がいるかもしれないので発見したいという気持ちと単純に複数人での掛け合いや配信だからこそ生まれるイベントを見るのが好きで面白いからというのがあります．
そこで私はVTuberの配信のなかで「コラボ配信」だけをどうにか抽出できたら面白いだろうなと思いました．単純に私の需要を満たすこともできますからね．
なので今回はVTuberのコラボ配信だけを抽出する手法を検討し，その手法を実施して試験的に検出してみた話をしたいと思います．
コラボ配信抽出手法について
VTuberというか一般的なYouTuberの方の動画を判定する部分を考えて，以下の三要素からコラボ配信であるかを判定することにしました．
- 動画のサムネイル
- 配信のタイトル
- 配信概要
この三要素を画像処理と自然言語処理を使用することで検出していきたいと思います．
それぞれにスコアを試験的に付与して，合計値が0.7以上となればコラボ配信であると判定することにします．
動画のサムネイル
まずは動画のサムネイルです．
これはサムネイル画像に人が二人以上いたらだいたいコラボ配信なのでは？ということで採用しています．
顔の検出にはMLで…ということも考えましたが色々とウェイトが重いので特徴量を使用した簡易的な検出で対応することにしています．
アニメ顔の検出ができるlbpcascade_animeface.xml をOpenCVで使用して検出します．
この検出によって顔の検出が２つ以上であれば0.6を付与します．
配信のタイトル
これはタイトルでそもそもコラボであることを示している場合があるでしょうということで採用しました．
コラボを示す単語として今回は['コラボ','collab',r'\w']を選びました．
タイトルを英字は小文字化して上記の単語にマッチするかを判定します．
これは検出された場合，ほぼほぼコラボ配信であろうと考えているので0.7を与えています．
配信概要
これもコラボするのであればコラボ相手の情報を掲載するのが普通だろうということで採用しています．
VTuberの名前もしくはURLが掲載されていればコラボしたという判定したいと考えていますが，現状は名前のみの判定にしています．
また，VTuberの名前ですが，VTuber-Postさんのグループページの最初の25団体に所属するVtuberの名前があった場合にカウントしています．
まだ試験段階のため．VTuberさんの多くを対象にすることはできていませんが，約360名は観測できる環境になっています．
配信概要に名前が掲載されている場合は確定でコラボだろうということで0.7を与えています．
なお，チャンネル名も収集しており，チャンネル名もしくはVTuberの名前が自身のものである場合は正しく除外して判定しています．
スポンサーリンク
試験動作
今回は上記の判定手法を用いて試験的にコラボ配信を検出していきます．
対象として，最近のVtuberスパチャランキングでも上位だったホロライブ所属の不知火フレアさんを選びました．
直近24配信(時間が25分以上のもの)をAPIを用いて収集し，上記手法で判定を行いました．
正解としては以下の7つとなり，7/24がコラボ配信です．
実際に判定した結果が以下のようになります．
正答率はなんと100%(7/7)でした．まじか．
スポンサーリンク
まとめ
今回はVTuberのコラボ配信を検出するための手法の提案と試験的な実施を行いました．
結果としては100%となりはしましたがまだまだ手を加える部分はあります．
いずれは自分の興味あるVTuberの参加しているコラボ配信のみを毎日プログラム回してゆるく発見して教えてくれるものができればいいなと思います．
ぱっと思いついたのがこの手法だったので今回はこうなりましたが，もっといける案があったらぜひ教えてほしいです．
p.s.
お気づきの方がいるかもしれませんが，現状だとサムネの判定いらないですよね．それも含めて高精度での判定ができるようにしていきたいですね．
