ve6 — 会話動画の字幕・話者判定・立ち絵アニメ
動画を入力すると文字起こし・話者判定・感情判定を自動実行し、下部字幕と話者の立ち絵がアニメーションする動画を出力するツール。
Duration
自社開発
Team
1名
01 // OVERVIEW
プロジェクト概要
会話動画を入力すると、Whisper（Groq経由）で文字起こし、GeminiでAIが話者判定・感情判定を行い、下部字幕と話者ごとの立ち絵がアニメーションする動画を自動生成するツール。
描画はHTML+GSAPで動くHyperFramesを採用し、timeline.jsonをマスターとするve5と同じ設計思想を持つ。
02 // KEY FEATURES
主な機能
Whisper文字起こし＋Gemini話者・感情判定
GroqのWhisper APIで高速に文字起こしを実行し、Geminiが各発言の話者と感情（neutral/smile/laugh/surprised等8種）を判定。話者数ヒントを渡すことで精度を向上させられる。
立ち絵アニメーションと字幕のHyperFrames描画
HTML+GSAPで動作するHyperFramesで各フレームを描画。話者ごとに立ち絵と感情表情が切り替わり、字幕は下部に表示される。ブラウザ上の編集UIからプロジェクトを選んでタイムラインを手直しできる。
ブラウザ編集UIとアトミック保存
FastAPIで提供するREST APIとViteのフロントエンドで、波形上のリージョンドラッグ・話者/表情/テキスト編集・Ctrl+Sでの保存が可能。保存のたびにバックアップを20世代保持し、tmp→fsync→renameでtimeline.jsonを安全に書き換える。
03 // TECHNICAL DEEP-DIVE
技術的ハイライト
Solution
非破壊カットとカットプレビューの整合
無音区間の自動検出でカット候補を提示し、timeline.json上で有効/無効を切り替える非破壊カット設計を採用。カット適用版・未適用版の両方を出力に残し、後から選択できるようにした。
04 // IMPACT & RESULTS
成果
全自動
動画→字幕+立ち絵動画を一括生成
8感情
話者ごとの感情を自動判定
20世代
timeline.jsonのバックアップ保持数