• 62
  • 80
コメント

朝のヒホドル活動 ~声質変換編2~

(1時間)

ヒホ
LV63

あとプレミアム会員42人のフォローでレベルアップ

自分の声をハイクオリティな結月ゆかりの声に変換するDeepLearning
・facerigと連携
・波形が連続していない気がする
・変換後結果バッファー作り
✔リアルタイム音声変換
✔とりあえず声をechoする
✔無限ループするスレッドを作る
✔ストリームを管理するラッパー作る
✔GPUメモリ使用率を見る
✔データセットを綺麗にする
✔逐次的に声質変換する
✔GPUでforward可能にする
✔音声変換機構をつなげる
✔学習済みモデルで音声生成する
✔高音質学習書く
✔高音質化用のモデル定義
✔高音質化用のデータ処理
✔低音質&高音質スペクトログラム切り出し
✔結月ゆかりデータを大量に集める
✔音質を落としてみる  → MFCC=9
・無発声区間を省く
✔無発声区間を省く方法を調べる
・スペクトログラムの解像度と音質のトレードオフを調べる
✔今後の方針考える
✔自分の声と結月ゆかりの声をアライメントしたときの音響特徴量確認
✔自分の声の音響特徴量の精度を確認
✔「敵対的データ拡張による自動線画化」を精読する
親作品・子作品を見る