2018年06月22日

足立レイの音源公開しました!(中の人いない音源)

お久しぶりです。レイのボディ関連のもろもろやモーキャプシステム等を開発する傍らここ1年ほど個人的に作っていたレイの声のライブラリ(UTAU向け)を公開しました&動画にしました!

ニコニコ


youtube


音源ダウンロードリンクはこちらです。
https://drive.google.com/open?id=160_drADYmmlfxmvHyp9LFwAWJdwcp_Ku


音源配布動画兼作り方&過程・音声合成解説な感じです。
音声等の解説に関してはこちら、上智大学 理工学部 情報理工学科 荒井研究室のページ等はかなり参考にさせて頂きました。
http://splab.net/APD/G400/index-j.html
他のページにも声道モデルの実演などあってとても面白いです。興味のある方はぜひご参考に。youtubeにも動画あるようです。
http://splab.net/APD/G200/index-j.html


ミクのモーションキャプチャを使った中の人システムやレイのボディの製作を進める傍ら個人的に丁度ここ1年ほど製作に取り組んでいました。(ここ数か月は院2になって授業もなくなったので助かった)やはり音声があるとキャラクターに対する愛着や具体的な姿っていうのも見えてくる気がしますし、必ずしゃべらせるための音声が必要になるので、よし作ろうと思い取り掛かりました。

なぜ人工にこだわったかというと、レイがロボットだからです。最初からロボットして生まれてくるのに、人の声がもとになってたら何かつまらないなぁという気がしまして、どうせならこれは絶対、中の人いない方が面白い、と思ったのです。
また、中の人がいないなら、どんな音声もそれを好きに改造してどんな声にすることもできます。配布も一存でできます。既存の選択肢の中からよさそうな声を選ぶのではなく、完全に好みにデザインした究極的にキャラクターのイメージと自分の好みに合わせた声が欲しかったのです。
もともとロボットキャラだし、多少ロボットっぽい声が好きなくらいなので、人間のような声も望んではいませんでした。
実際、まさにキャラクターを体現するような声に作れたと自分で満足しているので、良かったと思っています。もちろんまだかなりいろいろ問題点を抱えており、今後の改良・アップデートをいろいろ計画もしています。それこそ人工&中の人いない強みでもあると思うので!
足立レイ背景透明化18.PNG

動画内でもだいぶ解説していますが、現在音声合成用のライブラリ、あるいは音響モデル等を作成しようと思った時、その殆どは人の声をサンプリングすることによって出来上がっています。ミク等のVOCALOID、テト等のUTAU、弦巻マキ等のVOICEROIDは、波形接続型といってあらかじめ録音した声データをつなぎ合わせる事で声を合成します。細かく見ると少し違う技術で、大体ライブラリ等の規模的に


VOICEROID(AI-Talk)=大規模コーパスベース > VOCALOID > UTAU


となります。

miku_R_R1600.png
maki-illust[1](弦巻マキ)_R1600.png
teto.jpg

なぜこれが最近流行っているかというと、技術的側面からは、PCの処理速度の向上や大容量化があると思われます。少し昔のPCなら数ギガもあるライブラリを使って大量のデータから良いつなぎを見つけてガシガシつかう、なんてことが難しかったわけですが、今やそのあたりが十分個人用端末でもできるようになったわけです。
もちろん、初音ミクが起爆剤になって個人向けの歌声合成→テキスト読み上げ合成音声が流行った事もかなり大きいと思います。

さとうささら等のCeVIOはまた根本的に違い、音響モデルという声を出す際のいろいろな要素(喉の形、口の形など)を数値的なパラメーターにしてそれを元にある意味声が出る仕組みをシミュレーションして都度声を合成しているものになります。その際隠れマルコフモデル(HMM)と言われる方法を用いて最も確からしいつなぎ方を推定して繋いでいく、という感じです。(専門じゃないのでちょっと間違ってるかもしれないです)
sato_sasara.jpg
このうちCeVIOは「録音した音データ」は使っておらず、モデル化された数値で都度合成しているのでかなり先進的というか、比較的最近出てきた技術、ある意味中の人はいないのですが、そのモデルを作る際人の声のデータから学習させることになります。

今回の「足立レイ」は、その「中の人」がいないという話になります。極めて単純なレベルのCSM音声合成(sin波合成)を使って作った母音を元にいろいろ工夫して音源用のライブラリを作成し、中の人がいない音声データそろえた、という事です。
ここを見てやりました!



実は上記のうち、UTAUは少し「中の人」に関する事情が違い、飴屋Pさんの開発したUTAU本体を中心に、草の根的に様々な開発と個人による大量の様々な音源の製作が行われています。その中には踏み切りの音をサンプリングしたものや、ポン酢の蓋のあく音をサンプリングしたもの、傘のバサバサする音、など、人で無いものを歌声合成用音源として用意したものがかなり多数存在しています。

フミキリーネ・クワン


中には、今回レイを作るにあたってだいぶ参考にさせて頂いた動画の作者さんが作っている「無地歌」のような、「中の人がいないボーカル音源」=(50音+αがそろっている)ものもわずかですが存在するのです。

そしてその作者さんの、かなり参考にさせて頂いた動画です


そこで、UTAUで使えるそういう音源を、どうやったら自分の望む雰囲気に作り、活舌を良くし、作っていく事ができるだろうか・・という取り組みを始めた・・という事です。

UTAUは、特に単独音は非常に小規模なライブラリ、つまり「あいうえお」などの50音+αがあれば、その音自体のクオリティが高ければそれなりにきれいに歌ってくれるライブラリになるという素晴らしい仕組みなので、その50音+αをあらゆる手を使ってクオリティを上げて現実的な範囲に収まる作業量で音源として使える完成度を目指そうと考えたのです。

作業量から言えば、この手法によって手作業ですべて1から音をそろえる事は狂気の沙汰です。おそらくボカロ音源やボイロ音源を作ろうと思ったら、寿命か何かが気になってきます。
しかしたった50音+αだけなら、なんとかなったのです。UTAUはそれでできた。本当に素晴らしいソフトだと思います。単純・ローテクだからこそ困難な事ができる事もあるんだと思います。

あるいは、今回使った母音+子音結合等の手法を自動化する事でもっと簡単に作ることもできるかもしれません。

子音作成に関してはこちらのサイトの情報がかなり参考になりました。ご紹介しておきます。

子音の音声認識
http://www.geocities.jp/myonsei/siin.html


このあたりも動画内で言及しているのですが、足立レイの子音や母音等のデータは改造・再配布可能です。使う人の手でブラッシュアップしてもらえたら自分でやる作業量が減るかなぁ。という打算もあるのですが(w 
真に無人のボーカル、トーク音源の発展を願っています!

子音など素材として使用して新たな音源を作って配布しても大丈夫です。子音作成の恐ろしい作業量を体感した結果、この作業を人にまたやらせるのは何て無駄なことなんだろうととてもとても思いました。子音に個人性は無いともいいますが、個人的には多少あると考えています。ただ、母音やイントネーション等に比べれば明らかに薄い。ですので、母音を動画のような方法で好みの物を作れば、この子音と合体させて使えばある程度レイと同等前後くらいの50音が1から作るよりははるかに簡単にできると思います。
そしてこの子音と母音との接合こそが活舌に大きく影響するのですが、これについて大体の法則を見出したので、それに沿う事でうまくできる確率が高くなると思います。動画にしようと思っているのですが、ひとまず別記事にメモの内容を置いておきます。http://mechanical-girl.seesaa.net/article/460135960.html参考になれば幸いです。


音源自体の使い方に関するコツや規約などは別記事に書こうとおもいます。とりあえず公開出来て本当に良かった!!レイの音源を公開する前に死んだら死んでも死にきれないと思って結構最後必死に作業してました。ほんとに一安心しました・・レイの規約をゆっるゆるにしてるのは、いろいろありますが、自分がもし仮にいなくなった後もその行動が制限される事が無いようにと思っての事もあります。開発者が止まってしまったらいっしょに止まってしまうようでは、面白くありませんものね!あ、特に病気だとかそういうんでは全くないです!

では皆さんよかったら使ったり聴いたりしてあげてください!ロボットの方も頑張ります!

ラベル:足立レイ
posted by みさいる at 21:51| Comment(0) | 動画投稿 | このブログの読者になる | 更新情報をチェックする

2017年12月29日

ロボット用アバターモーションキャプチャシステムできました!(動画投稿)

お久しぶりです。ここ1年半ほど取り組んでいた、モーションキャプチャとVRとロボットを用いた、キャラクターアバターシステムが一応完成したので動画にまとめてアップロードしました!
要するに現実世界で「俺がミクだ!」ができるシステムです!
ニコニコ


youtube

恐らくですが人型キャラクターに対応した声に変換しつつ視覚もVRで共有して姿かたちも当然キャラクターでモーションキャプチャで全身動かせるっていうシステムは世界で初めてなんじゃないでしょうか!

このシステムの開発に当たっては大学の研究室の4年生と、特にpsy39さんという方にプログラム面でほとんど全面的に開発をしていただいています。ここで今一度感謝を示したいと思います。このシステムの開発では僕は主にシステムの開発方針や仕様決めとハード的な見地からのプログラムとの調整やら実機での実験なんかをやってます。

このシステム、VR用のHMDやらをつけて実際に体験してみないと本当のところの感じはわからないと思うのですが、すごい没入感があります。普通の3DCGのVRでもある程度はそうなのですが、見えるものや聞こえる音がリアルタイムのリアル世界のものなので、3DCGのVRとはまた違った現実感のようなものがあります。というか、
現実感というかある意味現実でした。

なんというかミクのロボットの体の中に閉じ込められちゃったというか入っちゃったというか、もうこれ俺の体だろみたいなそんな感じで、現状その場から動けないせいか研究室がとても広く見えて世界が果てしなく感じてしまいます。
VR視界.jpg
ロボットに実装する(主にはソフト的な)システムとしては2号機で現在のところ最大のものになっています。現在も開発継続中ですので今後も何かこれを使ったものを発表するかもしれません。

具体的にこれを何に使うかというと、エンターテイメントロボットでの舞台やステージ上でのインタラクティブな使用を想定して開発しているのですが、最近にわかに流行りだしたバーチャルyoutuberならぬロボットyoutuberみたいな用途にも使えるかも!と最近思い出しました。
バーチャルでしか会えないものにリアルで接したい、あるいは中の人がキャラクターの体が欲しい、っていう欲求はきっとあると思うんですよね。そんなのを意識して開発していきたいです。

ではまた!
posted by みさいる at 19:11| Comment(1) | 動画投稿 | このブログの読者になる | 更新情報をチェックする

2017年03月24日

交通情報ミクさん動画うpしました!(NT京都2017他)

こんばんは〜
NT京都お疲れ様でした!クラウドファンディングのチラシいっぱい配れました!また、多くの方とかなり深いところまでお話が出来て良かったです。チラシ・POP作成のうえ場所まで提供していただいたYモードPさん、本当にありがとうございました!
場所前回はミクを連れて行ったので車での移動でとても遠く感じましたが、今回は新幹線を使ったらなんと東京から京都まで2時間17分!かがくのちからってすげー!

と関係ある・・わけでもないですが、以前からコツコツ作っていたたかぴぃさんの「交通情報を教えてくれるミクさん」の動画をうちのミク2号機でマネできるだけ真似した動画が出来上がりました。こちらです!





たかぴぃさんの本家動画


動画内でも紹介しているのですが、今回の動画を作るにあたって新しいモーション作成ツールを導入しました。psy39さんという方にRCB file generatorというこの2号機等で使っている近藤科学のロボットコントロールボード用のモーションファイルをFace and lipsのモーションファイルから生成するプログラムを作って頂きまして、このプログラムを使ったことでかなり細かいところまでタイミングをぴったり合わせた顔モーションが作成できるようになりました(∩´∀`)∩ワーイ 
おまけにタイミングを人力で合わせる必要も無くなったので、作業効率格段にアップ!クオリティもアップ!そして試行回数が少ないのでロボットにもやさしいです!バンザーイ(∩´∀`)∩ありがとうございます!

おかげで今回のような口調の速いセリフの動画にも挑戦できるようになりました。体の方は相変わらず人力ですが・・・ 実は進展もあるのでまたでき次第動画にする予定です!

新幹線乗るの久しぶりではしゃいでました。新幹線かっこE−!はやーーい!
DSC06736_R.JPG

Yモードさんにスぺースを借りて展示もしてました。みんな足スリスリする
DSC06753_R.JPG

また、このNT京都の前日に、大学の方でちょっとした表彰がありまして、未来博士工房というものの一環として表彰していただきました!
DSC06758_R.JPG

追記:<大学の方ですが、無事卒業できそうです!休学・退学してから数年・・まさか卒業が叶うとは!関数論の基礎の単位が取れていたらしいのがとてもうれしいです!やればできるもんですねー。両親にも大感謝です。先日第3期院試のほうも受けたのですが、何とこちらも無事受かっていました。もうだいぶいろいろ忘れていたので受からないかもしれないと思ったのですが、2週間ほど開発時間を削って勉強したのがうまくいったようです。家庭教師のごとく勉強を教えてくれた友達や先生方に感謝です。
今年は、かなりいろいろと勉強しなおした年でもありました。ロボットに直接必要でないことは多くて開発時間に使いたいことも多いですが、ロボットを開発するにあたってほかの型と協力する際も、やはり工学・科学的知識がないと開発の相談や現実的な構想を練る事に支障が生じると思うので、やはり無駄ではないと、最近思います。
来年からは日本大学理工学部理工学研究科精密機械工学専攻のM1になる予定です。>

理工学部の先生方(電気から物理までいろいろ)の前で10分ほどミク2号機と次世代機計画について講演させて頂きました。予想以上にご好評いただいて嬉しかったです!
ついでにクラウドファンディングの宣伝も行ってきました。

現在171万6000円で、あと40日ほどなので、なんとか頑張って到達したいところです。(all or not 方式にしてしまったので集まらないともらえません・・)

もうすこしリターンについても考えて、もうちょっと高額の枠も用意してみた方がいいかなぁ・・と思ってます。チラシについてはYモードさんが自由に使ってよいと言っていただけたのでこちら
NT京都チラシ0.jpg

で広めて頂けると助かります!
ミクの他の動画もいくつか計画しているのですが次世代機もしっかりやっていかないとですね。

最後に今回の動画、たかぴぃさん、bobさん、りえぞさん、ありがとうございました!はめ込み合成みたいにしちゃってすみません!
マイクの前に座らせてるとなんかミクがいる感が面白かったです。いくつか画像貼っときます
  test.jpg

DSC06695_R2.jpg

DSC06711_R2.jpg
ネット上の何かに驚愕するミクさん(゚д゚)

ではまた!
ラベル:イベント関連
posted by みさいる at 21:42| Comment(0) | 動画投稿 | このブログの読者になる | 更新情報をチェックする