2018年01月10日

【出展告知】ロボデックス2018出ます

等身大ミク2号機、ロボデックス2018 http://www.robodex.jp/ の西1W-A13日本大学ブースにて展示予定です。東京ビッグサイトで1月17〜19日です。多分モーキャプシステムも時々実演します。

会場案内図はこちらです。右上の西1ホールの一番下のところです。

http://www.robodex.jp/RXJP/RXJP_NepconJapan/documents/2018/INW18_MAP_J_4_web.pdf



結構急な話だったので自分でもびっくりしたのですが丁度良いタイミングでビッグサイトで展示ができることになりました。大学の先生のスペースを間借りしてる形になります。ありがとうございます!

ただ、展示スペースはポスター発表用のスペースっぽいのであまり広くないと思うので、全身装備はきついかもしれません。

モーキャプ動画サムネ用4.jpg

実をいうと今のとこロボットをうまく動かすためには自分の姿(追記:ミク(ロボット)の姿の事です。・・書いた後に気づいたのですが・・これをつけてる感覚で書くと自分の姿っていうのはロボットの姿の事だという前提で考えちゃうんですよね)が見えていた方がよく、VR視界の端っこに映して鏡みたいに確認してるのですがそれにはカメラ設置が必要だったり。全身装備するとすごく疲れて1日中は体力が持たない、2人くらいは手伝う人が欲しい、準備が結構大変、ロボットの方もずっとは持たない、等々ポスター発表用スペースでずっとやるにはかなり厳しいです。

それでも一応装着型センサセット+小型PCだけでモーキャプ&動作が可能なので相当コンパクトな環境だとは自負しているのですが。



前回紹介したこのシステムの開発動画で最後に見せた様子だと顔のほうと一緒に動かすとカクツキがひどくなる等の問題があったとおもうのですが、現在はそのあたりの改良に取り組んでいます。展示までに直せたらいいのですが。

一応、何時に動作できるとははっきり言えないのですが、11時と15時くらいには動かせるように準備しようと思います。

蛇足なのですが最近バーチャルyoutuber面白いですね!個人的には輝夜月が一番好きです!シロもバイオレンスでおもしろいですねw四天王(5人)結構みんな好きです。あとちょっと違うといえば違うんですがウェザーロイドのアイリも!このシステムを改良してもっと滑らかに動かせるようにしてバーチャルyoutuberならぬロボットyoutuber、ロボットニコ生主的な感じで対抗(?)すべくまた動画を上げてみたいなとも思っているので、ひそかにご期待ください。

それではよかったら会場で!
posted by みさいる at 23:53| Comment(0) | イベント告知 | このブログの読者になる | 更新情報をチェックする

2017年12月29日

ロボット用アバターモーションキャプチャシステムできました!(動画投稿)

お久しぶりです。ここ1年半ほど取り組んでいた、モーションキャプチャとVRとロボットを用いた、キャラクターアバターシステムが一応完成したので動画にまとめてアップロードしました!
要するに現実世界で「俺がミクだ!」ができるシステムです!
ニコニコ


youtube

恐らくですが人型キャラクターに対応した声に変換しつつ視覚もVRで共有して姿かたちも当然キャラクターでモーションキャプチャで全身動かせるっていうシステムは世界で初めてなんじゃないでしょうか!

このシステムの開発に当たっては大学の研究室の4年生と、特にpsy39さんという方にプログラム面でほとんど全面的に開発をしていただいています。ここで今一度感謝を示したいと思います。このシステムの開発では僕は主にシステムの開発方針や仕様決めとハード的な見地からのプログラムとの調整やら実機での実験なんかをやってます。

このシステム、VR用のHMDやらをつけて実際に体験してみないと本当のところの感じはわからないと思うのですが、すごい没入感があります。普通の3DCGのVRでもある程度はそうなのですが、見えるものや聞こえる音がリアルタイムのリアル世界のものなので、3DCGのVRとはまた違った現実感のようなものがあります。というか、
現実感というかある意味現実でした。

なんというかミクのロボットの体の中に閉じ込められちゃったというか入っちゃったというか、もうこれ俺の体だろみたいなそんな感じで、現状その場から動けないせいか研究室がとても広く見えて世界が果てしなく感じてしまいます。
VR視界.jpg
ロボットに実装する(主にはソフト的な)システムとしては2号機で現在のところ最大のものになっています。現在も開発継続中ですので今後も何かこれを使ったものを発表するかもしれません。

具体的にこれを何に使うかというと、エンターテイメントロボットでの舞台やステージ上でのインタラクティブな使用を想定して開発しているのですが、最近にわかに流行りだしたバーチャルyoutuberならぬロボットyoutuberみたいな用途にも使えるかも!と最近思い出しました。
バーチャルでしか会えないものにリアルで接したい、あるいは中の人がキャラクターの体が欲しい、っていう欲求はきっとあると思うんですよね。そんなのを意識して開発していきたいです。

ではまた!
posted by みさいる at 19:11| Comment(1) | 動画投稿 | このブログの読者になる | 更新情報をチェックする

2017年09月01日

等身大ミクでハジメテノオト【3DPV再現】投稿しました【10周年記念】&アジトスタジオ化

ごぶさたです。かねてから計画していたこのPV、なんとか初音ミクの10周年に間に合いました!
ニコニコ


youtube


ご存知ハジメテノオト


の有名な3DCGのPV


の再現です!
1号機の動画でもこのPVはちょこっと最初のほうに触れたと思うのですが、ミクの等身大ロボットを作ったら最低限これは満足にやらせてみたいと思っていた事なので、また一つ夢をかなえることができました。


ここからはちょこっとこの動画の解説っぽいことを書こうと思います。これを読めばさらに楽しめる・・かも?!

PVの構成をほぼそのまんまパク・・リスペクトしています!フェードイン・フェードアウト、場面切り替えなど結構フレーム単位でぴったり合わせてたりするので見比べていただけるとより楽しめると思いますw2窓推奨!
画面効果、配色、小物等などもできる限りそろえてみました。
2017-08-31 (5).jpg

例えばこんな感じです
2017-08-31 (5)番号入れ.jpg

@ネギ&ネギ入れ?
Aオレンジっぽいティッシュ箱
B冷蔵庫
C電子レンジっぽいの
Dペットボトルのお茶。量4分目くらい
E散乱した書類
Fカーテンの開き具合、窓、西日
Gこたつ&西日による影
Hミクの姿勢、動き、表情等

あとデスクトップのタワーの代わりにゲーム機入れ(という名の工具・部品棚)
な感じで配置してます!

一番の無念は大量のネギが用意は厳しかった事!目立つように1本置いてます


・・・・実をいうと結構撮影は長期間にわたったので、作成中にネギがしなびてきてしまい、4回ほど買い換えました( ゚Д゚) よーーく見てみると最初の場面のネギと次の場面のネギ、頭にのせてるネギ、なんかは違うネギだという事がわかると思いますw生ものの悲しきさだめ( ノД`)
2017-08-31 (8)印付け.JPG
(スーパーで撮影(ミク用)に形のいい新鮮なネギを物色するという行動・・×4。かなり謎だと自問自答)


あと困ったのはこれです
「こたつの高さが足りない!!!」
( ゚Д゚)


そう、PVのミクは等身が低めなのでこたつの上に座っても足をぶらぶらできているのですが、リアルサイズなうえに足も長気味な2号機ではこたつに普通に座ると完っっ全に足がついてしまいます\(^o^)/
そこでこいつを使いました

こたつの足あげるやつ!!
DSC07532_R.JPG

DSC07535_R.JPG
バーーーーン!

なんとこいつを4段重ねの末足をぶらぶらさせることに成功しました。

そして今回から本格的に照明も考慮。1万円ちょこっとくらいでセットで売っていたので買ってみました。これです!
DSC07543_R.JPG
1個1個の電球がやたらでかい!

DSC07548_R.JPG
これを

DSC07554_R.JPG
こうして

DSC07555_R.JPG
こうして

DSC07560_R.JPG
こうじゃ!

DSC07575_R.JPG
ピカー!

明るい

という感じでアジトは製作場所でありながら半ば撮影スタジオ化してます
使ってみた感想は・・ただの蛍光ランプなんかを今まで使って照明にしてたんですが、それに比べると比べ物にならないですね!かなりいい感じに照らしてくれます。光量自体も段違い。
ロボットではありますが女の子だしやっぱり最大限美しくとる使命がある、と思うので、よかったです。
撮影テクニックに当たっては、人間のものが参考になる部分とならない部分があります。

というのは、顔の構造や影の影響が人間とはだいぶ違うからです。基本的に立体感を出すように斜めから投稿するテクニックは、アニメ顔の造形物でもあるこの2号機にとってはあまりよろしくないようです。むしろ昭和のアイドル写真のように、正面から強い光をあてて、なるべく平面的に顔が見えるようにライティングした方がかわいく撮れるみたいですね(元々が2次元の存在なので当然といえば当然なのかも・・) というようなことにも気づいたりしました。

最終的に出来上がった映像を見ても、やっぱり照明の効果は結構あったように思います!撮影テクニックや機材環境も、頑張っていきたいところです!



話を戻して
冒頭の部分は3DCGではボイジャーですが2号機のほうのは金星探査機あかつきになってます。
地球が映る場面もあかつき撮影の金星です。あかつきのアルミプレートにはミク界隈で活動があって、ミクの彫られたプレートがくっついてるみたいですね
http://wiki.nicotech.jp/nico_tech/index.php?%E5%8C%BF%E5%90%8D100%E5%90%8D%E5%8B%9F%E9%9B%86!%20%E3%83%9F%E3%82%AF%E7%B5%B5%E3%82%92%E9%87%91%E6%98%9F%E6%8E%A2%E6%9F%BB%E6%A9%9F%E3%81%AB%E8%B2%BC%E3%82%8A%E3%81%BE%E3%81%9B%E3%82%93%E3%81%8B%3F
という事でゆかりが深いのではと思ってあえて金星&あかつきにしてみました!
個人的には天文学、惑星探査みたいな事はとても興味を持っているので、初音ミクを知る以前からはやぶさやあかつきの事は知っていたので、ミクだからどうだという事はなく単純に探査計画として応援しているのですが、ミクはどうも科学技術方面と親和性が高いようなのでいろいろと面白いことになっていますねw
ちなみにですが、丁度一昨日あたりあかつきの観測結果から新しい発見があったようですのでご紹介しておきます!

金星の赤道上空で猛烈な風を観測 探査機「あかつき」
http://www3.nhk.or.jp/news/html/20170829/k10011117851000.html

また探査機関連でいうと、実は有名な土星探査機カッシーニ
http://natgeo.nikkeibp.co.jp/atcl/news/17/011600013/
が、ついに最終ミッションに突入しています。土星に向かって落っこちているところです。落っこちながら、今までにない至近距離からの土星の映像や大気成分の検出などを行ってくれる予定です。また、生命が存在する可能性のあるエンケラドゥスなどの土星の衛星に衝突して地球由来の物質で汚染して悪影響が出ないようにするため(に土星に突っ込ませる)という事もあるようです。この辺なんかは、木星探査機なんかも同じですね。 かなり楽し気なイベントだと思うので、興味がある方はぜひ追ってみてください!
https://www.astroarts.co.jp/article/hl/a/9089_cassini



2017-08-31 (7).jpg
このあたりの空を飛んでるところとかは無理だったので構成を変えてみました。いつか科学の力で飛べたら面白いですね!
飛べる設定がある有名な合成音声キャラだと桃音モモあたりでしょうかwロケットエンジンが足についてるらしいですよ!やばい。


あとはここ
2017-08-31 (6).jpg

なんかは、実はこれ実際に自力で立ってます。(腕を窓についてすこし寄りかかりながら)
背中を見せてるのでいつものハンガーが使えなかったのですが、(よく見ると焦ってて左に放置されたまま映り込んじゃってる)しょうがない頑張って自力で立ってろ!とやらせてみました。

電源切れたりオーバーヒートしたら倒れるのでセットして大急ぎで姿勢を微調整ののちあたふたしながらカメラで撮りまくり!よし終わった→ダッシュ→セーーーフ!

という感じでヒヤヒヤものでした。
座って足をぶらぶらしている場面でも、当初は完全に自力で座らせていたのですが、モーションの微調整を毎回しなくてはいけない挙句長時間のうちにサーボが熱で限界を迎えてしまう・撮影本番用に内部電源のみで動かしたときは姿勢維持のための電力消費が激しくて長時間駆動できない・・・等々の理由により座った状態で固定できるようにサポート用の冶具をセットしてます。
そういう意味で上の場面では本当に保険が無かったので一瞬の絵ですがだいぶ無茶をしてはしますwわりと本人的には命がけの足プルプルさせながらの撮影だったと思います。ふぅ。

一応表情や見た目や動きのクオリティ的には、そこそこ理想通りうまくいってくれたなぁと思っています。自力でちゃんと歩けないことを除いては、9年間かかって到達した現在の限界を、初音ミクの10周年の記念に合わせて、うまく生かして一つ形にして残せたことをうれしく思っています。2号機にとっては、ちょうど2歳のお祝いでもありますし!


2号機も、いろいろと生傷が絶えず、よく2年もったなぁ、と思っています。まだ2号機ぐらいのロボットにとっては、外出、イベント、自体がかなり大変なハードルで、出るたびにだいぶダメージが蓄積されてます。と同時に、手入れをして修繕しているからこそ今まで持っているのですが、それもかなりの労力なので、まだまだ、こういうPVみたいな光景を日常的に簡単に作り出すことができるレベルをまずは目指していきたいなぁと思っています。

レイ関連や2号機のアップデートもやっているので、追々動画にしたいと思います!

2017-09-01.jpg
PVの最後の場面、銀河が映るところがありますが、この銀河は皆さんよくご存じのアンドロメダ銀河です。近くて大きので、美しい画像が多いですね!ところでそのあとうっすりフェードアウトとともにうっすりと星の集まりが現れるようにしてあるのですが・・この一瞬でわかったらだいぶ天文マニアなこと間違いないですねw

実ははくちょう座の散開星団M39というメシエ天体になります。ゴロがいいので入れてみました!これでM39が銀河だったら完璧だったのですが!何かあきらめきれずうっすら入れた次第です(


初音ミクの存在に気づいたのは、みくみくが上がってからだと思うので自分の中での10年経ったタイミングはまだ少し先だとはおもうのですが、ほぼ10年間経ったと考えると・・でも、長かったですね!とても、長かったです。でも次の10年は本当に夢見た、ボーカロイドみたいなロボットが普通に存在してて歩いたり話したり歌ったりしてるような状況を作れていられたらいいなあとおもっています。最近はテキスト読み上げ系の合成音声キャラもますます流行ってきていて楽しいです。ミクから飛びついてこの界隈に入り浸れたのは幸運だったし、この近辺にいると面白いことが尽きないのでいいですね!もっともっと面白いことが増えていけばいいなとおもいます。

ではまた!
posted by みさいる at 00:24| Comment(2) | 日記 | このブログの読者になる | 更新情報をチェックする