全周囲壱號、始動。

  Make: Tokyo Meeting 05のメインの出展はもちろんレンチキュラーディスプレイだったのですが、以前に作った「おたまのパノラマアダプター」もこっそりと展示しつつ会場のライブ中継などしていました。私の気分としてはこっちのほうがMake:っぽいんじゃないかという気がしていたのです。

全周囲零號の解説
全周囲零號時のプログラム

  改めて解説すると、東急ハンズで買ってきたピカピカおたま
<画像はちょっと待て>
と、同じく東急ハンズで買ってきたプラスチックカップの組み合わせです。総工費1000円ぐらい。
<画像はちょっと待て>

  これを使って撮影するとこうなります。
<画像はちょっと待て>
それをプログラムで展開するとこうなります。
<画像はちょっと待て>
はい、そんだけ。馬鹿馬鹿しいだろう。


  今回はMTM展示用にまたもや東急ハンズで専用撮影スタンドを買ってきました。
これじゃ。
<画像はちょっと待て>
3000円。アダプターの制作費より高い。まあ洗濯物も干せるし。

  しまった、会場での勇姿を撮影するの忘れてたよ。誰か撮影した人居ませんか。


  いちおうライブ中継の録画をどうぞ。中継機器はるっきゅん+Try! WiMaxな端末。動画埋め込みするとブログの表示が重くなるからjustin.tvのリンクでごめんなさい。

初日：
その１
その２

  いけるんじゃないかと640x480で中継してみました。展示が終って見てみたら、見事に中継が止っていました。あらら。
  ちなみに上の全周囲零號の動画は960x720で撮影してます。ライブ配信するとやっぱり重くなっちゃうのよね。

2日目：
その１
その２
その３
  だんだんと会場が人だらけになっていく様子がわかるだろうか。これじゃわかんないかな。ほんと凄い入場者数だったんだから。
  やっぱ640x480はやばかったかなと２日目は320x240で中継。でも動画のフレームレートとかはあんまり変わってないね。なんか赤っぽいけど、私がなんかしたきっかけでまともな色になってる。なんでだろ。
  2日目は撮影スタンドを通路側に持ってきたのでおたまがずれちゃってます。おたまは乗せただけで固定してなかったのよ。やっぱ固定しないと駄目ですね。

  これだけ埋め込み。

Watch live video from mer2_3d on Justin.tv

  両日とも結構な時間中継していたと思うんだけど、録画は2時間分ぐらいしか残ってませんでした。まあいっか。なんだか音も出てなかったみたいですね。まあいっか。



  んで、今回のMTM05で使用したプログラムはこちら。
ダウンロード
  以前にアップしたのは静止画の展開のみでしたが、今回はUSBカメラの入力を直接処理しています。実行にはUSBカメラ必須です。

  なにしろ展示前日に3時間ぐらいで作りました。展示用最低限度の機能しか入れてません。実行するとそのままデモモードに突入です。
  普通に展開しただけじゃ狭そうな気がしたので、横2倍にして半分づつ上下に並べた表示と切り替えるようにしてます。一定時間で元カメラ映像と首振りが入るようになってます。

  このままではあまり実用性はありません。今他にやることありすぎて手直ししてる余裕もないのでそのままアップです。直すのはそんなに手間はかかりませんので、普通にパノラマしたいっていうお方がいらっしゃいましたら対応しますのでどうぞ。


  んで、なんでこの記事のカテゴリーが「3-D：自作系」かっていうと、もちろんそういう予定があるからだ！いつできるんだろう。

デプスマップで遊ぼ：番外

  今日、机の上を掃除しました。効率のいい作業は綺麗な机から！実はここ一年ほど全然整理してなくて、モニターの前は物が一年分山積み状態だったんです。出てくる、出てくる。いろんなものが出てくる。ここ一年をしみじみと振り返っていたら、

ペンタブのペン出てきた！！

  はい、掃除終了(中断ではない)。

  twitterで噂を聞いていたNekoPaint使ってみました。おっ、結構いいね。SAI買っちゃおうかなと思ってたんだけど、ちょっと待ち。っていうかGIMPはなんであんなに書きづらいんだろう。

こんなんでました。

  ひさしぶりのおえかきです。昔、美術の先生が「未熟者の石膏デッサンは自画像になる」みたいな事を言っていたのを思い出しました。まさしくそのとおりです、見事に自画像だ。
  ちなみに何故かNekoPaint上で画像の保存ができませんでした。どうやっても真っ白画像で保存されてしまう。しょうがないから"Alt+PrintScreen"で保存。

ここでピコーン！ときました

  手書きデプスマップは難しいです。人間深度センサーとなるべく頭の切り替えが必要になります。手書きデプスマップ作成補助ソフトを作りたくなってきます。
そのままNekoPaintでデプスマップを作成してみようとしたのですが、色選択
  をしようとしたら私がフリーズしてしまいましたので、GIMPで作成。GIMPは使いづらいけど、やっぱ使い慣れてるから使いやすいね(矛盾だらけの文章)。

  これをこいつ(使いづらいプログラムだから覚悟しろ)に読ませると、

こうなります

  うん、まあこんなもんか。まあ最初だしー。以前からこれやってみたかったんです。

  簡単にプログラムの使いかたを説明すると、
・ 「32-bit color」って書いてあるウィンドウにステレオ化させたい画像をドロップ、Webブラウザから直接ドロップしてもいけます。画像が表示されたら「Start」をクリック。
・ 「load」ボタンでデプスマップ画像を読み込む。ファイル選択の初期状態が".BMP"ファイル固定になっているので、「ファイルの種類」で変更しよう。
・ 「--」、「++」ボタンで視差調整、「anaglyph」ボタンで画像更新。他のボタンを押すと、「load」からやり直さなきゃならなくなるかもしれないので注意。
  ってなもんだ。今twitterが落ちてるからサービスいいです。

  さらにこいつを使うと、

多視点化も可能

  デプスマップはやや大きめに書いといたほうがいいみたいね。次があったらそうしよう。

デプスマップ3Dであそぼ：まとめページ作った

  ちびちびと実験プログラムを作って、こまごまとtwitter上で公開してたんですが、自分でも把握が難しくなってきたので、まとめてみました。今後の実験もこっちにまとめようと思います。

はいこちら

  いやそもそもの動機はこれなんですけどね。

  いろいろやってますが、前記事からの続きの「デプスマップを使った2D->3D変換」は大幅に横道に逸れた結果です。私がやりたかったのは「ステレオカメラからデプスマップ作成->多視点化」のほう。でも自動2D->3D変換もやってみると楽しいです。他にもいろんな方法が考えられるので、手を出してみたいものです。
  こっち方面の方向性のままでは自動2D->3D変換なんてどうしたって所詮「うそっこ3D」で終わってしまいそうですが、要はコンピュータの画像解析能力が人間並みになってしまえば万事解決するのではないでしょうか。それはそんなに遠い未来の話ではないと思います。いや、今でもできるんじゃないか？

  「動画ファイルから多視点画像作成」、これは元動画がきっちり撮れていれば、かなりいい多視点画像が作れます。レンチキュラー印刷の原版もいけるのでは。
  これについては更なる拡張を予定しているのですが、それには私のほうの修行が必要です。ちょっと待ってね。
<ここに作成例のリンクを貼る予定>
  でもレンチキュラーディスプレイ環境がないと、多視点画像だけあっても意味ないんだけどね。

  「ステレオカメラからデプスマップ作成->多視点化」、これだ、

私がやりたかったのは
これだったんだー！

  という訳で、やっぱりデプスマップ3Dは楽しいです。いろんな可能性を感じます。

  一枚絵から二枚(以上)の絵を作ってしまうというのは、まがいもの臭いですが、ステレオカメラから計測されたデプスマップデータは決っして「うそっこ」ではありません。
  なにより今の私には多視点データが手軽に作れるという点が魅力です。USB2.0ではカメラ数台繋げての撮影はかなり無茶です。やろうと思ったけど、予算の都合もあって諦めてます。USB3.0カメラは出るのかなー。(でも多視点撮影の方法は、もうひとつアイデアがある。)

デプスマップ3Dであそぼ：自動2D->3D変換してみる

  デプスマップ3D楽しいです。いろんなことに応用ききそうです。
  でもデプスマップを手書きするのは結構大変です。人間深度測定機的な技能を要求されます。ついつい普通の絵描き風に陰影を付けてしまって「うっきー」状態になったりします。私なんかは以前の「ラーメン大@堀切」画像にデプス付けてみただけで、かなりうんざりしてしまいました。

  という訳で、デプスマップ自動生成の方向に走ってしまうのは自然の理と言えましょう。はい、

自動2D->3D変換

の実験してみました。普段はこの手の自動変換に対しては否定的な私ですが、作ってみると楽しいんだわこれが。

ダウンロード

・ たいがいの画像は対応していると思われます(ESPLIB依存)。お気軽にお試しください。
・ アナグリフ、マイクロポール(つまりzalmanモニターね)、交差法対応。ごめんなさい、今の状態では平行法対応はちょっと面倒なの。

使いかた：
・ 実行すると、ESPLIBのメインウィンドウがびろーんと出てきます。
・ この窓に  3D変換したい画像ファイルをドロップしてください。画像が表示されます。 
・ 表示されたら、ESPLIBのメインウィンドウの「Start」をクリック。画像が変換されます。

  初期状態では、元画像の輝度情報を元にしてデプスマップを作っています。これはつまり、Woooケータイ H001の自動変換と同じ方法です。
  ふと思ったのだけど、ビクターの自動2D->3D変換も同じく輝度マップベースのような気がする。たぶんだけど。

[ 続きはこちら ]

デプスマップ3Dであそぼ

  いきなりデプスマップ3D熱がむくむくと湧きあがってきました。さあいってみよう。

  デプスマップ3Dって、デプスマップデータに合わせて元絵をずらしてやればいいだけでしょ？簡単じゃん。ほえっとできました。

ダウンロード

  例によって間に合わせの実験プログラムです。制限だらけです。実行ファイルのカレントフォルダにデプスマップデータと変換元画像が必要で、ファイル名固定です。おまけに(多分)640x480専用です。
depth.jpg  - デプスマップデータ
depth0.jpg - 変換元画像
  なんていいかげんな。変換もデプスマップデータに合わせて「てきとうに」ずらしてるだけです。

  デプスマップ画像はこの時に作った「堀切ラーメン大」画像を使用。はっきり言っていいサンプルではない。


  こんなんなります。上半分が元画像、下半分左側が変換画像。

  デバッグ用に変換過程を表示するようにしたら、これが面白いのでそのままにしてあります。面白いぞ。
  変換画像は私の都合で交差法配置です。ごめんなさい。プログラムもデプスマップデータもいーかげんに作ってるのに、なんだか結構見られるじゃありませんか。あら素敵。

  デプスマップ3D変換のポイントは「ずらした跡をいかに誤魔化すか」という点に尽きるのではないでしょうか。このプログラムではちょっとゴミが出ちゃってます。最初ということで糞真面目に変換してるので、目茶苦茶遅いです。

  なんかあっさりできちゃって物足りないですね。もちろんこれだけじゃ終わらない。

[ つづく ]