凹みTips

C++、JavaScript、Unity、ガジェット等の Tips について雑多に書いています。

C++

Unity で Windows のウィンドウを個別にキャプチャできる uWindowCapture の高速化をしてみた

はじめに 前回の記事で Windows Graphics Capture の解説を行いました。 tips.hecomi.com 記事中でも触れたのですが、調査の目的としては OVR Toolkit などにも使われている拙作の uWindowCapture にこの API を導入するためでした。従来の設計に合わせるの…

C++ から Windows Graphics Capture API を利用する方法について調べてみた

はじめに i_saint さんの記事で Windows 10 April 2018 Update (1803) より Windows Graphics Capture という API が追加されたのを最近知りました。 qiita.com docs.microsoft.com ざっくり言えば HWND や HMONITOR から直接 ID3D11Texture2D を引っ張って…

Unity で Windows のウィンドウをキャプチャできる uWindowCapture v0.6.0 をリリースしました

はじめに Unity 内で Windows でウィンドウを個別にキャプチャするアセットの uWindowCapture を v.0.6.0 へ更新しましたので内容の紹介です(≒ 今月はネタがないのでバグ修正報告です)。 uWindowCapture は Unity のメインスレッドを邪魔することなく複数…

uDesktopDuplication でキャプチャしたデスクトップ画像をリモートに転送してみた

はじめに 主要な VR 向けのデスクトップ表示アプリ(Virtual Desktop や Bigscreen など)では、PC だけでなくモバイル VR もサポートしています。これを実現するには、キャプチャしたデスクトップ画面をリモートへ低遅延で転送しなければなりません。また、…

Unity でテクスチャを直接 NVENC でエンコードしてみる

はじめに 前回の記事で NVIDIA のハードウェアエンコーダである NVENC(および NVDEC)を使いやすくした NvPipe を Unity で使えるようにしたアセットの紹介をしました。 tips.hecomi.com しかし問題点として、NvPipe はバッファのポインタしか食わせる口が…

NvPipe で Unity のテクスチャを H.264 にハードウェアエンコード / デコードしてみる

はじめに NvPipe は NVIDIA 製 GPU に搭載されたハードウェアエンコーダ(NVENC)およびデコーダ(NVDEC)機能を簡単に C 言語で使えるようにラップした NVIDIA 製のライブラリです。 github.com NVENC および NVDEC は NVIDIA Video Codec SDK に含まれ、対…

Unity の CustomTextureUpdate で DXT1 を使ってみる

はじめに 以前、CustomTextureUpdate の記事を書きました。 tips.hecomi.com この API は、ネイティブ(DLL 側)からバッファのポインタを渡してあげるだけでプラットフォーム間の差異(OpenGL や DirectX 固有のテクスチャの更新方法)を気にせず且つ簡単に…

Unity で Windows のウィンドウを個別にキャプチャできるアセットを作成した

はじめに 本エントリでは先ほど公開した uWindowCapture という Windows において個別のウィンドウをキャプチャできるアセットの解説を行います。本アセットで実現できることは以下のようなものです。 ウィンドウを個別にキャプチャ 背面やデスクトップ画面…

Unity で Windows のマルチタッチ操作をエミュレートできる uTouchInjection を作った

はじめに VR 向けのバーチャルデスクトップを作っているとハンドコントローラを使ったポインタによる UI 等で指した場所の操作をしたくなります。こういった場合は kernel32.dll 経由でマウス操作をエミュレーションすることが多いと思いますが、Windows で…

Unity でテクスチャに使う画像をネイティブ側で読み込んでみた(CustomTextureUpdate 編)

はじめに 前回は以下の記事で低レベルネイティブプラグインインターフェースを使ったテクスチャのアップデートについての解説を行いました: tips.hecomi.com しかし前回のプロジェクトでは以下の点で複数プラットフォーム対応が面倒という問題がありました…

Unity でテクスチャに使う画像をネイティブ側で読み込んでみた(低レベルネイティブプラグインインターフェース編)

はじめに Unity で画像をネイティブ側で非同期に読み込みたい、というお話が Twitter で出ていたので、やってみました。 従来の問題点 StreamingAssets ディレクトリやウェブから WWW や UnityWebRequest で持ってきた画像ファイルを使う場合、Unity にデコ…

Unity でネイティブプラグインの実行時更新を可能にする PatchLibrary を使ってみた

はじめに 主に Windows での開発の話になります。 Unity でネイティブプラグインの開発していると、一番困るのが DLL の更新です。Unity では DLL を読み込むとエディタを再起動するまで解放してくれないため、エディタ実行中に DLL を置き換えることが出来…

Unity で Desktop Duplication API を使ってスクリーンキャプチャしてみた

はじめに 以下のエントリではスクリーンキャプチャを System.Drawing.Graphics.CopyFromScreen() を別スレッドで回して行っていました。 qiita.com ここで触れられているようにネイティブでやった方が速いということもあり、本エントリでは Windows 8 から使…

Unity の Low-Level Native Plugin Interface を使ったテクスチャの更新 (Windows/D3D11 編)

はじめに 本エントリは以下のエントリの続編です。 tips.hecomi.com Low-Level Native Plugin Interface を利用すると OpenGL や DirectX から直接テクスチャの生成や更新を行うことが出来ます。前回のエントリでは Mac OS X 環境下での OpenGL を例に紹介し…

ネイティブプラグインから Unity の関数(Debug.Log 等)を呼び出す

はじめに ネイティブプラグインの作成時にネイティブ側から Unity の Debug.Log() を呼んでデバッグしたくなるときが多々あります。以下のエントリ(英語)で方法が紹介されていたのでやってみました。 Artificial stupidity: C++ Plugin Debug Log ざっくり…

Low-Level Native Plugin Interface を利用してネイティブから Unity のテクスチャを高速に更新する方法を調べてみた

はじめに Unity でネイティブ側(C/C++ 等)で作成したテクスチャを利用する方法はいくつかあって、テラシュールブログさんにまとめられています。 Unityでテクスチャを読む7つの方法 - テラシュールブログ Unityでテクスチャを読む7つの方法 4・5・6につい…

Unity で Android 向けの OpenCV x ArUco を利用した AR アプリを作ってみる

はじめに Unity で Android 用のアプリを作る際、Unity だけで出来ないことをやろうとするとプラグインを利用することになります。Android 向けのプラグインは大きく分けて 2 種類あり、一つは Android の機能を利用する Java プラグイン、もう 1 つは C/C++…

Maker Faire Tokyo 2015 にレゴ x ハードウェア x プロジェクションなシューティングゲーム LITTAI を出展してきた

はじめに 前回の記事で書いたように 8/1、8/2 に東京ビッグサイトにて開催された MFT 2015 へ友達と趣味で制作していた LITTAI というゲームを出展してきました。お越しくださった皆様、ありがとうございました! LITTAI は Lit Table Interface の略の造語…

軽量な AR ライブラリの ArUco を Mac で使ってみた

はじめに ArUco は BSD ライセンスで配布されている OpenCV をベースにした軽量な AR ライブラリです。 ArUco: a minimal library for Augmented Reality applications based on OpenCV | Aplicaciones de la Visión Artificial 以下の様な 2 次元マーカを 1…

OMMF2014 で レゴ x プロジェクションマッピングなゲーム Mont Blanc Pj. を出展してきた

はじめに 仕事が立て込んでいて書くのが遅れてしまいましたが、8/23、24 でソフトピアジャパンで行われた Ogaki Mini Maker Faire 2014 (OMMF2014) に、レゴで出来た自由に組み替えられるステージにプロジェクションしてインタラクティブに遊べるゲーム Mont…

Unity と OpenCV を組み合わせて現実・仮想双方を加工した AR な世界を Oculus Rift 越しに覗いてみた

はじめに 通常のカメラ画に AR オブジェクトを描画すると、解像感や色のズレで AR オブジェクトにバーチャルっぽさを感じてしまいます。そこで逆に現実の世界の方をバーチャルっぽくしてあげることで、AR オブジェクトに感じる違和感が低減されるのではない…

Point Cloud Library 1.7.2 × VS2013 な環境構築 & OpenNIGrabber を使わずに点群を表示してみた

はじめに Point Cloud Libarary(PCL)の勉強を始めました。 PCL - Point Cloud Library (PCL) 【シリーズ「PCLを触ってみよう!」第一回】3D点群処理ライブラリ「Point Cloud Library」の概要 | DERiVE ブログ & メルマガ Point Cloud Library - Wikipedia P…

Ovrvision で色んなエフェクト試してみた

はじめに 以前、Oculus Rift と Ovrvision で現実の世界を OpenCV で加工して見るエントリを書きました(Oculus Rift × OVRVISION × OpenCV で線画だけの世界を覗いてみた - 凹みTips)。今回は、以前のものをちょっとだけ高速化して、かつ他のエフェクトを…

Oculus Rift × OVRVISION × OpenCV で線画だけの世界を覗いてみた

はじめに OVRVISION(オーバービジョン)が届きました! Ovrvision : Oculus Riftに装着するステレオカメラ Oculus Rift にマウントできる軽量、VGA、低レイテンシ、60 fps なステレオカメラです。いくつかのイベントで触らせて頂いていたのですが、完成度が…

Unity でカメラの映像を別ウィンドウ表示してみた

はじめに Oculus Rift のデモを行っていると、HMD をつけていない観客は左右に分割された Oculus Rift 用の映像を見ることになり、デモ効果が薄れてしまいます(本当はフルスクリーンや 3D メガネで立体視したい)。ということを、Twitter で @koukiwf さん…

Unity の Low-level Native Plugin Interface を調べてみた

Unity 5.2 以降について Unity 5.2 より Low-Level Native Plugin Interface のお作法が少し変更になりましたので、最新の情報についてはドキュメントをご参照下さい。 Unity - マニュアル: 低レベルネイティブプラグインインターフェース はじめに Unity で…

Unity で OpenCV で作成したテクスチャをネイティブプラグイン経由で利用してみた

はじめに 有償のプロ版限定ですが、Unity でネイティブプラグインと連携してテクスチャを操作できると、OpenCV で色々変更を加えたりと表現の幅が色々と広がります。調べてみましたのでメモします。 環境 Mac OS X 10.9.1 Unity 4.3.2f1 (Pro) 先行技術 No h…

フォルマントから母音推定してリップシンクを目指してみる

はじめに Oculus Rift を使用して、VR 内のキャラと目が合う、握手できるなどの衝撃体験を @GOROman さんが実現されて話題になっています。 Dive into VR - Oculus Rift + Razer Hydra feat. Miku - YouTube Oculus Rift で 初音ミク と握手をしてみた - Mik…

QML で使える OSC 要素を作ってみた

はじめに 先日書きました Maker Faire Tokyo 2013 でレゴへのプロジェクションマッピングネタで出展してきた - 凹みTips でも使用していた Qt から OSC を扱うカスタム QML 要素を紹介します。 OSC とは OpenSound Control の略で、UDP の上で非常に低遅延な…

Maker Faire Tokyo 2013 でレゴへのプロジェクションマッピングネタで出展してきた

はじめに 11/3、4 で開催されていた Maker Faire Tokyo 2013 に、id:jonki と 凸P(Mont Blanc Pj.)というネタで出展してきました。レゴで作ったステージにゲーム画面をプロジェクションマッピングし、レゴを動かすとゲーム内のブロックも動的に変更された…