S3D & WibbleWobble

好奇心旺盛なゲーマー向け
テクノロジーがどのように構築され、動作するかについての一般的なレベルの説明です。 興味がなければ読む必要はありません - やや無味乾燥な内容です。

ゲームが3Dを描画する方法
ゲームで3D画像を生成する一般的な方法は、シーンを2回レンダリングすることです - 左目と右目用に別々に、仮想的にカメラをシーンの中心からずらします。 これはリソースを多く消費し、ゲームエンジンからの組み込みサポートが必要です。 すべてのゲームがこれを行えるわけではありません。WibbleWobbleは2つの異なる方法を提供し、その違いは 基本的であり、画質と画像アーティファクトの両方を決定します。

方法1: ReShade Client - フラットフレームからのステレオ合成
ゲームは単一の通常のビューをレンダリングします。SuperDepth3D ReShadeエフェクトは、そのフレームを シーンのデプスバッファと一緒に取得し、深度に応じてピクセルをシフトさせることで、そこから2つ目の視点を再構築します。 ゲームエンジンはステレオについて何も知りません。これはパフォーマンス面で安価であり、 ほとんどすべてのDX11/DX12ゲームで動作します。トレードオフは、この方法自体に固有のアーティファクトです。 それらについては、以下の「欠点」のセクションで説明します。

方法2: OpenVR Client - 真の3Dレンダリング
WibbleWobbleは、SteamVRに仮想VRヘッドセットとして自身を登録します。VR対応ゲーム、またはVR MODがあるゲームは、 実際のヘッドセットとまったく同じように、瞳孔間距離だけ離れた2つのカメラからシーンを2回レンダリングします。 IPD、片目あたりの解像度、焦点距離はVR Configで設定されます。ここでWibbleWobbleは 何も合成しません：既製のステレオペアを受け取り、それをフレームシーケンシャル方式で画面に出力し、 シャッターメガネを同期させます。これはパフォーマンス面でよりコストがかかりますが、 3Dジオメトリは完全に正確です。輪郭に沿った穴や「厚紙」効果はなく、 各目は独自の反射とハイライトを取得します。本質的に、これはヘッドセットなしで、 通常のモニターと3DメガネでVRゲームをプレイする方法です。

リプロジェクション - 視野拡張メカニズム
リプロジェクションは、単眼モードを含む両方のモードで機能します。 高性能シェーダーがゲームフレームを取得し、それをあなたの ワークスペースのジオメトリにマッピングします：単一モニター、4台のモニター、または湾曲スクリーンへ。 ヘッドトラッキング（OpenTrack）を通じて、画像は頭の動きに追従してシフトし、モニターは 仮想世界への窓として機能し始めます - 「VRフィッシュタンク」効果です。 リプロジェクションの目的は、マルチモニター使用時に正しい世界のスケールと正しい視野（FOV）を取得することです。 リプロジェクションは完全に無効にすることができ（Client Config -> Reprojection: Disabled）、 ステレオ出力、BFI、アップスケーラーのみを使用できます - これは単一ディスプレイの通常のシナリオです。
* プロジェクトの作者は、「複数のパネルにわたって世界を拡張する」というアイデアについて過度に 楽観的だったと言わざるを得ません。 強力なグラフィックカードでさえ、これに十分なパフォーマンスを持っていません。 速度が1台の4Kディスプレイで十分であれば幸運です。複数ディスプレイでは動作しません...

FOV（視野）：視野角。仮想カメラがフレーム内で捉える世界のセクターを決定します。 垂直方向と水平方向で別々に度単位で測定されます。 小さいFOV（40-50°）は望遠レンズのように見えます：大きなオブジェクトがある狭いセクター。 大きいFOV（100-120°）は広角で、アクションカメラのようです。横方向に多く見えますが、 端は引き伸ばされ、オブジェクトは遠くに小さく見えます。これはWibbleWobbleの重要なパラメータです。 プログラムは、ゲームがフレームを描画した角度を知っている必要があります。 それを物理モニターに正しく投影するために。そのため、Game ConfigにはFOV VerticalとFOV Horizontalの2つのフィールドがあり、 値がゲーム自体で設定されたものと一致する必要があるという要件があります。一方の値を変更すると、 もう一方の値はウィンドウのアスペクト比に合わせて自動的に再計算されます。

FOVが:
大きすぎる場合 世界はおもちゃのように見え、オブジェクトのスケールが歪みます
低すぎる場合 世界は巨大に見え、すべてがあなたの上に迫ってくるように感じます
3Dでは、スケールとともに深度が崩れ、目の疲れが生じます

「世界への窓」としてのヘッドトラッキング
OpenTrackメソッドを使用して、アプリケーションハンドラーは頭の 位置を追跡し、モニターが3Dシーンへの仮想窓をレンダリングするように投影をシフトします。 これにより視差効果が生まれます。 頭を動かすと、画像がわずかにシフトし、 まるで本当に窓の外を見ているかのようです。

フレームシーケンシャルステレオ出力
アプリケーションは、ゲームからフレームを準備ができた順に可変レートで受け取ります。 クライアントはその後、60 Hzでの再生用にフレームレートを調整します。 ステレオペアのソースは、SuperDepth3D、VR MOD、または既製の3Dコンテンツです。 WibbleWobbleは、side-by-sideまたはチェッカーボード形式（Client Config -> Source Format）でそれを受け入れ、 FrameBufferDecodeでデコードします。レンダラーはそれを120 Hzのフレームシーケンシャルストリームに変換し、 シャッターメガネを同期させます。以下のエミッターがサポートされています： NVIDIA 3D Vision、Open3DOLED、DLPプロジェクター、3D Ready、自作のArduino/VESA IRエミッター。

モーションブラーとクロストークとの戦い
モーションブラーは、ディスプレイによって生成されるぼやけです。 最新のLCDおよびOLEDパネルは、フレームの持続時間中ピクセルを点灯させ続けます - サンプルアンドホールドモードです。ピクセルが点灯し、1つの位置に固定されている間、 目は本能的に動いているオブジェクトを追従し続けます。 その結果、ディスプレイ上の個々のフレームが完全にシャープであっても、画像は網膜上で「にじみ」ます。 ピクセルが点灯している時間が長いほど、にじみは強くなります。この欠陥は細部を隠し、 さらに3Dモードでの画質を低下させます。

ピクセルの点灯時間を短縮するために、WibbleWobbleは2つのツールを提供します：
Black Frame Insertion - 有用なフレームの間に黒フレームを挿入します （Client ConfigのBlack Frame Insertion Intervalパラメータ）。
CRT Beam Simulator by Blur Busters - CRTの電子ビームのスイープを模倣するシェーダーです： フレーム全体ではなく、ラインごとに画像をブランクにします。 より良い結果をもたらしますが、ディスプレイに要求が厳しいです：ガンマ2.2または2.4、 ABL/APL無効、OLEDはSDRモードが必要です。FALDおよびMiniLEDパネルでは、 バックライトの慣性のためうまく機能しません。

これらの2つのモードは同時に有効にしてはいけません。 CRT Simを使用する場合、 Client ConfigのBlack Frame Insertion Intervalパラメータはゼロでなければなりません。 ゲームはディスプレイがフレームを出力するレートよりも低いレートで実行される可能性があり、 プログラムは不足しているフレームをディスプレイのレートまで補充することを強調しておく価値があります。 しかし、これは新しい中間画像の生成ではなく、既存のフレームの繰り返しです。 言い換えれば、リサンプリング方法が提供するような滑らかさはありません。

クロストークは、一方の目を対象とした画像が 部分的に他方の目に届く現象です。その結果、視聴者はオブジェクトの隣に二重の輪郭または半透明の 「ゴースト」を見ることになります。これは3D画像の品質を低下させ、奥行き感を減少させます。 これと戦うために、Black Frame InsertionとBlur Busters CRTビームシミュレーターのサポートが組み込まれています。 包括的なクロストーク抑制のために、巧妙なモードが使用されます：ゲーム画像は60 Hzで描画され、 メガネは120 Hzで同期を受け取り、画面への出力はフレーム繰り返しで240 Hzで実行されます。

その利点にもかかわらず、この方法には制限があります それらは別途述べられるべきです。 それらはプログラムの不完全性からではなく、選択された動作原理から生じています。 2番目のステレオ視点はシーンモデルからレンダリングされるのではなく、 既に完成したフレームと深度マップから再構築されます。ソースフレーム内の前景オブジェクトの背後に隠れているものに関するデータがない場合、 それを回復する方法はありません。

オブジェクトエッジの穴 - ディスオクルージョン
これがこの方法の主な欠陥です。プログラムが2番目の目の視点をシフトするとき または頭の回転のために、ソースフレームで前景オブジェクトのエッジによって隠されていた背景の一部が 見えるようになるはずです。しかし、それらのピクセルは誰もレンダリングしていません - それらは物理的に存在しません。プログラムにはギャップを埋めるものがないため、 エッジピクセルを引き伸ばして、輪郭に沿って「ゴムのような」にじんだハローを生成するか、 「もっともらしい」が通常は正しくないパッチを代用します。 視点のシフトが強いほど、ハローバンドは広くなります。これは実装のバグではなく、 方法自体の制限です：単一の画像から、オブジェクトの背後に隠れて見えないものを抽出することはできません。

頭の動きが歪みを増幅する
通常のステレオでは、視点間の距離は小さく一定です - 瞳孔間距離に等しい。 しかし、「世界への窓」では、頭は様々な方向に数十センチメートル移動するため、相対的な視点シフトは 自然なものよりも何倍も大きくなり、穴とぼやけが大きくなります。 結果は次のようになります：じっと座っているとアーティファクトはほとんどありませんが、3D効果も弱いです。 多く動くと効果はありますが、オブジェクトのエッジに沿ったすべてがぼやけて浮遊します。

グラフィックスは深度マップに依存する
プログラムは、シーン内のすべてのポイントまでの距離に関する正しい情報を必要とします。 ゲームは常にそれを提供するとは限らず、またはすべてを提供するとは限りません。透明な表面 - 水、ガラス、煙、 火、葉 - は通常、詳細な深度を持たないか、エンジンがまったく作成しません。 その結果、オブジェクトは間違った距離に配置されます：水は間違った場所に貼り付き、 煙は二重になり、パーティクルは空中の異なる場所に浮かびます。その上、すべてのゲームが互換性のある深度バッファを出力するわけではありません - 一部では反転しており、他のものでは保護されていて読み取れません。

反射とハイライトが最も壊れる
鏡、水、濡れたアスファルト、金属は、それらに反射された画像ではなく、自身の表面の深度によって定義されます。 視点がシフトすると、反射はどこかへ漂流します。 ハイライトが表面に「ペイント」されている場合、現実世界でそうあるべきように振る舞いません。 最も印象的な光沢のあるコンテンツが、ステレオで平らで間違って見えるのはまさにこれです。

インターフェース、クロスヘア、HUD
フレームの上部にある2次元要素 - ヘルスバー、メニュー、クロスヘア - は ゼロ深度で描画されるため、処理後、間違ったステレオ距離に配置されます。 インターフェースは画面に突き刺さるか、シーンの前にぶら下がります。クロスヘアはそれ自体が 頭痛の種であり、その深度位置はほとんどの場合手動で調整する必要があります。

両目で同じフレーム
両目は同じ画像を見ますが、単にシフトされています。正直な ステレオレンダリングでは、各目は独自の正しいハイライト、影、屈折を取得します。 ここではそれは起こりません。このため、オブジェクトはボリュームボディとしてではなく、 合板から切り取られて深度ごとに配置された平らなレイヤーとして表示されます。 英語の資料では、この効果は「厚紙の切り抜き」効果と呼ばれています。

ゲームごとの調整
視野、深度範囲、輻輳は、各ゲームごとに手動で設定されます。 設定を誤ると、過度の輻輳による目の疲れ、または 世界がおもちゃのように見えたり巨大に見えたりする間違ったスケール、あるいは 深度が完全に反転することさえあります。これは「調整して理解する」ソリューションであり、 「インストールしてプレイする」ものではありません。

レイテンシと不均一なフレーム
ゲームはフレームを不均一にレンダリングし、クライアントは準備済みのフレームを繰り返すことでそれらをディスプレイの安定したfpsに適応させます。 繰り返し自体は歪みを導入しませんが、アクションと画像の間のレイテンシが蓄積されます：フレームキャプチャ、処理、出力。ヘッドトラッキングの場合、 そのようなレイテンシはシーンの「浮遊」として感じられます。Game Configには これに対応するためのFrame Capture Delayパラメータがあり、キャプチャのタイミングを調整します。

残留クロストークと高いモニター要件
ソフトウェア技術 - 黒フレーム挿入と60/120/240モード - はゴーストを抑制しますが、 完全には除去しません。クロストークは多くの要因によって決定されるためです： ディスプレイパネルとメガネ自体の物理的特性。ピクセル応答時間、 スイッチング速度、メガネレンズのコントラスト、画面の垂直描画レートに依存します。 さらに、最も積極的なモードでは、短いピクセル持続時間を持つ高速な240 Hzパネルが必要であり、 すべてのユーザーが持っているわけではありません。 NVIDIA 3D Visionとは異なり、ReShadeは既製のボリュームを再現するのではなく、 フラットフレームからそれを合成します。そのため、輪郭に沿った穴、 不正確な反射、浮遊するエッジは、方法の安定したアーティファクトであり、 一時的な欠点ではありません。

ここでのステレオジオメトリは正直であり、画像合成のアーティファクト - ディスオクルージョン、「厚紙」、 壊れた反射 - はここには存在しません。しかし、この方法にも独自のコストがあり、それは異なるものです。

ゲームはVRをサポートしている必要があります
これが主な制限です。この方法は任意のゲームでは機能しません：組み込みのVRサポートまたはVR MODのいずれかが必要です。 既製のMODが存在しない場合、OpenVRパスは機能せず、 すべてのアーティファクトを伴うReShadeのみが残ります。 言い換えれば、最初のパスが存在するための広い互換性は、 ここでは完全に失われます。

グラフィックカードへの二重負荷
シーンは実際に2回レンダリングされ、2つのカメラからです。単一ビューのリプロジェクションが提供するような節約は まったくありません：パフォーマンスは実際のVRと同じように低下します。 これは、VR ConfigのResolution設定によって部分的に補償されます - 片目あたりの解像度を 下げることができ、WibbleWobbleは画像をディスプレイの解像度に拡大します。

複雑なインストール
SteamVRをインストールする必要があります。ドライバーは管理者権限でInstall.batを介して登録され、 その後、config\steamvr.vrsettingsファイルに2行を手動で追加する必要があります： "forcedDriver": "WibbleWobbleVR" および "activateMultipleDrivers": "true"。 次に、STANDING ONLYモードでRoom Setupを完了します。いずれかのステップでエラーが発生すると、ステレオの代わりに 原因に関する明確なメッセージなしで黒い画面が表示されます。

OpenVR自体の制限
一部の設定はオンザフライで変更できません。解像度または出力レートを変更する場合、 SteamVRの再起動が必要です。これはプログラムではなくプラットフォームの制限ですが、 ゲームの調整を著しく遅くします。

レンダリング最適化が一部のゲームを壊す
VR ConfigにはOptimise Single Eyeパラメータがあり、片目のみまたは 両目を半分のFOVでレンダリングできます。プロジェクトの作者は直接警告しています：「Both」モードが最も 問題が多い - ビネット効果と目の非同期が発生する可能性があり、画像が 「シフト」する可能性があります。一部のゲームでは、最適化を完全にオフにする必要があります。

ウィンドウフォーカスの競合
一部のゲームはWibbleWobbleインターフェースにフォーカスを渡しません： SHIFT + ENDキーの組み合わせが機能しないか、UIは描画されるが制御できません。 ALT + TABで手動で切り替える必要があります。 別の問題：WibbleWobbleウィンドウを閉じてはいけません - プログラムはその後回復せず、ゲームを再起動する必要があります。

起動ごとの再センタリング
トラッキングは、起動のたびに手動で（SHIFT + .）センタリングする必要があり、画面の前の作業エリアの中心に正確に 配置する必要があります。センタリング中に頭がそこになかった場合、 リプロジェクションは奇妙に動作し始め、スケールが「ドリフト」します。 作者自身の認めるところによると、正しい位置を合わせるには練習が必要です。 これは後で、よりインテリジェントなトラッキングソフトウェアを使用することで修正できます。

個々のアプリケーションの癖
一部のプログラムは特定のブランドのヘッドセットでのみ動作します。それらのために、VR Config にはHeadset Identificationパラメータがあり、WibbleWobbleが異なるデバイスとして自己認識するようにします - 例えばVive - これがないとDEOVRでヘッドトラッキングが機能しません。言い換えれば、 互換性は場所によってこのような回避策に依存しています。

最初のパスとの共通点
ハードウェアに関するすべては両方の方法に当てはまります：残留クロストーク、 高速パネルの要件、正確なメガネ同期の必要性。ステレオ出力、 エミッター、BFI、CRT Simは、ステレオペアがどこから来たかに関係なく同じように機能します。