通过渲染到浮点纹理实现三维对象拾取

鼯鼠

3D Object Picking Using RTT and Float Format Texture

	梁成	张嘉华
	aliceliang@163.net 华南理工大学计算机学院	newzjh@126.com http://blog.csdn.net/javazjh 华南理工大学计算机学院

　　　

欢迎访问我的blog: http://blog.csdn.net/javazjh

GameRes专栏：http://www.gameres.com/Topics/Author/zjh/

我感兴趣的方向是GPU、真实感图形、VRGIS等方向，期待图形、游戏开发公司招聘。下载我的简历

另有以下GPU方面书籍，如果你对于GPU感兴趣的，或者需要如下书的英文复印本的请和我联系。

GPU GEMS2

GAME PROGRAMMING 4

GAME PROGRAMMING 5

LEVEL OF DETAIL

复印本成本费一律100RMB，有需要的请和我联系

摘要(Abstract) 本文介绍了一种在GPU上实现的，通过将坐标信息和对象指针绘制到一张RenderTargert浮点纹理的三维对象拾取方法。该方法能够在约半帧的渲染时间内拾取包括对象指针坐标等信息，可以达到与屏幕象素大小同等的精确度。 关键字(Keywords)： 　　图元拾取、GPU、Shader RTT(渲染到纹理)、浮点纹理

图1：Mouse Pick所RRT到的浮点纹理，图中RGB颜色值显示出来的是对象的世界坐标值，如左面的obj1顶部比较绿，反映出来的是对象的y坐标比较大，对象的rgb值分别对应xyz坐标，alpha值对应对象指针

1. 引入 拾取技术（pick），在3D渲染时鼠标选取地形上某点或者某件物品都要用到。图2演示了一个拾取任务，鼠标在s点上单击一下，程序可以识别出鼠标拾取了茶壶。以前的渲染管线是固定的，进入管线后我们的操作会受到限制。随着现代GPU的出现和发展，在GPU的可编程能力给我们带来了高的灵活性。Shader是我们自己定义的程序，用来替代固定渲染管线中的部分流程。现在应用比较多的是Vertex Shader（顶点着色器）和Pixel Shader（象素着色器），利用它们可以在渲染的过程中加入更多的技术以实现各种特效，而在本文里，我们利用shader进行坐标和颜色的转换编码，实现了把世界坐标和对象指针绘制到一张128位RGBA浮点RenderTarget纹理，然后通过LockRect纹理检索指定的象素值，实现了对象的Picking。

图2 NVIDIA SDK提供的一个使用Geometry Instancing绘制大量对象的例子，面对太空中这么多的对象，如何能快速鼠标拾取目标呢？ 图2 NVIDIA SDK提供的一个使用Geometry Instancing绘制大量对象的例子，面对太空中这么多的对象，如何能快速鼠标拾取目标呢？

鼯鼠

2. 相关方法（Related Work）

拾取技术一般都被看作时渲染的一个逆运算。一般的渲染管线，是将一个物体从本身的局部空间(Local space)，转换到所以物体同一的世界空间(World space)，然后根据视锥转换到观察空间(View space)，经过背面剔除(Backface Culling)、光照(Lighting)、裁剪(Clipping)等处理后，投影(Projection)到二维的平面上，最后在根据显示的环境进行视口变换(ViewPort Transform)和光栅化(Rasterization)最后显示出来。拾取的经典思路是将鼠标选中的点从屏幕坐标系逆变换到世界坐标系，然后在世界坐标系内查找出被选中的物体。

逆变换求交

Frank D.Luna《Introduction to 3D Game Programming with DirectX 9.0》(P207)以及重剑空间中的《Direct3D中实现图元的鼠标拾取》（http://www.heavysword.com/studyblog/pick_2004_529.htm）提到了相关的方法，这样的方法有两个困难的地方。一是难将对象从二维平面还原到三维空间。在渲染的投影变换时进行减维运算时比较容易的，但逆运算时要推算出平面物体在三维空间下的深度是很困难的。经典的做法是将鼠标点击的对象设为一条射线，在跟世界空间内的物体按深度顺序逐个求交。如图3。

图3 鼠标拾取例子在视锥下的透视图

其二是射线与物体求交时的具体方法。因为物体有很多个网格面，如果一一求交的话运算量过大。经典的做法是将算出物体的包围球，然后将射线与包围球求交。但这样的求交结果必然受到精度的限制。一般地，经典的方法将拾取分解为以下4个步骤：

1． 获得屏幕上的点s，找到他对应的投影窗口上的点p；

2． 计算拾取射线，它是一条从原点出发穿过点p的射线；

3． 将射线乘以观察矩阵和投影矩阵连乘后的联合矩阵的转置逆矩阵，变换到和模型相同的坐标系中；

4． 判定物体和射线求交，被穿过的物体就是屏幕上拾取的物体

二维平面下的控件拾取

在平面的窗体以及基本的图形GUI中同样也有判断控件拾取的需求。一般有2种算法，一种是建立树型的控件模型，记录控件间的拓扑关系及位置范围，然后对控件树中的对象进行递归判断，来查询鼠标是否单击了其中的某个控件；另一种是在后台建立一个跟屏幕一样大的缓冲，缓冲中的点对应屏幕上的点，对不同控件所在的位置在缓冲中涂上不同的颜色，当需要进行拾取时查询缓冲中鼠标坐标上的颜色就可以直接得知控件对象了。第2种方法的思想有点类似于哈希表。所以我将该算法引入到三维空间中。这样的算法不仅在精度上会比传统的算法高，而且在现在显卡的发展趋势下速度也有优势，因为每次拾取判断只需要渲染一帧的时间。

3.基本框架

适用范围：本算法受到一些限制：首先是用到了GPU可编程能力，需要GPU支持；其次是因为每次出发拾取程序的时候都要在后台绘制一张表面，等同于重复绘制了两次场景，不适合连续的拾取动作。

基本思路：算法的核心是把物体在后台的一张表面上对应屏幕做一次特殊的“渲染”，把它的世界空间坐标、指针等相关信息作为它的颜色。在渲染后我们只要读取表面上相应屏幕坐标的颜色值就可以得知它相对应的物体的信息了。算法的关键就是利用shader修改GPU的渲染管线，在渲染的时候把物体信息渲染上去。整个算法分为在CPU和在GPU上的两部分。在CPU上的C++程序的任务是建立一个后台的表面，然后调用GPU上的程序对物体进行特殊的RTT（Rander to Texture，渲染到纹理）渲染，再根据渲染结果读取表面某坐标的颜色并还原信息。具体实现时考虑到纹理有Pow of two 和non-pow of two之别，我们的屏幕分辨率一般不为pow of tow，因此可以考虑采用RRS（渲染到表面），用pDevice->CreateRenderTarget创建一个临时表面，CPU上的主要流程如下：

（鼠标单击事件触发进入）

1． 建立一张新的纹理。

2． 将当前设备屏幕的内容存入缓冲中，将设备的渲染对象设为当前纹理。

3． 做好渲染前的准备，包括从fx中读入effect。

4． 对于每个物体进行渲染。

5． 还原设备信息，设备的渲染对象指向帧缓冲。

6． 获取纹理上鼠标点击的区域。

7． 将获得的对象按定义的格式输出。

鼯鼠

我们首先定义了VectorShader输出内容，定义了一个包括坐标和颜色的结构(struct)。具体如下。其中pos用于顶点转换；mColor用于顶点信息存储，具体使用方法将在后边介绍：

struct VSResult

{

float4 posOSITION;

float4 mColor:TEXCOORD0;

};

在Vertex Shader中，输入某点的本地坐标，把坐标的值编码成一个颜色的RGB值后作为输出颜色（mColor）的RGB值，同时将输入坐标乘以世界矩阵、观察矩阵、投影矩阵后作为输出的坐标值。在Pixel Shader中，我们将物体指针信息作为颜色的A值，加上Vertex Shader输出的颜色，输出为最终的渲染颜色。

4. 实现细节

坐标信息编码：在单个物体网格中，不同顶点有不同的坐标，在Vertex Shader中，我们根据坐标信息进行顶点转换，同时将坐标信息作为颜色值存入VSResult中。主要代码如下：

VSResult VS_main (float3 iPosOSITION)

{

VSResult ret;

ret.mColor=float4 (iPos,1.0f);

float4 pos=mul(float4(iPos,1),worldmatrix);

ret.pos=mul(pos,ViewProjection);

return ret;

}

在ret.mColor转换的时候将输入的iPos坐标值；而第4个A值用作存储其他信息，暂时填入1.0f。利用以上方法，我们可以得到如文章开头的图1的一张标有坐标信息的彩色图。

鼯鼠

对象指针信息编码：除了坐标外，我们还可以存储其他信息，如物体对应的实体或者网格之类的指针。这类信息的特点是这个物体的信息都是一致的，也就是说相对于Shader中同一次DP或者DIP call是一个常量，在Shader中标识uniform，所以我将作为一个全局变量，在CPU中通过ID3DXEFFECT::SetFloat进行设置，再在Pixel Shader中加入到顶点的颜色信息中。Shader中的主要代码如下：

uniform float pobj;

…

float4 PS_main (float4 mColor:COLOR):COLOR

{

return float4(mColor.rgb,);

}

而在C++的程序中，可以对指针进行赋值，

long pobj=(long)this;

float fobj=(float)pobj;

effect->SetFloat("pobj",fobj);

信息的解析与检索：信息解码的主要在CPU上完成，因为只需要解析点中的点，基本流程是用GetRenderTargetData拷回表面的一个SystemMemeory副本，然后锁定该副本表面，将拾取的点的各个通道值转换成float*在读出来，数组的0123位依次是颜色的RGBA值。解码的主要代码如下：

PickResult finalret;

pPickSurface->LockRect(&lockbits,&rect,D3DLOCK_READONLY);

pPickSurface->UnlockRect();

float* bits=(float*)(lockbits.pBits);

finalret.position.x=bits[0];

finalret.position.y=bits[1];

finalret.position.z=bits[2];

float fobj=bits[3];

long pobj=(long)fobj;

finalret.pObject=(GRuntimeMesh*)pobj;

return finalret;

D3DFMT_A32B32G32R32F 128位浮点纹理：在RTT产生的纹理图中，我们不仅加入了坐标信息，而且加入了指针信息。通过指针传递我们可以记录关于物体的各种信息。但是指针对纹理存贮的精度要求很高，不能存在丝毫误差。在32位的系统中，一个指针占4字节，在C++程序中，我们采用long类型进行传递，而传入Shader时我们采用了float类型。而对于绘制时所用的纹理，我们必须保证A通道有8×4，也就是32位，所以我们采用了D3DFMT_A32B32G32R32F格式，即32Bit IEEE Float格式的纹理。

GetRenderTargetData and LockRect：对于pick所得的纹理，我们可以简单地直接LockRect纹理最高精度表面的(x,y)texel检索值，然而如果我们直接Lock的话，会可能让CPU等待GPU完成当前的绘制操作再进行Lock操作，为了提高并发性，可以采取readonly标识和GetRenderTargetData()函数把RenderTarget表面拷回到SystemMemory的一个表面再检索。GetRenderTargetData()能够把GPU上RenderTarget的一个表面直接完整拷贝到内存，再用带D3DLOCK_READONLY和D3DLOCK_DONOTWAIT等标识Lock指定要Pick的象素。

鼯鼠

、结果与结论

我们用VC++8.0实现了以上算法。在程序中我们添加2个物体，取名为obj1和obj2，程序运行后实时渲染2个物体，并且在鼠标单击后弹出对话框说明选中物体名称（或者nothing）以及所在坐标。运行效果如图4。

图4 Mouse Pick的运行截图，鼠标点中了obj1，弹出对话框说明所点物体名称和坐标

我们在NV FX6800 GPU环境下测试了一下方法的准确性。从图4可以看出，可以准确拾取到对象的的指针（图4以对象名字显示）以及处于对象空间的坐标。

参考文献（Reference）

1、 Direct3D中实现图元的鼠标拾取、重剑空间
(http://www.heavysword.com/studyblog/pick_2004_529.htm)

2、 Frank D.Luna、Introduction to 3D Game Programming with DirectX 9.0 P208-P209

3、 何健鹰; 徐强华; 游佳、基于OpenGL的一种三维拾取方法、计算机工程与科学、2006年 01期

4、 王剑; 陆国栋; 谭建荣;、三维场景中图形对象的拾取方法、机械、2004年 07期