备案控制台
探索云世界
开发者社区 开发与运维 文章 正文

最简单的视音频播放示例4：Direct3D播放RGB（通过Texture）

2014-12-12 1420
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本文接着上一篇文章继续记录Direct3D（简称D3D）播放视频的技术。上一篇文章中已经记录了使用Direct3D中的Surface渲染视频的技术。本文记录一种稍微复杂但是更加灵活的渲染视频的方式：使用Direct3D中的Texture（纹理）渲染视频。

本文接着上一篇文章继续记录Direct3D（简称D3D）播放视频的技术。上一篇文章中已经记录了使用Direct3D中的Surface渲染视频的技术。本文记录一种稍微复杂但是更加灵活的渲染视频的方式：使用Direct3D中的Texture（纹理）渲染视频。

纹理有关的基础知识

在记录使用Direct3D的Texture渲染视频的技术之前，首先记录一下有关纹理的基础知识。我自己归纳总结了以下几点知识。



1. 渲染（Render），纹理（Texture）

刚开始学习Direct3D显示视频技术的人一定会有一个疑问：“像GDI那样直接指定一下像素数据，然后画在窗口上不就行了？为什么又是渲染又是纹理，搞得这么复杂？”。确实，相比于GDI，Direct3D的入门的代码要复杂很多。其实Ditect3D中的很多概念并不是出自于视频领域，而是出自于3D制作。下面简单记录一下Direct3D这些概念的意义。

纹理（Texture）

纹理实际上就是一张图片。个人感觉这个词的英文Texture其实也可以翻译成“材质”（“纹理”总给人一种有很多花纹的感觉 =_=）。在3D制作过程中，如果单靠计算机绘制生成3D模型，往往达不到很真实的效果。如果可以把一张2D图片“贴”到3D模型的表面上，则不但节约了计算机绘图的计算量，而且也能达到更真实的效果。纹理就是这张“贴图”。例如，下面这张图就是把一张“木箱表面”的纹理贴在了一个正六面体的六个面上，从而达到了一个“木箱”的效果（还挺像CS里面的木箱的）。

渲染（Render）
渲染就是从模型生成图像的过程，通常是3D制作的最后一步。例如上图的那个木箱，在经过纹理贴图之后，形成了一个“木箱”模型。但是只有把它作为2D图像输出到屏幕上之后，它才能被我们的看见。这个输出的过程就是渲染。我们也可以调整这个“木箱模型”的参数，达到不同的渲染结果。比如说改变观察角度等等。


2. 纹理坐标

Direct3D使用一个纹理坐标系统，它是由用水平方向的u轴和竖直方向v轴构成。注意v轴是向下的（OpenGL的v轴是向上的）。需要注意的是，纹理坐标的取值范围是0-1，而不是像普通坐标那样以像素为单位。它代表了一种图像映射的关系。例如纹理坐标是(0.5,0.0)，就是把2D纹理横向二分之一处的点映射到随后定义的物体顶点上去。

 

纹理坐标和图像的大小是没有关系的。下图显示了一大一小两张图片中纹理坐标(0，0.5)的位置。可以看出都位于它们宽度中间的位置。

 

下面有关纹理坐标再多说两句。举个例子，纹理图像分辨率为640x480。我们如果选定(0, 0), (0, 1), (1, 0), (1, 1)四个纹理坐标的点对纹理图像映射的话，就是映射的整个纹理图片。如果我们选择(0, 0), (0, 1), (0.5, 0), (0.5, 1) 四个纹理坐标的点对纹理图像映射的话，就是映射左半边的纹理图片（相当于右半边图片不要了），相当于取了一张320x480的图片。但是有一点需要注意，映射的纹理图片不一定是“矩形”的。实际上可以指定任意形状的纹理坐标进行映射。下面这张图就是映射了一个梯形的纹理到目标物体表面。这也是纹理（Texture）比上一篇文章中记录的表面（Surface）更加灵活的地方。

 

当然，使用Direct3D播放视频的时候，还是映射整个纹理画面的，不然视频就没法看了。下面那本文记录的程序做几个示例。

输入像素数据的分辨率是320x180。把它作为纹理的时候，它的纹理坐标如下图所示。

我们可以映射整张纹理到目标物体表面。把纹理坐标(0,0),(0,1)(1,0),(1,1)映射到坐标(0,0), (0,180), (320,0), (320,180)后的结果如下图所示。

可以试着修改一下目标物体表面的坐标。把纹理坐标(0,0),(0,1)(1,0),(1,1)映射到坐标(80,0), (0,135), (320,45), (240,180)后的结果如下图所示。相当于把纹理“旋转”了一下。

也可以试着修改一下纹理的坐标。把纹理坐标(0,0),(0,1)(0.5,0),(0.5,1)映射到坐标(0,0), (0,180), (320,0), (320,180)后的结果如下图所示。由图可见，“故宫”只有左半边了。

此外纹理映射还有其他更多的功能，使用起来非常灵活，就不一一记录了。

3. 灵活顶点格式（Flexible Vertex Format，FVF）

上文记录了纹理到目标物体表面坐标的映射，但究竟是什么变量建立起了这二者之间的联系呢？就是灵活顶点格式。灵活顶点格式（Flexible Vertex Format，FVF）在Direct3D中用来描述一个顶点。灵活顶点格式可以让我们随心所欲地自定义其中所包含的顶点属性信息。例如，指定顶点的三维坐标、颜色、顶点法线和纹理坐标等等。比如我们可以定义一个只包含顶点三维坐标和颜色的结构体：

 

[cpp]  view plain copy
 
  1. struct CUSTOMVERTEX    
  2. {    
  3.   float x, y, z;             //顶点的三维坐标值，x，y，z    
  4.    DWORD color;               //顶点的颜色值    
  5. };  

 

 

也可以定义一个复杂一点，包含很多属性的顶点：

[cpp]  view plain copy
 
  1. struct NormalTexVertex    
  2. {    
  3.   float x, y, z; // 顶点坐标    
  4.   float nx, ny, nz; // 法线向量    
  5.   float u, v; // 纹理坐标    
  6. };    


但单单定义出结构体， Direct3D是不能理解我们在干嘛的，这时候，我们需要一个宏来传达我们定义的顶点有哪些属性。

比如刚刚我定义的CUSTOMVERTEX结构体就可以通过以下方式来描述：

 

[cpp]  view plain copy
 
  1. #define D3DFVF_CUSTOMVERTEX (D3DFVF_XYZRHW|D3DFVF_DIFFUSE)    

 

需要注意的是：上述的定义是有顺序的。Direct3D支持下述定义。

 

序号

标示

含义

1

D3DFVF_XYZ

包含未经过坐标变换的顶点坐标值，不可以和D3DFVF_XYZRHW一起使用

2

D3DFVF_XYZRHW

包含经过坐标变换的顶点坐标值，不可以和D3DFVF_XYZ以及D3DFVF_NORMAL一起使用

3

D3DFVF_XYZB1~5

标示顶点混合的权重值

4

D3DFVF_NORMAL

包含法线向量的数值

5

D3DFVF_DIFFUSE

包含漫反射的颜色值

6

D3DFVF_SPECULAR

包含镜面反射的数值

7

D3DFVF_TEX1~8

表示包含1~8个纹理坐标信息，是几重纹理后缀就用几，最多8层纹理

 



下面给出一个使用Direct3D播放视频的时候的自定义顶点类型的代码。

[cpp]  view plain copy
 
  1. typedef struct  
  2. {  
  3.     FLOAT       x,y,z;  
  4.     FLOAT       rhw;   
  5.     D3DCOLOR    diffuse;   
  6.     FLOAT       tu, tv;   
  7. } CUSTOMVERTEX;  
  8. #define D3DFVF_CUSTOMVERTEX (D3DFVF_XYZRHW|D3DFVF_DIFFUSE|D3DFVF_TEX1)  

 

从上述代码中可以看出，其中包含了一个顶点在目标物体表面的坐标(x, y)，以及它的纹理坐标(tu, tv)。修改上述两个坐标的值，就可以实现各种各样的映射了。

PS：z坐标在这里用不到。

 

4. 纹理（Texture）和表面（Surface）的区别与联系

Surfaces是一个存储2D图像的内存。
Textures是一张贴图。Texture的图像数据存储于它的Surface中。一个Texture可以包含多个Surface。


D3D视频显示的流程

下文将会结合代码记录Direct3D中与视频显示相关的功能。

函数分析
有关DirectX的安装可以参考前文，不再记录。在这里只记录一下使用Direct3D的Texture渲染视频的步骤：
1. 创建一个窗口（不属于D3D的API）
2. 初始化

1) 创建一个Device
2) 设置一些参数（非必须）
3) 基于Device创建一个Texture
4) 基于Device创建一个VertexBuffer
5) 填充VertexBuffer

3. 循环显示画面

1) 清理
2) 一帧视频数据拷贝至Texture
3) 开始一个Scene
4) Device需要启用的Texture
5) Device绑定VertexBuffer
6) 渲染
7) 显示

下面结合Direct3D的Texture播放RGB的示例代码，详细分析一下上文的流程。注意有一部分代码和上一篇文章中介绍的Direct3D的Surface播放视频的代码是一样的，这里再重复一下。

1. 创建一个窗口（不属于D3D的API）

建立一个Win32的窗口程序，就可以用于Direct3D的显示。程序的入口函数是WinMain()，调用CreateWindow()即可创建一个窗口。

2. 初始化

1) 创建一个Device

这一步完成的时候，可以得到一个IDirect3DDevice9接口的指针。创建一个Device又可以分成以下几个详细的步骤：

(a) 通过 Direct3DCreate9()创建一个IDirect3D9接口。

获取IDirect3D9接口的关键实现代码只有一行：

[cpp]  view plain copy
 
  1. IDirect3D9 *m_pDirect3D9 = Direct3DCreate9( D3D_SDK_VERSION );  

IDirect3D9接口是一个代表我们显示3D图形的物理设备的C++对象。它可以用于获得物理设备的信息和创建一个IDirect3DDevice9接口。例如，可以通过它的GetAdapterDisplayMode()函数获取当前主显卡输出的分辨率，刷新频率等参数，实现代码如下。

 

[cpp]  view plain copy
 
  1. D3DDISPLAYMODE d3dDisplayMode;  
  2. lRet = m_pDirect3D9->GetAdapterDisplayMode( D3DADAPTER_DEFAULT, &d3dDisplayMode );  

由代码可以看出，获取的信息存储在D3DDISPLAYMODE结构体中。D3DDISPLAYMODE结构体中包含了主显卡的分辨率等信息：

 

[cpp]  view plain copy
 
  1. /* Display Modes */  
  2. typedef struct _D3DDISPLAYMODE  
  3. {  
  4.     UINT            Width;  
  5.     UINT            Height;  
  6.     UINT            RefreshRate;  
  7.     D3DFORMAT       Format;  
  8. } D3DDISPLAYMODE;  


也可以用它的GetDeviceCaps()函数搞清楚主显卡是否支持硬件顶点处理，实现的代码如下。

[cpp]  view plain copy
 
  1. D3DCAPS9 d3dcaps;  
  2. lRet=m_pDirect3D9->GetDeviceCaps(D3DADAPTER_DEFAULT,D3DDEVTYPE_HAL,&d3dcaps);  
  3. int hal_vp = 0;  
  4. if( d3dcaps.DevCaps & D3DDEVCAPS_HWTRANSFORMANDLIGHT ){  
  5.     // yes, save in ‘vp’ the fact that hardware vertex  
  6.     // processing is supported.  
  7.     hal_vp = D3DCREATE_HARDWARE_VERTEXPROCESSING;  
  8. }  

 

由代码可以看出，获取的设备信息存储在D3DCAPS9结构体中。D3DCAPS9定义比较长包含了各种各样的信息，不再列出来。从该结构体的DevCaps字段可以判断得出该设备是否支持硬件顶点处理。

(b) 设置D3DPRESENT_PARAMETERS结构体，为创建Device做准备。

接下来填充一个D3DPRESENT_PARAMETERS结构的实例。这个结构用于设定我们将要创建的IDirect3DDevice9对象的一些特性，它的定义如下。

[cpp]  view plain copy
 
  1. typedef struct _D3DPRESENT_PARAMETERS_  
  2. {  
  3.     UINT                BackBufferWidth;  
  4.     UINT                BackBufferHeight;  
  5.     D3DFORMAT           BackBufferFormat;  
  6.     UINT                BackBufferCount;  
  7.   
  8.   
  9.     D3DMULTISAMPLE_TYPE MultiSampleType;  
  10.     DWORD               MultiSampleQuality;  
  11.   
  12.   
  13.     D3DSWAPEFFECT       SwapEffect;  
  14.     HWND                hDeviceWindow;  
  15.     BOOL                Windowed;  
  16.     BOOL                EnableAutoDepthStencil;  
  17.     D3DFORMAT           AutoDepthStencilFormat;  
  18.     DWORD               Flags;  
  19.   
  20.   
  21.     /* FullScreen_RefreshRateInHz must be zero for Windowed mode */  
  22.     UINT                FullScreen_RefreshRateInHz;  
  23.     UINT                PresentationInterval;  
  24. } D3DPRESENT_PARAMETERS;  


D3DPRESENT_PARAMETERS这个结构体比较重要。详细列一下它每个参数的含义：
BackBufferWidth：后备缓冲表面的宽度（以像素为单位）
BackBufferHeight：后备缓冲表面的高度（以像素为单位）
BackBufferFormat：后备缓冲表面的像素格式（如：32位像素格式为D3DFMT：A8R8G8B8）
BackBufferCount：后备缓冲表面的数量，通常设为“1”，即只有一个后备表面
MultiSampleType：全屏抗锯齿的类型，显示视频没用到，不详细分析。
MultiSampleQuality：全屏抗锯齿的质量等级，显示视频没用到，不详细分析。
SwapEffect：指定表面在交换链中是如何被交换的。支持以下取值：
*D3DSWAPEFFECT_DISCARD:后备缓冲区的东西被复制到屏幕上后,后备缓冲区的东西就没有什么用了,可以丢弃了。
*D3DSWAPEFFECT_FLIP: 后备缓冲拷贝到前台缓冲，保持后备缓冲内容不变。当后备缓冲大于1个时使用。
*D3DSWAPEFFECT_COPY: 同上。当后备缓冲等于1个时使用。
一般使用D3DSWAPEFFECT_DISCARD。
hDeviceWindow：与设备相关的窗口句柄，你想在哪个窗口绘制就写那个窗口的句柄
Windowed：BOOL型，设为true则为窗口模式，false则为全屏模式
EnableAutoDepthStencil：设为true，D3D将自动创建深度/模版缓冲。
AutoDepthStencilFormat：深度/模版缓冲的格式
Flags：一些附加特性
FullScreen_RefreshRateInHz：刷新率，设定D3DPRESENT_RATE_DEFAULT使用默认刷新率
PresentationInterval：设置刷新的间隔，可以用以下方式：
*D3DPRENSENT_INTERVAL_DEFAULT，则说明在显示一个渲染画面的时候必要等候显示器刷新完一次屏幕。例如显示器刷新率设为80Hz的话，则一秒最多可以显示80个渲染画面。
*D3DPRENSENT_INTERVAL_IMMEDIATE:表示可以以实时的方式来显示渲染画面。
下面列出使用Direct3D播放视频的时候的一个典型的设置。可以看出有一些参数都是设置的False：

[cpp]  view plain copy
 
  1. //D3DPRESENT_PARAMETERS Describes the presentation parameters.  
  2. D3DPRESENT_PARAMETERS d3dpp;  
  3. ZeroMemory( &d3dpp, sizeof(d3dpp) );  
  4. d3dpp.BackBufferWidth = lWidth;     
  5. d3dpp.BackBufferHeight = lHeight;  
  6. d3dpp.BackBufferFormat = D3DFMT_X8R8G8B8;     
  7. d3dpp.BackBufferCount        = 1;  
  8. d3dpp.MultiSampleType   = D3DMULTISAMPLE_NONE;    
  9. d3dpp.SwapEffect  = D3DSWAPEFFECT_COPY;   
  10. d3dpp.hDeviceWindow  = hwnd;  
  11. d3dpp.Windowed   = TRUE;  
  12. d3dpp.EnableAutoDepthStencil = FALSE;  
  13. d3dpp.Flags = D3DPRESENTFLAG_VIDEO;  
  14. d3dpp.PresentationInterval   = D3DPRESENT_INTERVAL_DEFAULT;  

 

(c) 通过IDirect3D9的CreateDevice ()创建一个Device。

最后就可以调用IDirect3D9的CreateDevice()方法创建Device了。

CreateDevice()的函数原型如下：

[cpp]  view plain copy
 
  1. HRESULT CreateDevice(  
  2. UINT Adapter,  
  3. D3DDEVTYPE DeviceType,  
  4. HWND hFocusWindow,  
  5. DWORD BehaviorFlags,  
  6. D3DPRESENT_PARAMETERS *pPresentationParameters,  
  7. IDirect3DDevice9** ppReturnedDeviceInterface  
  8. );  


其中每个参数的含义如下所列：
Adapter：指定对象要表示的物理显示设备。D3DADAPTER_DEFAULT始终是主要的显示器适配器。
DeviceType：设备类型，包括D3DDEVTYPE_HAL(Hardware Accelerator，硬件加速)、D3DDEVTYPE_SW(SoftWare，软件)。
hFocusWindow：同我们在前面d3dpp.hDeviceWindow的相同
BehaviorFlags：设定为D3DCREATE_SOFTWARE_VERTEXPROCESSING（软件顶点处理）或者D3DCREATE_HARDWARE_VERTEXPROCESSING（硬件顶点处理），使用前应该用D3DCAPS9来检测用户计算机是否支持硬件顶点处理功能。
pPresentationParameters：指定一个已经初始化好的D3DPRESENT_PARAMETERS实例
ppReturnedDeviceInterface：返回创建的Device

下面列出使用Direct3D播放视频的时候的一个典型的代码。

[cpp]  view plain copy
 
  1. IDirect3DDevice9 *m_pDirect3DDevice;  
  2. D3DPRESENT_PARAMETERS d3dpp;  
  3. …  
  4. m_pDirect3D9->CreateDevice( D3DADAPTER_DEFAULT, D3DDEVTYPE_HAL, NULL,  
  5. D3DCREATE_SOFTWARE_VERTEXPROCESSING|D3DCREATE_MULTITHREADED, &d3dpp, &m_pDirect3DDevice );  


2) 设置一些参数（非必须）

这一步不是必需的。创建完成IDirect3DDevice9之后，就可以针对该Device设置一些参数了。IDirect3DDevice9提供了一系列设置参数的API，在这里无法一一列举，仅列出几个在视频播放过程中设置参数需要用到的API：SetSamplerState()，SetRenderState()，SetTextureStageState()。

Direct3D函数命名

在记录着几个函数的作用之前，先说一下IDirect3D中函数的命名特点：所有接口中的函数名称都重新定义了一遍。原来形如XXXX->YYYY(….)的函数，名称改为了IDirect3DXXXX_YYYY(XXXX,…)。即原本接口的指针移动到了函数内部成为了第一个参数，同时函数名称前面加上了“IDirect3DXXXX_”。这样描述说不清楚，举个具体的例子吧。比如说调用IDirect3DDevice9中的SetSamplerState可以采用如下方法：

[cpp]  view plain copy
 
  1. IDirect3DDevice9 * m_pDirect3DDevice;  
  2. …  
  3. m_pDirect3DDevice->SetSamplerState(0, D3DSAMP_MINFILTER, D3DTEXF_LINEAR);  
  4. IDirect3DDevice9_SetSamplerState(m_pDirect3DDevice, 0, D3DSAMP_MINFILTER, D3DTEXF_LINEAR);  


实际上也可以使用如下方法：

[cpp]  view plain copy
 
  1. IDirect3DDevice9 * m_pDirect3DDevice;  
  2. …  
  3. IDirect3DDevice9_SetSamplerState (m_pDirect3DDevice, 0, D3DSAMP_MINFILTER, D3DTEXF_LINEAR);  
  4. IDirect3DDevice9_SetSamplerState(m_pDirect3DDevice, 0, D3DSAMP_MINFILTER, D3DTEXF_LINEAR);  



设置参数

设置参数这里用到了3个API：SetSamplerState()，SetRenderState()，SetTextureStageState()。其中SetSamplerState()可以设置枚举类型D3DSAMPLERSTATETYPE的属性的值。SetRenderState()可以设置枚举类型D3DRENDERSTATETYPE的属性的值。SetTextureStageState()可以设置枚举类型D3DTEXTURESTAGESTATETYPE的属性的值。以上3个枚举类型中的数据太多，无法一一列举。在这里直接列出Direct3D播放视频的时候的设置代码：

[cpp]  view plain copy
 
  1. //SetSamplerState()  
  2. // Texture coordinates outside the range [0.0, 1.0] are set  
  3. // to the texture color at 0.0 or 1.0, respectively.  
  4. IDirect3DDevice9_SetSamplerState(m_pDirect3DDevice, 0, D3DSAMP_ADDRESSU, D3DTADDRESS_CLAMP);  
  5. IDirect3DDevice9_SetSamplerState(m_pDirect3DDevice, 0, D3DSAMP_ADDRESSV, D3DTADDRESS_CLAMP);  
  6. // Set linear filtering quality  
  7. IDirect3DDevice9_SetSamplerState(m_pDirect3DDevice, 0, D3DSAMP_MINFILTER, D3DTEXF_LINEAR);  
  8. IDirect3DDevice9_SetSamplerState(m_pDirect3DDevice, 0, D3DSAMP_MAGFILTER, D3DTEXF_LINEAR);  
  9. //SetRenderState()  
  10. //set maximum ambient light  
  11. IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_AMBIENT, D3DCOLOR_XRGB(255,255,0));  
  12. // Turn off culling  
  13. IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_CULLMODE, D3DCULL_NONE);  
  14. // Turn off the zbuffer  
  15. IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_ZENABLE, D3DZB_FALSE);  
  16. // Turn off lights  
  17. IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_LIGHTING, FALSE);  
  18. // Enable dithering  
  19. IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_DITHERENABLE, TRUE);  
  20. // disable stencil  
  21. IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_STENCILENABLE, FALSE);  
  22. // manage blending  
  23. IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_ALPHABLENDENABLE, TRUE);  
  24. IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_SRCBLEND,D3DBLEND_SRCALPHA);  
  25. IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_DESTBLEND,D3DBLEND_INVSRCALPHA);  
  26. IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_ALPHATESTENABLE,TRUE);  
  27. IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_ALPHAREF, 0x10);  
  28. IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_ALPHAFUNC,D3DCMP_GREATER);  
  29. // Set texture states  
  30. IDirect3DDevice9_SetTextureStageState(m_pDirect3DDevice, 0, D3DTSS_COLOROP,D3DTOP_MODULATE);  
  31. IDirect3DDevice9_SetTextureStageState(m_pDirect3DDevice, 0, D3DTSS_COLORARG1,D3DTA_TEXTURE);  
  32. IDirect3DDevice9_SetTextureStageState(m_pDirect3DDevice, 0, D3DTSS_COLORARG2,D3DTA_DIFFUSE);  
  33. // turn off alpha operation  
  34. IDirect3DDevice9_SetTextureStageState(m_pDirect3DDevice, 0, D3DTSS_ALPHAOP, D3DTOP_DISABLE);  


这些代码设定的属性值确实太多，我自己也没能一一研究。这些属性不设置的话也可以显示，可能会影响到显示的效果，在这里不再详细叙述。

3) 基于Device创建一个Texture

通过IDirect3DDevice9接口的CreateTexture()方法可以创建一个Texture。CreateTexture()的函数原型如下所示：

[cpp]  view plain copy
 
  1. HRESULT CreateTexture(  
  2.   UINT Width,  
  3.   UINT Height,  
  4.   UINT Levels,  
  5.   DWORD Usage,  
  6.   D3DFORMAT Format,  
  7.   D3DPOOL Pool,  
  8.   IDirect3DTexture9 **ppTexture,  
  9.   HANDLE *pSharedHandle  
  10. );  


其中每个参数的含义如下所列：
Width：宽。
Height：高。
Levels：设为1。
Usage：可以设定一些选项。例如D3DUSAGE_SOFTWAREPROCESSING表示使用软件来进行顶点运算，不指定这个值的话，就取的是默认方式：硬件顶点运算。
Format：
Pool：D3DPOOL定义了资源对应的内存类型，例如如下几种类型。

D3D3POOL_DEFAULT：默认值，表示存在于显卡的显存中。
D3D3POOL_MANAGED：由Direct3D自由调度内存的位置（显存或者缓存中）。
D3DPOOL_SYSTEMMEM： 表示位于内存中。

ppTexture：得到的Texture。
pSharedHandle：可以设为NULL。
下面给出一个使用Direct3D播放视频的时候CreateTexture()的典型代码。

[cpp]  view plain copy
 
  1. IDirect3DDevice9 * m_pDirect3DDevice;  
  2. IDirect3DTexture9 *m_pDirect3DTexture;  
  3. …  
  4. m_pDirect3DDevice->CreateTexture(lWidth, lHeight, 1, D3DUSAGE_SOFTWAREPROCESSING,  
  5.         D3DFMT_X8R8G8B8,  
  6.         D3DPOOL_MANAGED,  
  7.         &m_pDirect3DTexture, NULL );  

 

4) 基于Device创建一个VertexBuffer

通过IDirect3DDevice9接口的CreateVertexBuffer()方法即可创建一个VertexBuffer。CreateVertexBuffer ()的函数原型如下所示：

[cpp]  view plain copy
 
  1. HRESULT IDirect3DDevice9::CreateVertexBuffer(  
  2. UINT Length,  
  3. DWORD Usage,  
  4. DWORD FVF,  
  5. D3DPOOL Pool,  
  6. IDirectVertexBuffer9** ppVertexBuffer,  
  7. HANDLE pHandle  
  8. );  


其中每个参数的含义如下所列：
Length：指定顶点缓冲区的大小,以字节为单位
Usage：指定顶点缓冲区属性（上文已经说过）。它可以设为0或几种值的组合，例如D3DUSAGE_SOFTWAREPROCESSING表示使用软件进行顶点计算,否则使用硬件进行顶点计算
FVF：表示顶点的灵活顶点格式，可以设置D3DFVF_DIFFUSE，D3DFVF_XYZRHW等值。注意其中有些值不能同时使用。
Pool：D3DPOOL定义了资源对应的内存类型，例如如下几种类型（上文已经说过）。

D3D3POOL_DEFAULT: 默认值，表示顶点缓存存在于显卡的显存中。
D3D3POOL_MANAGED：由Direct3D自由调度顶点缓冲区内存的位置（显存或者缓存中）。
D3DPOOL_SYSTEMMEM： 表示顶点缓存位于内存中。

ppVertexBuffer：是一个指向创建的顶点缓冲区地址的指针,用于返回顶点缓冲区的地址
pSharedHandle：是一个保留参数,可设置为NULL
下面给出一个使用Direct3D播放视频的时候CreateVertexBuffer ()的典型代码。

[cpp]  view plain copy
 
  1. IDirect3DDevice9 * m_pDirect3DDevice;  
  2. IDirect3DVertexBuffer9 *m_pDirect3DVertexBuffer;  
  3. typedef struct  
  4. {  
  5.     FLOAT       x,y,z;  
  6.     FLOAT       rhw;   
  7.     D3DCOLOR    diffuse;   
  8.     FLOAT       tu, tv;   
  9. } CUSTOMVERTEX;  
  10. #define D3DFVF_CUSTOMVERTEX (D3DFVF_XYZRHW|D3DFVF_DIFFUSE|D3DFVF_TEX1)  
  11. …  
  12. m_pDirect3DDevice->CreateVertexBuffer( 4 * sizeof(CUSTOMVERTEX),  
  13.         0, D3DFVF_CUSTOMVERTEX, D3DPOOL_DEFAULT, &m_pDirect3DVertexBuffer, NULL );  


上述代码中用到了一个名为CUSTOMVERTEX自定义的灵活顶点格式(Flexible Vertex Format简称FVF)。前文已经介绍，这里不再重复。


5) 填充VertexBuffer
通过IDirect3DVertexBuffer9接口的Lock()函数可以锁定VertexBuffer并且填充其中的数据。数据填充完毕后，可以调用IDirect3DVertexBuffer9d的Unlock()方法解锁。
其中每个参数的含义如下所列：
OffsetToLock： 指定加锁内存起始地址。
SizeToLock：指定加锁内存大小。
ppbData： 用于返回内存指针地址。
Flags： 表示顶点缓冲区的加锁属性。
下面给出一个使用Direct3D播放视频的时候IDirect3DVertexBuffer9的Lock ()的典型代码。其中的CUSTOMVERTEX是自定义的灵活顶点格式。

[cpp]  view plain copy
 
  1. //Flexible Vertex Format, FVF  
  2. typedef struct{  
  3.     FLOAT       x,y,z;      // vertex untransformed position  
  4.     FLOAT       rhw;        // eye distance  
  5.     D3DCOLOR    diffuse;    // diffuse color  
  6.     FLOAT       tu, tv;     // texture relative coordinates  
  7. } CUSTOMVERTEX;  
  8. IDirect3DVertexBuffer9 *m_pDirect3DVertexBuffer;  
  9. …  
  10. CUSTOMVERTEX *pVertex;  
  11.     lRet = m_pDirect3DVertexBuffer->Lock( 0, 4 * sizeof(CUSTOMVERTEX), (void**)&pVertex, 0 );  


加锁之后，直接通过赋值的方法设定自定义的定点数组就可以了，例如上文中的pVertex中的数据的设置如下所示。其中lWidth和lHeight分别代表了视频显示窗口的宽和高。

[cpp]  view plain copy
 
  1. pVertex[0].x       = 0.0f;       // left  
  2. pVertex[0].y       = 0.0f;       // top  
  3. pVertex[0].z       = 0.0f;  
  4. pVertex[0].diffuse = D3DCOLOR_ARGB(255, 255, 255, 255);  
  5. pVertex[0].rhw     = 1.0f;  
  6. pVertex[0].tu      = 0.0f;  
  7. pVertex[0].tv      = 0.0f;  
  8.   
  9.   
  10. pVertex[1].x       = lWidth;    // right  
  11. pVertex[1].y       = 0.0f;       // top  
  12. pVertex[1].z       = 0.0f;  
  13. pVertex[1].diffuse = D3DCOLOR_ARGB(255, 255, 255, 255);  
  14. pVertex[1].rhw     = 1.0f;  
  15. pVertex[1].tu      = 1.0f;  
  16. pVertex[1].tv      = 0.0f;  
  17.   
  18.   
  19. pVertex[2].x       = lWidth;    // right  
  20. pVertex[2].y       = lHeight;   // bottom  
  21. pVertex[2].z       = 0.0f;  
  22. pVertex[2].diffuse = D3DCOLOR_ARGB(255, 255, 255, 255);  
  23. pVertex[2].rhw     = 1.0f;  
  24. pVertex[2].tu      = 1.0f;  
  25. pVertex[2].tv      = 1.0f;  
  26.   
  27.   
  28. pVertex[3].x       = 0.0f;       // left  
  29. pVertex[3].y       = lHeight;   // bottom  
  30. pVertex[3].z       = 0.0f;  
  31. pVertex[3].diffuse = D3DCOLOR_ARGB(255, 255, 255, 255);  
  32. pVertex[3].rhw     = 1.0f;  
  33. pVertex[3].tu      = 0.0f;  
  34. pVertex[3].tv      = 1.0f;  


从代码中可以看出，x、y分别指定了映射后的坐标。z在这里没有用到。Diffuse在这里设定的是白色。tu、tv分别指定了纹理坐标。

数据设定完后，调用Unlock()即可。

[cpp]  view plain copy
 
  1. m_pDirect3DVertexBuffer->Unlock();  

填充VertexBuffer完成之后，初始化工作就完成了。

 

3. 循环显示画面

循环显示画面就是一帧一帧的读取YUV/RGB数据，然后显示在屏幕上的过程，下面详述一下步骤。

1) 清理

在显示之前，通过IDirect3DDevice9接口的Clear()函数可以清理Surface。个人感觉在播放视频的时候用不用这个函数都可以。因为视频本身就是全屏显示的。显示下一帧的时候自然会覆盖前一帧的所有内容。Clear()函数的原型如下所示：

[cpp]  view plain copy
 
  1. HRESULT Clear(  
  2.  DWORD Count,  
  3.  const D3DRECT *pRects,  
  4.  DWORD Flags,  
  5.  D3DCOLOR Color,  
  6.  float Z,  
  7.  DWORD Stencil  
  8. );  


其中每个参数的含义如下所列：
Count：说明你要清空的矩形数目。如果要清空的是整个客户区窗口，则设为0。 
 pRects：这是一个D3DRECT结构体的一个数组，如果count中设为5，则这个数组中就得有5个元素。 
 Flags：一些标记组合。只有三种标记：D3DCLEAR_STENCIL , D3DCLEAR_TARGET , D3DCLEAR_ZBUFFER。 
 Color：清除目标区域所使用的颜色。 
 float：设置Z缓冲的Z初始值。Z缓冲还没研究过，不再记录。 
 Stencil：这个在播放视频的时候也没有用到，不再记录。
下面给出一个使用Direct3D播放视频的时候IDirect3DDevice9的Clear()的典型代码。

[cpp]  view plain copy
 
  1. IDirect3DDevice9 *m_pDirect3DDevice;  
  2. m_pDirect3DDevice->Clear(0, NULL, D3DCLEAR_TARGET, D3DCOLOR_XRGB(0, 0, 255), 1.0f, 0);  

上述代码运行完后，屏幕会变成蓝色（R,G,B取值为0,0,255）。


2) 一帧视频数据拷贝至Texture

操作Texture的像素数据，需要使用IDirect3DTexture9的LockRect()和UnlockRect()方法。使用LockRect()锁定纹理上的一块矩形区域，该矩形区域被映射成像素数组。利用函数返回的D3DLOCKED_RECT结构体，可以对数组中的像素进行直接存取。LockRect()函数原型如下。

[cpp]  view plain copy
 
  1. HRESULT LockRect(  
  2.   UINT Level,  
  3.   D3DLOCKED_RECT *pLockedRect,  
  4.   const RECT *pRect,  
  5.   DWORD Flags  
  6. );  


每个参数的意义如下：
Level: 指定了锁定的纹理是哪一层。
pLockedRect: 返回的一个D3DLOCKED_RECT结构体用于描述被锁定的区域。
pRect: 使用一个 RECT结构体指定需要锁定的区域。如果为NULL的话就是整个区域。
Flags: 暂时还没有细研究。
其中D3DLOCKED_RECT结构体定义如下所示。

[cpp]  view plain copy
 
  1. typedef struct _D3DLOCKED_RECT  
  2. {  
  3.     INT                 Pitch;  
  4.     void*               pBits;  
  5. } D3DLOCKED_RECT;  


两个参数的意义如下：
Pitch：Texture中一行像素的数据量（Bytes）。注意，这个值和设备有关，一般为4的整数倍，可能会大于一行像素的数据量。大于的那部分是无效的数据。
pBits：指向被锁定的数据。

结构如下图所示。

使用LockRect()函数之后，就可以对其返回的D3DLOCKED_RECT中的数据进行操作了。例如memcpy()等。操作完成后，调用UnlockRect()方法。

下面给出一个使用Direct3D播放视频的时候IDirect3DTexture9的数据拷贝的典型代码。

 

[cpp]  view plain copy
 
  1. IDirect3DTexture9 *m_pDirect3DTexture;  
  2. ...  
  3. D3DLOCKED_RECT d3d_rect;  
  4.   
  5.   
  6. // Copy pixel data to texture  
  7.     m_pDirect3DTexture->LockRect( 0, &d3d_rect, 0, 0 );  
  8.     byte *pSrc = buffer;  
  9.     byte *pDest = (byte *)d3d_rect.pBits;  
  10.     int stride = d3d_rect.Pitch;  
  11.   
  12.   
  13.     int pixel_w_size=pixel_w*bpp/8;  
  14.     for(unsigned long i=0; i< pixel_h; i++){  
  15.         memcpy( pDest, pSrc, pixel_w_size );  
  16.         pDest += stride;  
  17.         pSrc += pixel_w_size;  
  18.     }  
  19.   
  20.   
  21.     m_pDirect3DTexture->UnlockRect( 0 );  

 

从代码中可以看出，是一行一行的拷贝像素数据的。


3) 开始一个Scene
使用IDirect3DDevice9接口的BeginScene()开始一个Scene。Direct3D中规定所有绘制方法都必须在BeginScene()和EndScene()之间完成。这个函数没有参数。

4) Device设置需要启用的Texture

使用IDirect3DDevice9接口的SetTexture ()设置我们当前需要启用的纹理。SetTexture()函数的原型如下。

 

[cpp]  view plain copy
 
  1. HRESULT SetTexture( DWORD Sampler,IDirect3DBaseTexture9 *pTexture );  

其中每个参数的含义如下所列：

 

Sampler：指定了应用的纹理是哪一层。Direct3D中最多可以设置8层纹理，所以这个参数取值就在0~7之间了。
pTexture：表示我们将要启用的纹理的IDirect3DBaseTexture9接口对象。
下面给出一个使用Direct3D播放视频的时候IDirect3DDevice9的SetTexture ()的典型代码。

[cpp]  view plain copy
 
  1. IDirect3DDevice9 *m_pDirect3DDevice;  
  2. IDirect3DTexture9 *m_pDirect3DTexture;  
  3. …  
  4. m_pDirect3DDevice->SetTexture( 0, m_pDirect3DTexture );  

 

5) Device绑定VertexBuffer

使用IDirect3DDevice9接口的SetStreamSource()绑定VertexBuffer。SetStreamSource()方法把一个顶点缓存绑定到一个设备数据流，这样就在顶点数据和一个顶点数据流端口之间建立了联系。

而后使用SetFVF()设置顶点格式。即告知系统如何解读VertexBuffer中的数据。
SetStreamSource()函数的原型如下。

[cpp]  view plain copy
 
  1. HRESULT SetStreamSource(  
  2.   UINT StreamNumber,  
  3.   IDirect3DVertexBuffer9 *pStreamData,  
  4.   UINT OffsetInBytes,  
  5.   UINT Stride  
  6. );  


几个参数的定义如下：
StreamNumber：指定数据流。
pStreamData：指向IDirect3DVertexBuffer9的指针，用于绑定数据流。
OffsetInBytes：还没有研究该字段。
Stride：单位Vertex数据的大小。
下面给出一个使用Direct3D播放视频的时候IDirect3DDevice9的SetStreamSource()和SetFVF()的典型代码。

[cpp]  view plain copy
 
  1. IDirect3DDevice9 *m_pDirect3DDevice;  
  2. //Flexible Vertex Format, FVF  
  3. typedef struct  
  4. {  
  5.     FLOAT       x,y,z;      // vertex untransformed position  
  6.     FLOAT       rhw;        // eye distance  
  7.     D3DCOLOR    diffuse;    // diffuse color  
  8.     FLOAT       tu, tv;     // texture relative coordinates  
  9. } CUSTOMVERTEX;  
  10. // Custom flexible vertex format (FVF), which describes custom vertex structure  
  11. #define D3DFVF_CUSTOMVERTEX (D3DFVF_XYZRHW|D3DFVF_DIFFUSE|D3DFVF_TEX1)  
  12. //...  
  13. m_pDirect3DDevice->SetStreamSource( 0, m_pDirect3DVertexBuffer,0, sizeof(CUSTOMVERTEX) );  
  14. m_pDirect3DDevice->SetFVF( D3DFVF_CUSTOMVERTEX );  


6) 渲染
使用IDirect3DDevice9接口的DrawPrimitive()进行渲染。渲染完成后，就可以使用EndScene()结束这个Scene了。DrawPrimitive()函数原型如下。

[cpp]  view plain copy
 
  1. HRESULT DrawPrimitive(  
  2.   D3DPRIMITIVETYPE PrimitiveType,  
  3.   UINT StartVertex,  
  4.   UINT PrimitiveCount  
  5. );  


几个参数的意义如下：
PrimitiveType：一个标记，它通知 Direct3D 以哪种方式渲染物件。
StartVertex：第一个顶点的索引。
PrimitiveCount：通知绘制的物件的数目。
PrimitiveType有下面选项（注：这个地方不太好理解，直接使用D3DPT_TRIANGLEFAN也可以）

D3DPT_POINTLIST 
点列表：将一连串的顶点作为像素进行绘制
D3DPT_LINELIST 
线列表：彼此孤立（彼此没有发生连接）的一些直线
D3DPT_LINESTRIP
线带：一连串连接的直线。每条直线都是从前一个顶点到当前顶点绘制而成，很像连接点
D3DPT_TRIANGLELIST
三角形列表：这个设置比较简单，索引区每隔三个一个三角形。 
D3DPT_TRIANGLESTRIP
三角形带：索引区中每三个一个三角形，前一个三角形的后两个顶点和后一个三角形的前两个顶点重合。即绘制的第一个三边形使用3个顶点，后面绘制的每一个三角形只使用一个额外的顶点。
D3DPT_TRIANGLEFAN 
三角扇形：索引区中第一个点为公共顶点，后面依次展开，每两个点和公共定点组成三角形。
下图显示了几种不同的渲染物件的方式。图中分别按顺序1,3,5,7,9…渲染这些点。
 

对应的代码如下所示

[cpp]  view plain copy
 
  1. //从第0个点开始用D3DPT_POINTLIST模式渲染6个点  
  2. m_pDirect3DDevice->DrawPrimitive(D3DPT_POINTLIST,0,6);  
  3. //从第0个点开始用D3DPT_LINELIST 模式渲染3条线  
  4. m_pDirect3DDevice->DrawPrimitive(D3DPT_LINELIST,0,3);  
  5. //从第0个点开始用D3DPT_TRIANGLESTRIP 模式渲染4个三角形  
  6. m_pDirect3DDevice->DrawPrimitive(D3DPT_TRIANGLESTRIP,0,4);  
  7. //从第0个点开始用D3DPT_TRIANGLEFAN模式渲染3个三角形  
  8. m_pDirect3DDevice->DrawPrimitive(D3DPT_TRIANGLEFAN,0,3);  
  9. //从第0个点开始用D3DPT_LINESTRIP 模式渲染5条线  
  10. m_pDirect3DDevice->DrawPrimitive(D3DPT_LINELIST,0,5);  
  11. //从第0个点开始用D3DPT_TRIANGLELIST 模式渲染2个三角形  
  12. m_pDirect3DDevice->DrawPrimitive(D3DPT_TRIANGLELIST,0,2);  

下面给出一个使用Direct3D播放视频的时候IDirect3DDevice9的DrawPrimitive ()的典型代码。

[cpp]  view plain copy
 
  1. IDirect3DDevice9 *m_pDirect3DDevice;  
  2. …  
  3. m_pDirect3DDevice->DrawPrimitive( D3DPT_TRIANGLEFAN, 0, 2 );  



7) 显示
使用IDirect3DDevice9接口的Present ()显示结果。Present ()的原型如下。

[cpp]  view plain copy
 
  1. HRESULT Present(  
  2.    const RECT *pSourceRect,  
  3.    const RECT *pDestRect,  
  4.    HWND hDestWindowOverride,  
  5.    const RGNDATA *pDirtyRegion  
  6.   );  


几个参数的意义如下：
pSourceRect：你想要显示的后备缓冲区的一个矩形区域。设为NULL则表示要把整个后备缓冲区的内容都显示。 
pDestRect：表示一个显示区域。设为NULL表示整个客户显示区。 
hDestWindowOverride：你可以通过它来把显示的内容显示到不同的窗口去。设为NULL则表示显示到主窗口。
pDirtyRegion：高级使用。一般设为NULL
下面给出一个使用Direct3D播放视频的时候IDirect3DDevice9的Present ()的典型代码。可见直接全部设置为NULL就可以了。

[cpp]  view plain copy
 
  1. IDirect3DDevice9 *m_pDirect3DDevice;  
  2. …  
  3. m_pDirect3DDevice->Present( NULL, NULL, NULL, NULL );  



播放视频流程总结

文章至此，使用Direct3D显示YUV/RGB的全部流程就记录完毕了。最后贴一张图总结上述流程。

 

 

数据结构总结

在Direct3D播放YUV/RGB的流程中，用到了许多的数据结构，现在理一下它们之间的关系，如下图所示。

 

接口如下所列

IDirect3D9

IDirect3DDevice9
IDirect3DTexture9
IDirect3DVertexBuffer9

 

结构体如下所列

D3DCAPS9

D3DDISPLAYMODE
D3DPRESENT_PARAMETERS
D3DLOCKED_RECT

CUSTOMVERTEX

代码

完成的代码其实长度并不长，如下所示。

[cpp]  view plain copy
 
  1. /** 
  2.  * 最简单的Direct3D播放视频的例子(Direct3D播放RGB)[Texture] 
  3.  * Simplest Video Play Direct3D (Direct3D play RGB)[Texture] 
  4.  * 
  5.  * 雷霄骅 Lei Xiaohua 
  6.  * leixiaohua1020@126.com 
  7.  * 中国传媒大学/数字电视技术 
  8.  * Communication University of China / Digital TV Technology 
  9.  * http://blog.csdn.net/leixiaohua1020 
  10.  * 
  11.  * 本程序使用Direct3D播放RGB/YUV视频像素数据。使用D3D中的Texture渲染数据。 
  12.  * 相对于使用Surface渲染视频数据来说，使用Texture渲染视频数据功能更加灵活， 
  13.  * 但是学习起来也会相对复杂一些。 
  14.  * 
  15.  * 函数调用步骤如下： 
  16.  * 
  17.  * [初始化] 
  18.  * Direct3DCreate9()：获得IDirect3D9 
  19.  * IDirect3D9->CreateDevice()：通过IDirect3D9创建Device（设备） 
  20.  * IDirect3DDevice9->CreateTexture()：通过Device创建一个Texture（纹理）。 
  21.  * IDirect3DDevice9->CreateVertexBuffer()：通过Device创建一个VertexBuffer（顶点缓存）。 
  22.  * IDirect3DVertexBuffer9->Lock()：锁定顶点缓存。 
  23.  * memcpy()：填充顶点缓存。 
  24.  * IDirect3DVertexBuffer9->Unlock()：解锁顶点缓存。 
  25.  * 
  26.  * [循环渲染数据] 
  27.  * IDirect3DTexture9->LockRect()：锁定纹理。 
  28.  * memcpy()：填充纹理数据 
  29.  * IDirect3DTexture9->UnLockRect()：解锁纹理。 
  30.  * IDirect3DDevice9->BeginScene()：开始绘制。 
  31.  * IDirect3DDevice9->SetTexture()：设置当前要渲染的纹理。 
  32.  * IDirect3DDevice9->SetStreamSource()：绑定VertexBuffer。 
  33.  * IDirect3DDevice9->SetFVF()：设置Vertex格式。 
  34.  * IDirect3DDevice9->DrawPrimitive()：渲染。 
  35.  * IDirect3DDevice9->EndScene()：结束绘制。 
  36.  * IDirect3DDevice9->Present()：显示出来。 
  37.  * 
  38.  * This software plays RGB/YUV raw video data using Direct3D. 
  39.  * It uses Texture in D3D to render the pixel data. 
  40.  * Compared to another method (use Surface), it's more flexible 
  41.  * but a little difficult. 
  42.  * 
  43.  * The process is shown as follows: 
  44.  * 
  45.  * [Init] 
  46.  * Direct3DCreate9()：Get IDirect3D9. 
  47.  * IDirect3D9->CreateDevice()：Create a Device. 
  48.  * IDirect3DDevice9->CreateTexture()：Create a Texture. 
  49.  * IDirect3DDevice9->CreateVertexBuffer()：Create a VertexBuffer. 
  50.  * IDirect3DVertexBuffer9->Lock()：Lock VertexBuffer. 
  51.  * memcpy()：Fill VertexBuffer. 
  52.  * IDirect3DVertexBuffer9->Unlock()：UnLock VertexBuffer. 
  53.  * 
  54.  * [Loop to Render data] 
  55.  * IDirect3DTexture9->LockRect()：Lock Texture. 
  56.  * memcpy()：Fill pixel data... 
  57.  * IDirect3DTexture9->UnLockRect()：UnLock Texture. 
  58.  * IDirect3DDevice9->BeginScene()：Begin to draw. 
  59.  * IDirect3DDevice9->SetTexture()：Set current Texture. 
  60.  * IDirect3DDevice9->SetStreamSource()：Bind VertexBuffer. 
  61.  * IDirect3DDevice9->SetFVF()：Set Vertex Format. 
  62.  * IDirect3DDevice9->DrawPrimitive()：Render. 
  63.  * IDirect3DDevice9->EndScene()：End drawing. 
  64.  * IDirect3DDevice9->Present()：Show on the screen. 
  65.  */  
  66.   
  67. #include <stdio.h>  
  68. #include <tchar.h>  
  69. #include <d3d9.h>  
  70.   
  71. //Flexible Vertex Format, FVF  
  72. typedef struct  
  73. {  
  74.     FLOAT       x,y,z;        
  75.     FLOAT       rhw;          
  76.     D3DCOLOR    diffuse;      
  77.     FLOAT       tu, tv;       
  78. } CUSTOMVERTEX;  
  79.   
  80. CRITICAL_SECTION  m_critial;  
  81. HWND     m_hVideoWnd;  // 视频窗口  
  82.   
  83. IDirect3D9 *m_pDirect3D9= NULL;  
  84. IDirect3DDevice9 *m_pDirect3DDevice= NULL;  
  85. IDirect3DTexture9 *m_pDirect3DTexture= NULL;  
  86. IDirect3DVertexBuffer9 *m_pDirect3DVertexBuffer= NULL;  
  87.   
  88. // Custom flexible vertex format (FVF), which describes custom vertex structure  
  89. #define D3DFVF_CUSTOMVERTEX (D3DFVF_XYZRHW|D3DFVF_DIFFUSE|D3DFVF_TEX1)  
  90.   
  91.   
  92. //Select one of the Texture mode (Set '1'):  
  93. #define TEXTURE_DEFAULT 0  
  94. //Rotate the texture  
  95. #define TEXTURE_ROTATE  1  
  96. //Show half of the Texture  
  97. #define TEXTURE_HALF    0  
  98.   
  99. //Width, Height  
  100. const int screen_w=500,screen_h=500;  
  101. const int pixel_w=320,pixel_h=180;  
  102. FILE *fp=NULL;  
  103. //Bit per Pixel  
  104. const int bpp=32;  
  105.   
  106. unsigned char buffer[pixel_w*pixel_h*bpp/8];  
  107.   
  108.   
  109. void Cleanup()  
  110. {  
  111.     EnterCriticalSection(&m_critial);  
  112.     if(m_pDirect3DVertexBuffer)  
  113.         m_pDirect3DVertexBuffer->Release();  
  114.     if(m_pDirect3DTexture)  
  115.         m_pDirect3DTexture->Release();  
  116.     if(m_pDirect3DDevice)  
  117.         m_pDirect3DDevice->Release();  
  118.     if(m_pDirect3D9)  
  119.         m_pDirect3D9->Release();  
  120.     LeaveCriticalSection(&m_critial);  
  121. }  
  122.   
  123.   
  124. int InitD3D( HWND hwnd, unsigned long lWidth, unsigned long lHeight )  
  125. {  
  126.     HRESULT lRet;  
  127.     InitializeCriticalSection(&m_critial);  
  128.   
  129.     Cleanup();  
  130.   
  131.     EnterCriticalSection(&m_critial);  
  132.     // Create IDirect3D  
  133.     m_pDirect3D9 = Direct3DCreate9( D3D_SDK_VERSION );  
  134.     if ( m_pDirect3D9 == NULL ){  
  135.         LeaveCriticalSection(&m_critial);  
  136.         return -1;  
  137.     }  
  138.   
  139.     if ( lWidth == 0 || lHeight == 0 ){  
  140.         RECT rt;  
  141.         GetClientRect( hwnd, &rt );  
  142.         lWidth = rt.right-rt.left;  
  143.         lHeight = rt.bottom-rt.top;  
  144.     }  
  145.       
  146.     /* 
  147.     //Get Some Info 
  148.     //Retrieves device-specific information about a device. 
  149.     D3DCAPS9 d3dcaps; 
  150.     lRet=m_pDirect3D9->GetDeviceCaps(D3DADAPTER_DEFAULT,D3DDEVTYPE_HAL,&d3dcaps); 
  151.     int hal_vp = 0; 
  152.     if( d3dcaps.DevCaps & D3DDEVCAPS_HWTRANSFORMANDLIGHT ){ 
  153.         //save in hal_vp the fact that hardware vertex processing is supported. 
  154.         hal_vp = D3DCREATE_HARDWARE_VERTEXPROCESSING; 
  155.     } 
  156.     // get D3DDISPLAYMODE 
  157.     D3DDISPLAYMODE d3dDisplayMode; 
  158.     lRet = m_pDirect3D9->GetAdapterDisplayMode( D3DADAPTER_DEFAULT, &d3dDisplayMode ); 
  159.     if ( FAILED(lRet) ){ 
  160.         LeaveCriticalSection(&m_critial); 
  161.         return -1; 
  162.     } 
  163.     */  
  164.   
  165.     //D3DPRESENT_PARAMETERS Describes the presentation parameters.  
  166.     D3DPRESENT_PARAMETERS d3dpp;  
  167.     ZeroMemory( &d3dpp, sizeof(d3dpp) );  
  168.     d3dpp.BackBufferWidth = lWidth;     
  169.     d3dpp.BackBufferHeight = lHeight;  
  170.     d3dpp.BackBufferFormat = D3DFMT_UNKNOWN;      
  171.     //d3dpp.BackBufferFormat = D3DFMT_X8R8G8B8;  
  172.     d3dpp.BackBufferCount        = 1;  
  173.     d3dpp.MultiSampleType   = D3DMULTISAMPLE_NONE;    
  174.     d3dpp.SwapEffect  = D3DSWAPEFFECT_COPY;   
  175.     d3dpp.hDeviceWindow  = hwnd;  
  176.     d3dpp.Windowed   = TRUE;  
  177.     d3dpp.EnableAutoDepthStencil = FALSE;  
  178.     d3dpp.Flags = D3DPRESENTFLAG_VIDEO;  
  179.     d3dpp.PresentationInterval   = D3DPRESENT_INTERVAL_DEFAULT;  
  180.   
  181.     m_hVideoWnd = hwnd;  
  182.   
  183.     //Creates a device to represent the display adapter.  
  184.     //Adapter:      Ordinal number that denotes the display adapter. D3DADAPTER_DEFAULT is always the primary display   
  185.     //D3DDEVTYPE:   D3DDEVTYPE_HAL((Hardware Accelerator), or D3DDEVTYPE_SW(SoftWare)  
  186.     //BehaviorFlags：D3DCREATE_SOFTWARE_VERTEXPROCESSING, or D3DCREATE_HARDWARE_VERTEXPROCESSING  
  187.     lRet = m_pDirect3D9->CreateDevice( D3DADAPTER_DEFAULT, D3DDEVTYPE_HAL, NULL,  
  188.         D3DCREATE_SOFTWARE_VERTEXPROCESSING|D3DCREATE_MULTITHREADED, &d3dpp, &m_pDirect3DDevice );  
  189.   
  190.     /* 
  191.     //Set some property 
  192.     //SetSamplerState() 
  193.     // Texture coordinates outside the range [0.0, 1.0] are set 
  194.     // to the texture color at 0.0 or 1.0, respectively. 
  195.     IDirect3DDevice9_SetSamplerState(m_pDirect3DDevice, 0, D3DSAMP_ADDRESSU, D3DTADDRESS_CLAMP); 
  196.     IDirect3DDevice9_SetSamplerState(m_pDirect3DDevice, 0, D3DSAMP_ADDRESSV, D3DTADDRESS_CLAMP); 
  197.     // Set linear filtering quality 
  198.     IDirect3DDevice9_SetSamplerState(m_pDirect3DDevice, 0, D3DSAMP_MINFILTER, D3DTEXF_LINEAR); 
  199.     IDirect3DDevice9_SetSamplerState(m_pDirect3DDevice, 0, D3DSAMP_MAGFILTER, D3DTEXF_LINEAR); 
  200.     //SetRenderState() 
  201.     //set maximum ambient light 
  202.     IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_AMBIENT, D3DCOLOR_XRGB(255,255,0)); 
  203.     // Turn off culling 
  204.     IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_CULLMODE, D3DCULL_NONE); 
  205.     // Turn off the zbuffer 
  206.     IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_ZENABLE, D3DZB_FALSE); 
  207.     // Turn off lights 
  208.     IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_LIGHTING, FALSE); 
  209.     // Enable dithering 
  210.     IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_DITHERENABLE, TRUE); 
  211.     // disable stencil 
  212.     IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_STENCILENABLE, FALSE); 
  213.     // manage blending 
  214.     IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_ALPHABLENDENABLE, TRUE); 
  215.     IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_SRCBLEND,D3DBLEND_SRCALPHA); 
  216.     IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_DESTBLEND,D3DBLEND_INVSRCALPHA); 
  217.     IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_ALPHATESTENABLE,TRUE); 
  218.     IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_ALPHAREF, 0x10); 
  219.     IDirect3DDevice9_SetRenderState(m_pDirect3DDevice, D3DRS_ALPHAFUNC,D3DCMP_GREATER); 
  220.     // Set texture states 
  221.     IDirect3DDevice9_SetTextureStageState(m_pDirect3DDevice, 0, D3DTSS_COLOROP,D3DTOP_MODULATE); 
  222.     IDirect3DDevice9_SetTextureStageState(m_pDirect3DDevice, 0, D3DTSS_COLORARG1,D3DTA_TEXTURE); 
  223.     IDirect3DDevice9_SetTextureStageState(m_pDirect3DDevice, 0, D3DTSS_COLORARG2,D3DTA_DIFFUSE); 
  224.     // turn off alpha operation 
  225.     IDirect3DDevice9_SetTextureStageState(m_pDirect3DDevice, 0, D3DTSS_ALPHAOP, D3DTOP_DISABLE); 
  226.     */  
  227.   
  228.   
  229.     //Creates a texture resource.  
  230.     //Usage:   
  231.     //D3DUSAGE_SOFTWAREPROCESSING: If this flag is used, vertex processing is done in software.   
  232.     //                          If this flag is not used, vertex processing is done in hardware.  
  233.     //D3DPool:   
  234.     //D3D3POOL_DEFAULT: Resources are placed in the hardware memory (Such as video memory)  
  235.     //D3D3POOL_MANAGED: Resources are placed automatically to device-accessible memory as needed.  
  236.     //D3DPOOL_SYSTEMMEM:  Resources are placed in system memory.  
  237.   
  238.     lRet = m_pDirect3DDevice->CreateTexture(lWidth, lHeight, 1, D3DUSAGE_SOFTWAREPROCESSING,  
  239.         D3DFMT_X8R8G8B8,  
  240.         D3DPOOL_MANAGED,  
  241.         &m_pDirect3DTexture, NULL );  
  242.   
  243.   
  244.     if ( FAILED(lRet) ){  
  245.         LeaveCriticalSection(&m_critial);  
  246.         return -1;  
  247.     }  
  248.     // Create Vertex Buffer  
  249.     lRet = m_pDirect3DDevice->CreateVertexBuffer( 4 * sizeof(CUSTOMVERTEX),  
  250.         0, D3DFVF_CUSTOMVERTEX, D3DPOOL_DEFAULT, &m_pDirect3DVertexBuffer, NULL );  
  251.     if ( FAILED(lRet) ){  
  252.         LeaveCriticalSection(&m_critial);  
  253.         return -1;  
  254.     }  
  255.   
  256. #if TEXTURE_HALF  
  257.     CUSTOMVERTEX vertices[] ={  
  258.         {0.0f,      0.0f,       0.0f,   1.0f,D3DCOLOR_ARGB(255, 255, 255, 255),0.0f,0.0f},  
  259.         {lWidth,    0.0f,       0.0f,   1.0f,D3DCOLOR_ARGB(255, 255, 255, 255),0.5f,0.0f},  
  260.         {lWidth,    lHeight,    0.0f,   1.0f,D3DCOLOR_ARGB(255, 255, 255, 255),0.5f,1.0f},  
  261.         {0.0f,      lHeight,    0.0f,   1.0f,D3DCOLOR_ARGB(255, 255, 255, 255),0.0f,1.0f}  
  262.     };  
  263. #elif TEXTURE_ROTATE  
  264.     //Rotate Texture?  
  265.     CUSTOMVERTEX vertices[] ={  
  266.         {lWidth/4,      0.0f,       0.0f,   1.0f,D3DCOLOR_ARGB(255, 255, 255, 255),0.0f,0.0f},  
  267.         {lWidth,        lHeight/4,  0.0f,   1.0f,D3DCOLOR_ARGB(255, 255, 255, 255),1.0f,0.0f},  
  268.         {lWidth*3/4,    lHeight,    0.0f,   1.0f,D3DCOLOR_ARGB(255, 255, 255, 255),1.0f,1.0f},  
  269.         {0.0f,          lHeight*3/4,0.0f,   1.0f,D3DCOLOR_ARGB(255, 255, 255, 255),0.0f,1.0f}  
  270.     };  
  271. #else  
  272.     CUSTOMVERTEX vertices[] ={  
  273.         {0.0f,      0.0f,       0.0f,   1.0f,D3DCOLOR_ARGB(255, 255, 255, 255),0.0f,0.0f},  
  274.         {lWidth,    0.0f,       0.0f,   1.0f,D3DCOLOR_ARGB(255, 255, 255, 255),1.0f,0.0f},  
  275.         {lWidth,    lHeight,    0.0f,   1.0f,D3DCOLOR_ARGB(255, 255, 255, 255),1.0f,1.0f},  
  276.         {0.0f,      lHeight,    0.0f,   1.0f,D3DCOLOR_ARGB(255, 255, 255, 255),0.0f,1.0f}  
  277.     };  
  278. #endif  
  279.   
  280.   
  281.     // Fill Vertex Buffer  
  282.     CUSTOMVERTEX *pVertex;  
  283.     lRet = m_pDirect3DVertexBuffer->Lock( 0, 4 * sizeof(CUSTOMVERTEX), (void**)&pVertex, 0 );  
  284.     if ( FAILED(lRet) ){  
  285.         LeaveCriticalSection(&m_critial);  
  286.         return -1;  
  287.     }  
  288.     memcpy(pVertex, vertices, sizeof(vertices));  
  289.   
  290.     m_pDirect3DVertexBuffer->Unlock();  
  291.     LeaveCriticalSection(&m_critial);  
  292.     return 0;  
  293. }  
  294.   
  295.   
  296. bool Render()  
  297. {  
  298.     LRESULT lRet;  
  299.     //Read Data  
  300.     //RGB  
  301.     if (fread(buffer, 1, pixel_w*pixel_h*bpp/8, fp) != pixel_w*pixel_h*bpp/8){  
  302.         // Loop  
  303.         fseek(fp, 0, SEEK_SET);  
  304.         fread(buffer, 1, pixel_w*pixel_h*bpp/8, fp);  
  305.     }  
  306.   
  307.     if(buffer == NULL || m_pDirect3DDevice == NULL)   
  308.         return false;  
  309.     //Clears one or more surfaces  
  310.     lRet = m_pDirect3DDevice->Clear(0, NULL, D3DCLEAR_TARGET,  
  311.         D3DCOLOR_XRGB(0, 255, 0), 1.0f, 0);  
  312.   
  313.     D3DLOCKED_RECT d3d_rect;  
  314.     //Locks a rectangle on a texture resource.  
  315.     //And then we can manipulate pixel data in it.  
  316.     lRet = m_pDirect3DTexture->LockRect( 0, &d3d_rect, 0, 0 );  
  317.     if ( FAILED(lRet) ){  
  318.         return false;  
  319.     }  
  320.     // Copy pixel data to texture  
  321.     byte *pSrc = buffer;  
  322.     byte *pDest = (byte *)d3d_rect.pBits;  
  323.     int stride = d3d_rect.Pitch;  
  324.   
  325.     int pixel_w_size=pixel_w*bpp/8;  
  326.     for(unsigned long i=0; i< pixel_h; i++){  
  327.         memcpy( pDest, pSrc, pixel_w_size );  
  328.         pDest += stride;  
  329.         pSrc += pixel_w_size;  
  330.     }  
  331.   
  332.     m_pDirect3DTexture->UnlockRect( 0 );  
  333.   
  334.     //Begin the scene  
  335.     if ( FAILED(m_pDirect3DDevice->BeginScene()) ){  
  336.         return false;  
  337.     }  
  338.   
  339.     lRet = m_pDirect3DDevice->SetTexture( 0, m_pDirect3DTexture );  
  340.   
  341.       
  342.     //Binds a vertex buffer to a device data stream.  
  343.     m_pDirect3DDevice->SetStreamSource( 0, m_pDirect3DVertexBuffer,  
  344.         0, sizeof(CUSTOMVERTEX) );  
  345.     //Sets the current vertex stream declaration.  
  346.     lRet = m_pDirect3DDevice->SetFVF( D3DFVF_CUSTOMVERTEX );  
  347.     //Renders a sequence of nonindexed, geometric primitives of the   
  348.     //specified type from the current set of data input streams.  
  349.     m_pDirect3DDevice->DrawPrimitive( D3DPT_TRIANGLEFAN, 0, 2 );  
  350.     m_pDirect3DDevice->EndScene();  
  351.     //Presents the contents of the next buffer in the sequence of back   
  352.     //buffers owned by the device.  
  353.     m_pDirect3DDevice->Present( NULL, NULL, NULL, NULL );  
  354.     return true;  
  355. }  
  356.   
  357.   
  358. LRESULT WINAPI MyWndProc(HWND hwnd, UINT msg, WPARAM wparma, LPARAM lparam)  
  359. {  
  360.     switch(msg){  
  361.     case WM_DESTROY:  
  362.         Cleanup();  
  363.         PostQuitMessage(0);  
  364.         return 0;  
  365.     }  
  366.     return DefWindowProc(hwnd, msg, wparma, lparam);  
  367. }  
  368.   
  369. int WINAPI WinMain( __in HINSTANCE hInstance, __in_opt HINSTANCE hPrevInstance, __in LPSTR lpCmdLine, __in int nShowCmd )  
  370. {  
  371.     WNDCLASSEX wc;  
  372.     ZeroMemory(&wc, sizeof(wc));  
  373.   
  374.     wc.cbSize = sizeof(wc);  
  375.     wc.hbrBackground = (HBRUSH)(COLOR_WINDOW + 1);  
  376.     wc.lpfnWndProc = (WNDPROC)MyWndProc;  
  377.     wc.lpszClassName = L"D3D";  
  378.     wc.style = CS_HREDRAW | CS_VREDRAW;  
  379.   
  380.     RegisterClassEx(&wc);  
  381.   
  382.     HWND hwnd = NULL;  
  383.     hwnd = CreateWindow(L"D3D", L"Simplest Video Play Direct3D (Texture)", WS_OVERLAPPEDWINDOW, 100, 100, screen_w, screen_h, NULL, NULL, hInstance, NULL);  
  384.     if (hwnd==NULL){  
  385.         return -1;  
  386.     }  
  387.   
  388.   
  389.     if(InitD3D( hwnd, pixel_w, pixel_h)==E_FAIL){  
  390.         return -1;  
  391.     }  
  392.   
  393.     ShowWindow(hwnd, nShowCmd);  
  394.     UpdateWindow(hwnd);  
  395.   
  396.     fp=fopen("../test_bgra_320x180.rgb","rb+");  
  397.   
  398.     if(fp==NULL){  
  399.         printf("Cannot open this file.\n");  
  400.         return -1;  
  401.     }  
  402.   
  403.     MSG msg;  
  404.     ZeroMemory(&msg, sizeof(msg));  
  405.   
  406.     while (msg.message != WM_QUIT){  
  407.         //PeekMessage, not GetMessage  
  408.         if (PeekMessage(&msg, NULL, 0, 0, PM_REMOVE)){  
  409.             TranslateMessage(&msg);  
  410.             DispatchMessage(&msg);  
  411.         }  
  412.         else{  
  413.             Sleep(40);  
  414.             Render();  
  415.         }  
  416.     }  
  417.   
  418.   
  419.     UnregisterClass(L"D3D", hInstance);  
  420.     return 0;  
  421. }  



代码说明



1. 目前支持读取bgra格式的像素数据。

2. 窗口的宽高为screen_w，screen_h。像素数据的宽高为pixel_w,pixel_h。它们的定义如下。

[cpp]  view plain copy
 
  1. //Width, Height    
  2. const int screen_w=500,screen_h=500;    
  3. const int pixel_w=320,pixel_h=180;    


3. 其他要点
本程序使用的是Win32的API创建的窗口。但注意这个并不是MFC应用程序的窗口。MFC代码量太大，并不适宜用来做教程。因此使用Win32的API创建窗口。程序的入口函数是WinMain()，其中调用了CreateWindow()创建了显示视频的窗口。此外，程序中的消息循环使用的是PeekMessage()而不是GetMessage()。GetMessage()获取消息后，将消息从系统中移除，当系统无消息时，会等待下一条消息，是阻塞函数。而函数PeekMesssge()是以查看的方式从系统中获取消息，可以不将消息从系统中移除（相当于“偷看”消息），是非阻塞函数；当系统无消息时，返回FALSE，继续执行后续代码。使用PeekMessage()的好处是可以保证每隔40ms可以显示下一帧画面。


4. 通过代码前面的宏，可以选择几种不同的纹理映射方式

[cpp]  view plain copy
 
  1. //Select one of the Texture mode (Set '1'):  
  2. #define TEXTURE_DEFAULT 1  
  3. //Rotate the texture  
  4. #define TEXTURE_ROTATE  0  
  5. //Show half of the Texture  
  6. #define TEXTURE_HALF    0  


第一种是正常的映射方式，第二种是“旋转”的方式，第三种是只映射一半的方式。


5. 代码中还有很多注释的部分都是可用的代码，可以取消注释看看效果。

运行结果

下面展示一下三种纹理映射方式的结果：

（1） 正常

 

（2） “旋转”

 

（3） 一半纹理

 



下载

代码位于“Simplest Media Play”中



SourceForge项目地址：https://sourceforge.net/projects/simplestmediaplay/
CSDN下载地址：http://download.csdn.net/detail/leixiaohua1020/8054395


上述工程包含了使用各种API（Direct3D，OpenGL，GDI，DirectSound，SDL2）播放多媒体例子。其中音频输入为PCM采样数据。输出至系统的声卡播放出来。视频输入为YUV/RGB像素数据。输出至显示器上的一个窗口播放出来。
通过本工程的代码初学者可以快速学习使用这几个API播放视频和音频的技术。
一共包括了如下几个子工程：
simplest_audio_play_directsound:  使用DirectSound播放PCM音频采样数据。
simplest_audio_play_sdl2:  使用SDL2播放PCM音频采样数据。
simplest_video_play_direct3d:  使用Direct3D的Surface播放RGB/YUV视频像素数据。
simplest_video_play_direct3d_texture:使用Direct3D的Texture播放RGB视频像素数据。
simplest_video_play_gdi:  使用GDI播放RGB/YUV视频像素数据。
simplest_video_play_opengl:  使用OpenGL播放RGB/YUV视频像素数据。
simplest_video_play_opengl_texture: 使用OpenGL的Texture播放YUV视频像素数据。
simplest_video_play_sdl2:  使用SDL2播放RGB/YUV视频像素数据。

 

from:http://blog.csdn.net/leixiaohua1020/article/details/40301179

文章标签：
C++
API
缓存
编解码
存储
double2li
目录
相关文章
Hcoco_me
|
3月前
|
存储 编解码 Java
视频渲染的推荐8位YUV格式
视频渲染的推荐8位YUV格式
Hcoco_me
62 0
音视频牛哥
|
7月前
|
前端开发 Android开发 开发者
Android平台RTSP、RTMP播放端如何实现YUV或ARGB数据按设定角度旋转
做音视频RTSP或RTMP直播播放器的时候，不免会遇到这样的诉求，实时播放或快照的时候，由于前端摄像头安装角度不一定是正向，导致播放或快照的时候，视频view显示的画面是呈90° 180°甚至270°旋转的。
音视频牛哥
134 0
音视频牛哥
|
7月前
|
编解码 图形学 Android开发
如何实现RTMP或RTSP播放端回调YUV/RGB数据？
今天某乎收到个问题推荐，如何实现RTSP回调YUV数据，用于二次处理？ 正好前些年我们做RTSP和RTMP直播播放的时候，实现过相关的需求，本文就以Android为例，大概说说具体实现吧。
音视频牛哥
74 1
GIS技术杂谈
|
API
mapbox-gl：数据多样式显示
mapbox-gl：数据多样式显示
GIS技术杂谈
196 0
mapbox-gl：数据多样式显示
求索君
|
并行计算 C++
Opengl ES之YUV数据渲染
Opengl ES连载系列
求索君
131 0
码农技术君
|
前端开发
video标签自动播放视频
video标签自动播放视频
码农技术君
311 0
最美的回忆
|
内存技术
Flash中先获取flv的尺寸然后再显示的方法
最美的回忆
889 0
double2li
|
存储 API 开发工具
最简单的视音频播放示例3：Direct3D播放YUV，RGB（通过Surface）
上一篇文章记录了GDI播放视频的技术。打算接下来写两篇文章记录Direct3D（简称D3D）播放视频的技术。Direct3D应该Windows下最常用的播放视频的技术。实际上视频播放只是Direct3D的“副业”，它主要用于3D游戏制作。
double2li
2094 0
double2li
|
存储 缓存 API
最简单的视音频播放示例5：OpenGL播放RGB/YUV
本文记录OpenGL播放视频的技术。OpenGL是一个和Direct3D同一层面的技术。相比于Direct3D，OpenGL具有跨平台的优势。尽管在游戏领域，DirectX的影响力已渐渐超越OpenGL并被大多数PC游戏开发商所采用，但在专业高端绘图领域，OpenGL因为色彩准确，仍然是不能被取代的主角。
double2li
1489 0
double2li
|
存储 API C++
最简单的视音频播放示例7：SDL2播放RGB/YUV
本文记录SDL播放视频的技术。在这里使用的版本是SDL2。实际上SDL本身并不提供视音频播放的功能，它只是封装了视音频播放的底层API。在Windows平台下，SDL封装了Direct3D这类的API用于播放视频；封装了DirectSound这类的API用于播放音频。
double2li
2193 0