Direcshow中视频捕捉和参数设置报告

简介: <p align="center"><strong>Direcshow中视频捕捉和参数设置报告</strong></p><h3>1.      关于视频捕捉(About Video Capture in Dshow)</h3><p align="left">1视频捕捉Graph的构建</p><p align="left">一个能够捕捉音频或者视频的graph图都称之为捕捉graph图。捕

Direcshow中视频捕捉和参数设置报告

1.      关于视频捕捉(About Video Capture in Dshow)

1视频捕捉Graph的构建

一个能够捕捉音频或者视频的graph图都称之为捕捉graph图。捕捉graph图比一般的文件回放graph图要复杂许多,dshow提供了一个Capture Graph Builder COM组件使得捕捉graph图的生成更加简单。Capture Graph Builder提供了一个ICaptureGraphBuilder2接口,这个接口提供了一些方法用来构建和控制捕捉graph。

首先创建一个Capture Graph Builder对象和一个graph manger对象,然后用filter graph manager 作参数,调用ICaptureGraphBuilder2::SetFiltergraph来初始化Capture Graph Builder。看下面的代码把

HRESULTInitCaptureGraphBuilder(

IGraphBuilder**ppGraph, // Receives the pointer.

ICaptureGraphBuilder2**ppBuild // Receives the pointer.

)

{

if (!ppGraph|| !ppBuild)

{

returnE_POINTER;

}

IGraphBuilder*pGraph = NULL;

ICaptureGraphBuilder2*pBuild = NULL;

 // Create the Capture Graph Builder.

  HRESULT hr = CoCreateInstance(CLSID_CaptureGraphBuilder2, NULL,

  CLSCTX_INPROC_SERVER,IID_ICaptureGraphBuilder2, (void**)&pGraph);

  if (SUCCEEDED(hr))

  {

  // Create the Filter Graph Manager.

  hr = CoCreateInstance(CLSID_FilterGraph, 0, CLSCTX_INPROC_SERVER,

  IID_IGraphBuilder, (void**)&pGraph);

  if (SUCCEEDED(hr))

  {

  // Initialize the Capture Graph Builder.

  pBuild->SetFiltergraph(pGraph);

 // Return both interface pointers to thecaller.

  *ppBuild = pBuild;

  *ppGraph = pGraph; // The caller must releaseboth interfaces.

  return S_OK;

  }

  Else

  {

pBuild->Release();

}

}

 return hr; // Failed

}

2.      Direcshow中视频捕捉的Filter

Pin的种类

捕捉Filter一般都有两个或多个输出pin,他们输出的媒体类型都一样,比如预览pin和捕捉pin,因此根据媒体类型就不能很好的区别这些pin。此时就要根据pin的功能来区别每个pin了,每个pin都有一个GUID,称为pin的种类。

如果想仔细的了解pin的种类,请看后面的相关内容Workingwith Pin Categories。对于大多数的应用来说,ICaptureGraphBuilder2提供了一些函数可以自动确定pin的种类。
预览pin和捕捉pin

视频捕捉Filter都提供了预览和捕捉的输出pin,预览pin用来将视频流在屏幕上显示,捕捉pin用来将视频流写入文件。

预览pin和输出pin有下面的区别:

1 为了保证捕捉pin对视频桢流量,预览pin必要的时候可以停止。

2 经过捕捉pin的视频桢都有时间戳,但是预览pin的视频流没有时间戳。

预览pin的视频流之所以没有时间戳的原因在于filter图表管理器在视频流里加一个很小的latency,如果捕捉时间被认为就是render时间的话,视频renderFilter就认为视频流有一个小小的延迟,如果此时render filter试图连续播放的时候,就会丢桢。去掉时间戳就保证了视频桢来了就可以播放,不用等待,也不丢桢。

Video Port pin

Video Port是一个介于视频设备(TV)和视频卡之间的硬件设备。同过Video Port,视频数据可以直接发送到图像卡上,通过硬件的覆盖,视频可以直接在屏幕显示出来。Video Port就是连接两个设备的。
使用Video Port的最大好处是,不用CPU的任何工作,视频流直接写入内存中。如果捕捉设备使用了Video Port,捕捉Filter就用一个video port pin代替预览pin。

预览pin的种类GUID为PIN_CATEGORY_PREVIEW

捕捉pin的种类GUID为PIN_CATEGORY_CAPTURE

video port pin的种类GUID为PIN_CATEGORY_VIDEOPORT

一个捕捉filter至少有一个Capturepin,另外,它可能有一个预览pin 和一个videoport pin
,或者两者都没有,也许filter有很多的capturepin,和预览pin,每一个pin都代表一种媒体类型,因此一个filter可以有一个视频capturepin,视频预览pin,音频捕捉pin,音频预览pin。

3.      预览视频(Previewing Video)

为了创建可以预览视频的graph,可以调用下面的代码

ICaptureGraphBuilder2*pBuild; // Capture Graph Builder

// InitializepBuild (not shown).

IBaseFilter*pCap; // Video capture filter.

 /* Initialize pCap and add it to the filtergraph (not shown). */

hr =pBuild->RenderStream(&PIN_CATEGORY_PREVIEW, &MEDIATYPE_Video,   pCap, NULL, NULL);

4.      如何捕捉视频流并保存到文件(Capture video to File)

1)        将视频流保存到AVI文件

下面的图表显示了graph图

图2

AVI Mux filter接收从capture pin过来的视频流,然后将其打包成AVI流。音频流也可以连接到AVI Mux Filter上,这样mux filter就将视频流和视频流合成AVI流。File writer将AVI流写入到文件中。

可以像下面这样构建graph

IBaseFilter*pMux;

hr =pBuild->SetOutputFileName(

  &MEDIASUBTYPE_Avi, // Specifies AVI forthe target file.

  L"C:\\Example.avi", // File name.

  &pMux, // Receives a pointer to the mux.

  NULL); // (Optional) Receives a pointer tothe file sink.

第一个参数表明文件的类型,这里表明是AVI,第二个参数是制定文件的名称。对于AVI文件,SetOutputFileName函数会创建一个AVI mux Filter 和一个 File writer Filter ,并且将两个filter添加到graph图中,在这个函数中,通过File Writer Filter 请求IFileSinkFilter接口,然后调用IFileSinkFilter::SetFileName方法,设置文件的名称。然后将两个filter连接起来。第三个参数返回一个指向 AVI Mux的指针,同时,它也通过第四个参数返回一个IFileSinkFilter参数,如果你不需要这个参数,你可以将这个参数设置成NULL。

然后,你应该调用下面的函数将capture filter 和AVI Mux连接起来。

hr =pBuild->RenderStream(

  &PIN_CATEGORY_CAPTURE, // Pin category.

  &MEDIATYPE_Video, // Media type.

  pCap, // Capture filter.

  NULL, // Intermediate filter (optional).

  pMux); // Mux or file sink filter.

  // Release the mux filter.

  pMux->Release();

第5个参数就是使用的上面函数返回的pMux指针。

当捕捉音频的时候,媒体类型要设置为MEDIATYPE_Audio,如果你从两个不同的设备捕捉视频和音频,你最好将音频设置成主流,这样可以防止两个数据流间drift,因为avi mux filter为同步音频,会调整视频的播放速度的。为了设置master 流,调用IConfigAviMux::SetMasterStream方法,可以采用如下的代码:

IConfigAviMux*pConfigMux = NULL;

  hr =pMux->QueryInterface(IID_IConfigAviMux, (void**)&pConfigMux);

  if (SUCCEEDED(hr))

  {

  pConfigMux->SetMasterStream(1);

  pConfigMux->Release();

  }

SetMasterStream的参数指的是数据流的数目,这个是由调用RenderStream的次序决定的。例如,如果你调用RenderStream首先用于视频流,然后是音频,那么视频流就是0,音频流就是1。

添加编码filter

  IBaseFilter *pEncoder; /* Create the encoderfilter (not shown). */

  // Add it to the filter graph.

  pGraph->AddFilter(pEncoder,L"Encoder);

/* CallSetOutputFileName as shown previously. */

// Render thestream.

hr =pBuild->RenderStream(

&PIN_CATEGORY_CAPTURE,

 &MEDIATYPE_Video,

pCap,pEncoder, pMux);

  pEncoder->Release();

2)        将视频流保存成wmv格式的文件

为了将视频流保存成并编码成windows media video (WMV)格式的文件,将capture pin连到WM ASF Writer filter。

图3

构建graph图最简单的方法就是将在ICaptureGraphBuilder2::SetOutputFileName方法中指定MEDIASUBTYPE_Asf的filter。如下

 IBaseFilter* pASFWriter = 0;

  hr = pBuild->SetOutputFileName(

  &MEDIASUBTYPE_Asf, // Create a WindowsMedia file.

  L"C:\\VidCap.wmv", // File name.

  &pASFWriter, // Receives a pointer to thefilter.

  NULL); // Receives an IFileSinkFilterinterface pointer (optional).

参数MEDIASUBTYPE_Asf 告诉graph builder,要使用wm asf writer作为文件接收器,于是,pbuild 就创建这个filter,将其添加到graph图中,然后调用IFileSinkFilter::SetFileName来设置输出文件的名字。第三个参数用来返回一个ASF writer指针,第四个参数用来返回文件的指针。

在将任何pin连接到WM ASF Writer之前,一定要对WM ASF Writer进行一下设置,你可以同过WM ASF Writer的IConfigAsfWriter接口指针来进行设置。

 IConfigAsfWriter *pConfig = 0;

  hr = pASFWriter->QueryInterface(IID_IConfigAsfWriter,(void**)&pConfig);

  if (SUCCEEDED(hr))

  {

  // Configure the ASF Writer filter.

  pConfig->Release();

  }

然后调用ICaptureGraphBuilder2::RenderStream将capture Filter 和 ASF writer连接起来。

 hr = pBuild->RenderStream(

  &PIN_CATEGORY_CAPTURE, // Capture pin.

  &MEDIATYPE_Video, // Video. UseMEDIATYPE_Audio for audio.

  pCap, // Pointer to the capture filter.

  0,

  pASFWriter); // Pointer to the sink filter(ASF Writer).

3)        保存成自定义的文件格式

如果你想将文件保存成自己的格式,你必须有自己的 file writer。看下面的代码

 IBaseFilter *pMux = 0;

  IFileSinkFilter *pSink = 0;

  hr = pBuild->SetOutputFileName(

  &CLSID_MyCustomMuxFilter, //自己开发的Filter

  L"C:\\VidCap.avi", &pMux,&pSink);

4)        如何将视频流保存进多个文件

当你将视频流保存进一个文件后,如果你想开始保存第二个文件,这时,你应该首先将graph停止,然后通过IFileSinkFilter::SetFileName改变 File Writer 的文件名称。注意,IFileSinkFilter指针你可以在SetOutputFileName时通过第四个参数返回的。

看看保存多个文件的代码吧

 IBaseFilter *pMux;同步的synchronization

  IFileSinkFilter *pSink

  hr =pBuild->SetOutputFileName(&MEDIASUBTYPE_Avi,L"C:\\YourFileName.avi",

  &pMux, &pSink);

  if (SUCCEEDED(hr))

  {

  hr = pBuild->RenderStream(&PIN_CATEGORY_CAPTURE,&MEDIATYPE_Video,   pCap, NULL,pMux);

 if (SUCCEEDED(hr))

 {

  pControl->Run();

  /* Wait awhile, then stop the graph. */

  pControl->Stop();

  // Change the file name and run the graphagain.

  pSink->SetFileName(L"YourFileName02.avi",0);

  pControl->Run();

  }

 pMux->Release();

 pSink->Release();

}

5)        组合视频的捕捉和预览

如果想组建一个既可以预览视频,又可以将视频保存成文件的graph,只需要两次调用ICaptureGraphBuilder2::RenderStream即可。代码如下:

 // Render the preview stream to the videorenderer.
  hr =pBuild->RenderStream(&PIN_CATEGORY_PREVIEW, &MEDIATYPE_Video,   pCap, NULL, NULL);

// Render thecapture stream to the mux.

hr =pBuild->RenderStream(&PIN_CATEGORY_CAPTURE, &MEDIATYPE_Video,   pCap, NULL, pMux);

在上面的代码中,graph builder 其实隐藏了下面的细节。

1 如果capture Filter既有preview pin 也有captrue pin,那么RenderStream仅仅将两个pin和render filter接起来。如下图

图4

2如果caprture Filter只有一个capture pin,那么Capture Graph Builder就采用一个Smart Tee Filter将视频流分流,graph图如下

图5

5.      如何控制Capture Graph(ControllingCapture Graph)

Filter图表管理器可以通过IMediaControl接口控制整个graph的运行,停止和暂停。但是当一个graph有捕捉和预览两个数据流的时候,如果我们想单独的控制其中的一个数据流话,我们可以通过ICaptureGraphBuilder2::ControlStream。

下面讲一下如何来单独控制捕捉和预览数据流。

1 控制捕捉视频流

下面的代码,让捕捉数据流在graph开始运行1秒后开始,允运行4秒后结束。

// Control the video capture stream.

REFERENCE_TIME rtStart = 1000 0000, rtStop = 50000000;

const WORD wStartCookie = 1, wStopCookie = 2; //Arbitrary values.  hr = pBuild->ControlStream(

&PIN_CATEGORY_CAPTURE, // Pin category.

&MEDIATYPE_Video, // Media type.

pCap, // Capture filter.

&rtStart, &rtStop, // Start and stop times.

wStartCookie, wStopCookie // Values for the start andstop events.
  );

pControl->Run();

第一个参数表明需要控制的数据流,一般采用的是pin种类GUID,

第二个参数表明了媒体类型。

第三个参数指明了捕捉的filter。如果想要控制graph图中的所有捕捉filter,第二个和第三个参数都要设置成NULL。

第四和第五个参数表明了流开始和结束的时间,这是一个相对于graph开始的时间。

只有你调用IMediaControl::Run以后,这个函数才有作用。如果graph正在运行,这个设置立即生效。

最后的两个参数用来设置当数据流停止,开始能够得到的事件通知。对于任何一个运用此方法的数据流,graph当流开始的时候,会发送EC_STREAM_CONTROL_STARTED通知,在流结束的时候,要发送EC_STREAM_CONTROL_STOPPED通知。wStartCookie和wStopCookie是作为第二个参数的。

看看事件通知处理过程吧

 while (hr = pEvent->GetEvent(&evCode,&param1, &param2, 0), SUCCEEDED(hr))

  {

  switch (evCode)

  {

  case EC_STREAM_CONTROL_STARTED:

  // param2 == wStartCookie

  break;

 case EC_STREAM_CONTROL_STOPPED:

  // param2 == wStopCookie

  break;

  }

  pEvent->FreeEventParams(evCode, param1,param2);

  }

ControlStream还定义了一些特定的值来表示开始和停止的时间。

MAXLONGLONG从不开始,只有在graph停止的时候才停止

NULL, 立即开始和停止

例如,下面的代码立即停止捕捉流。

 pBuild->ControlStream(&PIN_CATEGORY_CAPTURE,&MEDIATYPE_Video, pCap,  0, 0, //Start and stop times.

  wStartCookie, wStopCookie);

2控制预览视频流

只要给ControlStream第一个参数设置成PIN_CATEGORY_PREVIEW就可以控制预览pin,整个函数的使用和控制捕捉流一样,但是唯一区别是在这里你没法设置开始和结束时间了,因为预览的视频流没有时间戳,因此你必须使用NULL或者MAXLONGLONG。例子

 Use NULL to start the preview stream:

 pBuild->ControlStream(&PIN_CATEGORY_PREVIEW,&MEDIATYPE_Video, pCap,  NULL, //Start now.

  0, // (Don't care.)

  wStartCookie, wStopCookie);

  Use MAXLONGLONG to stop the preview stream:

 pBuild->ControlStream(&PIN_CATEGORY_PREVIEW,&MEDIATYPE_Video, pCap,  0, // (Don'tcare.)

  MAXLONGLONG, // Stop now.

  wStartCookie, wStopCookie);

3关于数据流的控制

Pin的缺省的行为是传递sample,例如,如果你对PIN_CATEGORY_CAPTURE使用了ControlStream,但是对于PIN_CATEGORY_PREVIEW没有使用该函数,因此,当你run graph的时候,preview 流会立即运行起来,而capture 流则要等到你设置的时间运行。

6.      如何配置一个视频捕捉设备

1显示VFW驱动的视频设备对话框

如果视频捕捉设备采用的仍然是VFW方式的驱动程序,则必须支持下面三个对话框,用来设置视频设备。

1 VideoSource

用来选择视频输入设备并且调整设备的设置,比如亮度和对比度。

2VideoFormat

用来设置桢的大小和位

3VideoDisplay

用来设置视频的显示参数

为了显示上面的三个对话框,你可以do the following

1停止graph。

2向捕捉filter请求IAMVfwCaptureDialogs接口,如果成功,表明设备支持VFW驱动。

3调用IAMVfwCaptureDialogs::HasDialog来检查驱动程序是否支持你请求的对话框,如果支持,返回S_OK,否则返回S_FALSE。注意不要用SUCCEDED宏。

4如果驱动支持该对话框,调用IAMVfwCaptureDialogs::ShowDialog显示该对话框。

5 重新运行graph

代码如下

 pControl->Stop(); // Stop the graph.

 // Query the capture filter for theIAMVfwCaptureDialogs interface. IAMVfwCaptureDialogs *pVfw = 0;

 hr =pCap->QueryInterface(IID_IAMVfwCaptureDialogs, (void**)&pVfw);  if (SUCCEEDED(hr))

 {

  // Check if the device supports this dialogbox.

  if (S_OK ==pVfw->HasDialog(VfwCaptureDialog_Source))

  {

  // Show the dialog box.

  hr =pVfw->ShowDialog(VfwCaptureDialog_Source, hwndParent);

  }

  }

  pControl->Run();

2 调整视频的质量

WDM驱动的设备支持一些属性可以用来调整视频的质量,比如亮度,对比度,饱和度,等要向调整视频的质量,do the following

1 从捕捉filter上请求IAMVideoProcAmp接口

2 对于你想调整的任何一个属性,调用IAMVideoProcAmp::GetRange可以返回这个属性赋值的范围,缺省值,最小的增量值。IAMVideoProcAmp::Get返回当前正在使用的值。VideoProcAmpProperty枚举每个属性定义的标志。

3调用IAMVideoProcAmp::Set来设置这个属性值。设置属性的时候,不用停止graph。

看看下面的代码是如何调整视频的质量的

HWND hTrackbar;// Handle to the trackbar control.

// InitializehTrackbar (not shown).

// Query thecapture filter for the IAMVideoProcAmp interface.

  IAMVideoProcAmp *pProcAmp = 0;

  hr =pCap->QueryInterface(IID_IAMVideoProcAmp, (void**)&pProcAmp);

  if (FAILED(hr))

  {

  // The device does not supportIAMVideoProcAmp, so disable the control.

  EnableWindow(hTrackbar, FALSE);

  }

  Else

  {

  long Min, Max, Step, Default, Flags, Val;

  // Getthe range and default value.

  hr = m_pProcAmp->GetRange(VideoProcAmp_Brightness,&Min, &Max, &Step,

  &Default, &Flags);

  if (SUCCEEDED(hr))

  {

  // Get the current value.

  hr =m_pProcAmp->Get(VideoProcAmp_Brightness, &Val, &Flags);

  }

  if (SUCCEEDED(hr))

  {

  // Set the trackbar range and position.

  SendMessage(hTrackbar, TBM_SETRANGE, TRUE,MAKELONG(Min, Max));

  SendMessage(hTrackbar, TBM_SETPOS, TRUE,Val);

  EnableWindow(hTrackbar, TRUE);

  }

  Else

  {

  // This property is not supported, so disablethe control.

  EnableWindow(hTrackbar, FALSE);

  }

  }

3调整视频输出格式

我们知道视频流可以有多种输出格式,一个设备可以支持16-bit RGB, 32-bit RGB, and YUYV,在每一种格式下,设备还可以调整视频桢的大小。

在WDM驱动设备上,IAMStreamConfig 接口用来报告设备输出视频的格式的,VFW设备,可以采用对话框的方式来设置,参见前面的内容。

捕捉Filter的捕捉pin和预览pin都支持IAMStreamConfig 接口,可以通过ICaptureGraphBuilder2::FindInterface获得IAMStreamConfig接口。

 IAMStreamConfig *pConfig = NULL;

  hr = pBuild->FindInterface(

  &PIN_CATEGORY_PREVIEW, // Preview pin.

  0, // Any media type.

  pCap, // Pointer to the capture filter.

  IID_IAMStreamConfig, (void**)&pConfig);

设备还支持一系列的媒体类型,对于每一个媒体类型,设备都要支持一系列的属性,比如,桢的大小,图像如何缩放,桢率的范围等。

通过IAMStreamConfig::GetNumberOfCapabilities获得设备所支持的媒体类型的数量。这个方法返回两个值,一个是媒体类型的数量,二是属性所需结构的大小。

这个结构的大小很重要,因为这个方法是用于视频和音频的,视频采用的是VIDEO_STREAM_CONFIG_CAPS结构,音频用AUDIO_STREAM_CONFIG_CAPS结构。

通过函数IAMStreamConfig::GetStreamCaps来枚举媒体类型,要给这个函数传递一个序号作为参数,这个函数返回媒体类型和相应的属性结构体。看代码把

 int iCount = 0, iSize = 0;

 hr =pConfig->GetNumberOfCapabilities(&iCount, &iSize);

// Check thesize to make sure we pass in the correct structure.

  if (iSize == sizeof(VIDEO_STREAM_CONFIG_CAPS)

  {

  // Use the video capabilities structure.

  for (int iFormat = 0; iFormat < iCount;iFormat++)

  {

  VIDEO_STREAM_CONFIG_CAPS scc;

  AM_MEDIA_TYPE *pmtConfig;

  hr = pConfig->GetStreamCaps(iFormat,&pmtConfig, (BYTE*)&scc);

  if (SUCCEEDED(hr))

  {

  /* Examine the format, and possibly use it.*/

  // Delete the media type when you are done.

  hr = pConfig->SetFormat(pmtConfig);//重新设置视频格式

  DeleteMediaType(pmtConfig);

  }

  }

你可以调用IAMStreamConfig::SetFormat设置新的媒体类型

hr =pConfig->SetFormat(pmtConfig);

如果pin没有连接,当连接的时候就试图用新的格式,如果pin已经在连接了,它就会用的新的媒体格式重新连接。在任何一种情况下,下游的filter都有可能拒绝新的媒体格式。

在SetFormat前你可以修改VIDEO_STREAM_CONFIG_CAPS结构来重新设置媒体类型。

例如:

如果GetStreamCaps返回的是24-bit RGB format,桢的大小是320 x 240 像素,你可以通过检查媒体类型的major type,subtpye,和format等值

 if ((pmtConfig.majortype == MEDIATYPE_Video)&&

  (pmtConfig.subtype == MEDIASUBTYPE_RGB24)&&

  (pmtConfig.formattype == FORMAT_VideoInfo)&&

  (pmtConfig.cbFormat >= sizeof(VIDEOINFOHEADER)) &&

  (pmtConfig.pbFormat != NULL))

  {

  VIDEOINFOHEADER *pVih =(VIDEOINFOHEADER*)pmtConfig.pbFormat;

  // pVih contains the detailed formatinformation.

  LONG lWidth = pVih->bmiHeader.biWidth;

  LONG lHeight = pVih->bmiHeader.biHeight;

  }

VIDEO_STREAM_CONFIG_CAPS结构里包含了该媒体类型的视频长度和宽度的最大值和最小值,还有递增的幅度值,就是每次调整视频size的幅度,例如,设备可能返回如下的值

MinOutputSize:160 x 120

MaxOutputSize:320 x 240

OutputGranularityX:8 pixels (horizontal step size)

OutputGranularityY:8 pixels (vertical step size)

这样你可以在(160, 168, 176, ... 304, 312, 320) 范围内设置宽度,在 (120, 128, 136, ... 104, 112,120).设置高度值,

图6

如果想设置新的值,直接修改在GetStreamCaps函数中返回的值即可,

 pVih->bmiHeader.biWidth = 160;

  pVih->bmiHeader.biHeight = 120;

  pVih->bmiHeader.biSizeImage =DIBSIZE(pVih->bmiHeader);

然后将媒体类型传递给SetFormat函数,就可修改视频格式了。

7.      将设备从系统中移走时的事件通知(Device remove Notify)

如果用户将一个graph正在使用的即插即用型的设备从系统中去掉,filter图表管理器就会发送一个EC_DEVICE_LOST事件通知,如果该设备又可以使用了,filter图表管理器就发送另外的一个EC_DEVICE_LOST通知,但是先前组建的捕捉filter graph图就没法用了,用户必须重新组建graph图。

当系统中有新的设备添加时,dshow是不会发送任何通知的,所以,应用程序如果想要知道系统中何时添加新的设备,应用程序可以监控WM_DEVICECHANGE消息。

8.      从静止图像pin中捕捉图片

有些照相机,摄像头除了可以捕获视频流以外还可以捕获单张的,静止的图片。通常,静止的图片的质量要比流的质量要高。摄像头一般都一个按钮来触发,或者是支持软件触发。支持输出静态图片的摄像头一般都要提供一个静态图片pin,这个pin的种类是PIN_CATEGORY_STILL。

从设备中获取静态图片,我们一般推荐使用windows Image Acquisition (WIA) APIs。当然,你也可以用dshow来获取图片。

在graph运行的时候利用IAMVideoControl::SetMode来触发静态的pin。代码如下

 pControl->Run(); // Run the graph.

  IAMVideoControl *pAMVidControl = NULL;

  hr = pCap->QueryInterface(IID_IAMVideoControl,(void**)&pAMVidControl);

  if (SUCCEEDED(hr))

  {

  // Find the still pin.

  IPin *pPin = 0;

  hr = pBuild->FindPin(pCap, PINDIR_OUTPUT,&PIN_CATEGORY_STILL, 0,  FALSE, 0,&pPin);

  if (SUCCEEDED(hr))

  {

  hr = pAMVidControl->SetMode(pPin, VideoControlFlag_Trigger);

  pPin->Release();

  }

  pAMVidControl->Release();

  }

首先向capture Filter 请求IAMVideoContol,如果支持该接口,就调用ICaptureGraphBuilder2::FindPin请求指向静止pin 的指针,然后调用pin的put_Mode方法。

根据不同的摄像头,你可能静态pin连接前要render 该pin。

捕捉静态图片常用的filter是Sample Grabber filter,Sample Grabber使用了一个用户定义的回调汗水来处理图片。关于这个filter的详细用法,参见Using the Sample Grabber.。

下面的例子假设静态pin传递的是没有压缩的RGB图片。首先定义一个类,从ISampleGrabberCB继承。

 // Class to hold the callback function for theSample Grabber filter.  classSampleGrabberCallback : public ISampleGrabberCB

  {

  // Implementation is described later.

  }

// Globalinstance of the class.

SampleGrabberCallbackg_StillCapCB;

然后将捕捉filter的静态pin连接到Sample Grabber,将Sample Grabber连接到Null Renderer filter。Null Renderer仅仅是将她接收到的sample丢弃掉。实际的工作都是在回调函数里进行,连接Null Renderer 仅仅是为了给Sample Grabber's 输出pin上连接点东西。具体见下面的代码

  // Add the Sample Grabber filter to thegraph.

  IBaseFilter *pSG_Filter;

  hr = CoCreateInstance(CLSID_SampleGrabber,NULL, CLSCTX_INPROC_SERVER,

  IID_IBaseFilter, (void**)&pSG_Filter);

  hr = pGraph->AddFilter(pSG_Filter,L"SampleGrab");

// Add theNull Renderer filter to the graph.

IBaseFilter*pNull;

hr =CoCreateInstance(CLSID_NullRendere, NULL, CLSCTX_INPROC_SERVER,  IID_IBaseFilter, (void**)&pNull);

hr =pGraph->AddFilter(pSG_Filter, L"NullRender");

然后通过RenderStream将still pin ,sample grabber ,null Renderer连接起来

 hr = pBuild->RenderStream(

  &PIN_CATEGORY_STILL, // Connect this pin...

  &MEDIATYPE_Video, // with this media type...

  pCap, // on this filter ...

  pSG_Filter, // to the Sample Grabber ...

  pNull); // ... and finally to the NullRenderer.

然后调用ISampleGrabber指针,来通过这个指针可以分配内存。

  // Configure the Sample Grabber.

 ISampleGrabber *pSG;

 hr =pSG_Filter->QueryInterface(IID_ISampleGrabber, (void**)&pSG);

 pSG->SetOneShot(FALSE);

  pSG->SetBufferSamples(TRUE);

设置你的回调对象

 pSG->SetCallback(&g_StillCapCB, 0); //0 = Use the SampleCB callback   method

获取静态pin和sample grabber之间连接所用的媒体类型

 // Store the media type for later use.

  AM_MEDIA_TYPE g_StillMediaType;

  hr =pSG->GetConnectedMediaType(&g_StillMediaType);

  pSG->Release();

媒体类型包含一个BITMAPINFOHEADER结构来定义图片的格式,在程序退出前一定要释放媒体类型

 // On exit, remember to release the mediatype.

  FreeMediaType(g_StillMediaType);

看看下面的回调类吧。这个类从ISampleGrabber接口派生,但是它没有保持引用计数,因为应用程序在堆上创建这个对象,在整个graph的生存周期它都存在。

所有的工作都在BufferCB函数里完成,当有一个新的sample到来的时候,这个函数就会被sample Grabber调用到。在下面的例子里,bitmap被写入到一个文件中

classSampleGrabberCallback : public ISampleGrabberCB

  {

  public:

  // Fake referance counting.

  STDMETHODIMP_(ULONG) AddRef() { return 1; }

  STDMETHODIMP_(ULONG) Release() { return 2; }

 STDMETHODIMP QueryInterface(REFIID riid, void**ppvObject)

  {

  if (NULL == ppvObject) return E_POINTER;

  if (riid == __uuidof(IUnknown))

  {

  *ppvObject =static_cast<IUnknown*>(this);

  return S_OK;

  }

  if (riid == __uuidof(ISampleGrabberCB))

  {

  *ppvObject =static_cast<ISampleGrabberCB*>(this);

  return S_OK;

  }

  return E_NOTIMPL;

  }

 STDMETHODIMP SampleCB(double Time,IMediaSample *pSample)

  {

  return E_NOTIMPL;

  }

 STDMETHODIMP BufferCB(double Time, BYTE*pBuffer, long BufferLen)

 {

  if ((g_StillMediaType.majortype !=MEDIATYPE_Video) ||

  (g_StillMediaType.formattype !=FORMAT_VideoInfo) ||

  (g_StillMediaType.cbFormat <sizeof(VIDEOINFOHEADER)) ||

  (g_StillMediaType.pbFormat == NULL))

  {

  return VFW_E_INVALIDMEDIATYPE;

 }

 HANDLE hf =CreateFile("C:\\Example.bmp", GENERIC_WRITE,

 FILE_SHARE_WRITE, NULL, CREATE_ALWAYS, 0,NULL);

 if (hf == INVALID_HANDLE_VALUE)

 {

  return E_FAIL;

 }

 long cbBitmapInfoSize =g_StillMediaType.cbFormat - SIZE_PREHEADER;

VIDEOINFOHEADER*pVideoHeader = (VIDEOINFOHEADER*)g_StillMediaType.pbFormat;

 BITMAPFILEHEADER bfh;

ZeroMemory(&bfh,sizeof(bfh));

bfh.bfType ='MB'; // Little-endian for "MB".

bfh.bfSize =sizeof( bfh ) + BufferLen + cbBitmapInfoSize;

bfh.bfOffBits= sizeof( BITMAPFILEHEADER ) + cbBitmapInfoSize;

// Write thefile header.

DWORDdwWritten = 0;

WriteFile(hf, &bfh, sizeof( bfh ), &dwWritten, NULL );

WriteFile(hf,HEADER(pVideoHeader), cbBitmapInfoSize, &dwWritten, NULL);

WriteFile(hf, pBuffer, BufferLen, &dwWritten, NULL );

CloseHandle(hf );

return S_OK;

}

};


相关文章
|
22天前
|
自然语言处理
在ModelScope中,你可以通过设置模型的参数来控制输出的阈值
在ModelScope中,你可以通过设置模型的参数来控制输出的阈值
12 1
|
2月前
|
前端开发 NoSQL API
跟踪任何目标(想跟踪什么就跟踪什么)
跟踪任何目标(想跟踪什么就跟踪什么)
27 0
|
1天前
|
算法
R语言Outliers异常值检测方法比较
R语言Outliers异常值检测方法比较
|
1天前
|
算法
R语言异常值检测方法比较
R语言异常值检测方法比较
|
3月前
|
监控 测试技术
测试跟踪和控制
测试跟踪和控制
VS2017诊断工具意外失败处理方法
VS2017诊断工具意外失败处理方法
VS2017诊断工具意外失败处理方法
|
XML 编解码 数据格式
小目标的检测应用的一些常用的小方法
小目标的检测应用的一些常用的小方法
162 0
3D 动作捕捉解决方案
本文研究全球及中国市场3D 动作捕捉解决方案现状及未来发展趋势,侧重分析全球及中国市场的主要企业,同时对比北美、欧洲、中国、日本、东南亚和印度等地区的现状及未来发展趋势
|
机器学习/深度学习 运维 算法
【Python数据分析基础】: 异常值检测和处理
【Python数据分析基础】: 异常值检测和处理
【Python数据分析基础】: 异常值检测和处理
|
人工智能 数据挖掘 TensorFlow
AI赋能一键自动检测:页面异常、控件异常、文本异常
1.前言 闲鱼质量团队一直致力于交付高质量的app给用户,当前随着AI技术不断发展,TensorFlow大热,也给测试手段带来了更多种可能,本文接下来给大家介绍AI在闲鱼测试的一点实践:如何应用AI技术通过图片找bug。
2068 0