HoloLens 照片捕捉

使用 PhotoCapture API 可从 HoloLens 网络摄像头拍照。必须启用__网络摄像头 (WebCam)__ 和__麦克风 (Microphone)__ 功能才能使用 PhotoCapture API。以下示例将演示如何使用 PhotoCapture 功能拍摄照片并将照片显示在 Unity 游戏对象上。

using UnityEngine;
using System.Collections;
using System.Linq;
using UnityEngine.XR.WSA.WebCam;

public class PhotoCaptureExample : MonoBehaviour {
    PhotoCapture photoCaptureObject = null;
    Texture2D targetTexture = null;

    // 使用此函数进行初始化
    void Start() {
        Resolution cameraResolution = PhotoCapture.SupportedResolutions.OrderByDescending((res) => res.width * res.height).First();
        targetTexture = new Texture2D(cameraResolution.width, cameraResolution.height);

        // 创建 PhotoCapture 对象
        PhotoCapture.CreateAsync(false, delegate (PhotoCapture captureObject) {
            photoCaptureObject = captureObject;
            CameraParameters cameraParameters = new CameraParameters();
            cameraParameters.hologramOpacity = 0.0f;
            cameraParameters.cameraResolutionWidth = cameraResolution.width;
            cameraParameters.cameraResolutionHeight = cameraResolution.height;
            cameraParameters.pixelFormat = CapturePixelFormat.BGRA32;

            // 激活摄像头
            photoCaptureObject.StartPhotoModeAsync(cameraParameters, delegate (PhotoCapture.PhotoCaptureResult result) {
                // 拍摄照片
                photoCaptureObject.TakePhotoAsync(OnCapturedPhotoToMemory);
            });
        });
    }

    void OnCapturedPhotoToMemory(PhotoCapture.PhotoCaptureResult result, PhotoCaptureFrame photoCaptureFrame) {
        // 将原始图像数据复制到目标纹理中
        photoCaptureFrame.UploadImageDataToTexture(targetTexture);

        // 创建可以应用纹理的游戏对象
        GameObject quad = GameObject.CreatePrimitive(PrimitiveType.Quad);
        Renderer quadRenderer = quad.GetComponent<Renderer>() as Renderer;
        quadRenderer.material = new Material(Shader.Find("Custom/Unlit/UnlitTexture"));

        quad.transform.parent = this.transform;
        quad.transform.localPosition = new Vector3(0.0f, 0.0f, 3.0f);

        quadRenderer.material.SetTexture("_MainTex", targetTexture);

        // 停用摄像头
        photoCaptureObject.StopPhotoModeAsync(OnStoppedPhotoMode);
    }

    void OnStoppedPhotoMode(PhotoCapture.PhotoCaptureResult result) {
        // 关闭照片捕捉资源
        photoCaptureObject.Dispose();
        photoCaptureObject = null;
    }
}

将照片捕捉到内存

将图像捕捉到内存时，将返回 PhotoCaptureFrame。PhotoCaptureFrame 包含原生图像数据以及指示图像拍摄位置的空间矩阵。

将图像捕捉到内存可以在着色器中引用捕捉的图像，或将其应用于游戏对象。可通过三种方式从 PhotoCaptureFrame 中提取图像数据。如下：

1. 以 Texture2D 的形式访问图像数据。这是提取图像数据的最常用方法，因为 Unity 中的大多数组件都了解如何访问 Texture2D 中的图像数据。将图像捕捉到内存后，需要将图像数据上传到 Texture2D。将图像数据上传到 Texture2D 后，就可以开始在材质、脚本或项目的任何其他相关元素中引用该图像数据。Unity API 文档有一个示例演示了如何将照片捕捉到内存，然后将其上传到 Texture2D。请参阅 WebCam.PhotoCapture.TakePhotoAsync 了解如何将照片捕捉到 Texture2D。通过上传命令将图像数据上传到 Texture2D 是开始在 Unity 中处理图像数据的最简单方式。上传操作发生在主线程上。此操作是资源密集型操作，可能会影响项目的性能。

2. 以 WinRT IMFMediaBuffer 的形式捕捉原生图像数据。请参阅 Microsoft 的 IMFMediaBuffer 文档以了解更多信息。通过将一个字节列表传入 PhotoFrame.CopyRawImageDataIntoBuffer 函数来创建原生图像数据的副本。请注意，复制操作发生在主线程上。此操作是资源密集型操作，可能会影响项目的性能。

3. 如果自行创建插件，或在单独的线程上处理图像数据，可通过 PhotoFrame.GetUnsafePointerToBuffer 函数获取指向原生图像数据的指针。返回的指针是指向 IMFMediaBuffer 组件对象模型 (COM) 的指针。请参阅 Microsoft 的 IMFMediaBuffer 和组件对象模型 (Component Object Models) 文档以了解更多信息。调用此函数后，将向 COM 对象添加引用。不再需要资源时，您需要负责释放该引用。