入力の種類

HoloLens 上の入力は他のプラットフォームとは違います。主な操作方法は 3 つの新しいシステムです。

1. 視線: ユーザーが視線を向けている位置
2. ジェスチャ: システムにコマンドを示すために使用するジェスチャ
3. 音声: 短い単語によるコマンドと長めの話し言葉

視線

視線 はユーザーが見ている位置を参照します。HoloLens では、視線はかなり正確で、ゲームオブジェクトの選択に使用します。視線は、シーン内のすべてというよりは、特定のゲームオブジェクトにコマンドを指示するために使用します。

Microsoft では、Gaze インジケーター と Gaze ターゲッティング で役に立つドキュメントを提供しています。

ジェスチャ

ジェスチャ は、システムが理解するジェスチャです。これらは、コマンドを表すために使用されます。アプリケーションで使用できるビルトインのジェスチャがいくつかあります。同様に、カスタムのジェスチャを認識するための汎用 API もあります。ビルトインジェスチャとカスタムジェスチャ (API 経由) は、両方とも Unity で機能します。

ビルトインジェスチャ

• タップ: 手を握り、親指と人差し指だけを伸ばし、親指と人差し指を互いにつける、つまむような動作。これは HoloLens の選択コマンドとしてよく使用されます。
• ダブルタップ: タップジェスチャを 2 回連続して行います。
• ホールド: タップジェスチャを 1 秒以上付けたままにします。
• マニピュレーション: ホールドジェスチャをした後、手を動かし、移動をします。ホールド位置からの距離はジェスチャで取得できます。
• ナビゲーション: ホールドジェスチャをした後、手を動かし、移動をします。これは、1 つ以上の x、y、z 面に限定され、各軸について –1 から 1 の値を返します。

ジェスチャの詳細については、Microsoft の Gesture design を参照してください。

音声

HoloLens の 音声 入力は、Windows 10 API によって実行できます。Unity は 3 種類の入力をサポートしています。

• __キーワード__： イベントを生成するコードに設定された簡単なコマンドまたはフレーズ。これにより、ローカライゼーションに関連する問題が発生しないアプリケーションに音声コマンドをすばやく追加することができます。この機能は、KeywordRecognizer によって実現されます。
• 文法: ローカライズ可能なセマンティックなコマンドのテーブル。文法は、XML 文法ファイル (.grxml) で設定されます。ファイル形式の詳細については、Microsoft のドキュメント Creating Grammar Files を参照してください。文法認識機能は、GrammarRecognizer によって実現されます。
• ディクテーション: 長めの音声入力をテキストに変換するシステムで、より自由な音声の変換システム。HoloLens のディクテーション認識は、バッテリーを消費するため短期間にしてください。ディクテーションは、インターネット接続を必要とし、DictationRecognizer によって実現されます。

音声入力の詳細については、Microsoft のドキュメント Voice design を参照してください。