在過去的幾十年里，工程師們創造了能力日益增強的先進設備。近年來，一種稱為“空間計算”（Spatial Computing）的設備技術發展迅速。術語“空間計算”本質上意為計算機、機器人以及其他電子設備對它們周圍的環境進行感知，并能夠用數字化的方式將其表達出來的能力。使用傳感器與混合現實（Mixed Reality，MR）等尖端科技可以大幅增強空間計算能力，從而創造一個精密的感知測繪系統。

微軟混合現實與人工智能實驗室（Microsoft Mixed Reality and AI Lab）和蘇黎世聯邦理工學院（ETH Zurich）的研究人員最近開發了一個新的框架，融合混合現實與機器人技術，增強了空間計算應用。他們在一系列人機交互系統上實現并測試了這一框架，該成果在他們發表于arXiv的論文中有所介紹。

“空間計算和個體中心感知在混合現實設備上的結合使它們能夠捕獲、理解人類活動并為其賦予空間意義，這為人機結合提供了令人激動的新可能。”研究人員在他們的文章中寫道，“這篇文章介紹了一些使用這種技術實現新的機器人應用實例的人機系統，例如巡查任務規劃、手勢控制以及沉浸式遠程控制。”該研究團隊設計的基于混合現實與機器人技術的框架已經在三個具有不同功能的系統上實現。值得一提的是，這些系統都需要使用HoloLens混合現實頭戴式設備。

第一個系統被設計用于機器人任務規劃，這涉及對給定環境的巡查。具體來說，人類用戶佩戴Hololens頭戴式設備在他/她希望巡查的環境中移動，并放置路標，借此定義機器人軌跡并塑造全息圖。此外，用戶可以選擇需要機器人收集圖片或數據的特定區域進行高亮顯示。這些信息經過處理和翻譯，就可以使機器人在環境中巡查時指引它的移動和行為。

研究人員提出的第二個系統是一個界面，能讓人類用戶與機器人更高效地交互，例如用手勢控制機器人的運動。此外，這一系統可以使多種設備，包括混合現實頭戴式設備、智能手機和機器人，實現同定位（colocalization）。“設備的同定位要求它們能夠獨立自主地定位在一個共同的參考坐標系統中。”研究人員說道，“利用它們在這個共同坐標框架下的個體姿態，可以計算本地設備間的相對變化，從而產生新行為并實現設備之間的協作。”為實現設備的同定位，團隊引入了一個框架，保證系統中的所有設備可以共享彼此的相對位置和共同的參考地圖。此外，用戶可以使用HoloLens頭戴式設備，通過一系列簡單的手勢操作很容易地對機器人進行導航指引。

最后，第三個系統能夠實現沉浸式的遠程操控，這意味著用戶可以在觀察機器人周圍環境的同時遠距離控制它。當需要機器人在一些人類難以接近的環境中巡航時，這一系統可能相當有用。“我們探索了用戶與機器人之間的投射關系，包括將用戶行為映射到機器人，以及將機器人的空間感知反饋到用戶。”研究人員解釋道，“我們考慮了幾種不同的沉浸程度：基于觸摸和操縱機器人模型來進行的控制，以及更高層次，用戶成為機器人本身并將用戶運動直接映射到機器人身上。”

微軟的Jeffrey Delmerico和他的同事提出的這三個系統在最初的測試中達到了較好的效果，凸顯了使用混合現實來增強空間計算和人機交互的潛力。未來，這些系統可以被應用到不同的環境中，使人類和機器緊密合作，高效地解決更多現實生活中的復雜問題。

關鍵詞： 人機交互 研究人員