第一人視角:

使用工具：

Library: Python, PyGame, PyOpenGL, OpenCV, Mac OSX API

Hardware: Webcam, IR LED, 帽子, IR Filter(用玻璃紙做的)

實作方法：

將IR LED裝置再帽子的帽簷，並使用OpenCV來判斷人頭的位置。webcam前加上玻璃紙，只讓紅外線通過，達到紅外線攝影機的效果。使用物理的方式來使webcam接收到的影像單純化，可增加效率。

遊戲的界面部份使用一個OpenGL的飛行小遊戲。

進行遊戲時，不需要使用雙手。使用者只需將頭上下左右移動，便可控制飛機的飛行方向與速度。向上的同時為減速，向下為加速。

配合離心力的概念，當使用者往右傾斜時，飛機會向左轉向。

請見實際遊戲操作影片。

A man-machine graphical communication system

951533 張 至

操作影片 http://www.archive.org/details/AlanKeyD1987 (4:20開始)

Sketchpad 操作畫面 – 設定直角規則

Ivan Edward Sutherland [3] 是一位美國的電腦科學家，他在其於1988年獲得了圖林獎的研究 “Sketchpad: A man-machine graphical communication system”[1] 中所提出的許多在當初被視為是非常新興的概念，也是第一個使用電腦輔助繪圖的工具，直接的影響了當時正起步的人機互動裝置以及圖形使用者介面演進，以及開啟了 CADD (computer-aided design and drafting)[5] 領域的大門，對當代電腦無論在軟體或硬體的設計與呈現皆有著非常深遠的影響。(在這篇文章中我們所提到的”Sketchpad” 一詞並不是代表現今一般人所認知的繪圖板，而是當年 Ivan Sutherland 的 sketchpad project。) 除了創新的概念對人機互動領域的影響之外，Ivan Sutherland 在 sketchpad 軟體中所發展出或使用的一些技巧如物件導向程式設計、clipping等，也對軟體工程以及電腦圖學領域有許多的貢獻。

在硬體方面，sketchpad 在操作上使用者手持光筆，直接在顯示器上繪圖。由於我對電路較沒有研究沒有辦法太詳細的介紹，這部分在technical report[1]中有詳細的電路說明。

Sketchpad 硬體系統中的光比照片語結構圖

Ivan Sutherland 在當年所提出的硬體架構，在多點觸控技術當紅的今日看來或許並沒有什麼太特別之處，但在二十年前這確實是十分的新穎，除了硬體之外，其真正精采之處在於軟體。Sketchpad 可以被視為一個向量繪圖的軟體，使用者可以任意移動、旋轉、縮放畫面上的任一條線段。使用者甚至可以將圖形的大小放大至大於顯示器的大小，在顯示器上只顯示畫布的局部區域，來繪製細部的細節或縮小來觀看整體的樣貌。根據維基百科，sketchpad 的縮放功能也實做了最早的 clipping[4] 演算法。

Sketchpad相連的線條視為一組object。如同對線段一般，你可以一次任意的移動、旋轉、縮放一整組的物件。你也可以將線段切開，使得一個物件一分為兩個物件。你也可以將一個物件複製多次產生多份複製體，當你修改了一物件的結構，畫面上所有該物件的複製體的結構也將隨之改變，無論其大小、位置。這樣的特性也被視為在電腦科學中最早物件導向程式設計意念。

除了物件導向的概念之外，sketchpad 最神奇與創新的地方在於可以設定線條之間的相依規則。例如在畫弧時，你可以設定1. 弧的圓心在A、B線段的交叉點 2. 弧起始於 C線段的一端，並接著使用光筆隨意的畫出接近弧的路徑，系統便會畫出完美的弧線。在處理線段時，你也可以任意的設定兩條隨意畫出的線段是互相平行的，或是任意的幾條線段是直角的，系統便會自動的移動、旋轉這些被設定的線段來滿足設定的規則。更進一步的，在規則被設定之後，每次移動、選轉現有的線段後，電腦變會自動的再次調整以滿足所有設定的條件。規則的設定用中文敘述起來較為複雜，可以觀看中的影片介紹(4分26秒開始)，會很容易了解實際操作的樣貌。

使用 sketchpad 畫圓與直線

在 sketchpad 的介紹影片中，我們可以發現現代許多專業向量繪圖軟體中的許多功能也有著當年 sketchpad 的影子。甚至當年許多 sketchpad 實做的功能，在現代的許多向量繪圖軟體中是看不到的。從 sketchpad 這項計畫中我們看到了資工領域裡許多人機互動與設計模型的起源(如物件導向程式設計、clipping(圖學)、觸控界面、繪圖板等等)，以及我們每天操作電腦的方式也大大的受到其所影響。不得不說 Ivan Edward Sutherland 是在人機互動領域的先驅者，也是資訊工程的天才。

參考資料:

[1] Technical Report, http://www.cl.cam.ac.uk/techreports/UCAM-CL-TR-574.pdf

[2] 影片介紹, http://www.archive.org/details/AlanKeyD1987

[3] Ivan Sutherland, http://en.wikipedia.org/wiki/Ivan_Sutherland

[4] Clipping, http://en.wikipedia.org/wiki/Clipping_(computer_graphics)

[5] CADD, http://en.wikipedia.org/wiki/Computer-aided_drafting

在 wiimote 的各種應用中，最有名的應用之一為 Johnny Chung Lee[1] 所提出的 “Head Tracking for Desktop VR Displays using the Wii Remote”[2]。Johhny Chung Lee 將 Wiimote 固定在 display 的下方，並且製作了兩端有廣角 IR LED 的眼鏡，運作時使用者面向螢幕，自由的前後、上下、左右移動；這樣的硬體配置，程式便可以透過 wiimote 得知人眼與螢幕的上下、左右相對位置，並從兩個 IR LED 在攝影成像上的距離得知人眼與螢幕的距離。由以下影片我們可以看出依照這些資訊並且搭配了適當的運算後的 rendering 結果。

在真實世界中的窗戶，人眼與窗戶的相對位置將會影響到人眼所能看到的視野（如下圖)，

Head Tracking 的技巧便從這個簡單的原理出發，試圖在 display 上 render 出模擬真實世界窗戶的表現，以達到使用平面顯示器產生立體成像的錯覺（影片中後半段球場視野的demo)。從影片中前半段的demo中我們可以看出，Johnny Chung Lee更近一步的將display中render的物件的位置設定Z軸 (穿過display方向) 可超出display平面，產生了物件浮動出 display 的假象，達到了更誇張立體錯覺。

雖然 wiimote 能夠一次對多組的 IR LED 做 tracking ，但一個 display 始終只能 render 出一個人的視野。因此，在這樣的架構下，一個 display 同時始終只能支援一個使用者。如果需要對多個使用者做 VR display 便需要一次使用多個 display 。這也是目前 head tracking 最大的限制。

在實做的部份，Johnny Chung Lee使用了微軟的C#.net[3]與DirectX[4]等技術來做座標的計算與3D顯示的rendering，並且使用了[5]網頁中的wiimote library來與wiimote溝通。

由於沒有實際 trace 過 Johnny Chung Lee 的程式，網頁上也沒有太多的細節，在上學期修電腦圖學課程[6]時的期末專題[7]中我也依照這樣的原理使用了 OpenGL[8] 與 OpenCV[9] 等 library 實做了簡單的 head tracking (demo 影片如上)，接下來便以自己寫過的 head tracking project 來介紹 head tracking 技術較細節的實做過程。

由於沒有wiimote可以使用，在硬體方面以一般的網路攝影機來代替wiimote。一開始使用OpenCV做 face regonition並使用辨識到的五官大小來判定使用者與螢幕的距離，使用這樣的技巧使用者可以不必帶上特殊的眼鏡很自然的走到 display 面前便可以體驗VR display。但由於電腦運算速度(macbook)的不足，辨識的動作造成了太大的 loading，造成 rendering 失去了 realtime。為了達到 realtime rendering，與Jonny Chung Lee採用了類似的模式，將兩群IR LED設置於一頂帽子帽簷的兩端，使用玻璃紙當IR Filter，在使用OpenCV做tracking ，如此一來便可以勉強在沒有獨立顯示卡的macbook上達到realtime rendering。(如下圖)
Face regonition

IR LED tracking

硬體規格如下：

LED距離: 12.25cm
螢幕寬: 29cm
螢幕高: 18cm

在 OpenGL rendering 與座標軸的設定如下：

camera坐標: 人眼位置
螢幕中心: (0,0,20)
近投影屏(near):1

根據以上規格再搭配了推導出的公式(如下)，並依照公式使用 OpenGL 做非對稱的投影，便形成了影片中的效果。可以發現由於沒有 wiimote 來幫忙計算，使用 OpenCV 依然對 rendering 造成了一些 delay 的情況。另外，Johnny Chung Lee 很聰明的選擇了較大的 display 與遠小於螢幕的 objects 來 render；再搭配背景的輔助線形成了非常成功的錯覺，是我的實做版本所沒有考慮到的。以上兩種原因(1. 硬體的不足 2. 使用了大於螢幕的物件)導致我的實做版本效果並沒有如預期顯著。

References:

[1] http://johnnylee.net/
[2] http://johnnylee.net/projects/wii/
[3] http://msdn.microsoft.com/en-us/vcsharp/
[4] http://msdn.microsoft.com/en-us/directx/
[5] http://blogs.msdn.com/coding4fun/archive -
/2007/03/14/1879033.aspx
[6] http://yzucsecg.blogspot.com/
[7] http://bizkit4cg.wordpress.com/
[8] http://www.opengl.org/
[9] http://sourceforge.net/projects/opencvlibrary