什么是計(jì)算機(jī)圖形學(xué)?
一、什么是計(jì)算機(jī)圖形學(xué)?
什么是計(jì)算機(jī)圖形學(xué)?計(jì)算機(jī)圖形學(xué)(Computer Graphics,簡(jiǎn)稱CG)的內(nèi)容比較豐富,與很多學(xué)科都有交叉,因此筆者認(rèn)為是無(wú)法嚴(yán)格定義的。
在“Wiki百 科”和“百度百科”上,對(duì)“計(jì)算機(jī)圖形學(xué)”的解釋為:計(jì)算機(jī)圖形學(xué)是一種使用數(shù)學(xué)算法將二維或三維圖形轉(zhuǎn)化為計(jì)算機(jī)顯示器的柵格形式的科學(xué)。簡(jiǎn)單地說(shuō),計(jì) 算機(jī)圖形學(xué)的主要研究?jī)?nèi)容就是研究如何在計(jì)算機(jī)中表示圖形、以及利用計(jì)算機(jī)進(jìn)行圖形的計(jì)算、處理和顯示的相關(guān)原理與算法。雖然通常認(rèn)為CG是指三維圖形的處理,事實(shí)上也包括了二維圖形及圖像的處理。
狹義地理解,計(jì)算機(jī)圖形學(xué)是數(shù)字圖象處理或計(jì)算機(jī)視覺(jué)的逆過(guò)程:計(jì)算機(jī)圖形學(xué)是用計(jì)算機(jī)來(lái)畫(huà)圖像的學(xué)科,數(shù)字圖象處理是把外界獲得的圖象用計(jì)算機(jī)進(jìn)行處理的學(xué)科,計(jì)算機(jī)視覺(jué)是根據(jù)獲取的圖像來(lái)理解和識(shí)別其中的物體的三維信息及其他信息。
注意,這些都是不確切的定義,實(shí)際上,計(jì)算機(jī)圖形學(xué)、數(shù)字圖象處理和計(jì)算機(jī)視覺(jué)在很多地方的區(qū)別不是非常清晰,很多概念是相通的,而且隨著研究的深入,這些學(xué)科方向不斷的交叉融入,形成一個(gè)更大的學(xué)科方向,可稱之為“可視計(jì)算”(Visual Computing)。這是后話,此處不詳述。
二、 計(jì)算機(jī)圖形學(xué)的主要內(nèi)容
在學(xué)科開(kāi)創(chuàng)之初,計(jì)算機(jī)圖形學(xué)要解決的是如何在計(jì)算機(jī)中表示三維幾何圖形,以及如何利用計(jì)算機(jī)進(jìn)行圖形的生成、處理和顯示的相關(guān)原理與算法,產(chǎn)生令人賞心悅目的真實(shí)感圖像。這是狹義的計(jì)算機(jī)圖形學(xué)的范疇。隨著近40年的發(fā)展,計(jì)算機(jī)圖形學(xué)的內(nèi)容已經(jīng)遠(yuǎn)遠(yuǎn)不止這些了。廣義的計(jì)算機(jī)圖形學(xué)的研究?jī)?nèi)容非常廣泛,如圖形硬件、圖形標(biāo)準(zhǔn)、圖形交互技術(shù)、光柵圖形生成算法、曲線曲面造型、實(shí)體造型、真實(shí)感圖形計(jì)算與顯示算法,以及科學(xué)計(jì)算可視化、計(jì)算機(jī)動(dòng)畫(huà)、自然景物仿真、虛擬現(xiàn)實(shí)等。
根據(jù)筆者的理解,計(jì)算機(jī)圖形學(xué)主要包含四大部分的內(nèi)容:建模(Modeling)、渲染(Rendering)、動(dòng)畫(huà)(Animation)和人機(jī)交互(Human–computer Interaction, HCI)。
1、 建模(Modeling)
要在計(jì)算機(jī)中表示一個(gè)三維物體,首先要有它的幾何模型表達(dá)。因此,三維模型的建模是計(jì)算機(jī)圖形學(xué)的基礎(chǔ),是其他內(nèi)容的前提。表達(dá)一個(gè)幾何物體可以是用數(shù)學(xué)上的樣條函數(shù)或隱式函數(shù)來(lái)表達(dá);也可以是用光滑曲面上的采樣點(diǎn)及其連接關(guān)系所表達(dá)的三角網(wǎng)格來(lái)表達(dá)(即連續(xù)曲面的分片線性逼近),如下圖所示。
三維建模方法主要包含如下的一些方法:
l 計(jì)算機(jī)輔助設(shè)計(jì)(CAD)中的主流方法是采用NURBS(非均勻有理B-樣條、Bezier曲線曲面)方法(已成為CAD工業(yè)領(lǐng)域的標(biāo)準(zhǔn)),這也是計(jì)算機(jī)輔助幾何設(shè)計(jì)(CAGD)所研究的主要內(nèi)容。此類表達(dá)方法有一些難點(diǎn)問(wèn)題仍未解決,比如非正規(guī)情況下的曲面光滑拼合,復(fù)雜曲面表達(dá)等。這部分涉及的數(shù)學(xué)比較多,國(guó)內(nèi)做這塊的學(xué)者比較多些。
l 細(xì)分曲面(Subdivision surface)造型方法,作為一種離散迭代的曲面構(gòu)造方法,由于其構(gòu)造過(guò)程樸素簡(jiǎn)單以及實(shí)現(xiàn)容易,是一個(gè)方興未艾的研究熱點(diǎn)。經(jīng)過(guò)十多年的研究發(fā)展,細(xì)分曲面造型取得了較大的進(jìn)展,包括奇異點(diǎn)處的連續(xù)性構(gòu)造方法以及與GPU圖形硬件相結(jié)合的曲面處理方法。
l 利用軟件的直接手工建模。現(xiàn)在主流的商業(yè)化的三維建模軟件有Autodesk 3D Max和 Maya。其他還有面向特定領(lǐng)域的商業(yè)化軟件,比如面向建筑模型造型的Google Sketchup,面向CAD/CAM/CAE的CATIA和AutoCAD,面向機(jī)械設(shè)計(jì)的SolidWorks,面向造船行業(yè)的Rhino等。這些軟件需要建模人員有較強(qiáng)的專業(yè)知識(shí),而且需要一定時(shí)期的培訓(xùn)才能掌握,建模效率低而學(xué)習(xí)門(mén)檻高,不易于普及和讓非專業(yè)用戶使用。
l 基于筆劃或草圖交互方式的三維建模方法。草圖交互方式由于其符合人類原有日常生活中的思考習(xí)慣,交互方式直觀簡(jiǎn)單,是最近幾年研究的熱點(diǎn)建模方法。其難點(diǎn)是根據(jù)具體的應(yīng)用場(chǎng)合,如何正確地理解和識(shí)別用戶的交互所表達(dá)的語(yǔ)義,構(gòu)造出用戶所希望的模型。
l 基于語(yǔ)法及規(guī)則的過(guò)程式建模方法。特別適合具有重復(fù)特征和結(jié)構(gòu)化的幾何物體與場(chǎng)景,比如建筑、樹(shù)木等。最近幾年有較多的論文及較大的發(fā)展。
l 基于圖像或視頻的建模方法。這是傳統(tǒng)的計(jì)算機(jī)視覺(jué)所要解決的基本問(wèn)題。在計(jì)算機(jī)圖形學(xué)領(lǐng)域,這方面的發(fā)展也很迅速。有一些商業(yè)化軟件或云服務(wù)(比如Autodesk的123D),已經(jīng)能從若干張照片重建出所拍攝物體的三維模型。該方法的問(wèn)題是需要物體本身已經(jīng)存在,而且重建的三維模型的精度有限。
l 基于掃描點(diǎn)云(深度圖像如Kinect、結(jié)構(gòu)光掃描、激光掃描、LiDAR掃描等)的建模(Reconstruction)方法。隨著深度相機(jī)的出現(xiàn)及掃描儀的價(jià)格迅速下降,人們采集三維數(shù)據(jù)變得容易,從采集到的三維點(diǎn)云來(lái)重建三維模型的工作在最近幾年的Siggraph(Asia)上能常見(jiàn)到。但是,單純的重建方式存在精度低、穩(wěn)定性差和運(yùn)算量大等不足,遠(yuǎn)未能滿足實(shí)際的需求。
l 基于現(xiàn)有模型來(lái)合成建模的方法。隨著三維模型的逐漸增多,可以利用現(xiàn)有的三維模型通過(guò)簡(jiǎn)單的操作,比如cut and paste,或者分析及變形等手段,來(lái)拼接或合成新的三維模型。這種通過(guò)“學(xué)習(xí)”模型數(shù)據(jù)庫(kù)的知識(shí)來(lái)進(jìn)行建模的手段在近3-5年里研究得非常熱門(mén)。從某方面來(lái)講,就是“大數(shù)據(jù)時(shí)代”背景下計(jì)算機(jī)圖形學(xué)領(lǐng)域中的一個(gè)具體的表現(xiàn)。
除了上述的這些建模方法,還有其他的一些建模方法,在此不再一一列舉。
在對(duì)三維幾何模型的構(gòu)建過(guò)程中,還會(huì)涉及到很多需要處理的幾何問(wèn)題,比如數(shù)據(jù)去噪(denoising or smoothing)、補(bǔ)洞(repairing)、簡(jiǎn)化(simplification)、層次細(xì)節(jié)(level of detail)、參數(shù)化(parameterization)、變形(deformation or editing)、分割(segmentation)、形狀分析及檢索(shape analysis and retrieval)等。這些問(wèn)題構(gòu)成“數(shù)字幾何處理”的主要研究?jī)?nèi)容。筆者自2005年起開(kāi)設(shè)了多年的《數(shù)字幾何處理》的研究生課程:
http://staff.ustc.edu.cn/~lgliu/Courses/DGP_2012_spring-summer/default.htm
雖然有上述所提到的這么多的三維建模方式,但是至今為止,仍沒(méi)有適合一般家庭用戶的輕松簡(jiǎn)單的建模工具。現(xiàn)有的電子設(shè)備(比如相機(jī),手機(jī)等)能夠幫助人們 輕松獲得圖像和視頻,但是,不是人人都有能力來(lái)構(gòu)建三維幾何模型。如何讓大眾能夠像獲取圖像那樣能夠隨時(shí)隨地地獲取或者構(gòu)建三維模型,仍然是計(jì)算機(jī)圖形學(xué) 的任重道遠(yuǎn)的主要任務(wù)之一!今天,計(jì)算機(jī)圖形學(xué)仍未進(jìn)入“大數(shù)據(jù)時(shí)代”。只有讓大眾能夠輕松進(jìn)行三維建模,并上載分享他們所構(gòu)建的模型數(shù)據(jù),計(jì)算機(jī)圖形學(xué) 才可能進(jìn)入大數(shù)據(jù)時(shí)代。
另外,隨著三維打印(3D printing)的新興技術(shù)的逐漸普及,人們對(duì)三維模型的需求也日益增加。筆者個(gè)人認(rèn)為,幾何建模和三維打印的未來(lái)是共呼吸,同命運(yùn)的:也只有當(dāng)人人都能輕松建模時(shí),三維打印才有可能走向千家萬(wàn)戶。
三維幾何建模的任務(wù)仍然任重道遠(yuǎn),大家仍需共同努力!
2、 渲染(Rendering)
有了三維模型或場(chǎng)景,怎么把這些三維幾何模型畫(huà)出來(lái),產(chǎn)生令人賞心悅目的真實(shí)感圖像?這就是傳統(tǒng)的計(jì)算機(jī)圖形學(xué)的核心任務(wù),在計(jì)算機(jī)輔助設(shè)計(jì),影視動(dòng)漫以及各類可視化應(yīng)用中都對(duì)圖形渲染結(jié)果的高真實(shí)感提出了很高的要求。
上個(gè)世紀(jì)80-90年代研究的比較多些,包含了大量的渲染模型,包括局部光照模型(Local Illumination Model)、光線跟蹤算法(Ray Tracing)、輻射度(Radiosity)等,以及到后面的更為復(fù)雜、真實(shí)、快速的渲染技術(shù),比如全局光照模型(Global Illumination Model)、Photo mapping、BTF、BRDF、以及基于GPU的渲染技術(shù)等。
現(xiàn)在的渲染技術(shù)已經(jīng)能夠?qū)⒏鞣N物體,包括皮膚、樹(shù)木、花草、水、煙霧、毛發(fā)等渲染得非常逼真。一些商業(yè)化軟件(比如Maya, Blender, Pov Ray等)也提供了強(qiáng)大的真實(shí)感渲染功能,在計(jì)算機(jī)圖形學(xué)研究論文中作圖中要經(jīng)常用到這些工具來(lái)渲染漂亮的展示圖或結(jié)果圖。
然而,已知的渲染實(shí)現(xiàn)方法,仍無(wú)法實(shí)現(xiàn)復(fù)雜的視覺(jué)特效,離實(shí)時(shí)的高真實(shí)感渲染還有很大差距,比如完整地實(shí)現(xiàn)適于電影渲染(高真實(shí)感、高分辨率)制作的RenderMan標(biāo)準(zhǔn),以及其他各類基于物理真實(shí)感的實(shí)時(shí)渲染算法等。因此,如何充分利用GPU的計(jì)算特性,結(jié)合分布式的集群技術(shù),從而來(lái)構(gòu)造低功耗的渲染服務(wù)是發(fā)展趨勢(shì)之一。
3、 動(dòng)畫(huà)(Animation)
動(dòng)畫(huà)是采用連續(xù)播放靜止圖像的方法產(chǎn)生物體運(yùn)動(dòng)的效果。計(jì)算機(jī)動(dòng)畫(huà)借助于編程或動(dòng)畫(huà)制作軟件生成一系列的景物畫(huà)面,是計(jì)算機(jī)圖形學(xué)的研究熱點(diǎn)之一。研究方向包括:人體動(dòng)畫(huà),關(guān)節(jié)動(dòng)畫(huà),運(yùn)動(dòng)動(dòng)畫(huà),腳本動(dòng)畫(huà),具有人的意識(shí)的虛擬角色的動(dòng)畫(huà)系統(tǒng)等。另外,高度物理真實(shí)感的動(dòng)態(tài)模擬,包括對(duì)各種形變、水、氣、云、煙霧、燃燒、爆炸、撕裂、老化等物理現(xiàn)象的真實(shí)模擬,也是動(dòng)畫(huà)領(lǐng)域的主要問(wèn)題。這些技術(shù)是各類動(dòng)態(tài)仿真應(yīng)用的核心技術(shù),可以極大地提高虛擬現(xiàn)實(shí)系統(tǒng)的沉浸感。計(jì)算機(jī)動(dòng)畫(huà)的應(yīng)用領(lǐng)域廣泛,比如動(dòng)畫(huà)片制作,廣告、電影特技,訓(xùn)練模擬,物理仿真,游戲等。
網(wǎng)上的一些3D動(dòng)畫(huà)的視頻:
Larva蟲(chóng)蟲(chóng): http://v.youku.com/v_show/id_XMzAzMzkxMTY0.html
The Killer Bean: http://v.youku.com/v_show/id_XMjI5ODE2MTEy.html
愛(ài)與孝: http://v.youku.com/v_show/id_XNTU0OTUxNjUy.html
房地產(chǎn)動(dòng)畫(huà)廣告宣傳片: http://v.youku.com/v_show/id_XNTc1OTE4MDMy.html
4、 人機(jī)交互(Human–Computer Interaction, HCI)
人機(jī)交互(Human-Computer Interaction, 簡(jiǎn)寫(xiě)HCI)是指人與計(jì)算機(jī)之間以一定的交互方式或交互界面,來(lái)完成確定任務(wù)的人與計(jì)算機(jī)之間的信息交換過(guò)程。簡(jiǎn)單來(lái)講,就是人如何通過(guò)一定的交互方式告訴計(jì)算機(jī)來(lái)完成他所希望完成的任務(wù)。
計(jì)算機(jī)圖形學(xué)的頂級(jí)會(huì)議ACM SIGGRAPH是“ACM Special Interest Group on GRAPHics and Interactive Techniques”的縮寫(xiě),縮寫(xiě)中只包含了Graphics,而忽略了Interactive Techniques,在長(zhǎng)時(shí)間沒(méi)有得到計(jì)算機(jī)圖形學(xué)研究的重視。最近,包括在SIGGRAPH會(huì)議上,以及人機(jī)交互的頂級(jí)會(huì)議SIGCHI上,陸續(xù)出現(xiàn)了許多新興的人機(jī)交互技術(shù)及研究論文。大家逐漸重視起來(lái)。
在早期(上個(gè)世紀(jì)60-70年代),只有以鍵盤(pán)輸入的字符界面;到了80年代,以WIMP(窗口、圖符、菜單、鼠標(biāo))為基礎(chǔ)的圖形用戶界面(GUI)逐漸成為當(dāng)今計(jì)算機(jī)用戶界面的主流。
近年來(lái),以用戶為中心的系統(tǒng)設(shè)計(jì)思想,增進(jìn)人機(jī)交互的自然性,提高人機(jī)交互的效率是用戶界面的主要研究方向。陸續(xù)提出了多通道用戶界面的思想,它包括語(yǔ)言、姿勢(shì)輸入、頭部跟蹤、視覺(jué)跟蹤、立體顯示、三維交互技術(shù)、感覺(jué)反饋及自然語(yǔ)言界面等。
事實(shí)上,人體的表面本身就是人機(jī)界面。人體的任何部分(姿勢(shì),手勢(shì),語(yǔ)言,眼睛,肌肉電波,腦波等)都可以成為人機(jī)對(duì)話的通道。比如2010年微軟出的Kinect就是一種無(wú)需任何操縱桿的基于體感的人機(jī)界面,用戶本身就是控制器。Kinect在微軟的Xbox游戲上取得了極大的成功,之后在其他方面也得到了很多的應(yīng)用。
特別是到了今年(2013年),人機(jī)交互設(shè)備有了巨大的發(fā)展,各種自然的交互手段層出不窮,極大地豐富了用戶與機(jī)器交互的體驗(yàn),方便了用戶的操作,輕松表達(dá)了用戶的交互意圖。可以說(shuō),
我們正處在圖形與交互技術(shù)極速發(fā)展的浪尖!
以下是最近幾年(特別是今年)出現(xiàn)的一些值得關(guān)注的新興的人機(jī)交互設(shè)備:
l Microsoft Kinect:http://v.youku.com/v_show/id_XNTc2ODY0MTA4.html
1) Kinect由微軟于2010年推出的對(duì)XBOX360體感外設(shè),它不需要使用任何控制器,僅依靠相機(jī)捕捉三維空間中玩家的運(yùn)動(dòng),同時(shí)它導(dǎo)入了即時(shí)動(dòng)態(tài)捕捉、影像辨識(shí)、麥克風(fēng)輸入、語(yǔ)音辨識(shí)、社群互動(dòng)等功能。Kinect徹底顛覆了游戲的單一操作。使人機(jī)互動(dòng)的理念更加徹底的展現(xiàn)出來(lái)。之后,基于Kinect的各種應(yīng)用像雨后春筍般的冒出來(lái),包括人機(jī)交互,手勢(shì)識(shí)別,幾何建模等。
2) 在2013年5月28日的Xbox One發(fā)布會(huì)上,微軟展示了新一代Kinect 2.0,新 Kinect能感知的語(yǔ)音、手勢(shì)和玩家感覺(jué)信息,將給玩家?guī)?lái)前所未有的互動(dòng)性體驗(yàn):
http://v.youku.com/v_show/id_XNTIyODU0NDky.html
l Leap Motion:http://v.youku.com/v_show/id_XNTAwMzg0MTQw.html
Leap Motion為放在鍵盤(pán)和顯示器之間的小小金屬棒,就能讓任何一位用戶通過(guò)簡(jiǎn)單的手勢(shì)完成人機(jī)交互。Leap Motion 的響應(yīng)驚人的準(zhǔn)確,對(duì)各種自然而簡(jiǎn)潔的手勢(shì)都能識(shí)別。不必站起來(lái)或者擺動(dòng)手臂,Leap Motion 是簡(jiǎn)單而毫不費(fèi)力的交互方式。我們?cè)?月份就預(yù)訂了一臺(tái),到現(xiàn)在還未到貨,估計(jì)要到下個(gè)月到貨。到貨后我們會(huì)對(duì)其進(jìn)行評(píng)測(cè)。
l MYO:http://v.youku.com/v_show/id_XNTYzNzg3MDA0.html
MYO 是一款能在用戶揮動(dòng)并指向屏幕時(shí)測(cè)量各種肌肉產(chǎn)生的電活動(dòng)來(lái)完成交互的腕帶。MYO 超越 Leap Motion 的一點(diǎn)是,MYO 對(duì)用戶的位置沒(méi)有限制。盡管MYO只聽(tīng)令于身體的一個(gè)部分(手臂),但是其應(yīng)用的場(chǎng)合還是很多的。期望未來(lái)會(huì)有更多的聽(tīng)令于身體的其他部分的交互設(shè)備。
l Google Glass:http://v.youku.com/v_show/id_XNTYzNzk1NjIw.html
Google Glass為Google公司在2012的I/O開(kāi)發(fā)者大會(huì)上正式公布的,在看起來(lái)普普通通的眼鏡上配置強(qiáng)大的計(jì)算機(jī)和顯示器。這款設(shè)備小巧而不顯眼,可以在任何時(shí)間地點(diǎn)使用,即用戶想要專注于周?chē)h(huán)境時(shí)不會(huì)礙事。不過(guò)對(duì)其未來(lái)的發(fā)展各有說(shuō)法,讓我們拭目以待。
l 3D Printer:這個(gè)就不用筆者詳細(xì)說(shuō)了,這兩年太火了。正如上面所提到的觀點(diǎn),筆者覺(jué)得3D打印的出現(xiàn)帶給了我們從事計(jì)算機(jī)圖形學(xué)研究的工作者許多的機(jī)會(huì)。挑戰(zhàn)和機(jī)會(huì)并存!我們應(yīng)該要抓住這次機(jī)會(huì)!
l 3Doodler:http://v.youku.com/v_show/id_XNTE2MjM5NzUy.html
3Doodler是玩具和機(jī)器人公司W(wǎng)obble Works開(kāi)發(fā)的全球首款“3D打印筆”,可以幫助人們?cè)诎肟罩袆?chuàng)造出三維結(jié)構(gòu)的模型。今后人們可以在三維空間中來(lái)“畫(huà)圖”交流和表達(dá)想法了。
l Apple iWatch:http://v.youku.com/v_show/id_XNTIwODk0MzM2.html
iWatch由蘋(píng)果公司推出的一款智能手表。現(xiàn)在仍是概念產(chǎn)品,面世時(shí)間未定。其界面看看視頻就知道有多酷。但是其技術(shù)上的實(shí)現(xiàn)筆者也沒(méi)有完全想通,呵呵。
除了上述介紹的外,最近還有其他很多新的人機(jī)交互類的電子科技產(chǎn)品,比如透明手機(jī),可折疊的屏幕,具有氣味和觸感反饋的頭盔等,就不一一介紹了。
由此可見(jiàn),以前在科幻電影里出現(xiàn)的“神器”逐漸被實(shí)現(xiàn),計(jì)算機(jī)圖形學(xué)及相關(guān)技術(shù)在其中發(fā)揮了重要的作用。同時(shí),這些設(shè)備的出現(xiàn),也帶給了計(jì)算機(jī)圖形學(xué)領(lǐng)域更多的探索和機(jī)會(huì)。
5、 其他內(nèi)容
上述所提到的只是計(jì)算機(jī)圖形學(xué)的主要的四個(gè)內(nèi)容。事實(shí)上,與計(jì)算機(jī)圖形學(xué)相關(guān)的學(xué)科還有很多,以下僅介紹幾個(gè)最為相關(guān)的研究方向:
l 虛擬現(xiàn)實(shí)(Virtual Reality):利用計(jì)算機(jī)圖形產(chǎn)生器,位置跟蹤器,多功能傳感器和控制 器等有效地模擬實(shí)際場(chǎng)景和情形,從而能夠使觀察者產(chǎn)生一種真實(shí)的身臨其境的感覺(jué)。虛擬現(xiàn)實(shí)技術(shù)主要研究用計(jì)算機(jī)模擬(構(gòu)造)三維圖形空間,并使用戶能夠自 然地與該空間進(jìn)行交互。對(duì)三維圖形處理技術(shù)的要求特別高。簡(jiǎn)單的虛擬現(xiàn)實(shí)系統(tǒng)早在70年代便被應(yīng)用于軍事領(lǐng)域,訓(xùn)練駕駛員。80年代后隨著計(jì)算機(jī)軟硬件技術(shù)的提高,它也得到重視并迅速發(fā)展。它已在航空航天、醫(yī)學(xué)、教育、藝術(shù)、建筑等領(lǐng)域得到初步的應(yīng)用。
l 可視化(Visualization): 利用計(jì)算機(jī)圖形學(xué)和圖像處理技術(shù),將數(shù)據(jù)轉(zhuǎn)換成圖形或圖像在屏幕上顯示出來(lái),并進(jìn)行交互處理的理論、方法和技術(shù)。現(xiàn)已成為研究數(shù)據(jù)表示、數(shù)據(jù)處理、決策分 析等一系列問(wèn)題的綜合技術(shù)。上面提到的虛擬現(xiàn)實(shí)技術(shù)也是以圖形圖像的可視化技術(shù)為依托的。在現(xiàn)在的大數(shù)據(jù)時(shí)代的背景下,可視化的內(nèi)容除了傳統(tǒng)的科學(xué)可視化 外,現(xiàn)在還有信息可視化,可視分析等方面。
l 可視媒體計(jì)算與處理(Visual Media Processing):幾何數(shù)據(jù),被認(rèn)為是繼聲音、圖像、視頻之后的新一代數(shù)字媒體,是計(jì)算機(jī)圖形學(xué)的研究重點(diǎn)。最近幾年,計(jì)算機(jī)圖形學(xué)與圖像視頻處理技術(shù)相結(jié)合的研究與技術(shù)日益增多。正如筆者在上面所提及的,圖像和視頻的大數(shù)據(jù)處理能帶給計(jì)算機(jī)圖形學(xué)很多處理手段上的更新。另一方面,隨著而 計(jì)算機(jī)圖形學(xué)技術(shù),恰可以與這些圖像處理,視覺(jué)方法相交叉融合,來(lái)直接地生成風(fēng)格化的畫(huà)面,實(shí)現(xiàn)基于圖像三維建模,以及直接基于視頻和圖像數(shù)據(jù)來(lái)生成動(dòng)畫(huà) 序列。當(dāng)計(jì)算機(jī)圖形學(xué)正向地圖像生成方法和計(jì)算機(jī)視覺(jué)中逆向地從圖像中恢復(fù)各種信息方法相結(jié)合,可以帶來(lái)無(wú)可限量的想象空間,構(gòu)造出很多視覺(jué)特效來(lái),最終 用于增強(qiáng)現(xiàn)實(shí)、數(shù)字地圖、虛擬博物館展示等多種應(yīng)用中去。因此,在很多方面,計(jì)算機(jī)圖形學(xué)與圖像處理、視頻處理、多媒體處理、計(jì)算機(jī)視覺(jué)等學(xué)科逐漸融合在 一起,有成為一個(gè)更大的學(xué)科的趨勢(shì)。
l 醫(yī)學(xué)圖像處理(Medical Imaging):隨著醫(yī)學(xué)成像技術(shù)的發(fā)展與進(jìn)步,圖像處理在醫(yī)學(xué)研究與臨床醫(yī)學(xué)中的應(yīng)用越來(lái)越廣泛。與一般意義上的圖像處理比較,醫(yī)學(xué)圖像處理有其特殊性和不同的側(cè)重點(diǎn)。醫(yī)學(xué)圖像處理由生物醫(yī)學(xué)成像(X射線、CT、MRI)和生物醫(yī)學(xué)圖像處理兩部分組成,在生命科學(xué)研究、醫(yī)學(xué)診斷、臨床治療等方面起著重要的作用。醫(yī)學(xué)圖像分析中涉及的兩個(gè)最為重要的內(nèi)容為圖像分割與圖像配準(zhǔn)。
l 計(jì)算機(jī)藝術(shù)(Computational Arts):計(jì)算機(jī)圖形學(xué)的發(fā)展也提供給了藝術(shù)家發(fā)揮和實(shí)現(xiàn)想象的豐富的技術(shù)手段。計(jì)算機(jī)藝術(shù)的發(fā)展速度遠(yuǎn)遠(yuǎn)超出了人們的想象,在代表計(jì)算機(jī)圖形研究最高水平的歷屆SIGGRAPH年會(huì)上,精彩的計(jì)算機(jī)藝術(shù)作品層出不窮。在計(jì)算機(jī)圖形學(xué)領(lǐng)域,還有幾個(gè)關(guān)于計(jì)算藝術(shù)方面的會(huì)議,包括非真實(shí)性圖形學(xué)(Non-Photorealistic Graphics)和Computational Aesthetics(計(jì)算美學(xué))等。吸引了計(jì)算機(jī)工作者、藝術(shù)家、建筑師、設(shè)計(jì)師等方面的人員在一起,通過(guò)頭腦風(fēng)暴和交流討論的方式進(jìn)行一些有創(chuàng)意的技術(shù)研究。
三、學(xué)習(xí)計(jì)算機(jī)圖形學(xué)需要哪些基礎(chǔ)?
計(jì)算機(jī)圖形學(xué)是一門(mén)與很多學(xué)科都交叉的學(xué)科方向。因此,要學(xué)好計(jì)算機(jī)圖形學(xué)和做好計(jì)算機(jī)圖形學(xué)方面的研究,除了計(jì)算機(jī)圖形學(xué)的基礎(chǔ)知識(shí)以外,你還需要有其他方面的一些知識(shí)。當(dāng)然你懂得越多當(dāng)然會(huì)越好。
1、 數(shù)學(xué)
計(jì)算機(jī)圖形學(xué)進(jìn)入我國(guó)大概在上個(gè)世紀(jì)70年代末和80年 代初,那時(shí)國(guó)內(nèi)還沒(méi)有計(jì)算機(jī)學(xué)科。于是,開(kāi)始學(xué)習(xí)和研究計(jì)算機(jī)圖形學(xué)的大部分都是搞數(shù)學(xué)的一些學(xué)者和教授。由此可見(jiàn),計(jì)算機(jī)圖形學(xué)是需要數(shù)學(xué)知識(shí)較多的一 門(mén)計(jì)算機(jī)應(yīng)用技術(shù)學(xué)科,在我國(guó)也是應(yīng)用數(shù)學(xué)的一個(gè)重要分支(國(guó)內(nèi)的很多高校和科研院所的數(shù)學(xué)專業(yè)都有計(jì)算機(jī)圖形學(xué)方向)。
計(jì)算機(jī)圖形學(xué)里面用到的數(shù)學(xué)比較多,列舉一些常用的,包括:微積分、線性代數(shù)、矩陣計(jì)算、微分幾何、數(shù)值計(jì)算和分析、計(jì)算方法、偏微分方程、微分方程數(shù)值解、最優(yōu)化、概率、統(tǒng)計(jì)、計(jì)算幾何等。
計(jì)算機(jī)圖形學(xué)領(lǐng)域的一位優(yōu)秀學(xué)者Greg Turk教授在1997年曾寫(xiě)過(guò)一篇“計(jì)算機(jī)圖形學(xué)中的數(shù)學(xué)”(Mathematics for Computer Graphics)的帖子,詳細(xì)可見(jiàn):
http://www.cc.gatech.edu/~turk/math_gr.html
其中文翻譯版本可見(jiàn):
http://staff.ustc.edu.cn/~lgliu/Resources/CG/Math_for_CG_Turk_CN.htm
筆者在多年從事計(jì)算機(jī)圖形學(xué)研究中對(duì)數(shù)學(xué)的體會(huì)是:“數(shù)學(xué)不是沒(méi)有用,而是不夠用!”。對(duì)數(shù)學(xué)的學(xué)習(xí)和應(yīng)用將是“活到老,學(xué)到老”。重要的是,從以前看似 枯燥的數(shù)學(xué)到看到它的實(shí)際應(yīng)用的過(guò)程中,你會(huì)更容易享受數(shù)學(xué)的美妙。在你不斷進(jìn)行計(jì)算機(jī)圖形學(xué)的研究的過(guò)程中,你會(huì)感覺(jué)到你的數(shù)學(xué)知識(shí)越來(lái)越不夠用,從而 真正理解其中的數(shù)學(xué)思想和數(shù)學(xué)方法。
另一方面,想成為一名計(jì)算機(jī)圖形學(xué)的研究者也不必精通各門(mén)數(shù)學(xué)!在大學(xué)里,你所學(xué)的那些數(shù)學(xué)看起來(lái)都很抽象,枯燥無(wú)味,這是因?yàn)槟悴⒉恢浪鼈兊挠锰帲?至連講課的老師也不知道,而你們的目的只是記住那些定理和公式,考個(gè)好分?jǐn)?shù)。與大學(xué)學(xué)習(xí)數(shù)學(xué)不一樣的是,你在計(jì)算機(jī)圖形學(xué)的學(xué)習(xí)和研究過(guò)程中會(huì)感受到數(shù)學(xué) 的用處和美妙,這時(shí)你學(xué)習(xí)數(shù)學(xué)的目的將更加明確,興趣將更加濃厚,學(xué)習(xí)方法將更加有效。因?yàn)槟闶窃谑褂脭?shù)學(xué)的過(guò)程中在學(xué)習(xí)數(shù)學(xué)!想想看你是如何學(xué)會(huì)中文說(shuō) 話的?以上提到的常用的數(shù)學(xué)課程你不必都要熟悉,許多研究工作者從不需要考慮其中提到的某些數(shù)學(xué)知識(shí),成功的研究者總是將某一方面的數(shù)學(xué)知識(shí)和數(shù)學(xué)工具用 到極致!
總之,關(guān)于計(jì)算機(jī)圖形學(xué)與數(shù)學(xué)的關(guān)系,歸納起來(lái)就是以下幾個(gè)原則:
l 計(jì)算機(jī)圖形學(xué)的研究需要用到較多的數(shù)學(xué)知識(shí),有較好數(shù)學(xué)功底的學(xué)生從事計(jì)算機(jī)圖形學(xué)有一定優(yōu)勢(shì);
l 即使沒(méi)有學(xué)太多的數(shù)學(xué)也不要緊。數(shù)學(xué)的知識(shí)不需要都學(xué)會(huì)了再去做問(wèn)題,在解決問(wèn)題的過(guò)程中去學(xué)習(xí)數(shù)學(xué)是最快的學(xué)習(xí)方法。即,研究過(guò)程中若遇到什么數(shù)學(xué)知識(shí)再去學(xué)相關(guān)的知識(shí),學(xué)習(xí)起來(lái)會(huì)更有興趣,掌握起來(lái)會(huì)更快更扎實(shí);
l 學(xué)習(xí)數(shù)學(xué)要結(jié)合圖形,即“數(shù)形結(jié)合”,需要有圖形的想象能力;數(shù)學(xué)公式不重要,是“紙老虎”,重要的是背后的思想及其所表達(dá)的概念,公式只是它們的一個(gè)抽象表達(dá);
l 活到老,學(xué)到老。要不斷學(xué)習(xí)新的知識(shí)和技術(shù),使自己不斷進(jìn)步和增長(zhǎng)功力,才是王道。
2、 編程
在計(jì)算機(jī)圖形學(xué)中,大部分的想法都要通過(guò)實(shí)際例子來(lái)驗(yàn)證的,再好的理論也要拿實(shí)際例子來(lái)得到驗(yàn)證和應(yīng)用。因此,利用編程語(yǔ)言來(lái)實(shí)現(xiàn)想法或算法是必須要有的能力。C/C++是計(jì)算機(jī)圖形學(xué)最常用的編程語(yǔ)言。
筆者要求學(xué)生必須掌握C++編程語(yǔ)言和面向?qū)ο缶幊趟枷耄@是大家通用的“語(yǔ)言”。網(wǎng)上的大部分的資源、類庫(kù)、算法代碼基本上都是C++寫(xiě)的,因此,你若需要利用這些資源,必須掌握甚至精通C++語(yǔ)言。
關(guān)于計(jì)算機(jī)圖形學(xué)所需要的編程能力的幾點(diǎn)看法:
l 從事計(jì)算機(jī)圖形學(xué)和圖像處理的研究需要有較強(qiáng)的編程能力,要對(duì)編程有極大的興趣和熱情;
l 如果你對(duì)編程比較“感冒”或“厭惡”,則建議你不要選擇計(jì)算機(jī)圖形學(xué)方向;
l 不太會(huì)編程不要緊,任何人都是從不會(huì)到會(huì)的!只要你對(duì)編程有興趣,覺(jué)得編程“好玩”,您完全可以在很短的時(shí)間內(nèi)極大地提高您的編程水平。筆者在長(zhǎng)期的教學(xué) 實(shí)驗(yàn)和科研過(guò)程中,摸索和發(fā)展出一套有效的方法,能夠在最短的時(shí)間內(nèi),幫助學(xué)生(包括數(shù)學(xué)專業(yè)的學(xué)生)快速提高編程的能力。
3、 其他
l 英語(yǔ)基礎(chǔ)要好,因?yàn)樾枰罅块喿x英文文獻(xiàn)和進(jìn)行英文論文的寫(xiě)作;英文的聽(tīng)說(shuō)能力也要好些,因?yàn)橐鷩?guó)際學(xué)者交流討論;
l 計(jì)算機(jī)圖形學(xué)中的很多算法是真實(shí)物理世界的模擬,因此,如果你要進(jìn)行基于物理的建模和仿真,一些物理知識(shí)和理論也需要的,比如力學(xué)(動(dòng)力學(xué),運(yùn)動(dòng)學(xué),流體力學(xué))和光學(xué)等;
l 其他學(xué)科的知識(shí),根據(jù)具體研究的需要去學(xué)習(xí)即可,不必刻意去提前學(xué)多少。
4、 計(jì)算機(jī)圖形學(xué)的教材
上面列舉的只是在你從事計(jì)算機(jī)圖形學(xué)的學(xué)習(xí)和研究中可能要用到的東西,不必所有的都學(xué)會(huì)才能開(kāi)始計(jì)算機(jī)圖形學(xué)的學(xué)習(xí)和研究。一門(mén)知識(shí)點(diǎn)不懂不要緊,重要的 是要能盡快學(xué)習(xí)新知識(shí)的能力和速度!事實(shí)上,最好的學(xué)習(xí)方法就是在使用中學(xué)習(xí)。因此,計(jì)算機(jī)圖形學(xué)的學(xué)習(xí)和研究提供了你學(xué)習(xí)其他相關(guān)知識(shí)的好的過(guò)程。
現(xiàn)在市面上的計(jì)算機(jī)圖形學(xué)的教材有很多,但是很多教材的內(nèi)容僅僅是計(jì)算機(jī)圖形學(xué)的基本知識(shí),知識(shí)點(diǎn)也比較陳舊。不能指望通過(guò)一本或幾本教材就能學(xué)會(huì)計(jì)算機(jī) 圖形學(xué)。計(jì)算機(jī)圖形學(xué)的內(nèi)容遠(yuǎn)比教材中或你想象中的內(nèi)容多得多。正如筆者上面所述,計(jì)算機(jī)圖形學(xué)作為一門(mén)技術(shù)科學(xué),特別是在當(dāng)前的互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、大 數(shù)據(jù)時(shí)代及第三次工業(yè)革命的時(shí)代背景下,最近幾年的發(fā)展日新月異!務(wù)必要通過(guò)跟著老師做相關(guān)研究來(lái)了解計(jì)算機(jī)圖形學(xué)最新的發(fā)展和趨勢(shì)。除了閱讀最新的最新 的科研論文外,還需要不斷關(guān)注信息科技及電子科技的一些前沿發(fā)展。要相信,計(jì)算機(jī)圖形學(xué)是好玩的,是有用的,更是有未來(lái)的!充滿熱情和激情,才能做好計(jì)算 機(jī)圖形學(xué)方面的研究。
四、SIGGRAPH簡(jiǎn)介
說(shuō)到計(jì)算機(jī)圖形學(xué),不能不提SIGGRAPH。
ACM SIGGRAPH是“ACM Special Interest Group on GRAPHics and Interactive Techniques”(美國(guó)計(jì)算機(jī)協(xié)會(huì)計(jì)算機(jī)圖形專業(yè)組)的縮寫(xiě),成立于1967年,致力于推廣和發(fā)展計(jì)算機(jī)繪圖和動(dòng)畫(huà)制作的軟硬件技術(shù)。從1974年開(kāi)始,ACM SIGGRAPH每年都會(huì)舉辦一次年會(huì)(也稱為SIGGRAPH),至今年已經(jīng)舉辦了40次。SIGGRAPH是計(jì)算機(jī)圖形學(xué)頂級(jí)年度會(huì)議,代表著世界級(jí)水平的研究,能在SIGGRAPH上發(fā)表論文是許多從事計(jì)算機(jī)圖形學(xué)研究的工作者的夢(mèng)想。
SIGGRAPH每年7月底或8月初在美國(guó)召開(kāi)(2011年在加拿大溫哥華召開(kāi),是SIGGRAPH首次在美國(guó)以外的城市舉行)。事實(shí)上,SIGGRAPH是世界上影響最廣、規(guī)模最大,同時(shí)也是最權(quán)威的一個(gè)集科學(xué)、藝術(shù)、商業(yè)于一身的CG展示、學(xué)術(shù)研討會(huì),參會(huì)人數(shù)眾多,一般有2--4萬(wàn)人。絕大部分計(jì)算機(jī)圖技術(shù)軟硬件廠商每年都會(huì)將最新研究成果拿到SIGGRAPH年會(huì)上發(fā)布,大部分游戲的電腦動(dòng)畫(huà)創(chuàng)作者也將他們本年度最杰出的藝術(shù)作品集中在SIGGRAPH上展示。因此,SIGGRAPH在圖形圖像技術(shù),計(jì)算機(jī)軟硬件以及CG等方面都有著相當(dāng)?shù)挠绊懥Α?/p>
從2008年開(kāi)始,Siggraph來(lái)到亞洲,每年冬天(11或12月)在亞洲的一個(gè)城市(2008,新加坡;2009,日本橫濱;2010,韓國(guó)首爾;2011,中國(guó)香港;2012,新加坡)召開(kāi),稱為SIGGRAPH Asia。今年的Siggraph Asia將在2013年11月19-22號(hào)于中國(guó)香港召開(kāi)。
與SIGGRAPH一樣,發(fā)表者SIGGRAPH Asia上的研究論文也代表著計(jì)算機(jī)圖形學(xué)領(lǐng)域的最前沿和最高水準(zhǔn),所有研究論文都發(fā)表在ACM Transactions on Graphics期刊上,這是計(jì)算機(jī)圖形學(xué)領(lǐng)域唯一的一個(gè)Top (I區(qū))的學(xué)術(shù)期刊。可以形象地將SIGGRAPH和SIGGRAPH Asia分別比喻為計(jì)算機(jī)圖形學(xué)領(lǐng)域的“夏季奧運(yùn)會(huì)”和“冬季奧運(yùn)會(huì)”。
在SIGGRAPH會(huì)議上,除了研究論文外,還有很多其他內(nèi)容,比如課程、短文、海報(bào)、CG企業(yè)展示、電子劇場(chǎng)、動(dòng)畫(huà)節(jié)、新型科技展示、藝術(shù)畫(huà)廊、教育等,比你想象得要多得多。很多活動(dòng)都是并行的,因此你需要每天提前計(jì)劃好所參加的活動(dòng)。視覺(jué)中國(guó)網(wǎng)站的“Siggraph 2007會(huì)議報(bào)道”有詳盡的關(guān)于Siggraph 2007年的報(bào)道:
http://static.chinavisual.com/storage/topics/39942/index.shtml
雖然這是6年前的Siggraph介紹,但上述鏈接的內(nèi)容仍然是對(duì)SIGGRAPH比較全面的介紹。其中有很多視頻和材料,詳細(xì)介紹了Siggraph盛會(huì)的情況,而且有對(duì)計(jì)算機(jī)圖形學(xué)的歷史發(fā)展的介紹。建議詳細(xì)查看。
五、其他問(wèn)題
1、 如何選擇適合自己的工作(研究方向)?
A: 就兩點(diǎn):興趣 + 擅長(zhǎng)!
興趣是第一位的,是否擅長(zhǎng)需要嘗試和不斷學(xué)習(xí)成長(zhǎng)!將學(xué)會(huì)將自己的天賦發(fā)揮到極致!
2、 自己是否適合學(xué)習(xí)和從事計(jì)算機(jī)圖形學(xué)的研究?
A: 看看自己是否滿足以下兩個(gè)條件:
1) 對(duì)計(jì)算機(jī)圖形學(xué)或圖像處理具有強(qiáng)烈的興趣和激情;
2) 喜歡算法設(shè)計(jì)和編程。
若上述兩個(gè)條件都滿足(覺(jué)得好玩!),則可以嘗試選擇計(jì)算機(jī)圖形學(xué)作為自己的研究方向。
3、 從事研究工作需要哪些品質(zhì)?
A: 激情、好奇心、努力!
4、 為何選擇從事研究工作?
A: http://staff.ustc.edu.cn/~lgliu/Resources/ForMyStudents/GCL-WhyResearch.rar
5、 如何在研究生期間取得成功?
A: http://staff.ustc.edu.cn/~lgliu/Resources/ForMyStudents/HowToSucceedAtGCL.rar
六、更多參考材料
l 有關(guān)更多地了解計(jì)算機(jī)圖形的知識(shí)和內(nèi)容,可搜索并參考Internet上的豐富的資源介紹,比如百度百科,維基百科等。本文的寫(xiě)作過(guò)程中也參考了網(wǎng)上的許多資源。
l 國(guó)外和國(guó)內(nèi)有很多有關(guān)《計(jì)算機(jī)圖形學(xué)》的課程網(wǎng)站,可以通過(guò)查看相關(guān)視頻和課件更多地了解計(jì)算機(jī)圖形學(xué)的內(nèi)容。
l 國(guó)內(nèi)外有很多從事計(jì)算機(jī)圖形學(xué)研究的教授學(xué)者的網(wǎng)站,會(huì)列出他們所做的有關(guān)計(jì)算機(jī)圖形學(xué)方面的研究,可以更為深入了解計(jì)算機(jī)圖形學(xué)領(lǐng)域所研究的東西。
l 與計(jì)算機(jī)其他學(xué)科一樣,每年都有計(jì)算機(jī)圖形學(xué)方面的很多會(huì)議。這些會(huì)議會(huì)有該領(lǐng)域的最新進(jìn)展和研究工作,是了解計(jì)算機(jī)圖形學(xué)發(fā)展及趨勢(shì)的重要手段。在計(jì)算機(jī)圖形學(xué)方面,可以通過(guò)以下鏈接來(lái)獲得各個(gè)會(huì)議的信息http://kesen.realtimerendering.com/ 建議加該鏈接為你的瀏覽器的標(biāo)簽。
l Internet上經(jīng)常會(huì)有計(jì)算機(jī)圖形學(xué)相關(guān)的科技信息,要有意識(shí)經(jīng)常關(guān)注,隨時(shí)了解該學(xué)科方向的動(dòng)態(tài)、發(fā)展和未來(lái)。
l 計(jì)算機(jī)圖形學(xué)及相關(guān)學(xué)科在近些年來(lái)得到迅速的發(fā)展,特別是2013年出現(xiàn)的各種交互人機(jī)交互技術(shù)的出現(xiàn),我們正處在技術(shù)極速發(fā)展的浪尖!計(jì)算機(jī)圖形學(xué)前景誘人,形勢(shì)逼人。相對(duì)于美國(guó)等西方國(guó)家,我國(guó)的計(jì)算機(jī)圖形學(xué)相關(guān)產(chǎn)業(yè)還相對(duì)落后,但這正是留給我們這代人的機(jī)會(huì)!相信通過(guò)我們的努力,是可以逐漸縮短差距的,也帶來(lái)了巨大的挑戰(zhàn)和機(jī)會(huì)。
l 最后,要相信,計(jì)算機(jī)圖形學(xué)是很好玩的,是有用的,更是有未來(lái)的。“相信是成功的開(kāi)始”。祝各位能夠感受計(jì)算機(jī)圖形的美妙,能夠在計(jì)算機(jī)圖形學(xué)的海洋中享受快樂(lè)和成功!