新的成像應用正在蓬勃發(fā)展,從工業(yè)4.0中的協(xié)作機器人,到無人機消防或用于農(nóng)業(yè),再到生物特征面部識別,再到家庭中的護理點手持醫(yī)療設備。出現(xiàn)這些新應用程序的一個關鍵因素是,嵌入式視覺比以往任何時候都更普及。嵌入式視覺不是一個新概念;它只是定義了一個系統(tǒng),其中包括一個視覺設置,在沒有外部計算機的情況下控制和處理數(shù)據(jù),現(xiàn)已廣泛應用于“智能相機”等工業(yè)質(zhì)量控制。?
近年源于消費類市場經(jīng)濟適用硬件器件的開發(fā),相較于以往使用電腦的方案,這些器件大幅度減小了材料清單(BOM)成本和產(chǎn)品體積。舉個例子,小型系統(tǒng)集成商或OEM現(xiàn)在能夠小批量采購諸如NVIDIA Jetson的單板機或模塊系統(tǒng);而較大型的OEM則可以直接獲得如高通驍龍(Qualcomm Snapdragon)或英特爾(Intel) Movidius Myriad 2 等圖像信號處理器。在軟件級方面,市面軟件庫能夠加快專用視覺系統(tǒng)的開發(fā)速度,減小配置難度,即便是針對小批量生產(chǎn)。
第二個推動嵌入式視覺系統(tǒng)發(fā)展的變化是機器學習的出現(xiàn),它使實驗室中的神經(jīng)網(wǎng)絡能夠接受培訓,然后直接上傳到處理器中,以便它能夠自動識別特征,并實時做出決定。
能夠提供適用于嵌入式視覺系統(tǒng)的解決方案,對于面向這些高增長應用的成像企業(yè)來說至關重要。圖像傳感器由于能夠直接影響嵌入式視覺系統(tǒng)的效能和設計,因而在大規(guī)模引進中有重要角色,而它的主要推動因素可概括為:更小尺寸、重量、功耗和成本,英語簡稱為“SWaP-C”(decreasing Size, Weight, Power and Cost)。
1. 降低成本至關重要
嵌入式視覺新應用的加速推動器是滿足市場需求的價格,而視覺系統(tǒng)成本正是實現(xiàn)這要求的一個主要制肘。
1.1. 節(jié)省光學成本
減小視覺模塊成本的第一個途徑是縮小產(chǎn)品尺寸, 原因有兩個:首先是圖像傳感器的像素尺寸愈小,晶圓便可以制造更多的芯片;另一方面?zhèn)鞲衅骺梢允褂酶「统杀镜墓鈱W組件,二者都能夠降低固有成本。
對于圖像傳感器制造商來說,這種降低的光學成本對設計有另一個影響,因為一般來說,光學成本越低,傳感器的入射角越不理想。因此,低成本光學需要在像素上方設計特定的位移微透鏡,以補償來 自廣角的畸變和聚焦光。
1.2. 傳感器低成本接口
除了光學優(yōu)化,傳感器接口的選擇也間接影響視覺系統(tǒng)的成本。MIPI CSI-2接口是實現(xiàn)節(jié)約成本的最合適選擇(它最初是由MIPI聯(lián)盟為移動行業(yè)開發(fā)的)。它已被大多數(shù)ISP廣泛采用,并已開始在工業(yè)市場采用,因為它提供了一個從NXP、Nvidia、高通公司或Intel等公司的低成本的片上系統(tǒng)(SOC)或模塊上系統(tǒng)(SOM)的集成。設計一種具有MIPI CSI-2傳感器接口的CMOS圖像傳感器,無需任何中間轉(zhuǎn)換器橋,直接將圖像傳感器的數(shù)據(jù)傳輸?shù)角度胧较到y(tǒng)的主機SOC或SOM,從而節(jié)省了成本和PCB空間,當然,在基于多傳感器的嵌入式系統(tǒng)(如360度全景系統(tǒng))中,這一優(yōu)勢更為突出。
不過這些好處受到一些限制,因為MIPI接口的連接距離限制為20 cm,這在傳感器距離主機處理器較遠的遠程設置中可能不是最佳的。在這些配置中,以犧牲小型化為代價,使用集成更長接口的相機板解決方案是比較好的選擇。一些現(xiàn)成的解決方案可以集成,例如工業(yè)相機制造商(如Flir、AVT、Basler等)的相機板通常可在MIPI或USB3接口中使用,后者能夠達到的范圍可以超過3米至5米。
1.3. 減小開發(fā)成本
在投資新產(chǎn)品時,不斷上升的開發(fā)成本往往是一個挑戰(zhàn);它可能會在一次性開發(fā)費上花費數(shù)百萬美元,并給上市時間帶來壓力。對于嵌入式視覺,這種壓力變得更大,因為模塊化(即產(chǎn)品能否切換使用多種圖像傳感器)是集成商的重要考慮。幸運的是,通過在傳感器之間提供一定程度的交叉兼容性,例如,通過定義共享相同像素體系結(jié)構的組件系列以具有穩(wěn)定的光電性能,通過具有共用光學中心來共享單個前端機制,以及通過兼容的PCB組件來簡化評估,集成和供應鏈,從而減小開發(fā)費用。
為簡化相機板設計(即使用于多款傳感器),有兩種方法設計傳感器封裝。針腳對針腳兼容是相機板設計人員的首選設計,因為它能使多種傳感器共享同一電路和控制,使得組裝完全不受PCB設計影響。另一個選擇是采用尺寸兼容的傳感器,這樣同一PCB可以使用多款傳感器,但是這也意味著他們可能要應付每一款傳感器的接口和布線的差異狀況。
2. 能效提供更佳單獨工作能力
微型電池驅(qū)動的設備是最明顯的受益于嵌入式視覺的應用程序,因為外部計算機阻止任何便攜式應用程序的發(fā)生。為了降低系統(tǒng)的能耗,圖像傳感器現(xiàn)在包含了多種功能,使系統(tǒng)設計者能夠節(jié)省電力。
從傳感器角度出發(fā),有多種方法減小嵌入式視覺系統(tǒng)功耗而不損采集幀率。最簡單的方法是通過盡可能長時間使用待機或閑置模式,在系統(tǒng)級最小化傳感器本身的動態(tài)操作。待機模式通過關閉仿真電路,把傳感器的功耗降低到工作模式的10%以下。而閑置模式則可把功耗減半,并讓傳感器在數(shù)微秒內(nèi)重新啟動獲取圖像。
而在傳感器設計集成節(jié)能的另一個方法是采用先進光刻節(jié)點技術。技術節(jié)點越小,轉(zhuǎn)換晶體管所需的電壓便越小,由于功耗與電壓成正比(????????????????∝??×??2),這樣就能降低功耗。所以10年前使用180nm技術生產(chǎn)的像素不單把晶體管縮小到110nm,同時也把數(shù)字電路的電壓從1.9伏降到1.2伏。下一世代的傳感器將使用65nm技術節(jié)點,使得嵌入式視覺應用更省能。
3. 片上功能為應用程序設計的視覺系統(tǒng)鋪平了道路
嵌入式視覺的一些偏鋒延展概念,引導我們對圖像傳感器進行全面定制,以3D堆疊方式集成所有處理功能(芯片上的系統(tǒng)) 以實現(xiàn)優(yōu)化性能和功耗。不過,開發(fā)這一類產(chǎn)品的成本十分高昂,能夠達到這一集成水平的全定制傳感器長遠來說并非完全不可能,而現(xiàn)在我們正處于一個過渡階段,包含將某些功能直接嵌入到傳感器,以減省計算負載和加快處理時間。
4. 減小重量尺寸以配合最小應用空間
嵌入式視覺系統(tǒng)的另一主要要求是能夠配合狹小空間,或是重量要小,以便用于手持式設備/或延長電池推動產(chǎn)品的工作時間。這就是現(xiàn)在大部份嵌入式視覺系統(tǒng)使用只有1MP到5MP的低分辨率小型光學格式傳感器的原因。
減小像素芯片的尺寸只是減小圖像傳感器占位面積和重量的第一步?,F(xiàn)在的65nm工藝讓我們能夠把全局快門像素尺寸減小至2.5μm而不損光電性能。這種生產(chǎn)工藝使得諸如全高清全局快門CMOS圖像傳感器能夠配合手機市場要求小于1/3英寸的規(guī)格。
減小傳感器重量和占位面積的另一主要技術是縮小封裝尺寸。芯片級封裝在過去數(shù)年在市場迅速成長,在移動、車載電子和醫(yī)療應用中特別明顯。
三維堆棧是讓半導體器件生產(chǎn)的創(chuàng)新技術,它的原理是在不同晶圓上制造各種電路芯片,然后利用銅對銅連接和過硅沖孔(Through Silicon Vias,簡稱TSV)技術進行堆棧和互聯(lián)。三維堆棧因為是多層重迭芯片,允許器件實現(xiàn)比傳統(tǒng)傳感器更小的占位尺寸。而在三維堆棧傳感器中,讀出和處理芯片可以置于像素芯片和行譯碼器的下方。這樣,傳感器的占位尺寸因縮小的讀出和處理芯片而減小,并且可以在傳感器中加入更多處理資源以減小圖像信號處理器的載荷。
總結(jié)而言,嵌入式視覺系統(tǒng)可以歸納為一種「輕量」視覺技術,可以用于包括OEM、系統(tǒng)集成商和智能相機廠商等不同類型企業(yè)?!扒度胧?“是一個可用于不同應用的概括性描述,因而不能開出列表說明它的特征。不過優(yōu)化嵌入式視覺系統(tǒng)有幾個適用法則,就是一般而言,市場推動力并非來自超級快的速度或超高的靈敏度,而是尺寸、重量、功耗和成本。圖像傳感器是這些條件的主要推手,所以需要小心選擇合適的圖像傳感器,以便于優(yōu)化嵌入式視覺系統(tǒng)的總體性能。合適的圖像傳感器能為嵌入式設計人員帶來更多靈活性,節(jié)省材料清單成本,減小照明和光學組件的占位面積。它也讓設計人員在無需面對更多復雜性的情況下,選擇來自消費市場的大量經(jīng)濟適用并具有優(yōu)化深度學習功能的圖像信號處理器。
來源:網(wǎng)絡