快速的片上攝像頭將圖像捕獲和處理結(jié)合在一起

比超速子彈還快，能夠用單個(gè)計(jì)算機(jī)芯片跨越攝影障礙。這是一個(gè)照相機(jī)，這是一個(gè)芯片，這是一個(gè)芯片上的相機(jī)。

多虧了電氣工程教授 Abbas El Gamal、心理學(xué)和電氣工程教授 Brian Wandell 和他們的學(xué)生的努力，拍壞照片變得越來(lái)越難。傳統(tǒng)的數(shù)碼相機(jī)使用傳感器捕獲圖像，并使用多個(gè)芯片來(lái)處理、壓縮和存儲(chǔ)圖像。但斯坦福大學(xué)的研究人員已經(jīng)開(kāi)發(fā)出一種創(chuàng)新的相機(jī)，它使用單芯片和像素級(jí)處理來(lái)完成這些壯舉。他們的實(shí)驗(yàn)性片上相機(jī)可能會(huì)催生出具有超能力的商用靜態(tài)和攝像機(jī)，包括每個(gè)像素的完美照明、運(yùn)動(dòng)物體的無(wú)模糊成像。【攝像頭芯片】

“我們的愿景是最終將傳感、讀出、數(shù)字化、存儲(chǔ)和處理全部結(jié)合在同一個(gè)芯片上，”El Gamal 說(shuō)。“突然之間，你就擁有了一個(gè)單芯片數(shù)碼相機(jī)，你可以把它粘在按鈕、手表、手機(jī)、個(gè)人數(shù)字助理等等中。”

今天的大多數(shù)數(shù)碼相機(jī)使用電荷耦合器件 (CCD) 傳感器，而不是大多數(shù)計(jì)算技術(shù)中使用的便宜得多的互補(bǔ)金屬氧化物半導(dǎo)體 (CMOS) 芯片。到達(dá) CCD 傳感器的光被轉(zhuǎn)換成像素電荷陣列。電荷陣列被串行移出傳感器，并使用模數(shù)轉(zhuǎn)換器轉(zhuǎn)換為數(shù)字圖像。對(duì)數(shù)字?jǐn)?shù)據(jù)進(jìn)行處理和壓縮以供存儲(chǔ)和隨后顯示。

從 CCD 讀取數(shù)據(jù)具有破壞性。“那時(shí)像素內(nèi)的電荷消失了，”Wandell 說(shuō)。“它已用于轉(zhuǎn)換過(guò)程，無(wú)法繼續(xù)在該像素處進(jìn)行測(cè)量。如果您在錯(cuò)誤的時(shí)刻讀取電荷，無(wú)論是過(guò)早還是過(guò)晚，圖片都會(huì)曝光不足或曝光過(guò)度。”

El Gamal 說(shuō)，CCD 傳感器的另一個(gè)限制是設(shè)計(jì)人員無(wú)法將傳感器與同一芯片上的其他設(shè)備集成。制造具有特殊電路的 CMOS 芯片可以解決這兩個(gè)問(wèn)題。

1993 年，El Gamal 開(kāi)始研究圖像傳感器，從而建立了斯坦福的可編程數(shù)碼相機(jī)項(xiàng)目，以開(kāi)發(fā)能夠在一個(gè) CMOS 芯片上捕獲和處理圖像的架構(gòu)和算法。1998 年，他、Wandell 和 James Gibbons，Reid Weaver Dennis 電氣工程教授，召集了一個(gè)公司財(cái)團(tuán)來(lái)資助他們的研究工作。安捷倫、佳能、惠普和伊士曼柯達(dá)目前為該項(xiàng)目提供資金。創(chuàng)始贊助商包括 Interval Research 和英特爾。

美國(guó)宇航局噴氣推進(jìn)實(shí)驗(yàn)室的火星極地著陸器的設(shè)計(jì)者是第一個(gè)將傳感器和電路結(jié)合在同一芯片上的人。他們使用了 CMOS 芯片，它比 CCD 更能承受空間輻射，第一代片上相機(jī)誕生了。它被稱為有源像素傳感器或 APS，其輸入和輸出都是模擬的。

斯坦福項(xiàng)目產(chǎn)生了第二代片上相機(jī)，它在每個(gè)像素中都放置了一個(gè)模數(shù)轉(zhuǎn)換器，緊挨著光電探測(cè)器，以實(shí)現(xiàn)強(qiáng)大的信號(hào)轉(zhuǎn)換。稱為數(shù)字像素傳感器或 DPS，它一次一位地串行處理像素輸入。

1999 年，El Gamal 的一位前研究生 Dave Yang 從斯坦福大學(xué)技術(shù)許可辦公室獲得了 DPS 技術(shù)的許可，并創(chuàng)立了 Pixim，這是一家數(shù)字成像公司，旨在將 DPS 芯片嵌入數(shù)碼相機(jī)和攝像機(jī)、玩具、游戲機(jī)、手機(jī)等等。【攝像頭芯片】

對(duì)速度的需求

第二代片上相機(jī)以每秒 60 幀的速度相對(duì)強(qiáng)勁。但第三代將其拋在了后面，以每秒 10,000 幀的速度捕獲圖像并每秒處理 10 億像素。斯坦福芯片打破了日常視頻的速度限制（約每秒 30 幀），并創(chuàng)造了連續(xù)成像的世界速度記錄。

是什么讓它這么快？它并行處理數(shù)據(jù)，或同時(shí)處理數(shù)據(jù)，這就是格言“多手做輕工作”的芯片體現(xiàn)。

“當(dāng)您處理第一張圖像時(shí)，您正在捕捉第二張圖像，”El Gamal 解釋道。“這是流水線。”

除了速度快之外，它的處理器也很小。在 2 月 5 日于舊金山舉行的國(guó)際固態(tài)電路會(huì)議上，El Gamal 和研究生 Stuart Kleinfelder、Suk Hwan Lim 和 Xinqiao Liu 展示了他們采用尺寸僅為 0.18 微米的微型晶體管的 DPS 設(shè)計(jì)。APS 芯片上的晶體管大兩倍。

“這是世界上第一個(gè) 0.18 微米 CMOS 圖像傳感器，”El Gamal 說(shuō)。使用更小的晶體管，芯片架構(gòu)師可以在芯片上集成更多電路，從而增加內(nèi)存和復(fù)雜性。這種前所未有的小晶體管尺寸使研究人員能夠?qū)?shù)字存儲(chǔ)器集成到每個(gè)像素中。

“你正在將讀取速度非常慢的模擬存儲(chǔ)器轉(zhuǎn)換為讀取速度極快的數(shù)字存儲(chǔ)器，”El Gamal 說(shuō)。“這意味著數(shù)字像素傳感器可以非常快速地捕捉圖像。”

DPS 可以捕獲以每分鐘 2,200 轉(zhuǎn)的速度運(yùn)動(dòng)的螺旋槳的無(wú)模糊圖像。高速輸入與正常速度輸出相結(jié)合，使芯片有時(shí)間測(cè)量、重新測(cè)量、分析和處理信息。增強(qiáng)的圖像分析為新的或改進(jìn)的研究應(yīng)用打開(kāi)了大門，包括運(yùn)動(dòng)跟蹤、模式識(shí)別、化學(xué)反應(yīng)研究、照明變化解釋、信號(hào)平均和三維結(jié)構(gòu)估計(jì)。

攝影并不是研究的新工具。1872 年，Leland Stanford 聘請(qǐng) Eadweard Muybridge 進(jìn)行攝影實(shí)驗(yàn)，測(cè)試他的想法，即在步態(tài)的某一時(shí)刻，一匹馬的四英尺都離地。這項(xiàng)研究導(dǎo)致了電影的發(fā)展。

但大多數(shù)人不使用相機(jī)來(lái)推進(jìn)科學(xué)或工業(yè)的前沿。他們只是想拍一張像樣的照片，而高速捕捉解決了一個(gè)大問(wèn)題：在整個(gè)圖像中獲得適當(dāng)?shù)钠毓猓谡掌淖畎岛妥盍敛糠种g具有大范圍的陰影。

“在一張圖像中將圖像的低光部分與圖像的高光部分結(jié)合起來(lái)非常困難，”El Gamal 說(shuō)。“這是攝影中最大的挑戰(zhàn)之一。膠片在這方面做得非常好。數(shù)碼相機(jī)和攝像機(jī)做得不好。”

在明亮環(huán)境中拍攝的圖像需要較短的膠片或像素曝光時(shí)間，而在昏暗環(huán)境中拍攝的圖像則需要較長(zhǎng)的曝光時(shí)間。只需單擊一下，片上相機(jī)就可以高速重復(fù)捕獲和測(cè)量像素中的電荷。它的算法會(huì)等到合適的時(shí)刻，讓每個(gè)單獨(dú)的像素組合成一張?jiān)谡麄€(gè)圖像中具有完美曝光的最終圖片。

“我認(rèn)為這種 [DPS] 芯片的真正突破是它可以在不破壞傳感器數(shù)據(jù)的情況下進(jìn)行許多非常快速的讀取，”Wandell 說(shuō)。

Wandell 是人類視覺(jué)和顏色感知方面的專家，他說(shuō)使用相機(jī)讓他對(duì)大腦如何處理圖像的假設(shè)有了想法。他和包括電氣工程專業(yè)的 Jeffrey DiCarlo 和 Peter Catrysse 以及心理學(xué)專業(yè)的 Feng Xiao 在內(nèi)的學(xué)生利用人類視覺(jué)的想法創(chuàng)建了圖像處理算法，以優(yōu)化打印或在計(jì)算機(jī)顯示器上顯示的圖像質(zhì)量。

Wandell 說(shuō)，雖然目前的相機(jī)可以聚焦物體并判斷照明水平，但從歷史上看，它們并未用于圖像分析。他說(shuō)，他們擅長(zhǎng)的圖像捕捉是一項(xiàng)“完全不同的工作”。然而，人腦的強(qiáng)項(xiàng)是圖像分析，Wandell 表示未來(lái)的相機(jī)設(shè)計(jì)可能會(huì)借鑒生物學(xué)，為相機(jī)構(gòu)建更多智能。

華星視訊，iCatch芯片核心戰(zhàn)略合作伙伴，是一家攝像頭方案定制開(kāi)發(fā)服務(wù)商，專注于攝像頭方案的定制開(kāi)發(fā)生產(chǎn)，應(yīng)用于航拍攝像頭模塊、運(yùn)動(dòng)相機(jī)、防抖云臺(tái)相機(jī)、USB攝像頭、工業(yè)攝像機(jī)等視頻攝像產(chǎn)品。

作為全球著名的芯片開(kāi)發(fā)商臺(tái)灣芯鼎科技iCatch的戰(zhàn)略合作伙伴，華星視訊的開(kāi)發(fā)團(tuán)隊(duì)積累了多年使用iCatch芯片為客戶研發(fā)各種視頻攝像產(chǎn)品的開(kāi)發(fā)經(jīng)驗(yàn)，可以快速為客戶研發(fā)產(chǎn)品，節(jié)省客戶的寶貴時(shí)間和金錢，使用iCatch的DSP IC芯片開(kāi)發(fā)過(guò)100多個(gè)成功的產(chǎn)品，眾多產(chǎn)品都在批量生產(chǎn)中。

如您需定制攝像頭方案、運(yùn)動(dòng)相機(jī)方案，告訴我們您的需求，點(diǎn)擊“方案定制”，獲取定制方案。