在現(xiàn)代科技的舞臺上，“視覺感知技術(shù)”正扮演著至關(guān)重要的角色。從自動駕駛汽車到靈巧的機器人，再到無處不在的智能監(jiān)控系統(tǒng)，圖像傳感器的表現(xiàn)直接決定了這些技術(shù)的成功與否。
然而，當面對動態(tài)、多變且不可預測的環(huán)境時，傳統(tǒng)圖像傳感器往往力不從心，面臨諸多挑戰(zhàn)。這些挑戰(zhàn)主要包括動態(tài)范圍有限、數(shù)據(jù)冗余、感知延遲等幾個主要的方面。
動態(tài)范圍指在圖像或視頻中能夠捕捉到的最暗到最亮的可見范圍內(nèi)的所有像素范圍。動態(tài)范圍越大，設(shè)備可以捕捉到更多的像素變化，從深黑到明亮的細節(jié)都可以更清晰地展示出來。然而傳統(tǒng)傳感器的動態(tài)范圍非常有限，難以在強光和弱光環(huán)境下同時捕捉到清晰的圖像。
數(shù)據(jù)冗余則是指高分辨率和高速傳感器會產(chǎn)生大量數(shù)據(jù)，增加了處理和傳輸?shù)呢摀８兄舆t是指由于處理速度的限制，傳感器在快速變化的環(huán)境中容易出現(xiàn)感知延遲，影響決策的及時性。
由于動態(tài)范圍有限，導致相機在弱光環(huán)境下（第三幅）圖像中無法捕捉到清晰的人像（圖片來源：參考文獻1）
必一運動sport網(wǎng)頁版登錄
在自動駕駛、機器人和人工智能等領(lǐng)域，這些問題尤為明顯。例如，在自動駕駛中，傳感器必須能夠迅速而準確地識別路況和潛在危險，但傳統(tǒng)傳感器在處理復雜場景（如突然出現(xiàn)的行人或車輛）時常常表現(xiàn)不佳。
這些技術(shù)障礙限制了圖像傳感器在復雜環(huán)境下的應(yīng)用，也催生了對更先進的視覺感知技術(shù)的迫切需求。科學家正在通過不斷研究人類出色的視覺系統(tǒng)來試圖尋找到解決方案。
人類視覺系統(tǒng)（Human Visual System, HVS）在處理復雜視覺信息方面表現(xiàn)出色。即，初級視覺皮層作為視覺信息的初步處理區(qū)域，將視覺信息分解為原始的成分，如顏色、方向和運動，并將這些信息傳遞到背側(cè)流和腹側(cè)流，然后通過兩條主要路徑進行處理：
腹側(cè)流（Ventral stream）連接到顳葉（temporal lobe），主要負責高精度的認知和細節(jié)識別，如顏色和形狀。這條路徑使我們能夠清晰地看到物體的細節(jié)和顏色，并對環(huán)境進行準確的認知。
背側(cè)流（Dorsal stream）連接到頂葉（parietal lobe），主要負責快速反應(yīng)和運動檢測，如方向和速度。通過這條路徑，我們可以迅速識別運動的物體，并作出相應(yīng)的反應(yīng)，如避讓障礙物或追逐目標。
這種雙路徑的處理方式使得人類能夠在各種復雜環(huán)境中高效、準確地感知和反應(yīng)。基于對人類視覺系統(tǒng)的模仿，清華大學的研究團隊研發(fā)出了世界首款類腦互補視覺芯片——天眸芯片，突破了傳統(tǒng)視覺感知芯片的缺點，提供了前所未有的高效、精準的視覺感知解決方案。
天眸芯片的設(shè)計理念基于對人類視覺系統(tǒng)的深入研究，采用了混合像素陣列和并行異構(gòu)讀出架構(gòu)。
混合像素陣列模仿了人類視覺系統(tǒng)中的錐狀細胞和桿狀細胞，分別用于顏色和運動檢測。其中，上皮細胞（Epithelial cells）支持和保護感光細胞的細胞層。錐狀細胞（Cone）主要負責捕捉顏色信息，使我們能夠在明亮光線下看到豐富的顏色細節(jié)。而桿狀細胞則對光線的強弱變化極為敏感，特別適用于低光環(huán)境，幫助我們在昏暗條件下看到物體的輪廓和運動。
并行異構(gòu)讀出架構(gòu)是天眸芯片的核心部分。它的作用是將來自不同像素（如錐體和桿狀像素）的電信號以高速度和高精度轉(zhuǎn)換為數(shù)字數(shù)據(jù)。這種架構(gòu)的優(yōu)勢在于能夠同時處理高動態(tài)范圍和高速度的感知需求，有效減少數(shù)據(jù)冗余，并在復雜光照條件下保持高性能。
天眸芯片的架構(gòu)，包括混合像素陣列及其與多條路徑的交互（圖片來源：參考文獻2）
通過這些新技術(shù)的應(yīng)用，天眸芯片同時具備了高速感知能力、寬動態(tài)范圍和帶寬優(yōu)化這三個特點，解決了傳統(tǒng)傳感器的缺點。
天眸芯片能夠?qū)崿F(xiàn)每秒高達 10,000 幀的速度，確保在快速變化的環(huán)境中依然能夠捕捉到清晰的圖。這種高幀率感知能力對于自動駕駛和機器人等需要實時感知和反應(yīng)的應(yīng)用場景至關(guān)重要。
動態(tài)范圍的計算單位是 dB（分貝），傳統(tǒng)傳感器的動態(tài)范圍通常在 60 至 80dB 之間，而人眼的動態(tài)范圍約為 120dB。天眸芯片擁有高達 130dB 的動態(tài)范圍，能夠在強光和弱光環(huán)境下同時提供清晰的圖像。這意味著即使在陽光直射和陰影并存的復雜光照環(huán)境下，天眸芯片也能提供細膩的畫面細節(jié)。
天眸芯片在不同光功率密度下的信噪比，通過結(jié)合動作路徑和認知路徑的高增益和低增益模式，天眸芯片實現(xiàn)了 130dB 的寬動態(tài)范圍。這表明該芯片能在極強和極弱光照條件下提供高質(zhì)量的圖像。（圖片來源：參考文獻2）
通過自適應(yīng)技術(shù)，天眸芯片能夠減少 90% 的帶寬需求，有效降低了數(shù)據(jù)傳輸和處理的負擔。這種帶寬優(yōu)化技術(shù)不僅提高了數(shù)據(jù)傳輸效率，還降低了能耗，使得天眸芯片更適合移動設(shè)備和物聯(lián)網(wǎng)應(yīng)用。
天眸芯片在快速運動和光閃干擾下的高性能表現(xiàn)。通過動作路徑的高速響應(yīng)，芯片能迅速處理不可預測的光閃事件，同時保持低帶寬消耗。天眸芯片在功耗和帶寬方面相對于傳統(tǒng)和神經(jīng)形態(tài)視覺傳感器展現(xiàn)了優(yōu)越的性能。（圖片來源：參考文獻2）
天眸芯片在自動駕駛系統(tǒng)中的應(yīng)用是其強大性能的一個重要展示。它能夠在復雜的道路環(huán)境中提供準確、快速和穩(wěn)健的感知，即使在角落情況下也能做出迅速反應(yīng)。這對于提高自動駕駛系統(tǒng)的安全性和可靠性具有重要意義。
例如，天眸芯片在自動駕駛測試中展示了其在應(yīng)對突然出現(xiàn)的行人和車輛時的優(yōu)越性能，顯著降低了事故發(fā)生的概率。
除了自動駕駛，天眸芯片還可以廣泛應(yīng)用于無人機、安防監(jiān)控等領(lǐng)域。例如，在安防監(jiān)控中，天眸芯片能夠在光線變化劇烈的環(huán)境下提供高質(zhì)量的視頻圖像，有助于及時發(fā)現(xiàn)潛在的安全威脅。在無人機應(yīng)用中，天眸芯片的高動態(tài)范圍和高速感知能力使得無人機能夠在復雜地形和光照條件下進行高效地導航和監(jiān)控。
天眸芯片在長途駕駛測試中的表現(xiàn)。測試中，車輛遇到日夜、隧道、高動態(tài)范圍、異常物體和復雜場景等極端情況。天眸芯片通過認知路徑和動作路徑檢測結(jié)果的無縫同步，確保了高精度感知。（圖片來源：參考文獻2）
多種實驗的結(jié)果表明，天眸芯片不僅具有高動態(tài)范圍和高分辨率，還能在高速運動和極端光照條件下保持優(yōu)異的感知性，在極端環(huán)境下的表現(xiàn)遠優(yōu)于傳統(tǒng)傳感器。
天眸芯片在未來科技發(fā)展中擁有無限的可能。隨著技術(shù)不斷進步，它將在更多領(lǐng)域中扮演不可或缺的角色。試想在增強現(xiàn)實（AR）和虛擬現(xiàn)實（VR）中，天眸芯片帶來的超高質(zhì)量視覺體驗，將如何徹底改變我們的感知和交互方式？這僅僅是開始。
未來，當天眸芯片與人工智能技術(shù)深度融合，會為智能城市建設(shè)、醫(yī)療影像分析、工業(yè)自動化等領(lǐng)域帶來哪些顛覆性的變革？它將如何引領(lǐng)我們進入一個更加智能和互聯(lián)的世界？懸念依舊，我們拭目以待。
本文為澎湃號作者或機構(gòu)在澎湃新聞上傳并發(fā)布，僅代表該作者或機構(gòu)觀點，不代表澎湃新聞的觀點或立場，澎湃新聞僅提供信息發(fā)布平臺。申請澎湃號請用電腦訪問。
