本文是Speos Sensor System exporter（SSS）的使用指南，這是一個(gè)強(qiáng)大的解決方案，用于camera sensor模擬結(jié)果的后處理。本文介紹了一組實(shí)際示例，以演示該工具基于EMVA 1288標(biāo)準(zhǔn)從傳感器的降階模型生成電子圖和Raw圖像的能力，使得Speos SSS的核心功能及其在camera模擬應(yīng)用，提供更深層次的理解。

Speos SSS工具，專為使用Speos camera模擬結(jié)果的后處理。該工具將光譜曝光/輻照度圖轉(zhuǎn)換為Raw圖像、電子圖和顯影圖像。從光度結(jié)果到電子圖和原始圖像的轉(zhuǎn)換基于傳感器的降階模型，遵循EMVA 1288標(biāo)準(zhǔn)。EMVA 1288是一個(gè)行業(yè)標(biāo)準(zhǔn)規(guī)范，描述了機(jī)器視覺(jué)和成像應(yīng)用的圖像傳感器性能。它為關(guān)鍵傳感器參數(shù)提供標(biāo)準(zhǔn)化測(cè)試，如響應(yīng)、動(dòng)態(tài)范圍、噪聲、暗電流和量子效率。

要使用SSS export，并生成Raw圖像和電子圖，需要有speos生成的光譜曝光圖exposure map，或輻照度圖Irradiance map，和EMVA 1288標(biāo)準(zhǔn)傳感器數(shù)據(jù)。然后，SSS工具自動(dòng)處理這些數(shù)據(jù)，以創(chuàng)建有關(guān)camera傳感器采集的有價(jià)值的結(jié)果。為了生成電子圖，SSS利用外部量子效率(EQE)數(shù)據(jù)，該數(shù)據(jù)可以從Lumerical或數(shù)據(jù)表中獲得。

本文旨在展示SSS工具提供的廣泛性和可能性。每個(gè)功能都使用實(shí)際示例進(jìn)行演示，并放入相應(yīng)的文件夾中，以便于執(zhí)行運(yùn)算。SSS工具沒(méi)有圖形用戶界面，因此了解文件管理對(duì)于正確使用至關(guān)重要。

為了快速找到所需的示例，下面提供了一個(gè)目錄列表，以下案例的運(yùn)行可根據(jù)需求尋找相應(yīng)的板塊。

1.集成時(shí)間vs系統(tǒng)增益

2.暗噪聲

3.PRNU 和 DSNU

4.熱噪聲

5.隨機(jī)擾動(dòng)噪聲

6.Lumerical耦合過(guò)程

在案例中并單擊“啟動(dòng)Speos SSS.bat”文件。此操作將運(yùn)行示例，生成的結(jié)果將存儲(chǔ)在“output”文件夾中，并利用相應(yīng)的“Inputs”文件夾中的數(shù)據(jù)。通常不需要修改batch文件，可以正確的調(diào)用SSS可執(zhí)行文件。如果需要，可以在Speos的安裝文件中找到SSS可執(zhí)行文件(通常在“C:\Program files \ANSYS Inc\v232\Optical Products\Viewers\SSSExporter.exe”中)。注意:如果本地安裝不在上述路徑上，則需要在batch文件中調(diào)整位置。如果錯(cuò)誤信息“無(wú)法連接到Virtual Photometric Lab”，需要以管理員身份運(yùn)行相應(yīng)版本的Virtual Photometric Lab一次。

傳感器的參數(shù)在sensor.yaml文件中，在該文件中可以輸入填寫(xiě)傳感器參數(shù)。

1.傳感器使用條件的信息，包括增益，偏移，曝光時(shí)間和溫度。

2.傳感器的屬性信息，包括分辨率、像素大小和位深度。

3.EMVA數(shù)據(jù)，描述了與EMVA 1288模型標(biāo)準(zhǔn)相關(guān)的傳感器性能，包括紅外和紫外濾波器，量子效率，拜耳矩陣，系統(tǒng)增益，時(shí)間暗噪聲，AST, DR，暗電流和空間非均勻性。注：量子效率可以是模擬的輸入，例如用Ansys Lumerical計(jì)算的數(shù)據(jù)導(dǎo)出到j(luò)son文件。

1.Integration time vs System Gain集成時(shí)間vs系統(tǒng)增益

在成像場(chǎng)景中，無(wú)論是在低光條件下，高對(duì)比度的場(chǎng)景，還是需要精細(xì)細(xì)節(jié)的情況下，在傳感器增益和曝光時(shí)間之間找到適當(dāng)?shù)钠胶馐侵陵P(guān)重要的。這種平衡可以幫助實(shí)現(xiàn)最佳的圖像質(zhì)量，減少噪點(diǎn)，并準(zhǔn)確地表示場(chǎng)景的動(dòng)態(tài)范圍。通過(guò)模擬不同的條件和場(chǎng)景，SSS能夠分析傳感器增益和曝光時(shí)間對(duì)圖像質(zhì)量的影響，包括有和沒(méi)有暗噪聲。

傳感器增益放大捕獲的信號(hào)，使圖像變亮，但它也可能放大噪聲，降低圖像質(zhì)量。同樣，更長(zhǎng)的曝光時(shí)間可以讓更多的光線到達(dá)傳感器，從而產(chǎn)生更亮的圖像。然而，較長(zhǎng)的曝光會(huì)導(dǎo)致動(dòng)態(tài)場(chǎng)景中的運(yùn)動(dòng)模糊，因此需要與適當(dāng)?shù)脑鲆嬖O(shè)置進(jìn)行仔細(xì)的平衡。

2.Temporal Dark Noise暗噪聲

時(shí)間暗噪聲的特征是當(dāng)沒(méi)有光存在時(shí)，傳感器輸出信號(hào)的變化通常是由電子噪聲和溫度波動(dòng)引起的。了解時(shí)間暗噪聲的影響對(duì)于評(píng)估傳感器的性能和各種應(yīng)用的適用性至關(guān)重要。SSS export允許使用不同曝光條件下，傳感器輸出中的時(shí)間暗噪聲的影響，通過(guò)對(duì)傳感器YAML文件中的傳感器時(shí)間暗噪聲進(jìn)行實(shí)驗(yàn)，研究傳感器輸出中的噪聲行為。錄制的視頻展示了不同時(shí)間暗噪聲水平的顯影圖像結(jié)果。

3.PRNU 和 DSNU

在圖像傳感器特性的背景下，到目前為止討論的大多數(shù)參數(shù)，都集中在單個(gè)像素或它們的平均行為上。但是，必須認(rèn)識(shí)到像素?cái)?shù)組的參數(shù)可以從一個(gè)像素變化到另一個(gè)像素。對(duì)于線性傳感器來(lái)說(shuō)，光響應(yīng)不均勻性(PRNU)和暗信號(hào)不均勻性(DSNU) 對(duì)圖像質(zhì)量起著至關(guān)重要的作用。這些變化可以引入像素靈敏度和暗信號(hào)水平的不均勻性，導(dǎo)致圖像中不必要的噪聲和偽影。SSS提供了實(shí)驗(yàn)和校準(zhǔn)傳感器特性的能力，如PRNU和DSNU。通過(guò)將EMVA相關(guān)數(shù)據(jù)合并到其模擬中，探索這些不均勻性對(duì)圖像質(zhì)量的影響。

PRNU是指圖像傳感器像素間的靈敏度變化，在相同的入射光強(qiáng)度下，會(huì)導(dǎo)致像素響應(yīng)的微小差異。如本例所示，PRNU的校準(zhǔn)可以對(duì)糾正這些靈敏度變化產(chǎn)生影響，從而獲得更準(zhǔn)確和一致的像素響應(yīng)。

DSNU是指當(dāng)沒(méi)有光入射到傳感器上時(shí)，圖像傳感器中各個(gè)像素之間暗信號(hào)水平的變化。如下所示校準(zhǔn)DSNU對(duì)于消除不需要的暗信號(hào)變化是有用的。這種校準(zhǔn)有助于確保圖像數(shù)據(jù)的準(zhǔn)確性和可靠性，特別是在具有挑戰(zhàn)性的照明場(chǎng)景中。

SSS export提供了探索光響應(yīng)非均勻性和暗信號(hào)非均勻性的能力，增強(qiáng)了不同成像應(yīng)用的圖像質(zhì)量。

4.Thermal Noise熱噪聲

理解和量化熱噪聲對(duì)camera傳感器的特性和性能評(píng)估至關(guān)重要。這種噪聲的產(chǎn)生是由于存在于傳感器組件中的熱能，導(dǎo)致信號(hào)水平的隨機(jī)波動(dòng)。在低光或高增益場(chǎng)景下，傳感器中的這種固有噪聲現(xiàn)象會(huì)嚴(yán)重影響圖像質(zhì)量，導(dǎo)致信噪比(SNR)降低，影響圖像的整體清晰度。在需要高靈敏度和高精度的應(yīng)用中，最小化熱噪聲是必不可少的。

SSS export提供了根據(jù)EMVA數(shù)據(jù)對(duì)傳感器熱噪聲進(jìn)行驗(yàn)證的功能。通過(guò)將熱噪聲模型納入模擬，SSS在不同的操作條件下評(píng)估和評(píng)估傳感器的熱噪聲性能。

點(diǎn)擊圖片即可跳轉(zhuǎn)原文觀看動(dòng)圖

5.Statistical noise隨機(jī)擾動(dòng)噪聲

隨機(jī)噪聲是為了突出SSS光子噪聲而增加的參數(shù)。它被集成在工具中，可以在Speos map的均勻區(qū)域上給出更準(zhǔn)確的結(jié)果，因?yàn)檎嬲膫鞲衅骱苌倌茉诙鄠€(gè)像素上測(cè)量相同數(shù)量的光子。原始圖是只包含同質(zhì)區(qū)域的曝光圖。輸出是XMP格式的Raw圖?？梢钥吹矫娣e不再是均勻的。

Starting map VS raw photon map

6.Lumerical耦合

SSS最初是基于EMVA1288標(biāo)準(zhǔn)生成傳感器圖像，用于表征傳感器圖像。然而，該標(biāo)準(zhǔn)對(duì)傳感器做了一個(gè)主要假設(shè)，即量子效率僅與波長(zhǎng)有關(guān)，并且在傳感器區(qū)域內(nèi)均勻。對(duì)于許多傳感器來(lái)說(shuō)，這可能不是真的。實(shí)際上，像素的量子效率通常取決于光入射，而光入射在傳感器的每個(gè)像素上并不相同。因此，實(shí)際量子效率可以看作是波長(zhǎng)和光入射(或在像素矩陣上的位置)的函數(shù)。這種先進(jìn)的量子效率可以通過(guò)Ansys Lumerical計(jì)算出來(lái)?？梢允褂盟鼇?lái)精確地設(shè)計(jì)像素矩陣，并將量子效率導(dǎo)出為JSON文件。

SSS將讀取這個(gè)JSON文件作為輸入，它將用于替換EMVA1288標(biāo)準(zhǔn)輸入。Lumerical文件有兩種可用的模式

模式一，QE作為光入射的函數(shù)，這種模式僅限于具有旋轉(zhuǎn)軸的透鏡系統(tǒng)。在JSON文件中，QE被定義為一個(gè)3D矩陣：入射vs波長(zhǎng)vs拜耳矩陣。如例，2單色變化2種基本的顏色變化

模式二，QE作為傳感器的函數(shù)，此模式可用于任何鏡頭系統(tǒng)。在JSON文件中，QE被定義為一個(gè)3D矩陣：像素位置vs波長(zhǎng)vs拜耳矩陣。數(shù)值模式2的例子，隨機(jī)顏色變化。

通過(guò)這些例子可以看出，Lumerical仿真可以給出更先進(jìn)、更準(zhǔn)確的結(jié)果。

本文介紹了Speos Sensor System export功能，用于在Speos中對(duì)camera模擬結(jié)果進(jìn)行后期處理。本文展示了基于傳感器的降階模型創(chuàng)建電子圖和Raw圖像的實(shí)際示例，與EMVA 1288標(biāo)準(zhǔn)保持一致，涵蓋集成時(shí)間、噪聲、耦合等，生成的結(jié)果存儲(chǔ)在特定文件夾中。此外，lumerical也將為SSS的后處理，提供更準(zhǔn)確的結(jié)果。