18321151167
18321151167
當前所在位置： >> 新聞資訊
| 顯微鏡數碼相機技術簡介 |
| 發布時間:2018-08-15 15:10:12 | 瀏覽次數： |
顯微鏡數碼相機技術簡介 數碼相機技術簡介 基本原則，屬性，可能性和妥協 大多數現代光學顯微技術需要使用數碼相機。通過使用數字設備，研究人員可以實時觀察屏幕上的標本，或者獲取和存儲圖像和可量化的數據。從基本明場成像到高級超分辨率技術的廣泛應用都需要相機。 可用數碼相機技術的性能和種類大大增加，為研究人員提供了廣泛的探測器，以滿足他們的科學需求。數字成像傳感器的選擇會對圖像特征產生重大影響，因此必須對它們如何工作和彼此不同有基本的了解。在這里，我們介紹科學成像中常見的數碼相機技術背后的基本原理。 基本面 成像傳感器的任務是將光信號轉換為電信號。成像傳感器的這一原理基于所謂的光伏效應，其描述了光子如何與材料相互作用以釋放電子，從而導致電荷的累積。在大多數相機中，硅是用于此目的的基板。在所有情況下，通過吸收光子從其結合中除去電子。 硅的自然特性使其成為大多數成像傳感器基本單元的主要組成部分的理想選擇：像素。 像素 與傳感器的類型無關，可以將像素視為基本單元。反過來，像素的主要元素是光敏光電二極管，其中硅耦合到電子存儲阱（圖1）。硅負責產生電子，然后可以收集，移動并最終轉換成數字信號。像素的附加組件包括電控制電路和顏料層，以排除不需要的或破壞性的波長。
圖1：光電二極管。光敏二極管的主要復合材料是光電硅。入射光子能量用于激發硅的電子，然后將其收集在存儲阱（橙色）中，然后轉移到放大器。完整的數字成像傳感器（右）通常由嵌入在單個像素中的數百萬個光電二極管組成。 在成像過程中，撞擊光電二極管的光子被轉換成電子。這些電子存儲在電子存儲阱中，以便隨后傳輸 - 讀出 - 到放大器（圖2）。該放大器讀出累積的電子，并將它們轉換成電壓，而在相鄰的模擬-數字（AD）轉換器做數字化，并產生等效的數字信號。
圖2：基本成像原理。入射光以光子的形式撞擊圖像傳感器，從而產生電子。它們逐像素地傳輸到串行寄存器，然后通過放大器運行。所產生的電壓可以通過模數轉換器（未示出）轉換為數字圖像信號。 像素中產生的電荷與撞擊傳感器的光子數成正比，這通常受到曝光持續時間（積分時間），檢測波長以及最重要的光強度的影響。根據經驗，像素大小定義了可以在不使像素飽和的情況下收集的電子數量。對于顯微鏡成像傳感器，像素的大小通常在2-24μm2之間變化。 由于典型的像素架構，不是像素的整個表面是光敏的。圖像傳感器的填充因子描述了像素的光敏區域與其整個區域的關系。可以將微透鏡添加到像素中以更好地將光聚焦到光敏區域上以改善填充因子。 完整的數字成像傳感器由以幾何陣列組織的數百萬個像素組成。通常，像素的數量與“分辨率”混合在一起。值得注意的是，它不僅僅是像素的數量，而是它們的尺寸，它決定了相機芯片的分辨率。通常，較小的像素將提供比大的像素更高的分辨率。最后，顯微鏡系統的分辨率不僅取決于傳感器陣列，還取決于完整的光學系統。 噪音和信噪比
不幸的是，噪聲是影響所有信號的物理學的基礎。不同傳感器類型的主要噪聲的影響和類型各不相同。通常可以根據其來源將相機噪聲分為三大類： 暗噪聲 - 也稱為暗電流 - 是傳感器中存在的基本噪聲。暗噪聲是由硅中的熱能隨機產生像素中的電子引起的。暗曝光以像素為單位建立曝光時間。它以每像素每秒的電子數（e- / px / sec）表示。對于曝光時間短的快速應用而言，這不是一個問題。當涉及長曝光時間，例如弱熒光信號的一秒或更長時間時，這種噪聲類型可能成為主要問題。通過冷卻傳感器可以降低暗噪聲，每8度冷卻一次將暗電流減半（圖3）。 讀取噪聲源自涉及量化信號的傳感器的電讀出電路。根據經驗，可以通過降低像素讀出速率來降低讀取噪聲。該像素讀出速率定義了從傳感器讀取電荷的速度（單位：MHz）。由于這決定了相機的幀速率，因此對于快速實驗（如活細胞的高速延時）必須考慮讀取噪聲。一些相機提供了改變讀出速率的可能性，使得相機能夠針對快速讀出模式進行優化，或者針對低光應用進行更慢的低噪聲模式。讀取噪聲的單位是e -并且與積分時間無關。讀取噪聲和暗噪聲可用于確定特定相機是否適合低光熒光應用。 作為另一個噪聲源的光子散射噪聲是基于計數入射光子的不確定性。換句話說，它源于光子對傳感器的影響的隨機性質，但不是傳感器本身引入的。最好的解釋是想象你正試圖抓住雨水滴。即使每個桶具有相同的尺寸和形狀，也不是每個桶都能捕獲完全相同數量的液滴，因此芯片上的光子檢測可以被視為泊松分布。 在低光條件下，例如當信號強度低時熒光成像，不同的噪聲源會對圖像質量產生重大影響，因為它們會影響信噪比。因此，使用適合應用的相機對于拍攝出色的圖像至關重要。 的信噪比（SNR）是圖像，該圖像在很大程度上受該傳感器類型的影響的總體質量的度量。從廣義上講，它可 以被指定為其敏感性。雖然這可能相當復雜，但SNR表示感興趣的信號與背景噪聲的區別（圖4）。這里有幾個要探索的因素，因為信號取決于到達傳感器的光子數量，以及傳感器將這些光子轉換成信號的能力以及相機能夠抑制不需要的噪聲的能力。這就是為什么例如填充因子和微透鏡在這里發揮重要作用，以及傳感器的量子效率（參見“量子效率”部分）。
圖4：信噪比（SNR）：上圖顯示了SNR增加時的相同對象。在左邊，很難區分真實信號和背景。中間圖像顯示改善的SNR。右邊的圖像具有最佳的SNR，也可以從上圖中解釋，其中沿著綠線測量像素強度。左圖中的峰值很少將背景噪聲分開，右邊的峰值可以很容易地區分。 最后，重要的是要提到樣品的光學噪聲，自動熒光或不良染色 通常是圖像中的主要噪聲源。使用先進的傳感器無法幫助您克服準備不足的樣品。 全井容量 全阱容量很大程度上取決于像素的物理尺寸。它指的是單個像素的電荷存儲容量。這是飽和前可以收集的最大電子數。達到全井容量可以與裝滿水的桶進行比較（圖5）。
圖5：全井容量。可以將FWC與填充水的彎曲進行比較。更大的水桶 像素可以容納更多的水分。電子比小電子。 較大的像素具有比小像素更大的全阱容量（通常為18,000 e -對于6.45μm像素對比300,000 e -對于24μm像素）。對于較大的全井容量，犧牲了空間分辨率，進而影響動態范圍（參見“動態范圍”部分）。 超過全井容量的電子無法量化。在某些情況下，電荷可能泄漏到相鄰的像素中，從而產生稱為模糊的效應（圖6）。一些傳感器包含抗暈光電子器件，其試圖消除多余的電荷以抑制暈染偽影。
圖6：盛開的人工制品。在左圖中，水桶的容積足以容納所有進水滴。相應的顯微圖像顯示在它旁邊。如果進水超過鏟斗的容量，水將溢出并填充相鄰的容器。溢出的電子可以導致在顯微圖像上看到的暈染偽影。 動態范圍與全井容量直接相關的特性是動態范圍。這描述了傳感器同時記錄低強度和高強度信號的能力。在實際意義上，這意味著較弱的信號不會在噪聲中丟失，并且最亮的信號不會使傳感器飽和。以數學術語表示，動態范圍定義為全井容量（FWC）除以相機噪聲。
它通常以分貝為單位（dB）描述：
如果全井容量更高且相機噪聲更低，則動態范圍會改善。可以說，在第一個近似值中，以下參數會影響動態范圍： l 像素尺寸（全井容量） l 溫度（暗噪聲） l 讀出率（讀出噪聲） 對于熒光應用，大的動態范圍是在深色背景下記錄明亮熒光信號的主要好處（圖7），尤其是在量化信號時。
圖7：動態范圍。大動態范圍 - 傳感器同時記錄低強度和高強度信號的能力 - 有助于在暗背景下成像明亮的熒光信號。 動態范圍直接受所應用的增益影響。這里的術語“增益”用于表示所生成信號的放大。如果您將傳感器的增益加倍，則有效地將全井容量減半，這反過來會降低動態范圍。因此，通常需要在靈敏度和動態范圍之間進行權衡。
如果傳感器的固有動態范圍不足以應用 - 分別是樣本 - 可以考慮采用“ 高動態范圍 ”（HDR）。在此過程中，以不同的曝光強度獲取一系列圖像。最終通過應用不同的算法計算得到的圖像（圖8）。這種方法的缺點是獲取圖像所需的時間延長。因此，這對于快速移動或光敏樣品不是優選的。 圖8：HDR采集。該標本（Tilia spec。）具有強熒光信號（上部）和弱熒光信號（下部）的區域。相機的動態范圍不足以同時在明亮區域同時記錄暗區。因此，曝光強度只能被優化以對強（左）或弱（中）熒光信號成像。HDR圖片（右）由一系列圖像組成，這些圖像是通過將不同的曝光強度組合在一起而獲得的。 量子效率在理想世界中，可以假設100個光子能夠產生100個電子。當與傳感器相互作用時，光子可能被吸收，反射甚至直接通過。傳感器吸收特定波長的光并將其轉換成電子的能力稱為量子效率（QE）。 傳感器的量子效率受許多因素的影響，包括： l 填充因子 l 微透鏡的添加/性能 l 防反射涂層 l 傳感器格式（背面或前面照明） 量子效率總是入射光波長的函數。最常用于科學成像的硅探測器能夠探測超出可見光范圍（~400至1000nm）的波長。通過查看QE曲線，您可以看到特定傳感器在將特定波長轉換為信號時的效率（圖9）。
圖9：量子效率（QE）。光子到電子的轉換從來不是100％，而是由幾個因素衰減。傳感器吸收光子并將光子轉換成電子的能力稱為QE。QE總是取決于波長，可以描述為曲線。 大多數相機傳感器是前照式的，其中入射光從像素的前面進入，在撞擊光敏硅之前必須通過包含像素電路的半透明層（圖1）。這些層會導致一些光損失，因此前照式傳感器的最大QE通常約為50-60％。由于傳感器表面上的電子器件僅能夠產生局部電場，因此它們無法控制在硅晶片中形成更深的電荷（圖10）。 在背照式傳感器的情況下，光從“背面”直接照射到光敏硅，而不必通過像素電路，提供最大QE接近95％。為了制造背照式傳感器，也稱為背面減薄，這種額外的硅被磨掉 - 這是一個昂貴的工藝 - 以創建一個非常薄的硅層，其中所有的電荷都可以由像素的電子設備操縱。
圖10：正面和背面照明。光電二極管的照明可以發生在“前側”（左側）或“后側”（右側）。由于光子猝滅層較少，在背照明的情況下，電子產生的效率高于前照式二極管。 比特深度位深度可以與動態范圍相關，但不應該與動態范圍相混淆，并且指的是模擬信號如何被數字化或者斬波為灰度值或灰度級。數碼相機傳感器的動態范圍取決于其FWC和噪聲。位深度取決于AD轉換器將生成的電子數轉換為灰度值的能力。它可以輸出的灰度越多，可以再現的細節越多（圖11）。 一些相機提供的灰度值大于光子可以產生的最大電子數（例如，16位數字化將信號切換成~65K灰度單位）。在極端情況下，傳感器可能在1,000光子/像素以下飽和，但圖像仍然顯示65,000灰度值。此外，計算機屏幕通常只能顯示8位數據。這就是必須按比例縮小顯示超過8位的相機信號的原因。用戶可以在查找表（LUT）的幫助下影響此過程。使用它通常可以揭示圖像中隱藏的細節。
圖11：動態范圍與位深度。傳感器的動態范圍是指其同時記錄低強度和高強度信號的能力。這可以追溯到它的像素'FWC及其噪聲特性。高FWC有利于檢測高強度信號，其中許多光子撞擊像素。另一方面，低噪聲有利于檢測低強度信號。動態范圍主要是指像素的特性，而位深度是AD轉換器的特性。位深度越大，圖像的完整動態范圍就越好。使用2位AD轉換器，數字成像傳感器可輸出4個灰度級，帶有4位AD轉換器16等。 成像速度和分檔 以表示為每秒幀數（fps）的幀速率測量數碼相機的成像速度。這是相機在一秒鐘內可以獲取的圖像（幀）數。許多因素會影響相機的最大可實現幀速率。在給定的曝光時間，需要考慮以下參數： l 像素數 l 像素讀數率 l 電腦界面（USB 2.0 / USB 3.0 / CamLink等） 提高幀速率的最簡單方法是通過切換到較小的感興趣區域（ROI）來減少讀出的像素數。隨著幀速率的增加，撞擊傳感器的光子數量將減少，因此根據樣本類型，需要額外的靈敏度。可用于提高速度和降低噪聲的一個技巧是“片上合并”。 在分箱期間，不是分別從每個像素讀出數據，來自幾個相鄰像素的數據在串行寄存器中的芯片上組合，并作為“超像素”讀出。以這種方式，可以組合來自2x2,3x3或4x4和更多像素的數據（圖12）。
分檔以犧牲分辨率為代價提高了信噪比。假設每個像素包含100個電子并且讀取噪聲為10個電子，則逐個讀出信噪比為10/1。如果裝箱2x2，則讀出的信號現在為400，讀取噪聲仍為10，因此信噪比急劇增加到40/1。由于讀出電子設備必須處理較少的數據點（在2x2合并的情況下減少4倍），幀速率也會增加。分箱的主要缺點是分辨率損失，因為有效像素大小增加了bin值的平方（圖13）。
圖13：分箱。用binning記錄右邊的圖像。以分辨率為代價達到改善的SNR。 使用分級是快速熒光成像的標準，例如快速延時。目的是降低噪聲，數據大小并減少曝光時間。后者尤其值得一提，因為這可以減少漂白和光誘導的活細胞損傷。 對于諸如染色病理組織的文檔的明場應用，通常將分級應用于實時圖像，從而在移動顯微鏡臺時允許平滑的屏幕上圖像。 傳感器類型大多數上述特征和參數對于顯微鏡中的所有類型的成像傳感器都是通用的。然而 - 基于歷史發展和技術改進，顯微鏡師可以分別在不同類型的傳感器和相機之間進行選擇。它們在原理架構（例如CCD與CMOS），增強信號（例如EMCCD與CCD）和圖像質量（例如CMOS與sCMOS）的能力方面存在差異。 CCD傳感器 - 電荷耦合器件：基于這種傳感器類型的相機是明場和熒光成像的主力。特征在于，像素中產生的電荷通過表面從一個像素移動到另一個像素，進入串行寄存器（圖14）。從串行寄存器中，電荷一個接一個地傳遞到讀出電子器件，在那里信號被轉換成電壓，放大，量化和數字化。因此， CCD傳感器內的所有數據通常通過單個輸出節點讀出。 EMCCD傳感器 - 電子倍增CCD： EMCCD傳感器基本上是CCD傳感器，在傳感器和讀出電子器件之間增加了EM增益寄存器。該EM增益寄存器放大信號遇到讀出電子前。除此之外，EMCCD攝像機采用背面薄型傳感器技術，典型的峰值QE> 90％。這些類型的相機用于極低光應用，并且可以是單光子敏感的。這些相機的價格通常遠高于普通CCD相機的價格。 CMOS - 互補金屬氧化物半導體：近年來， CMOS技術最初用于手機和低端相機，顯著改善，已成為顯微鏡中標準明場應用的重要成像設備。與CCD相比的主要差異是像素電子器件和節省時間的傳感器讀出原理，與傳統 CCD傳感器中使用的單個讀出節點相比，具有數千個讀出節點。 sCMOS - 科學CMOS：幾年前推出的這種傳感器克服了CMOS傳感器的常見缺點，如高噪聲水平。這種類型的傳感器用于高端熒光成像，這得益于快速幀速率，高動態范圍和低噪聲。
圖14：傳感器的類型。CCD（左）：入射光以光子的形式撞擊圖像傳感器，從而產生電子。它們逐像素地傳輸到串行寄存器，然后通過放大器運行。例如，所產生的電壓可以通過模數轉換器（未示出）轉換成數字圖像信號，以顯示在計算機屏幕上。EMCCD（中）：根據傳統的CCD傳感器，EMCCD中的光誘導電子被傳輸到串行寄存器。在通往放大器的路上，它們通過一個額外的寄存器，電子倍增（EM寄存器，其中電子數量增加高達1000倍。sCMOS（右）：在sCMOS傳感器內，每個像素都有自己的放大器。此外，每列在每側具有附加放大器和自己的模數轉換器（未示出）。這種架構可以固定讀出，因為電子不必將單個下游像素傳遞到串行寄存器。 概要沒有數碼相機技術，現代光學顯微鏡是不可想象的。大多數顯微鏡用戶要么想在監視器上觀看他們的標本，要么想在計算機上保存和處理他們的發現。此外，如果沒有數碼相機傳感器的興起，甚至不可能有一些微觀技術，例如定位顯微鏡。本文的讀者應該已經了解了如何生成數字顯微圖像。這反過來將有助于正確使用數碼相機以及如何以正確的方式解釋生成的數據。 |
圖12：分箱。對于低光應用，數碼相機芯片能夠總結一定量的相鄰像素的信息（左）。在2×2合并處理的情況下，4個相鄰方形有序像素的信息被視為一個大的“超像素”等。利用該方法，可以以空間分辨率為代價來提高速度和SNR。右邊的序列說明了片上合并的過程。t1表示將要組合的四個像素。在t2，下一行被傳送到串行寄存器。在t3，下一行被傳送到串行寄存器，它們的電子被組合（用較淺的顏色表示）。在t4，來自串行寄存器的兩個像素被組合，進一步增加了像素的亮度。
