Sensori

FOTONI → SENSORE → ELETTRONI

L’immagine ottenuta dalla camera è una matrice in cui ogni valore è il valore di ogni singolo pixel. Questi valori, a seconda di come sono salvati, hanno scale differenti. $0\le \Delta Pixel\le 2^n-1$ con $n$ numero di bit con cui si salva l’immagine, e $\Delta Pixel$ valore che un pixel può assumere.

Le immagini sono solitamente salvate a 8bit (255), 10bit (1023) o 12bit (4095). Questi valori sono toni di grigio, e creano un’immagine monocromatica. Si avrà quindi una matrice con dimensioni $H\times W\times 1$. Dove $H$ e $W$ sono le dimensioni in pixel del sensore.

Se un’immagine è invece caratterizzata da 3 canali RGB, si ha che la dimensione sale a $H\times W\times 3$.

Filtro di Bayer

Il sensore ha matrice bidimensionale. Come è possibile avere una matrice tridimensionale in uscita? Davanti al sensore si mette un array di filtri, il più comune è il filtro di Bayer. È formato da un pattern con un filtro blu, due filtri verdi e uno rosso, che si ripete davanti al sensore. Il 50% dei pixel sarà filtrato sul verde, il 25% sul rosso e il 25% sul blu. Ogni pixel riceve le informazioni solo sulla lunghezza d’onda del filtro che ha davanti. Il resto della luce viene scartato.

Una volta acquisita l’immagine questa subisce un’operazione di debayering.

Debayering

I pixel recuperano le informazioni sui colori mancanti da quelli vicini tramite un processo di media. Ci sono varie tecniche di interpolazione per fare questo debayering. Il risultato per ogni pixel devono essere 3 valori, uno per il rosso, uno per il blu e uno per il verde.

Il valore del verde si calcola con: $G_{2,2_{n}ew}=0.5\times G_{2,2}+0.5\times (G_{1,1}+G_{1,3}+G_{3,1}+G_{3,3})/4$

So ha un risultato più simile alla realtà per oggetti verdi, più che per oggetti rossi o blu. Il debayering bilineare ha dei problemi sui bordi, che perdono nitidezza. Si può risolvere con algoritmi più complessi e costosi, che però vengono fatti girare su computer.

Correzione del colore

La sensibiltà spettrale dell’occhio umano e quella del sensore policromatico standard sono simili per quanto riguarda il verde, ma si discostano di molto per quanto riguarda blu e rosso. Si deve applicare quindi una correzione del colore, che non è altro che una matrice di coefficienti che trasforma il vettore contenente il valore della tripletta di un singolo pixel nel suo valore corretto.

$\left(\begin{array}{c}x\\ y\\ z\end{array}\right)=\left[\begin{array}{ccc}{C}_{1,1}& C_{1,2}& C_{1,3}\\ C_{2,1}& C_{2,2}& C_{2,3}\\ C_{3,1}& C_{3,2}& C_{3,3}\end{array}\right]\times \left(\begin{array}{c}R\\ G\\ B\end{array}\right)$ Dove (x, y, z) è il vettore finale con i valori corretti del pixel, la matrice 3x3 è la matrice di correzione e il vettore (R, G, B) è il vettore di valori iniziali del pixel.

Per trovare i coefficienti della matrice 3x3 si usa la Macbeth Chart, ovvero un target di colori conosciuti a priori, con 24 colori. La prima riga rappresenta colori naturali, la seconda è fatta di colori vari, la terza di colori principali e l’ultima è una scala di grigi.

Avendo segnale di ingresso e di uscita, è una semplice inversione.

Quando si usano

Solitamente si usano sensori monocromatici, dal momento che hanno un frame rate maggiore e una accuratezza migliore per edge detection. Soprattutto perché spesso i difetti sono di forma, non di colore.

Difetti del pixel

Esistono 3 tipi di difetti per i pixel:

1. pixel caldi - hot: pixel in cui la carica è sempre alta, quindi saturano sempre indipendentemente dalla quantità di luce che li colpisce. Pixel bianchi nell’immagine
2. pixel morti - dead: il pixel non riesce a convertire la luce, quindi si vedono come punti neri.
3. pixel tiepido - warm: errore dovuto al fatto che il pixel produce un valore random. Si ha un pixel con valore totalmente diverso rispetto a quelli vicini.

La posizione è costante, e per eliminare questi problemi basta fare una media dei colori vicini. Si applica facilmente la maschera.

Rumore

Le sorgenti di rumore possono essere varie. Il rumore è una fonte di disturbo rispetto all’informazione trasmessa in un sistema. ⇒ qualsiasi cosa che contribuisca ad una variazione dell’immagine visualizzata rispetto alla scena originale.

Rumore di fotoni - shot noise

Dipende dal numero di fotoni che colpiscono il sensore, che può variare di poco ad ogni immagine. Segue una distribuzione statistica detta di Poisson.

Dark Current Noise

Lo strato di silicio nel sensore è sensibile alla temperatura. Se il sensore è caldo, viene generata una carica aggiuntiva che va a saturare l’immagine. Più il tempo di esposizione è lungo, più il sensore si scalda!

Molto più presente nei CMOS.

Fixed pattern noise

Dark current noise, ma non omogeneo su tutto il sensore. Si possono vedere delle macchie. Molto presente nei CMOS, non succede nei CCD.

Photo response non uniformity

È impossibile produrre due cose che funzionano in modi perfettamente uguali, quindi anche i pixel possono essere diversi. C’è quindi non uniformità nella conversione fotoni/elettroni nel sensore, per cui se al sensore arriva la stessa quantità di luce non è detto che l’immagine abbia gli stessi toni di grigio in ogni pixel.

Reset noise

Quando un pixel viene letto, viene scaricato ad un livello zero che indica che il pixel è pronto ad essere caricato di nuovo. Questo livello non è uguale per tutti, ma è basato sulla non uniformità di questi pixel. Dipende anche dalla temperatura, ed è più visibile in condizioni di bassa illuminazione.

Si musira come: $n_{reset}=\frac{\sqrt{k\times T\times C}}{q}$con

• k costante di Boltzmann ($1.38\times 10^{-23}$ Joule/Kelvin)
• T temperatura
• C capacità del condensatore
• q la carica elementare ($1.60\times 10^{-19}$ Coulomb)

Amplifier noise e quantization noise

Dovuto al rumore generato internamente dall’amplificatore, ma è praticamente pari a zero nelle telecamere moderne. Il rumore di quantizzazione, invece, è dovuto alla conversione del segnale tra analogico e digitale. È dato dall’incertezza tra uno step e l’altro della quantizzazione. Maggiori sono i bit con cui viene salvata l’immagine, minore sarà il rumore.

Noise floor e sensibilità

Quasi tutti i tipi di rumore sono dipendenti dal segnale che entra nel sistema.

Gli unici due dipendenti solo dall’elettronica sono il dark noise e il fixed pattern noise. La somma di questi due va a impostare il limite minimo per quanto riguarda la sensibilità del sensore. Qualunque segnale sotto a questo va a perdersi all’interno del rumore, e non porta un contributo all’immagine.

Dynamic Range

Rapporto tra valore più grande e più piccolo di luce che può essere letta dal sensore. Maggiore è il range, maggiore è la capacità di discretizzare le informazioni. Al massimo il pixel sarà completamente bianco, al minimo sarà nero.

Il valore viene espresso in decibel. Maggiore è questo valore, migliore sarà la capacità di una telecamera di vedere gli oggetti da osservare in condizioni di illuminazione variabile.

Il dynamic range di un occhio umano è circa 90dB.

Signal to noise ratio

Definito come rapporto tra il segnale massimo e il rumore misurato in decibel. Il valore massimo dell’SNR è limitato dallo shot noise, che dipende dalla natura fisica della luce ed è inevitabile.

Un rapporto segnale/rumore basso è sintomo di bassa qualità e elevato rumore. $SNR=\frac{{\text{Segnale}}_{max}}{\sqrt{\sum {\text{rumore}}^2}}$

Sensibilità spettrale

I grafici indicano quanto efficientemente la luce viene registrata dal sensore. Le camere riescono a prendere lunghezze d’onda che vanno dai 350 ai 900 nm.

La sensibilità spettrale può essere espressa in termini di efficienza quantica, ovvero come rapporto tra il numero di cariche generate dal fotodiodo e il numero di fotoni che entrano nel singolo pixel.

Micro lenti

Nel sensore, specialmente in CMOS, l’area attiva di ogni pixel è circondata da circuiti e connessioni metalliche per il readout dell’immagine. Se la luce non è perpendicolare rischia di non essere letta. PEr questo si aggiunge uno strato di micro lenti, che aiutano la luce ad entrare nel fotodiodo.

Alcuni sensori per la fotografia hanno un array di microlenti in cui, più ci si sposta dal centro, più queste hanno uno shift, in modo da avere una migliore uniformità luminosa.

Negli ultimi tempi, i sensori vengono realizzati con il fotodiodo sotto alle connessioni per il readout, quindi questo non è più un problema.

sva_s12