Chapter 15

차량용 센서

스마트폰 센서는 사진이 예쁘게 나오면 성공이다. 차량용 센서는 터널 출구의 역광, 한밤의 헤드라이트, 깜박이는 LED 신호등, 한여름 대시보드 위의 열기 속에서도 한 프레임도 놓치지 않아야 성공이다. 이 장에서는 같은 CMOS 이미지 센서가 자동차라는 환경을 만나 어떻게 달라지는지를 본다.

차량 카메라의 종류와 용도별 요구사항(화각, 해상도, 셔터, DR)을 구분한다.
PWM LED가 짧은 노출에서 꺼져 보이는 이유를 확률로 계산하고, LFM과 HDR이 충돌하는 이유를 설명한다.
대·소 포토다이오드, DCG, LOFIC을 조합한 다중 신호 HDR의 SNR 곡선과 전환점 딥을 읽는다.
접합 온도 125 °C에서 암전류가 다이내믹 레인지를 얼마나 깎는지 계산한다.
RCCB·RCCC·RYYCy CFA, 기능 안전(ASIL)과 자가 진단, NIR 글로벌 셔터 실내 모니터링의 핵심을 이해한다.

차 한 대에 카메라 열 대

최근 승용차에는 카메라가 8~12대까지 들어간다. 모두 같은 일을 하는 것이 아니다. 어떤 카메라는 사람이 볼 영상을 만들고, 어떤 카메라는 알고리즘이 판단할 데이터를 만든다. 이 구분이 센서 사양을 가른다.

그림 15-1. 차량 카메라 배치. 전방 카메라(파랑)는 먼 곳을 보는 좁은 화각과 교차로를 보는 넓은 화각을 함께 쓰고, 서라운드 뷰(보라)는 어안 렌즈 네 대로 차 둘레를 덮는다. 실내에는 근적외선 조명과 짝을 이룬 모니터링 카메라가 있다.

용도	보는 주체	화각(수평)	해상도	셔터 · DR	가장 중요한 것
전방 (ADAS, Advanced Driver Assistance Systems)	기계	약 30~120°	2~8 MP	롤링, 120 dB 이상	먼 물체 검출, LFM, 저조도 SNR
서라운드 뷰 · 주차	사람 + 기계	약 180~200° (어안)	1~3 MP	롤링, 120 dB 안팎	넓은 화각, 네 영상의 색·밝기 일치
후방 카메라	사람	약 130~180°	1~2 MP	롤링, 100 dB 이상	빠른 기동, 저조도
전자 미러 (CMS, Camera Monitor System)	사람	약 30~60°	2~3 MP	롤링, 120 dB, 60 fps	지연 시간, LED 플리커 없는 영상
운전자·탑승자 모니터링 (DMS / OMS)	기계	약 50~140°	1~5 MP	글로벌 셔터, NIR	940 nm 감도, 태양광 배경 억제

사람이 보는 영상은 색이 자연스럽고 깜박임이 없어야 한다. 기계가 보는 영상은 예쁠 필요가 없다. 대신 선형성이 유지된 넓은 다이내믹 레인지와 프레임마다 일관된 밝기가 필요하다. 신경망은 톤 매핑으로 보기 좋게 눌러 놓은 8비트 영상보다 20~24비트의 선형(또는 구간 선형 압축) RAW에서 어두운 보행자와 밝은 신호등을 함께 찾아낸다. 그래서 전방 카메라용 센서는 사람용 출력과 기계용 출력을 따로 내보내기도 한다.

왜 스마트폰 센서를 그대로 못 쓰는가

스마트폰 센서는 픽셀 0.6~1 µm에 해상도 5천만~2억 화소다. 차량 전방 카메라는 픽셀 2.1~3 µm에 2~8 MP가 주류다. 기술이 뒤처져서가 아니라 요구가 다르기 때문이다. 차이는 네 가지로 요약된다.

장면의 밝기 범위: 스마트폰은 노출을 여러 번 바꿔 찍고 합칠 시간이 있다. 차는 시속 100 km로 움직이며 매 프레임이 실전이다.
광원의 성질: 신호등, 전광 표지판, 다른 차의 등화가 모두 PWM으로 깜박이는 LED다.
온도: 동작 주위 온도 −40~105 °C, 칩 내부(접합) 온도는 125 °C까지 간다. 스마트폰은 45 °C만 넘어도 촬영을 멈춘다.
수명과 책임: 15년, 수천 시간 이상 동작해야 하고 고장이 나면 스스로 알려야 한다.

그림 15-2. 주행 장면의 휘도 범위. 70 dB 창 하나로는 터널 출구도, 야간 전조등 장면도 한꺼번에 담을 수 없다. 20 dB가 10배이므로 140 dB는 1000만 : 1이다.

장면이 넓으면 9장의 HDR을 쓰면 된다. 문제는 차량에서는 가장 손쉬운 HDR, 즉 긴 노출과 짧은 노출을 합치는 방법이 LED 광원과 정면으로 충돌한다는 점이다. 아래 시뮬레이터로 먼저 터널 출구에서 HDR이 왜 필요한지 확인하고, 다음 절에서 그 충돌을 살펴보자.

SIMULATOR

터널 출구: 단일 노출 대 HDR

센서

노출 보정 포화(빨강)·노이즈에 묻힘(파랑) 표시

장면 DR—

포화 화소—

SNR 3 미만 화소—

어둠 속 보행자 SNR—

출구 앞차—

터널 안 왼쪽 벽 앞에 보행자가, 출구 밖 역광 속에 앞차가 있다. 센서 가정: 풀웰 10,000 e⁻, 읽기 노이즈 2 e⁻. 해볼 것: 단일 노출에서 노출 보정을 올려 보행자가 보이게 하면 출구가 통째로 포화해 앞차가 사라진다. 반대로 내리면 보행자가 노이즈에 묻힌다. 둘을 동시에 살리는 노출은 없다. HDR로 바꾸고 노출 보정을 +2 EV 이상으로 올리면 한 프레임에 둘 다 남는다(표시는 로그 톤 매핑).

LED 플리커: 켜져 있는데 꺼져 보이는 신호등

LED는 밝기를 전류 크기가 아니라 펄스 폭 변조(PWM, Pulse Width Modulation)로 조절하는 경우가 많다. 사람 눈이 알아채지 못하는 빠르기로 켜고 끄기를 반복하되, 켜진 시간의 비율인 듀티(Duty Cycle)로 평균 밝기를 정한다. 신호등, 차량 후미등·주간주행등, 도로 전광판이 대체로 수십 Hz에서 수 kHz 사이의 PWM으로 동작하며 주파수와 듀티는 제품마다 다르다. 통일된 규격이 없다는 점이 문제를 어렵게 한다.

9장에서 본 형광등 플리커는 밝기가 사인 모양으로 출렁이는 정도였다. PWM LED는 완전히 꺼지는 구간이 있다. 노출 창이 그 구간 안에 통째로 들어가면 센서는 빛을 전혀 받지 못한다.

그림 15-3. PWM LED와 노출 창. 꺼진 구간보다 짧은 노출은 위상에 따라 빛을 하나도 못 받을 수 있다. 노출이 한 주기와 같으면 어디서 시작하든 켜진 구간을 정확히 한 번 덮는다.

노출 시작 시각은 LED 위상과 무관하므로 한 주기 안에서 균일하게 분포한다고 볼 수 있다. 주기 $T$, 듀티 $D$인 LED를 노출 시간 $t_{\text{exp}}$로 찍을 때, 노출 창이 꺼진 구간 $(1-D)T$ 안에 완전히 들어가 빛을 전혀 받지 못할 확률은

$$P_0 = \max\!\left(0,\ 1 - D - \frac{t_{\text{exp}}}{T}\right)$$

예: 90 Hz($T$ = 11.1 ms), 듀티 20 %인 LED를 $t_{\text{exp}}$ = 1 ms로 찍으면 $P_0 = 1 - 0.2 - 0.09 = 0.71$. 프레임 열 장 중 일곱 장에서 신호등이 꺼져 있다. $t_{\text{exp}} \ge (1-D)T$이면 $P_0 = 0$이 되어 꺼져 보이는 일은 없지만 밝기는 여전히 프레임마다 다르다. 밝기까지 일정하려면 $t_{\text{exp}} = nT$여야 한다.

이제 충돌이 보인다. 맑은 낮에 고감도 픽셀이 포화하지 않으려면 노출은 0.1 ms 수준이어야 한다. LED가 꺼져 보이지 않으려면 노출은 10 ms 이상이어야 한다. 두 요구의 차이가 100배(40 dB)다. 다중 노출 HDR의 짧은 노출 프레임은 바로 밝은 영역, 즉 LED 자신을 담당하는 프레임인데 그 프레임이 LED를 놓친다. 이 문제를 푸는 기능을 LED 플리커 억제(LFM, LED Flicker Mitigation)라 한다.

해법의 원리는 하나다. 노출 시간은 길게 유지하고, 감도를 낮추거나 저장 용량을 키워 포화를 피한다.

저감도 소형 PD: 큰 PD 옆에 감도가 1/50~1/200인 작은 PD를 두고 같은 시간 동안 노출한다. 밝은 곳은 작은 PD가 맡는다.
LOFIC: 큰 PD에서 넘친 전하를 대용량 커패시터에 계속 쌓는다. 감도는 그대로 두고 그릇을 수십 배로 키우는 방법이다.
분할 노출(Chopped / Sub-sampled Exposure): 한 주기 이상에 걸쳐 아주 짧은 노출 조각을 여러 번 흩어 놓고 전하를 누적한다. 총 적분 시간은 짧아 포화하지 않으면서 LED의 여러 위상을 고르게 표본으로 얻는다. 움직이는 물체가 점선처럼 끊겨 보일 수 있다는 약점이 있다.

SIMULATOR

PWM 신호등과 노출 시간

PWM 주파수 듀티 D 노출 시간

프레임률

배경

픽셀

빛을 못 받을 확률 P₀—

꺼진 프레임 (30장 중)—

프레임 간 밝기 변동—

LED 화소 신호—

배경(하늘)—

위 왼쪽: 지금 프레임의 영상. 위 오른쪽: 연속 30프레임에서 적색등이 찍힌 밝기. 아래: LED 파형(노랑)과 각 프레임의 노출 창(초록 = 빛을 받음, 빨강 = 꺼진 구간에 걸림). 가정: 고감도 PD 풀웰 10,000 e⁻, 저감도 채널은 감도 1/100. 센서와 LED의 클록은 동기되어 있지 않으므로 위상이 프레임마다 조금씩 밀린다. 해볼 것: ① 기본값(낮, 1 ms)에서 신호등이 대부분 꺼져 보인다. ② '노출을 PWM 주기에 맞추기'를 누르면 깜박임은 사라지지만 하늘과 LED가 모두 포화한다. ③ '+ 저감도 채널'을 켜면 긴 노출을 유지한 채 포화가 풀린다. ④ 주파수를 1 kHz로 올리면 짧은 노출로도 문제가 없다. 어려운 것은 낮은 주파수와 낮은 듀티다.

꺼져 보이는 것과 깜박이는 것은 다른 문제다

기계에게는 신호등이 꺼진 것으로 읽히는 프레임이 치명적이다. 사람에게는 전자 미러나 후방 영상 속 뒤차 전조등이 프레임마다 밝기가 바뀌며 깜박이는 것이 위험하다. 방향지시등이나 긴급 차량 경광등으로 착각할 수 있기 때문이다. 그래서 LFM은 기계용 카메라와 사람용 카메라 양쪽 모두의 요구다.

차량용 HDR 픽셀: 한 번의 노출, 서너 개의 신호

DCG, 분할 픽셀, LOFIC 각각의 원리는 9장에서 다루었다. 차량용 센서의 특징은 이들을 하나의 픽셀 안에 함께 넣어, 같은 노출 시간 동안 감도와 용량이 다른 신호를 서너 개 얻는다는 점이다. 모든 신호가 같은 시간 창을 공유하므로 LED 플리커와 모션 고스트가 원리적으로 생기지 않는다.

그림 15-4. 차량용 HDR 픽셀의 한 구성 예. 한 노출에서 네 신호를 차례로 읽고, 센서 안의 합성 회로가 조도 구간마다 가장 SNR이 좋은 신호를 골라 20~24비트 선형 값을 만든다. 실제 제품은 이 가운데 일부만 조합하기도 한다.

여러 신호를 이어 붙일 때 가장 조심할 것이 전환점의 SNR 딥(SNR Drop at Transition)이다. 어떤 신호가 포화하는 조도에서 다음 신호로 넘어가면, 다음 신호는 감도가 낮거나 노이즈가 커서 SNR이 갑자기 떨어진다. 대·소 PD만 쓰는 경우를 보자.

$$\mathrm{SNR}_{\text{LPD, just before saturation}} = \sqrt{N_{\text{FWC}}},\qquad \mathrm{SNR}_{\text{SPD, just after switch}} = \frac{N_{\text{FWC}}/R}{\sqrt{N_{\text{FWC}}/R + \sigma_S^2}}$$

$R$: 감도비, $\sigma_S$: SPD 쪽 노이즈 바닥. 예: $N_{\text{FWC}}$ = 10,000 e⁻, $R$ = 100, $\sigma_S$ = 12 e⁻이면 전환 직전 SNR = 100(40 dB), 직후 SNR = 100/$\sqrt{100+144}$ = 6.4(16 dB). 24 dB가 한순간에 사라진다.

SNR이 16 dB인 밝기 구간에서는 물체의 질감과 색이 노이즈에 흐려진다. 하필 그 구간이 역광 속 보행자의 밝기와 겹치면 검출 성능이 떨어진다. 그래서 차량용 센서 사양에는 최대 DR뿐 아니라 전 구간에서 유지되는 최소 SNR이 함께 들어간다(예를 들어 전환점에서 25 dB 이상). LOFIC은 LPD와 같은 감도로 용량만 키우므로 이 틈을 메우는 데 알맞다. 위 예에서 LPD가 포화한 직후 LOFIC 신호는 10,000 e⁻를 그대로 가지고 있어, 커패시터의 kTC 노이즈가 90 e⁻이더라도 SNR = 10,000/$\sqrt{10{,}000 + 8100}$ = 74(37 dB)를 유지한다.

SIMULATOR

다중 신호 HDR의 SNR 곡선

LPD · LCG (DCG) LOFIC (용량 ×30) SPD (저감도 PD) 감도비 R = LPD / SPD LPD 풀웰 HCG 읽기 노이즈 접합 온도

신호 수—

합성 DR—

전환점 최저 SNR—

최대 SNR—

암전자 (LPD / 커패시터)—

가로축은 LPD가 포화 없이 받았다면 모였을 전자 수(조도 × 노출 시간에 비례), 노출은 11 ms 고정. 가는 선은 각 신호, 굵은 선은 합성 결과, 점선은 예시 요건 25 dB. 모델: HCG는 풀웰의 1/8까지, LCG 읽기 노이즈는 HCG의 5배, LOFIC kTC 노이즈 약 90 e⁻, SPD 노이즈 약 12 e⁻, 커패시터 노드의 암전류는 LPD의 10배, SPD 저장 노드는 3배로 가정. 해볼 것: ① LOFIC을 끄고 감도비를 300까지 올리면 DR은 늘지만 전환점 딥이 깊어진다. ② LOFIC을 켜면 딥이 메워진다. ③ 온도를 125 °C로 올리면 LOFIC·SPD 구간의 SNR이 먼저 무너진다.

고온에서 SPD와 LOFIC이 먼저 무너지는 이유

LPD는 핀드 포토다이오드라 표면이 p⁺ 층으로 덮여 있고 암전류가 작다(2장). 반면 넘친 전하를 받는 커패시터 노드와 SPD의 저장 노드는 금속 배선과 접합에 직접 연결되어 있어 핀드 구조의 보호를 받지 못한다. 암전류가 한두 자릿수 크고, 전하가 노출 시간 내내 그 노드에 머문다. 여기에 커패시터를 리셋할 때 생기는 kTC 노이즈가 더해지는데, 넘침 신호는 상관 이중 샘플링으로 완전히 지우기 어렵다. 그래서 고온에서는 저조도 신호보다 중간 밝기 구간의 화질이 먼저 나빠진다.

고온 동작: 125 °C의 암전류

차량용 센서의 데이터시트는 60 °C가 아니라 105 °C, 125 °C에서의 수치를 적는다. 앞 유리 뒤에 붙은 전방 카메라는 한여름 직사광선 아래에서 주위 온도만 80~90 °C에 이르고, 센서와 영상 처리 칩이 내는 열이 더해져 접합 온도는 100 °C를 넘는다.

7장에서 본 것처럼 암전류는 온도에 지수적으로 늘어난다. 실리콘 픽셀에서는 대략 6~8 °C마다 두 배다. 기준 온도 $T_0$에서의 암전류를 $I_0$, 배증 온도를 $T_d$라 하면

$$I_{\text{dark}}(T) = I_0\cdot 2^{(T-T_0)/T_d},\qquad N_{\text{dark}} = I_{\text{dark}}\cdot t_{\text{exp}}$$

예: 60 °C에서 20 e⁻/s, $T_d$ = 7 °C인 픽셀. 125 °C에서는 $2^{65/7} \approx 624$배인 약 12,500 e⁻/s가 된다. LFM을 위해 노출을 11 ms로 유지하면 프레임마다 암전자가 약 137 e⁻ 쌓인다.

평균값 137 e⁻ 자체는 블랙 레벨 보정으로 뺄 수 있다. 빼지 못하는 것이 두 가지 남는다. 암전자의 샷 노이즈 $\sqrt{137} \approx 11.7$ e⁻, 그리고 픽셀마다 암전류가 다른 데서 오는 고정 패턴(DSNU)이다. DSNU가 평균의 30 %라면 41 e⁻다. 읽기 노이즈 1.5 e⁻와 합치면

$$\sigma_{\text{floor}} = \sqrt{\sigma_{\text{read}}^2 + N_{\text{dark}} + (0.3\,N_{\text{dark}})^2} = \sqrt{2.25 + 137 + 1690} \approx 43\ \text{e}^-$$

풀웰 12,000 e⁻ 가운데 137 e⁻를 암전자가 차지하므로 단일 신호 DR = 20 log(11,863/43) ≈ 49 dB. 같은 픽셀이 25 °C에서는 20 log(12,000/1.5) ≈ 78 dB였다. 온도만으로 약 29 dB를 잃는다.

접합 온도	암전류	11 ms 암전자	노이즈 바닥	단일 신호 DR
25 °C	약 0.6 e⁻/s	0.007 e⁻	1.5 e⁻	78 dB
60 °C	20 e⁻/s	0.22 e⁻	1.6 e⁻	78 dB
85 °C	약 240 e⁻/s	2.6 e⁻	2.3 e⁻	74 dB
105 °C	약 1,700 e⁻/s	19 e⁻	7.3 e⁻	64 dB
125 °C	약 12,500 e⁻/s	137 e⁻	43 e⁻	49 dB

고온에서는 핫 픽셀(Hot Pixel)도 늘어난다. 결함이 있는 픽셀은 암전류가 평균의 수십~수백 배다. 상온에서는 눈에 띄지 않던 픽셀이 온도가 오르면 임계값을 넘어 흰 점으로 나타난다. 차량용 센서는 그래서 표면 결함을 줄이는 공정, 접합 전계를 낮춘 설계, 온도에 따라 블랙 레벨과 결함 보정 임계값을 바꾸는 회로를 함께 쓴다. 암전류와 핫 픽셀을 측정하는 방법은 8장 센서 특성 평가에서 다룬다.

SIMULATOR

접합 온도와 야간 화질

접합 온도 노출 시간 블랙 레벨 보정(평균 암전자 빼기)

암전류—

노출당 암전자—

핫 픽셀 (50 e⁻ 초과)—

노이즈 바닥—

단일 신호 DR—

왼쪽: 가로등 없는 밤길 영상(노면 약 6 e⁻, 차선 약 25 e⁻, 앞차 후미등 약 80 e⁻, 11 ms 기준). 오른쪽: 온도에 따른 암전류(로그 눈금)와 현재 위치. 모델: 60 °C에서 20 e⁻/s, 7 °C마다 2배, 픽셀 간 편차 30 %, 0.4 %의 픽셀이 30~500배 암전류를 가진 결함 픽셀. 해볼 것: 85 °C까지는 영상이 거의 그대로다. 105 °C를 넘기면 흰 점이 늘고, 125 °C에서는 차선이 고정 패턴에 묻힌다. 노출을 줄이면 암전자는 줄지만 신호도 함께 줄고 LFM 요건과 충돌한다.

저조도와 컬러 필터: 색을 얼마나 포기할 것인가

가로등 없는 밤길의 노면은 1 cd/m²에도 못 미친다. 차량 카메라는 플래시를 쓸 수 없고, 움직임 때문에 노출을 길게 늘릴 수도 없다. 남는 수단은 광자를 더 많이 받는 것뿐이다. 그래서 차량용 센서는 두 가지를 고집한다.

큰 픽셀: 2.1~3 µm 피치. 1 µm 픽셀보다 면적이 4~9배이므로 같은 조도에서 광자를 그만큼 더 받고, 풀웰도 커서 HDR 전환점의 SNR이 높다. 해상도는 8 MP 정도면 200 m 앞 물체를 구분하기에 충분하다.
투과 대역이 넓은 컬러 필터: 베이어의 녹색 필터는 가시광의 약 1/3만 통과시킨다. 이를 투명(Clear)이나 노랑(Yellow)으로 바꾸면 같은 픽셀이 약 2~3배의 빛을 받는다.

여러 CFA의 구조와 디모자이킹은 4장에서 다루었다. 여기서는 차량에서 쓰는 세 가지를 "무엇을 얻고 무엇을 잃는가"의 관점에서만 비교한다.

그림 15-5. 차량용 CFA. 오른쪽으로 갈수록 베이어에서 멀어진다. C는 필터 없는 투명 픽셀, Y는 노랑(R+G 통과), Cy는 청록(G+B 통과).

CFA	얻는 것	잃는 것	주 용도
RGGB	정확한 색, 검증된 ISP	감도	사람이 보는 영상(서라운드, 전자 미러)
RCCB	휘도 채널 감도 약 2배 이상	녹색을 C−R−B로 계산해야 해 색 노이즈가 커지고, 밝은 곳에서 C가 먼저 포화	전방 ADAS
RCCC	최대 감도와 해상도(사실상 흑백)	색 대부분. 빨강인지 아닌지만 구분	초기 전방 카메라(후미등·신호등의 적색 판별)
RYYCy	감도 향상과 세 채널의 색 분리를 함께	채널 간 스펙트럼이 많이 겹쳐 색 보정 행렬의 계수가 커지고 노이즈가 증폭	전방 ADAS

색 보정이 노이즈를 키운다

RCCB에서 녹색은 $G \approx C - R - B$로 구한다. 세 채널의 노이즈가 독립이면 분산이 더해져 $\sigma_G^2 = \sigma_C^2 + \sigma_R^2 + \sigma_B^2$가 된다. 휘도는 C에서 직접 얻으므로 깨끗하지만, 색차는 베이어보다 거칠어진다. 차량에서는 "신호등이 빨강인지 초록인지", "차선이 흰색인지 노란색인지"를 구분할 수 있으면 충분한 경우가 많아 이 절충을 받아들인다. 채널별 SNR 절충은 4장의 컬러 감도와 SNR 절을 참고하자.

기능 안전: 고장 났다면 스스로 알려야 한다

스마트폰 카메라가 고장 나면 사진이 안 찍힌다. 차량 전방 카메라가 고장 나면 자동 긴급 제동이 엉뚱한 때에 걸리거나, 걸려야 할 때 안 걸린다. 더 위험한 것은 고장 났는데 멀쩡한 척하는 경우다. 한 행의 주소 디코더가 고장 나 같은 행을 반복해 내보내도 영상은 그럴듯해 보인다. 화면이 한 프레임에서 멈춰도 정지한 장면과 구별이 안 된다.

자동차 전기·전자 시스템의 기능 안전(Functional Safety)을 다루는 표준이 ISO 26262다. 이 표준은 위험의 심각도, 노출 빈도, 운전자의 회피 가능성을 따져 ASIL(Automotive Safety Integrity Level) 등급을 A부터 D까지 매긴다. D가 가장 엄격하다. 카메라 센서는 흔히 ASIL B 수준을 목표로 설계하고, 시스템 전체는 다른 센서와의 중복으로 더 높은 등급을 구성한다.

등급	단일점 고장 지표 (SPFM)	잠재 고장 지표 (Latent Fault Metric)	의미
ASIL B	90 % 이상	60 % 이상	위험한 고장의 90 % 이상을 검출하거나 안전하게 처리
ASIL C	97 % 이상	80 % 이상
ASIL D	99 % 이상	90 % 이상	조향·제동처럼 고장이 곧 사고로 이어지는 기능

이 지표를 채우려면 센서가 자기 자신을 감시하는 회로를 가져야 한다. 대표적인 안전 메커니즘은 다음과 같다.

그림 15-6. 차량용 센서의 자가 진단 지점(초록 글씨). 영상 데이터와 함께 진단 결과와 상태 정보가 매 프레임 내보내진다.

테스트 행·열: 어레이 가장자리에 알려진 전하나 전압을 주입하는 더미 화소를 두어, 픽셀에서 ADC까지 신호 경로가 살아 있는지 매 프레임 확인한다.
행·열 주소 검증: 실제로 선택된 행 주소를 되읽거나 행마다 고유 패턴을 심어, 디코더 고장으로 행이 반복·누락되는지 찾는다.
프레임 카운터와 CRC: 프레임마다 증가하는 번호로 멈춘 영상을 잡아내고, 패킷의 순환 중복 검사로 전송 오류를 검출한다.
레지스터 보호: 설정값이 방사선이나 노이즈로 뒤집히면 노출이나 이득이 바뀐다. 주기적으로 CRC를 계산하거나 이중화해 비교한다.
온도·전원·클록 감시: 동작 범위를 벗어나면 상위 제어기에 알린다. 온도 값은 암전류 보정에도 쓰인다.
디지털 테스트 패턴: 기동 시 내장 패턴을 내보내 뒤쪽 처리 경로를 점검한다.

부품 신뢰성은 별도의 규격이 다룬다. AEC-Q100은 차량용 집적 회로의 스트레스 시험 규격으로, 동작 주위 온도 범위로 등급을 나눈다.

AEC-Q100 등급	동작 주위 온도	비고
Grade 0	−40 ~ 150 °C	엔진룸 등
Grade 1	−40 ~ 125 °C
Grade 2	−40 ~ 105 °C	이미지 센서가 흔히 맞추는 등급
Grade 3	−40 ~ 85 °C	실내 장착 부품

이미지 센서에는 다른 칩에 없는 약점이 있다. 컬러 필터와 마이크로렌즈가 유기물이라는 점이다. 고온과 자외선에 오래 노출되면 필터가 바래 분광 감도가 변한다. 차량용 센서는 고온 동작 수명, 온도 순환, 고온 고습 시험에 더해 광학 특성 변화까지 평가한다. 네트워크에 연결된 차량에서는 영상 데이터의 위·변조를 막는 사이버 보안(ISO/SAE 21434)도 요구되어, 센서가 영상에 인증 정보를 붙이는 기능이 들어가고 있다.

약어 주의: LFM이 둘이다

이미지 센서 문서의 LFM은 LED Flicker Mitigation이고, ISO 26262 문서의 LFM은 Latent Fault Metric(잠재 고장 지표)이다. 차량용 센서 데이터시트에는 둘이 함께 나온다.

실내 모니터링: 근적외선과 글로벌 셔터

운전자 모니터링 시스템(DMS, Driver Monitoring System)은 눈꺼풀이 감기는 정도, 시선 방향, 고개 움직임으로 졸음과 전방 주시 태만을 판단한다. 탑승자 모니터링(OMS)은 뒷좌석에 남겨진 아이, 안전띠 착용 여부를 본다. 이 카메라의 조건은 바깥 카메라와 전혀 다르다.

한밤에도 동작해야 하지만 가시광 조명을 켜서 운전자를 방해할 수 없다 → 근적외선(NIR) 조명.
눈동자의 빠른 움직임과 눈 깜박임을 왜곡 없이 잡아야 한다 → 글로벌 셔터(9장).
대낮에 창으로 들어오는 직사광 속에서도 조명 반사를 구분해야 한다 → 짧은 노출과 조명 동기.

조명 파장은 850 nm와 940 nm가 쓰인다. 850 nm는 실리콘 감도가 높지만 LED가 희미한 붉은 빛으로 보인다. 940 nm는 눈에 보이지 않고, 대기 중 수증기가 이 근처 파장을 흡수하므로 지표에 닿는 태양광이 약하다는 이점도 있다. 대신 실리콘의 흡수 깊이가 수십 µm에 이르러(2장) 두께 3 µm 안팎의 BSI 픽셀로는 빛 대부분이 그대로 빠져나간다.

그림 15-7. 왼쪽: NIR LED를 글로벌 셔터의 짧은 노출에 맞춰 순간적으로 강하게 켠다. 연속광인 태양은 노출 시간만큼만, 펄스광인 LED는 전부 적분된다. 오른쪽: 뒷면의 산란 구조가 빛을 비스듬히 꺾고 DTI와 배선층이 가두어 얇은 실리콘 안에서 경로를 늘린다.

글로벌 셔터가 필요한 또 하나의 이유가 여기 있다. 롤링 셔터에서는 행마다 노출 시점이 달라 LED를 판독 시간 내내 켜 두어야 한다. 글로벌 셔터는 전 화소가 같은 100 µs 동안만 노출하므로 LED도 그 순간만 켜면 된다. 평균 소비 전력과 발열이 줄고, 같은 평균 전력으로 순간 밝기를 수십 배 높일 수 있어 태양광 대비 신호비가 그만큼 좋아진다.

$$\frac{S_{\text{LED}}}{S_{\text{sun}}} = \frac{E_{\text{LED,peak}}\cdot t_{\text{pulse}}}{E_{\text{sun}}\cdot t_{\text{exp}}}\ \xrightarrow{\ t_{\text{exp}} = t_{\text{pulse}}\ }\ \frac{E_{\text{LED,peak}}}{E_{\text{sun}}}$$

$E$: 센서의 통과 대역 안에서 얼굴에 닿는 복사 조도. 여기에 940 nm 부근만 통과시키는 좁은 대역 통과 필터를 더하면 $E_{\text{sun}}$이 한 번 더 줄어든다.

NIR 감도 향상 구조(뒷면 산란 구조, 두꺼운 실리콘, 깊은 DTI)는 940 nm의 양자효율을 한 자릿수 %에서 수십 % 수준까지 끌어올린다. 다만 빛이 비스듬히 퍼지므로 인접 픽셀로 새는 크로스토크가 늘어 MTF가 낮아지는 대가가 있다(3장).

센서에서 제어기까지: 긴 케이블

스마트폰에서 센서와 프로세서 사이는 몇 cm다. 차에서는 범퍼의 카메라에서 중앙 제어기까지 10 m가 넘기도 한다. 센서는 MIPI CSI-2로 영상을 내보내고, 카메라 모듈 안의 직렬화 칩(Serializer)이 이를 동축 케이블 한 가닥에 수 Gbps로 실어 보낸다. 같은 케이블로 전원과 제어 신호도 함께 지나간다. 8 MP, 30 fps, 화소당 24비트 HDR이면 원시 데이터가 약 5.8 Gbps이므로, 센서 안에서 12~16비트로 구간 선형 압축(Companding)해 내보내는 것이 보통이다.

핵심 정리

차량 카메라는 사람이 보는 영상(서라운드, 전자 미러)과 기계가 보는 영상(전방 ADAS, 실내 모니터링)으로 나뉘며, 후자는 선형성과 프레임 간 일관성이 화질보다 중요하다.
주행 장면은 120~140 dB에 이르고, 차는 움직이므로 한 프레임 안에서 이를 담아야 한다.
PWM LED를 노출 $t_{\text{exp}}$로 찍을 때 빛을 전혀 못 받을 확률은 $P_0 = \max(0,\,1 - D - t_{\text{exp}}/T)$. 꺼져 보이지 않으려면 노출이 꺼진 구간보다 길어야 하고, 밝기까지 일정하려면 주기의 정수배여야 한다.
LFM의 원리는 노출을 길게 유지하면서 감도를 낮추거나(SPD) 용량을 키워(LOFIC) 포화를 피하는 것이다. 다중 노출 HDR의 짧은 노출은 LED를 놓친다.
차량용 픽셀은 LPD-HCG, LPD-LCG, LOFIC, SPD 신호를 한 노출에서 얻어 합성한다. 최대 DR과 함께 전환점의 최소 SNR이 핵심 사양이다.
암전류는 약 6~8 °C마다 두 배다. 125 °C에서는 암전자의 샷 노이즈와 DSNU가 노이즈 바닥을 지배해 단일 신호 DR이 수십 dB 줄어든다. 핀드 구조가 아닌 SPD·LOFIC 노드가 먼저 나빠진다.
RCCB·RCCC·RYYCy는 색 정확도를 내주고 감도를 얻는 CFA다. 큰 픽셀(2.1~3 µm)을 유지하는 것도 같은 이유다.
ISO 26262의 ASIL 등급을 만족하려면 센서가 테스트 행, 주소 검증, 프레임 카운터, CRC, 온도·전원 감시로 자신의 고장을 검출해야 한다. AEC-Q100은 부품 신뢰성 시험 규격이다.
실내 모니터링은 940 nm 펄스 조명과 글로벌 셔터를 동기시켜 태양광 배경을 억제하고, 산란 구조로 NIR 양자효율을 높인다.

확인 퀴즈

Q1. 주파수 100 Hz, 듀티 30 %인 LED 신호등을 노출 2 ms로 찍는다. 한 프레임에서 빛을 전혀 받지 못할 확률은?

$T$ = 10 ms이므로 $P_0 = 1 - 0.3 - 2/10 = 0.5$. 꺼진 구간 7 ms 가운데 노출 창 2 ms가 통째로 들어갈 수 있는 시작 위치의 폭은 5 ms이고, 이를 주기 10 ms로 나눈 값이다.

Q2. 다중 노출 HDR의 짧은 노출 프레임이 LFM에 불리한 근본 이유는?

HDR 합성은 밝은 영역을 짧은 노출에서 가져온다. LED는 밝으므로 짧은 노출이 맡게 되는데, 그 노출 창이 PWM의 꺼진 구간에 들어가면 LED가 사라진다. 그래서 노출은 길게 두고 감도나 용량으로 포화를 피하는 픽셀이 필요하다.

Q3. 풀웰 10,000 e⁻인 LPD와 감도비 100인 SPD만으로 HDR을 구성했다. SPD 쪽 노이즈 바닥이 12 e⁻일 때 전환 직후의 SNR은 대략?

전환점에서 SPD 신호는 10,000/100 = 100 e⁻. SNR = 100/$\sqrt{100 + 144}$ ≈ 6.4, 즉 약 16 dB다. 직전의 LPD는 $\sqrt{10{,}000}$ = 100(40 dB)이었으므로 24 dB가 떨어진다. LOFIC 신호를 사이에 넣으면 이 딥을 메울 수 있다.

Q4. 암전류가 7 °C마다 두 배인 픽셀이 있다. 접합 온도가 90 °C에서 125 °C로 오르면 암전류는 몇 배가 되는가?

온도 차 35 °C는 배증 온도 7 °C의 다섯 번이므로 $2^5$ = 32배. 암전자의 샷 노이즈는 그 제곱근인 약 5.7배, 평균에 비례하는 DSNU는 32배가 된다.

Q5. 운전자 모니터링 카메라가 글로벌 셔터와 펄스 NIR 조명을 함께 쓰는 가장 큰 이점은?

연속광인 태양은 노출 시간에 비례해 적분되지만 펄스 조명은 전부 적분된다. 노출을 펄스 폭에 맞추면 신호비가 순간 조도의 비로 결정된다. 롤링 셔터라면 판독 시간 내내 조명을 켜야 해 이 이점이 사라진다.