셔터와 HDR
CMOS 센서에는 기계식 셔터가 없어도 된다. 픽셀을 비우고(리셋) 빛을 모은 뒤(적분) 읽어 내는 타이밍이 곧 셔터다. 이 장에서는 그 타이밍이 만드는 롤링 셔터 왜곡과 플리커, 이를 없애는 글로벌 셔터, 그리고 한 장면의 밝기 차가 센서 능력을 넘어설 때 쓰는 여러 HDR 기술을 다룬다.
- 리셋–적분–읽기로 이루어진 전자 셔터의 노출 과정을 설명한다.
- 롤링 셔터의 행 순차 타이밍을 그리고, 스큐·젤로·프로펠러 왜곡의 크기를 계산한다.
- 글로벌 셔터 픽셀의 구조와 PLS·노이즈 트레이드오프를 이해한다.
- 50/60 Hz 조명 플리커의 원인과 노출 시간 n/(2f) 해법을 안다.
- 다중 노출, DOL, DCG, 분할 픽셀, LOFIC HDR을 비교하고 HDR 합성·톤 매핑·고스트 문제를 이해한다.
노출이란: 리셋 → 적분 → 읽기
필름 카메라에서 노출은 셔터 막이 열려 있는 시간이다. CMOS 이미지 센서에서는 셔터 막 대신 픽셀 트랜지스터의 타이밍이 노출을 정의하는데, 이를 전자 셔터(Electronic Shutter)라 한다. 4T 픽셀 하나의 노출은 세 단계다.
- 리셋(Reset): 전송 게이트(TX)와 리셋 트랜지스터(RST)를 함께 켜서 포토다이오드(PD)에 남은 전하를 모두 비운다. 이 순간이 노출의 시작이다.
- 적분(Integration): TX를 끈 채로 PD가 광전자를 모은다. 모인 전자 수 \(N_e = \Phi\cdot\eta\cdot A\cdot t_{\text{int}}\) (광자 선속 밀도 × 양자효율 × 면적 × 시간).
- 읽기(Readout): 플로팅 디퓨전(FD)을 리셋하고 그 레벨을 먼저 샘플링한 뒤, TX를 켜 전하를 FD로 옮기고 신호 레벨을 샘플링한다(CDS). TX가 꺼지는 순간이 노출의 끝이다.
전자 셔터는 기계 셔터와 달리 마모가 없고 1/100,000초 같은 초단 노출도 쉽다. 하지만 모든 픽셀이 같은 시각에 리셋·읽기될 수는 없다. 컬럼 ADC가 한 번에 한 행(또는 몇 행)만 변환하기 때문이다. 이 제약에서 롤링 셔터가 나온다.
롤링 셔터: 행마다 다른 순간
롤링 셔터(Rolling Shutter) 센서는 맨 윗행부터 한 행씩 차례로 리셋하고, 정확히 노출 시간 \(t_{\text{exp}}\) 뒤에 같은 순서로 읽는다. 모든 행의 노출 길이는 같지만 노출 시점은 한 행마다 행 시간(Line Time, 1H) \(t_{\text{line}}\)씩 밀린다. 행 수가 \(N_{\text{row}}\)이면 첫 행과 마지막 행 사이의 시간 차가 프레임 판독 시간이다.
장면이 정지해 있으면 아무 문제가 없다. 그러나 판독 시간 동안 물체나 카메라가 움직이면 윗행과 아랫행이 서로 다른 순간의 장면을 담아 왜곡이 생긴다.
- 스큐(Skew): 수평으로 움직이는 수직선이 기울어진다. 속도 \(v\)(픽셀/s)로 움직이면 판독 동안의 이동량 \(\Delta x = v\,T_{\text{readout}}\).
- 젤로 효과(Jello): 손떨림·진동처럼 판독 시간보다 빠르게 흔들리면 영상이 젤리처럼 출렁인다.
- 프로펠러 왜곡: 회전체의 날개가 휘거나 떨어져 보인다. 3000 rpm(50 rev/s) 프로펠러는 30 ms 판독 동안 1.5바퀴(540°)를 돈다.
- 부분 노출: 플래시나 섬광처럼 짧은 빛이 판독 도중 켜지면 프레임의 일부 행만 밝아진다.
시속 100 km 차 안에서 10 m 떨어진 전봇대를 f = 4.3 mm, 1 µm 픽셀 카메라로 찍는다. 각속도 ≈ 27.8/10 = 2.78 rad/s, 상면 이동 속도 = 2.78 × 4.3 mm = 11.9 mm/s = 11,900 픽셀/s. 판독 30 ms 동안 약 360 픽셀 밀리므로, 3000행 높이의 전봇대가 약 \(\arctan(360/3000) \approx 7°\) 기울어진다.
롤링 셔터 vs 글로벌 셔터: 행 단위로 쌓이는 영상
글로벌 셔터: 모든 픽셀을 같은 순간에
글로벌 셔터(Global Shutter, GS)는 모든 픽셀의 노출을 동시에 시작하고 동시에 끝낸다. 판독은 여전히 한 행씩 진행되므로, 노출이 끝난 전하를 읽힐 차례가 올 때까지 픽셀 안에 잠시 보관할 장소가 필요하다. 전하 영역 GS는 PD 옆에 빛을 가린 메모리 노드(Storage Diode / Memory Node, MN)를 두고, 모든 픽셀이 동시에 PD → MN 전송(TX1)을 한 뒤 행 순서대로 MN → FD(TX2)로 읽는다.
동시 노출의 대가는 여럿이다.
- 기생 광감도(Parasitic Light Sensitivity, PLS): 차광막 아래 메모리 노드에도 빛이 조금 새어 들어가거나, 기판에서 생긴 전자가 확산해 들어온다. 대기 중인 동안 장면이 바뀌면 그 성분이 섞인다. PLS = MN 감도 / PD 감도로 정의하며, 1/10,000(−80 dB)보다 작아야 좋은 GS 픽셀로 본다.
- 노이즈 증가: 메모리 노드 자체의 암전류, 추가 전송에서의 잔류 전하. 전압 영역 GS(픽셀 내 커패시터에 샘플링)는 kTC 노이즈가 더해져 읽기 노이즈가 커지기 쉽다.
- 필 팩터·풀웰 감소: MN과 트랜지스터가 면적을 차지해 같은 피치에서 PD가 작아진다. 그래서 GS 픽셀은 2.2~3 µm 이상이 일반적이다(롤링 셔터는 0.56 µm까지).
| 항목 | 롤링 셔터 | 글로벌 셔터 |
|---|---|---|
| 행 간 시간 차 | \(t_{\text{line}}\)씩 누적 (수~수십 ms) | 없음 |
| 픽셀 트랜지스터 | 4T (공유 시 1.5~2T/픽셀) | 5T~8T + 메모리 |
| 최소 피치(상용) | ~0.56 µm | ~2.2 µm (적층 DPS는 더 작게) |
| 읽기 노이즈 | ~1~2 e⁻ | ~2~5 e⁻ (구조에 따라) |
| 주 용도 | 스마트폰, 카메라 | 머신 비전, 차량 DMS, AR/VR 트래킹, 바코드 |
픽셀 층과 로직 층을 Cu–Cu 하이브리드 본딩으로 픽셀 단위 연결하면, 픽셀(또는 작은 픽셀 블록)마다 ADC를 두어 모든 픽셀을 동시에 디지털화할 수 있다. 메모리 노드에서 오래 기다릴 필요가 없어 PLS 문제가 줄고, 매우 빠른 GS가 가능하다.
플리커: 조명의 깜박임과 롤링 셔터 띠
교류 전원(50 Hz 또는 60 Hz)으로 켜는 조명은 전류의 절댓값을 따라 밝기가 변한다. 전압이 \(\sin(2\pi f t)\)이면 광출력은 대략 \(\sin^2\)에 비례하므로 밝기 변화는 2배 주파수, 즉 100 Hz(50 Hz 지역) 또는 120 Hz(60 Hz 지역)다. 형광등과 저가 LED 드라이버는 변조 깊이가 크고, 백열등은 필라멘트의 열관성 때문에 작다.
적분하면 띠의 진폭은 \(m\,|\mathrm{sinc}(2f\,t_{\text{exp}})|\) (\(\mathrm{sinc}\,x = \sin\pi x/\pi x\))로 줄어든다. 따라서 노출 시간을 밝기 주기 \(1/(2f)\)의 정수배로 맞추면 모든 행이 정확히 같은 양의 빛을 받아 띠가 사라진다.
조명 플리커와 롤링 셔터 띠
신호등·차량 LED는 수백 Hz PWM으로 켜진다. 노출이 짧은 HDR 프레임이 LED의 꺼진 구간에 걸리면 신호등이 꺼진 것처럼 찍힌다. 자동차 센서는 이 LFM(LED Flicker Mitigation)을 위해 PWM 주기(예: 90 Hz → 11 ms)보다 긴 노출을 유지하면서도 포화되지 않도록 분할 픽셀이나 LOFIC을 쓴다.
다이내믹 레인지와 HDR의 필요성
센서가 한 장에 담을 수 있는 밝기 범위, 즉 다이내믹 레인지(Dynamic Range, DR)는 가장 큰 신호(풀웰 용량)와 가장 작은 구분 가능한 신호(읽기 노이즈 바닥)의 비다.
그런데 실제 장면은 훨씬 넓다. 햇빛 드는 창밖 하늘은 수천~수만 cd/m², 같은 방 안 그늘진 구석은 1 cd/m² 안팎이어서 한 프레임 안의 휘도 차가 10⁵(100 dB)를 쉽게 넘는다. 터널 출구, 역광 인물, 야간 헤드라이트는 120 dB(10⁶ : 1, 20 stop)에 이른다. 센서 DR보다 넓은 부분은 밝은 쪽이 포화(Clipping)되거나 어두운 쪽이 노이즈에 묻힌다. 이를 해결하는 기술이 HDR(High Dynamic Range)이다.
HDR 방식들
DR을 넓히는 길은 둘이다. 밝은 쪽의 포화를 늦추거나(더 많은 전하를 담거나 감도를 낮춘 채널), 어두운 쪽 노이즈를 낮추는 것. 실제 HDR 센서는 서로 다른 감도의 신호를 두 개 이상 얻어 합친다. 감도 비가 \(R\)이면 확장된 DR은 대략
시간 분할: 다중 노출 합성
순차 프레임 방식은 긴 노출 프레임과 짧은 노출 프레임을 번갈아 찍어 합친다. 가장 간단하지만 두 프레임 사이 시간 차(한 프레임 주기, 수십 ms)가 커서 움직이는 물체에 고스트가 심하다. 스태거드 HDR(Staggered HDR, Sony 명칭 DOL: Digital Overlap)은 한 프레임 안에서 긴 노출 행과 짧은 노출 행을 교대로(Line-Interleaved) 읽어, 두 노출 사이 간격을 수 ms 이하로 줄인다.
공간·회로 분할: 한 번의 노출로 두 감도
- DCG(Dual Conversion Gain, 이중 변환 이득): FD에 스위치로 추가 커패시터 \(C_{\text{DCG}}\)를 붙였다 뗐다 한다. 작은 FD(고변환이득 HCG, 예: 150 µV/e⁻)로 어두운 부분을 낮은 노이즈로 읽고, 커패시터를 붙인 큰 FD(저변환이득 LCG)로 같은 전하를 포화 없이 한 번 더 읽는다. 같은 노출 시간·같은 전하이므로 모션 아티팩트가 없다. 단 DR 확장은 PD 풀웰 한계를 넘지 못한다.
- 분할 픽셀(Split Pixel): 한 픽셀 안에 큰 PD(고감도)와 작은 PD(저감도)를 둔다. 감도 비가 10~100배이므로 동시에 노출하면서 밝은 쪽을 작은 PD가 담당한다. 자동차 LFM에 특히 유리하다.
- LOFIC(Lateral Overflow Integration Capacitor): PD가 넘치면 전하가 옆의 큰 커패시터로 흘러넘쳐(Overflow) 쌓인다. 넘치지 않은 전하는 HCG로, 넘친 전하는 커패시터와 합쳐 LCG로 읽는다. 단일 노출로 120 dB 이상도 가능하다.
| 방식 | 원리 | DR 확장 | 모션 아티팩트 | 단점 |
|---|---|---|---|---|
| 순차 다중 노출 | 프레임마다 노출 바꿈 | 큼 (노출비로 조절) | 심함 | 프레임률 저하, 고스트 |
| 스태거드 / DOL | 한 프레임 안에서 행 교대 | 큼 (노출비 ~16~64) | 작음 (ms 간격) | 라인 메모리, 짧은 노출 SNR·LED 플리커 |
| DCG | FD 용량 전환, 두 번 읽기 | 중간 (+12~18 dB) | 없음 | PD 풀웰 한계, 읽기 시간 증가 |
| 분할 픽셀 | 큰/작은 PD | 큼 (+20~40 dB) | 거의 없음 | 작은 PD 노이즈·감도 비 보정, 픽셀 복잡 |
| LOFIC | 오버플로 커패시터 | 매우 큼 (120 dB+) | 없음 | 커패시터 면적, 암전류·kTC |
HDR 합성과 톤 매핑
긴 노출 신호 \(S_L\)(시간 \(t_L\))과 짧은 노출 신호 \(S_S\)(시간 \(t_S = t_L/R\))를 얻었다고 하자. 각 신호를 노출 시간으로 나누면 같은 물리량, 즉 장면 조도(Radiance)의 추정치가 된다. 포화된 값은 버리고, 남은 추정치를 신뢰도로 가중 평균하면 HDR 방사 휘도 맵(Radiance Map)을 얻는다.
합성된 방사 휘도 맵은 10⁵ : 1의 범위를 가지지만 모니터는 약 1000 : 1, 8비트 sRGB는 그보다 좁다. 넓은 범위를 좁은 표시 범위로 압축하는 과정이 톤 매핑(Tone Mapping)이다. 가장 유명한 전역 연산자인 Reinhard 톤 매핑은
HDR 합성: 긴 노출 + 짧은 노출 → 방사 휘도 → 톤 매핑
모션 아티팩트: 고스트
다중 노출 HDR의 가장 큰 약점은 두 노출이 다른 시각에 찍힌다는 점이다. 그 사이 물체가 움직이면, 합성기는 어떤 영역에서는 긴 노출을, 인접 영역에서는 짧은 노출을 가져오므로 물체가 두 곳에 반투명하게 겹치거나 윤곽이 끊긴다. 이것이 고스트(Ghost Artifact)다. 위 시뮬레이터에서 '두 노출 사이 공이 움직임'을 켜면, 밝은 창을 배경으로 한 곳에서 공이 짧은 노출 위치에 나타나고 실내 쪽에서는 긴 노출 위치에 나타나는 것을 볼 수 있다.
대책은 센서 단과 알고리즘 단 양쪽에 있다.
- 시간 간격 줄이기: 순차 프레임 → DOL(수 ms) → DCG·분할 픽셀·LOFIC(동시). 단일 노출 HDR은 원리적으로 고스트가 없다.
- 디고스팅(Deghosting): 두 노출을 밝기 정규화 후 비교해 움직임 영역을 검출하고, 그 영역은 한 노출(보통 짧은 노출이나 기준 프레임)만 사용한다. 정렬(Alignment)·광류(Optical Flow)로 보정하기도 한다.
- 짧은 노출을 기준으로: 스마트폰 야간·HDR 모드는 짧은 노출 여러 장을 정렬·누적해 노이즈를 줄이는 '버스트' 방식(예: 같은 노출 N장 평균 → SNR \(\sqrt N\)배)으로 고스트와 블러를 함께 줄인다.
상면에서 1000 픽셀/s로 움직이는 물체라면, 순차 프레임(33 ms 간격)은 33픽셀, DOL(예: 2 ms 간격)은 2픽셀의 어긋남을 만든다. DOL이 스마트폰 영상 HDR의 주력이 된 이유다.
핵심 정리
- 전자 셔터의 노출은 PD 리셋이 끝날 때부터 읽기 전송이 끝날 때까지다. 셔터 막이 아니라 픽셀 타이밍이 노출을 정한다.
- 롤링 셔터는 행마다 \(t_{\text{line}}\)씩 늦게 노출한다. 판독 시간 \(T = N_{\text{row}} t_{\text{line}}\) 동안의 움직임이 스큐·젤로·프로펠러 왜곡을 만든다.
- 글로벌 셔터는 모든 픽셀을 동시에 노출하고 차광된 메모리 노드에 보관한 뒤 순차로 읽는다. 대가는 PLS, 노이즈, 큰 픽셀 피치다.
- AC 조명은 2f(100/120 Hz)로 깜박이며, 롤링 셔터에서는 가로 띠가 된다. 노출을 \(n/(2f)\)로 맞추면 사라진다.
- DR = 20 log(FWC/읽기 노이즈). 단일 노출 ~70 dB로는 100~120 dB 장면을 담지 못한다.
- HDR: 순차·DOL 다중 노출(노출비 R로 +20 log R dB), DCG, 분할 픽셀, LOFIC(단일 노출, 모션 아티팩트 없음).
- 합성은 노출 시간으로 정규화한 추정치를 포화 제외·역분산 가중으로 평균하고, 톤 매핑(예: Reinhard)으로 표시 범위에 압축한다. 전환점에는 \(\sqrt R\)배 SNR 딥이 생긴다.
- 다중 노출의 시간 차는 고스트를 만든다. 간격 단축(DOL), 단일 노출 HDR 픽셀, 디고스팅 알고리즘으로 대응한다.
확인 퀴즈
Q1. 행 수 2000, 행 시간 15 µs인 롤링 셔터 센서의 판독 시간은?
Q2. 50 Hz 전원 지역의 형광등 아래에서 롤링 셔터 띠를 없애는 노출 시간은?
Q3. 글로벌 셔터 픽셀의 '기생 광감도(PLS)'가 문제가 되는 이유는?
Q4. 풀웰 8000 e⁻, 읽기 노이즈 2 e⁻ 센서로 노출비 R = 32의 2중 노출 HDR을 만들면 확장 DR은 대략?
Q5. 움직이는 장면에서 고스트가 원리적으로 가장 적은 HDR 방식은?