Camera 相关名词等

Camera 中相关名词解释,图像视频基础格式等基础知识。

摄像头

摄像头的简单结构:

0109-android-camera-2-baisc-camera-hardware.jpg

感光材质

摄像头传感器将镜头中的光信号转换为电信号,再经过内部 A/D 转换为数字信号,感光材质分为: CCD, CMOS 两种:

  • CCD
    CCD: Charge Coupled Device ,电荷耦合器件传感器:使用一种高感光度的半导体材料制成,能把光线转变成电荷,通过模数转换器芯片转换成电信号。 CCD 由许多独立的感光单位组成,通常以百万像素为单位。当 CCD 表面受到光照时,每个感光单位都会将电荷反映在组件上,所有的感光单位产生的信号加在一起,就构成了一幅完整的图像。 CCD 传感器以日本厂商为主导,全球市场上有 90% 被日本厂商垄断,索尼、松下、夏普是龙头。
  • CMOS
    CMOS: Complementary Metal-Oxide Semiconductor ,互补性氧化金属半导体:主要是利用硅和锗做成的半导体,使其在 CMOS 上共存着带 N(-)P(+) 级的半导体,这两个互补效应所产生的电流可以被处理芯片记录并解读成影像。 CMOS 传感器主要以美国、韩国和中国台湾为主导,主要生产厂家是美国的 OmnVison, Agilent, Micron ,中国台湾的锐像、原相、泰视等,韩国的三星、现代。

RGB

RGB: Red Green Blue ,指的是红黄蓝三基色。传统的红绿蓝格式有: RGB565, RGB888 等,其 16bit 数据格式为 5bit R + 6bit G + 5bit BG 多一位是因为人眼对绿色比较敏感。

YUV

YUV: luma (Y) + chroma (UV) ,指的是亮度和色度表示的像素格式。这样分开的好处就是不但可以避免相互干扰,还可以降低色度的采样率而不会对图像质量影响太大。色度 UV 定义了颜色的两个方面:色调 Cb 与饱和度 Cr;其中 Cr 反映了 RGB 输入信号红色部分与 RGB 信号亮度值之间的差异; Cb 反映的是 RGB 输入信号蓝色部分与 RGB 信号亮度值之间的差异。主要采样格式有 YCbCr 4:2:0, 4:2:2, 4:1:1, 4:4:4 等:
人眼对色度的敏感程度要低于对亮度的敏感程度,人类视网膜上的视网膜杆细胞要多于视网膜锥细胞,说得通俗一些,视网膜杆细胞的作用就是识别亮度,而视网膜锥细胞的作用就是识别色度。所以眼睛对于亮和暗的分辨要比对颜色的分辨精细一些,因此存储时没有必要存储全部颜色信号。不同的采样格式,存储的色度信号不同,比如 YCbCr 4:4:4 即每 4 点 Y 采样,就有相对应的 4 点 Cb 和 4 点 Cr ;换句话说,在这种格式中色度信号的分辨率和亮度信号的分辨率是相同的。每种采样格式对应的图示如下:

0109-android-camera-2-basic-yuv-format.png

YUVRGB 是可以相互转换的,转换公式如下:( RGB 取值范围均为 0-255 )

1
2
3
4
5
6
Y = 0.299R + 0.587G + 0.114B
U = -0.147R - 0.289G + 0.436B
V = 0.615R - 0.515G - 0.100B
R = Y + 1.14V
G = Y - 0.39U - 0.58V
B = Y + 2.03U

Bayer 格式

Bayer 格式图片是柯达公司科学家 Bryce Bayer 发明的,Bayer Array 拜耳阵列被广泛运用数字图像。Bayer 格式是相机内部的原始图片, 一般后缀名为 .raw ,因此也成为 RAW 格式。
对于彩色图像,通常需要采集 RGB 三种颜色,最简单的方法就是用滤镜的方法,红色的滤镜透过红色的波长,绿色的滤镜透过绿色的波长,蓝色的滤镜透过蓝色的波长。如果要采集 RGB 三基色,则需要三块滤镜;但是 Bayer 阵列很好的解决这个问题。Bayer 格式图片在一块滤镜上设置的不同的颜色,通过分析人眼对颜色的感知发现,人眼对绿色比较敏感,所以滤镜的 RGB 通常为 1:2:1 组合。下图中灰色的一层表示感光元件,每个方块代表一个像素块,上面一层彩色的就是 Bayer 滤镜。

0109-android-camera-2-basic-bayer-format.jpg

由于感光元件每个像素只记录一种颜色信息,所以需要使用插值算法将 Bayer 图像恢复会彩色图像。

其他术语

  • Lens SHADING 镜头均匀性
    镜头均匀性指画面中心的明亮度到四周的明亮度比值。 Lens shading 分为两种:亮度阴影 luma shading 和色彩偏差 color shadingluma shading 产生的原因是镜头的通光量从中心到边角依次较少,导致图像看起来,中间亮度正常,四周偏暗。
  • OIS 光学防抖
    OIS: Optical Stabilization 光学防抖
  • Tone Map 色调映射
    Tonemapping 通常被理解为将颜色值从高动态范围 HDR 映射到低动态范围 LDR 的过程。 Tonemapping 只有在相机启用 HDR 时才能正常工作。建议给光源高于正常强度的亮度,从而让其具有更大的范围。
  • ANTIBANDING 灯源工频干扰模式
    ANTIBANDING 是指照明光源干扰产生的明暗条纹问题。
  • HOT_PIXEL 热点校正
    传感器的热噪声:热点 hot pixel ,是因为芯片温度过高产生的噪点
  • LENS FACING 镜头人头方向
    摄像头镜头成像方向与屏幕预览的关系。
  • APERTURES 光圈
  • FOCAL LENGTH 光学变焦焦距
  • AE 自动曝光
    自动曝光 Auto Exposure :就是光圈和快门的组合。光圈,快门速度, ISOGamma 即人眼对亮度的响应曲线。
  • AWE 自动白平衡
    自动白平衡 Auto White Balance :简单来说就是:摄像机对白色物体的还原。相关概念:色温。
    定义:要求在不同色温环境下,照白色的物体,屏幕中的图像应也是白色的。色温表示光谱成份,光的颜色。色温低表示长波光成分多。当色温改变时,光源中三基色(红、绿、蓝)的比例会发生变化,需要调节三基色的比例来达到彩色的平衡,这就是白平衡调节的实际。
  • AF 自动对焦
    自动对焦 Auto Focus 可以分成两大类:一类是基于镜头与被拍摄目标之间距离测量的测距自动对焦,另一类是基于对焦屏上成像清晰的聚焦检测自动对焦(清晰度算法)。变焦就是把远处的物体拉近。对焦是让图像清晰。
  • 3A
    3AAE, AWE, AF 的统称。
  • ISO 感光度
  • Shtter 快门
  • 光学变焦和数码变焦
    通过镜头的调整,拉近拉远所要拍摄的对象,保持像素不变和画质基本不变,却可以拍到自己理想的物像。数码变焦:其实没有什么变焦,只是从原图片中截取出来放大,屏幕上看到变大了,实际上画质并没有本质提高,而像素比相机能拍摄的最大像素降低了。
  • Black level 黑电平
    黑电平 Black Level Correction 也就是黑色的最低点,以 8bit 数据来说,指在经过一定校准的显示装置上,没有一行光亮输出的视频信号电平。定义图像数据为 0 时对应的信号电平。
    8bit 数据,单个像素的有效值为 0-255,但是实际 AD 芯片(模数转换芯片)的精度可能无法将电压值很小的一部分转换出来。因此 sensor 在出厂的时候,厂家会在 AD 的输入之前加上一个固定的偏移量,比如设置为图像数据输出范围 5-250 等,最低电平不为零。因此我们就需要对图像数据范围进行调整,使其最小值为零,这就是黑电平校正。

ZSL

ZSL:Zero Shutter Lag 直译为零秒延时拍照, Camera 拍照的时候往往会有一些延迟的体验,比如从按下拍照键到照片拍好放到内存里,这有一个时间差; ZSL 就是为了消除这种延迟,提供一种“拍即视”的体验。

  • 普通模式下拍照数据流
    0109-android-camera-2-basic-capture-noraml.png
    0109-android-camera-2-basic-capture-noraml-shutter.png
  • ZSL 拍照数据流
    0109-android-camera-2-basic-capture-zsl.png
    0109-android-camera-2-basic-capture-zsl-shutter.png

ZSL 下的拍照又分为:普通拍照 Single shot 和连拍功能 Brust mode ,它们对应的数据流为:

  • single shot
    预览之后, sensorVFE 会产生快照和预览帧,并且会把最新的一些帧保留在图像 buffer 中。一旦“取图”事件被触发,系统就会在第一时间内从图像 buffer 中把相关的图像找出并返回给用户,这就是 ZSL 零秒延迟。
    0109-android-camera-2-basic-capture-zsl-single-shot.png
  • brust mode
    Burst modesingle shot 特征的自然延伸。此功能允许用户捕获的不仅是当前帧,但也有几个帧之前和之后的当前帧的少数几个帧,从而捕捉到一个序列的图像到内存。这将为用户提供不同的快照时间,从中选择一个或多个帧来保存。应用了多少帧的选择自由是多少追溯帧和未来帧在记忆的局限性上,追溯和未来帧是相对于真正的快门时间的。
    0109-android-camera-2-basic-capture-zsl-brust-mode.png

技术指标

图像解析度/分辨率(Resolution):

规格 宽 x 高 像素点 像素简称
QSIF/QQVGA 160 x 120 19200
QCIF 176 x 144 25344
SIF/QVGA 320 x 240 76800
CIF 352 x 288 101376 10万像素
VGA 640 x 480 307200 30万像素(35万是指648X488)
SVGA 800 x 600 480000 50万像素
XGA 1024 x 768 786438 80万像素
SXGA 1280 x 1024 1310720 130万像素
UXGA 1600 x 1200 1920000 200万像素
QXGA 2048 x 1536 3145728 300万像素(320W)
QSXGA 2592 x 1944 5038848 500万像素
2816 x 2112 2947392 600万像素
3072 x 2304 7077888 700万像素
3200 x 2400 7680000 770万像素
3264 x 2448 7990272 800万像素
3876 x 2584 10015584 1000万像素

彩色深度(色彩位数):

  • 256 色灰阶:有 256 种灰色(包括黑白)
  • 15 或 16 位彩色(高彩色): 65536 种颜色
  • 24 位彩色(真彩色):每种原色都有 256 个层次,它们的组合便有 256*256*256 种颜色
  • 32 位彩色:除了 24 位彩色的颜色外,额外的 8 位是储存重叠图层的图形资料( alpha 频道)

编码格式

图像格式

  • RAW
    RAW 格式:RAW Image Format ,表示未经加工的图片。可以理解为 RAW 图像就是 CMOS 或者 CCD 图像感应器将捕捉到的光源信号转化为数字信号的原始数据。RAW 文件是一种记录了数码相机传感器的原始信息,同时记录了由相机拍摄所产生的一些元数据(Metadata,如 ISO 的设置、快门速度、光圈值、白平衡等)的文件。RAW 是未经处理、也未经压缩的格式,可以把 RAW 概念化为“原始图像编码数据”或更形象的称为“数字底片”。
  • TIFF
    TIFF: Tagged Image File Format 标签图像文件格式,是一种主要用来存储包括照片和艺术图在内的图像的文件格式,与 JPEG, PNG 一起成为流行的高位彩色图像格式。
  • DNG
    DNG: Digital News Gathering 数字负片,是一种用于数码相机生成的原始数据文件的公共存档格式。DNG 文件格式是一种跨平台文件格式,用于存储来自摄像机传感器的像素数据,并且应用最少的预处理。DNG 文件允许在用户定义的颜色空间中定义像素数据,并且具有允许在后处理期间将该像素数据转换为标准 CIE XYZ 颜色空间的关联元数据。DNG 解决了不同型号相机的原始数据文件之间缺乏开放式标准的问题, 从而有助于确保摄影师们将来能够访问他们的文件。DNG 格式中的图像数据基于 TIFF 格式。
  • JPEG
  • PNG

视频格式

  • YUV
    YUV 存储格式有两大类:
    • planar :先连续存储所有像素点的 Y ,紧接着存储所有像素点的 U ,随后是所有像素点的 V
    • packed :每个像素点的 Y, U, V 是连续交替存储的

参考文档

0%