精华内容
下载资源
问答
  • 手机摄像头的组成结构和工作原理

    千次阅读 多人点赞 2018-12-28 14:35:27
    工作原理为:拍摄景物通过镜头,将生成的光学图像投射到传感器上,然后光学图像被转换成电信号,电信号再经过模数转换变为数字信号,数字信号经过DSP加工处理,再被送到手机处理器中进行处理,最终转换成手机屏幕上...

    手机摄像头的组成结构和工作原理

    手机摄像头由:PCB板、镜头、固定器和滤色片、DSP(CCD)、传感器等部件组成。

    工作原理为:拍摄景物通过镜头,将生成的光学图像投射到传感器上,然后光学图像被转换成电信号,电信号再经过模数转换变为数字信号,数字信号经过DSP加工处理,再被送到手机处理器中进行处理,最终转换成手机屏幕上能够看到的图像。

    PCB板

    摄像头中用到的印刷电路板,分为硬板、软板、软硬结合板三种。

    镜头

    镜头是将拍摄景物在传感器上成像的器件,它通常由由几片透镜组成。从材质上看,摄像头的镜头可分为塑胶透镜和玻璃透镜。

    镜头有两个较为重要的参数:光圈焦距

    光圈是安装在镜头上控制通过镜头到达传感器的光线多少的装置,除了控制通光量,光圈还具有控制景深的功能,光圈越大,景深越小,平时在拍人像时背景朦胧效果就是小景深的一种体现。

    景深是指在摄影机镜头前能够取得清晰图像的成像所测定的被摄物体前后距离范围。

    数值越小,光圈越大,进光量越多,画面比较亮,焦平面越窄,主体背景虚化越大;

    值越大,光圈越小,进光量越少,画面比较暗,焦平面越宽,主体前后越清晰。

    焦距是从镜头的中心点到传感器平面上所形成的清晰影像之间的距离。

    根据成像原理,镜头的焦距决定了该镜头拍摄的物体在传感器上所形成影像的大小。比如在拍摄同一物体时,焦距越长,就能拍到该物体越大的影像。长焦距类似于望远镜。

    固定器和滤色片

    固定器的作用,实际上就是来固定镜头,另外固定器上还会有一块滤色片。

    滤色片也即“分色滤色片”,目前有两种分色方式,一种是RGB原色分色法,另一种是CMYK补色分色法。

    原色CCD的优势在于画质锐利,色彩真实,但缺点则是噪声问题,一般采用原色CCD的数码相机,ISO感光度多半不会超过400。相对的,补色CCD多了一个Y黄色滤色器,牺牲了部分影像的分辨率,但ISO值一般都可设定在800以上。

    DSP(数字信号处理芯片)

    它的功能是通过一系列复杂的数学算法运算,对数字图像信号进行优化处理,最后把处理后的信号传到显示器上。

    上面所说的DSPCCD中会使用,是因为在CMOS传感器的摄像头中,其DSP芯片已经集成到CMOS中,从外观上来看,它们就是一个整体。而采用CCD传感器的摄像头则分为CCDDSP两个独立部分。

    传感器

    传感器是摄像头组成的核心,也是最关键的技术,它是一种用来接收通过镜头的光线,并且将这些光信号转换成为电信号的装置。

    感光器件面积越大,捕获的光子越多,感光性能越好,信噪比越低。

    摄像头传感器主要有两种,一种是CCD传感器,一种是CMOS传感器。

    两者区别在于:

    CCD的优势在于成像质量好,但是由于制造工艺复杂,成本居高不下,特别是大型CCD,价格非常高昂。在相同分辨率下,CMOS价格比CCD便宜,但是CMOS器件产生的图像质量相比CCD来说要低一些。

    相对于CCD传感器,CMOS影像传感器的优点之一是电源消耗量比CCD低,CCD为提供优异的影像品质,付出代价即是较高的电源消耗量,为使电荷传输顺畅,噪声降低,需由高压差改善传输效果。

    另外偶尔还会提到CCM传感器,CCM(Compact CMOS module)实际上是CMOS的一种,只是CCM经过一些处理,画质比CMOS高一点,拍照时感应速度也较快,但照片品质还是逊色于CCD

    有的厂家在宣传中会提到“背照式”、“BSI”等概念,实际上BSI就是背照式CMOS的英文简称,背照式CMOSCMOS的一种,它改善了传统CMOS感光元件的感光度,在夜拍和高感的时候成像效果相对好一些。

    手机摄像头基础知识解析

    像素:通常所说的“XXX万像素”实际是指相机的分辨率,其数值大小主要由相机传感器中的像素点(即最小感光单位)数量决定,例如500万像素就意味着传感器中有500万个像素点,和手机屏幕中的像素数量决定屏幕是720p1080p分辨率是一个道理。

    像素决定照片质量?

    通常会以为相机像素越高,拍的照片就越清晰,实际上。相机的像素唯一能决定的是其所拍图片的分辨率,而图片的分辨率越高,只代表了图片的尺寸越大,并不能说明图片越清晰。

    但是当前主流的手机屏幕为1080p级别(1920×1080像素),无论是1300万像素相机所得的4208×3120像素照片,还是800万像素摄像头的3200×2400像素照片,都超出了1080p屏的解读范围,最终都会以1920×1080像素显示,所以肉眼所看到的清晰度也是没有区别的。

    那么高像素的优势在哪里呢?

    更高像素的相机所拍图片的尺寸更大,假如我们想把样张打印出来,以常规的300像素/英寸的打印标准来计算,1300万像素相机所拍的4208×3120像素样张,可打印17英寸照片,而800万像素相机的3200×2400像素样张,打印超过13英寸的照片就开始模糊了。很显然1300万像素相机样张可打印的尺寸更大。

    既然像素不是决定图片质量的关键因素,那么谁才是呢?答案是传感器。

    相机传感器主要分两种:CCDCMOSCCD传感器虽然成像质量好,但是成本较高,并不适用于手机,而CMOS传感器凭借着较低的功耗和价格以及优异的影像品质,在手机领域应用最为广泛。

    CMOS传感器又分为背照式和堆栈式两种,二者系出同门,技术最早都由索尼研发,索尼背照式传感器品牌名为“Exmor R”,堆栈式传感器为“Exmor RS”。

    相对来说,传感器尺寸越大,感光性能越好,捕捉的光子(图形信号)越多,信噪比越低,成像效果自然也越出色,然而更大的传感器却会导致手机的体积、重量、成本增加。

    背照式传感器的出现,有效的解决了这个问题,在相同尺寸下,它使传感器感光能力提升了100%,有效地改善了在弱光环境下的成像质量。

    20128月,索尼发布了全新堆栈式传感器(Exmor RS CMOS),需要注意的是,它和背照式传感器并非演进关系,而是并列关系,堆栈式传感器的主要优势是在像素数保持不变的情况下,让传感器尺寸变得更小,也可以理解为,在与背照式传感器的像素数相同时,堆栈式传感器的尺寸会更小,从而节省了空间,让手机变得更薄、更轻。

    镜头:多多益善

    镜头是将拍摄景物在传感器上成像的器件,相当于相机的“眼睛”,通常由几片透镜组成,光线信号通过时,镜片们会层层过滤杂光(红外线等),所以,镜头片数越多,成像就越真实。

    光圈:还是大了好

    光圈由镜头中几片极薄的金属片组成,可以通过改变光圈孔的大小控制进入镜头到达传感器的光线量。光圈的值通常用f/2.2f/2.4来表示,数字越小,光圈就越大,两者成反比例关系。

    它的工作原理是,光圈开得越大,通过镜头到达传感器的光线就越多,成像画面就越明亮,反之画面就越暗。因此,在夜拍或暗光环境下,大光圈的成像优势就更明显。

    除了控制通光量,光圈还具有控制景深的功能。生活中,我们时常会看到背景虚化效果很强的照片,不仅突出了拍摄焦点,还具有很唯美的艺术感,而这就是所谓的景深。光圈开的越大,景深越小,背景虚化效果就更明显。

    ISP芯片是“大脑”

    在说ISPImage Signal Processing,中文译为“图形信号处理”)之前,我们先来了解一下手机的拍照过程。按动快门后,光线从镜头进入,到达传感器,传感器负责采集、记录光线,并把它转换成电流信号,然后交由ISP图形信号处理器(以下简称ISP芯片)进行处理,最后由手机处理器处理储存。

    ISP芯片的作用就是对传感器输入的信号进行运算处理,最终得出经过线性纠正、噪点去除、坏点修补、颜色插值、白平衡校正、曝光校正等处理后的结果。ISP芯片能够在很大程度上决定手机相机最终的成像质量,通常它对图像质量的改善空间可达10%-15%

    ISP芯片分为集成和独立两种,独立ISP芯片处理能力优于集成ISP芯片,但成本更高。

    采用处理器配套的集成iSP芯片优势是降低了手机的研发和生产成本,但缺点是:

    1. 优秀的处理器厂商并不一定擅长开发ISP芯片,其成像质量不如独立ISP芯片;

    2. 无法保证与所选用的传感器契合,两者如果配合不好,对成像质量是有负作用的,这就限制了手机对传感器的选择;

    3. 当前相同价段的手机大多采用相同的处理器,相同的处理器就意味着相同的ISP方案,这就导致严重的同质化现象。

    不过这其中也有一个特例,那就是iPhone,众所周知,iPhone搭载的是自家的苹果处理器,所以,尽管iPhone采用了集成ISP芯片,但以上缺点却是不存在的。

    独立ISP芯片是独立于处理器而存在的,虽然成本较高,但优势也是比较明显的。除了运算能力、成像质量更优秀外,一般的独立ISP芯片都是手机商向ISP提供商定制的,所以与相机其他组件的契合度更佳,成像也有属于自己的风格、特色。

    软件算法很重要

    ISP芯片对传感器输入的电流信号进行处理后,首先会生成未经加工的原始图像,而软件算法就好比对原始图像在内部进行了一番PS,优化图像的色彩、色调、对比度、噪点等,最后生成我们所看到的jpg格式图片。

    当然,由于每个人的PS技术和风格都不一样,所以即便是同一张照片,每个人最终也都会P成不同的风格。同理,每部手机的软件算法不同,最终的成像效果和风格也是不一样的,比如vivo手机通常会提升对比度,而iPhone则追求自然的效果。

    我们都知道iPhone 5s的相机配置并不高,仅为800万,背照式传感器和自家集成ISP芯片在技术上虽然很优秀,但也绝不是顶尖级别,那么为何iPhone 5s的整体成像素质是最优秀的呢?这除了iPhone 5s的单个像素面积高达1.5微米外,主要归功于iPhone 5s的软件算法比较优秀。

    闪光灯哪个好?

    闪光灯是增加相机曝光量的方式之一,在暗光环境下会打亮周围景物,从而弥补光线不足,提升画面亮度。另外,在光线复杂的环境下,利用闪光灯可以去除杂光,使照片的色彩还原更为真实。

    iPhone 5S的双True Tone LED补光灯并不仅是为了提供更多的光线,更重要的是为了提供更准确的光线颜色。

    白色LED补光灯通常只会模仿阳光的颜色来提供光线,往往导致画面偏蓝、偏冷等色彩失实的问题,

    iPhone 5s在白色补光灯下又增加了一枚琥珀色闪光灯,两者分别提供不同色温的光线,从而使光线达到平衡,混合后便获得跟拍摄场景吻合的理想画面色彩。

    氙气闪光灯是一种含有氙气的新型闪光灯,它可发出非常接近太阳光的光线,不过由于其成本较高,在手机中的应用率较低,诺基亚Lumia 1020就是采用了氙气闪光灯。

    展开全文
  • 手机硬件结构

    2013-03-03 22:21:00
    本人最近研究了下手机硬件结构,现在写下自己了解的。 手机硬件大致包括:CPU(基带/BP和应用处理器/AP),GPU(图形处理器),射频...现附上一张手机硬件结构图和小米手机原理框图: 转载于:https://www.cnblo...

    本人最近研究了下手机硬件结构,现在写下自己了解的。

    手机硬件大致包括:CPU(基带/BP和应用处理器/AP),GPU(图形处理器),射频(RFT/RFR),PMU(电源管理单元),

    RAM(SDRAM),ROM,屏幕,触摸屏,听筒,话筒,摄像头,蓝牙,WIFI,传感器,扬声器,功率放大器,重力感应,天线

    现附上一张手机硬件结构图和小米手机原理框图:

    转载于:https://www.cnblogs.com/leizhao/archive/2013/03/03/2942034.html

    展开全文
  • 其工作原理为:拍摄景物通过镜头,将生成的光学图像投射到传感器上,然后光学图像被转换成电信号,电信号再经过模数转换变为数字信号,数字信号经过DSP加工处理,再被送到手机处理器中进行处理,最终转换成手机屏幕...
  • 高通camera结构(摄像头基础介绍)

    千次阅读 2018-05-11 11:04:47
     拍摄景物通过镜头,将生成的光学图像投射到传感器上,然后光学图像被转换成电信号,电信号再经过模数转换变为数字信号,数字信号经过DSP加工处理,再被送到电脑中进行处理,最终转换成手机屏幕上能够看到的图像。...

     摄像头基础介绍                

    一、摄像头结构和工作原理.

       拍摄景物通过镜头,将生成的光学图像投射到传感器上,然后光学图像被转换成电信号,电信号再经过模数转换变为数字信号,数字信号经过DSP加工处理,再被送到电脑中进行处理,最终转换成手机屏幕上能够看到的图像。

    数字信号处理芯片DSP(DIGITAL SIGNAL PROCESSING)功能:主要是通过一系列复杂的数学算法运算,对数字图像信号参数进行优化处理,并把处理后的信号通过USB等接口传到PC等设备。DSP结构框架:

      1. ISP(image signal processor)(镜像信号处理器)

      2. JPEG encoder(JPEG图像解码器)

      3. USB device controller(USB设备控制器)

        常见的摄像头传感器类型主要有两种,

    一种是CCD传感器(Chagre Couled Device),即电荷耦合器

    一种是CMOS传感器(Complementary Metal-Oxide Semiconductor)即互补性金属氧化物半导体

    CCD的优势在于成像质量好,但是制造工艺复杂,成本高昂,且耗电高。在相同分辨率下,CMOS价格比CCD便宜,但图像质量相比CCD来说要低一些。CMOS影像传感器相对CCD具有耗电低的优势,加上随着工艺技术的进步,CMOS的画质水平也不断地在提高,所以目前市面上的手机摄像头都采用CMOS传感器。

    手机摄像头的简单结构

    滤光片有两大功用:

      1.滤除红外线。滤除对可见光有干扰的红外光,使成像效果更清晰。

           2.修整进来的光线。感光芯片由感光体(CELL)构成,最好的光线是直射进来,但为了怕干扰到邻近感光体,就需要对光线加以修整,因此那片滤光片不是玻璃,而是石英片,利用石英的物理偏光特性,把进来的光线,保留直射部份,反射掉斜射部份,避免去影响旁边的感光点.

     

    二、相关参数和名词

    1、常见图像格式

        1.1 RGB格式:

        传统的红绿蓝格式,比如RGB565,RGB888,其16-bit数据格式为5-bit R + 6-bit G + 5-bit B。G多一位,原因是人眼对绿色比较敏感。

        1.2 YUV格式:

        luma (Y) + chroma (UV) 格式YUV是指亮度参量和色度参量分开表示的像素格式,而这样分开的好处就是不但可以避免相互干扰,还可以降低色度的采样率而不会对图像质量影响太大。YUV是一个比较笼统地说法,针对它的具体排列方式,可以分为很多种具体的格式。

    色度(UV)定义了颜色的两个方面─色调与饱和度,分别用CB和CR表示。其中,Cr反映了RGB输入信号红色部分与RGB信号亮度值之间的差异。而Cb反映的是RGB输入信号蓝色部分与RGB信号亮度值之间的差异。

    主要的采样格式有YCbCr 4:2:0、YCbCr 4:2:2、YCbCr 4:1:1和 YCbCr 4:4:4。

        1.3 RAW data格式:

        RAW图像就是CMOS或者CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据。RAW文件是一种记录了数码相机传感器的原始信息,同时记录了由相机拍摄所产生的一些元数据(Metadata,如ISO的设置、快门速度、光圈值、白平衡等)的文件。RAW是未经处理、也未经压缩的格式,可以把RAW概念化为“原始图像编码数据”或更形象的称为“数字底片”。sensor的每一像素对应一个彩色滤光片,滤光片按Bayer pattern分布。将每一个像素的数据直接输出,即RAW RGB data

    Raw data(Raw RGB)经过彩色插值就变成RGB.

    RAW格式图像示例

    2. 相关技术指标

    2.1 图像解析度/分辨率(Resolution)

      SXGA(1280 x1024)又称130万像素

      XGA(1024 x768)又称80万像素

      SVGA(800 x600)又称50万像素

      VGA(640x480)又称30万像素(35万是指648X488)

      CIF(352x288) 又称10万像素

      SIF/QVGA(320x240)

      QCIF(176x144)

      QSIF/QQVGA(160x120)

    2.2 彩色深度(色彩位数)

        256色灰阶,有256种灰色(包括黑白)。

        15或16位彩色(高彩色):65,536种颜色。

        24位彩色(真彩色):每种原色都有256个层次,它们的组合便有256*256*256种颜色。

        32位彩色:除了24位彩色的颜色外,额外的8位是储存重叠图层的图形资料(alpha频道)。

    2.3 光学变焦和数码变焦:

        光学变焦: 通过镜头的调整,拉近拉远所要拍摄的对象,保持像素不变和画质基本不变,却可以拍到自己             理想的物像。     数码变焦:其实没有什么变焦,只是从原图片中截取出来放大,你从液晶屏幕上看到变大了,实际上画质并没有本质提高,而像素比你相机能拍摄的最大像素降低了。 画质上说基本是鸡肋把,但是可以提供一些方便。

    2.4 图像压缩方式:

        JPEG/M-JPEG

        H.261/H.263

        MPEG

        H.264 

    2.5 图像噪音:

      指的是图像中的杂点干挠。表现为图像中有固定的彩色杂点。

    2.6 自动白平衡处理技术(auto White Balance)

          简单来说就是:摄像机对白色物体的还原。相关概念:色温。

    2.7 视角

      与人的眼睛成像是相成原理,简单说就是成像范围。

    2.8 自动对焦:

           自动对焦可以分成两大类:一类是基于镜头与被拍摄目标之间距离测量的测距自动对焦,另一类是基于对焦屏上成像清晰的聚焦检测自动对焦(清晰度算法)。

    注:变焦就是把远处的物体拉近。对焦是让图像清晰。

    2.9 自动曝光和Gamma

          就是光圈和快门的组合。光圈,快门速度,ISO。Gamma即人眼对亮度的响应曲线。

     

     

     

    三、高通的CAMERA部分硬件架构

     

    CAMERA部分硬件架构

    VFE:VIDEO front-end 视频前端

    VPE:Video preprocessing 视频预处理

    摄像头模组中自带了ISP(图像信号处理器),所以,VFE和VPE有关图像效果处理的功能都是关闭的。

    1.VFE的功能:

        1.1 通过算法提高图像的质量。

        1.2 提供高分辨率的图像的AWB(自动白平衡)/AE(自动曝光)/AF(自动对焦)算法处理。

        1.3 图像衰减校正。

        1.4 低光下的噪声滤波。

        1.5 图像色彩效果优化。

        1.6 皮肤颜色效果优化。

        1.7 图像抖动计算。

        1.8 亮度适应算法。

    2.VPE的功能:

        2.1 图像稳定性。

        2.2 数字对焦。

        2.3 图像旋转。

        2.4 Overlay。

    三、android系统camera基本架构

    1.应用层

    Camera 的应用层在Android 上表现为直接调用SDK API 开发的一个Camera 应用APK 包。代码在/android/packages/apps/Camera 下。主要对 android.hardware.Camera(在Framework中) 类的调用,并且实现Camera 应用的业务逻辑和UI 显示。一个Android 应用中若要使用这个android.hardware.Camera类,需要在Manifest 文件声明Camera 的权限,另外还 需要添加一些<uses-feature> 元素来声明应用中的Camera 特性,如自动对焦等。 具体做法可如下:

    <uses-permission android:name = "android.permission.CAMERA" />

    <uses-feature android:name = "android.hardware.camera" />

    <uses-feature android:name = "android.hardware.camera.autofocus" />

    2.Framework层

    2.1 android.hardware.Camera:代码位置/android/frameworks/base/core/java/android/hardware/Camera.java

    这部分目标是framework.jar。这是是Android 提供给app层调用的java接口。这个类用来连接或断开一个Camera 服务,设置拍摄参数,开始、停止预览,拍照等。

    2.2 android.hardware.Camera这个类是和JNI中定义的类是一个,有些方法通过JNI的方式调用本地代码得到,有些方法自己实现。  Camera的JAVA native调用部分(JNI):/android/frameworks/base/core/jni/android_hardware_Camera.cpp。Camera.java 承接JAVA 代码到C++ 代码的桥梁。编译生成libandroid_runtime.so 。libandroid_runtime.so库是公用的, 其中除了Camera 还有其他方面的功能。

    2.3 Camera框架的client部分:

    代码位置:/android/frameworks/base/libs/camera/下5个文件。

    Camera.cpp

    CameraParameters.cpp

    ICamera.cpp

    ICameraClient.cpp

    ICameraService.cpp

    它们的头文件在/android/frameworks/base/include/camera目录下。

    这部分的内容编译生成libcamera_client.so 。在Camera 模块的各个库中,libcamera_client.so 位于核心的位置,作为Camera 框架的 Client 客户端部分,与另外一部分内容服务端 libcameraservice.so 通过进程间通讯(即Binder 机制)的方式进行通讯。

    2.4 Camera框架的service部分:

    代码位置:/android/frameworks/base/services/camera/libcameraservice。

    这部分内容被编译成库libcameraservice.so 。CameraService 是Camera 服务,Camera 框架的中间层,用于链接CameraHardwareInterface 和Client部分 ,它通过调用实际的Camera 硬件接口来实现功能,即下层HAL层。

    四. 摄像头预览、拍照、录像基本数据流向和处理流程以及驱动调试

    HAl层相关代码:(frameworks/base/services/camera/libcameraservice/CameraService.cpp)

    vendor/qcom/android-open/libcamera2/QualcommCameraHardware.cpp

    vendor/qcom/proprietary/mm-camera/apps/appslib/mm_camera_interface.c

    vendor/qcom/proprietary/mm-camera/apps/appslib/camframe.c

    vendor/qcom/proprietary/mm-camera/apps/appslib/snapshot.c

    vendor/qcom/proprietary/mm-camera/apps/appslib/jpeg_encoder.c

    vendor/qcom/proprietary/mm-camera/apps/appslib/cam_frame_q.c

    vendor/qcom/proprietary/mm-camera/apps/appslib/cam_display.c

    vendor/qcom/proprietary/mm-camera/targets/vfe31/8x60/

    vendor/qcom/proprietary/mm-camera/targets/vfe31/common/vpe1/QualcommCameraHardware.cpp

    主要分为三个部分,preview,snapshot,video。它们分别用一个pthread进行处理。另外还有auto focus功能也是用pthread的方式处理。预览或拍照、视频线程处理得到的数据帧都以datacallback的方式回调到上层CameraService.cpp中,进行存储或预览等操作。以下是HAL层部分的代码大概的调用结构流程。

     

    1. 整个模块主要巡行三个主线程:control、config及frame。

      control用来执行总的控制,是上层控制接口。

            config主要进行一些配置,这个线程里面主要进行3A的工作,另外还有一些跟效果有关的设置;

            frame线程主要用来做帧queue的循环获取处理。所有事件或状态的反馈,用回调函数的方式传回QualcommCameraHardware.cpp。

    2. 驱动部分从设备驱动s5k8aa.c开始。新建平台设备后,执行入口函数probe时,调用创建摄像头设备功能函数

    int msm_camera_drv_start(struct platform_device *dev,                                          

                                    int (*sensor_probe)(const struct msm_camera_sensor_info *, 

                                                struct msm_sensor_ctrl *))

    并将设备信息结构体和摄像头设备调用入口sensor_probe传入。msm_camera_drv_start(xxx)函数在msm_camera.c中实现。他创建了提供上层调用的四个终于设备结点:

    /dev/msm_camera/frame%d

    /dev/msm_camera/control%d

    /dev/msm_camera/config%d

    /dev/msm_camera/pic%d

    实现了上层库对VFE模块,VPE模块,jpeg_encoder模块和摄像头sensor模块驱动的控制调用接口。在file_operations中的相应函数中分别实现的是这些设备的新建初始化和IOCTL功能调用接口。

    然后这个函数还创建了四个工作队列: 

    struct msm_device_queue event_q; 

    struct msm_device_queue frame_q; 

    struct msm_device_queue pict_q; 

    struct msm_device_queue vpe_q;

    event_q包括/dev/msm_camera/control%d传入的控制信号队列,用于将上层传下来的控制命令(command)传到config thread中去。

    frame_q用于对图像帧的操作管理,预览或录像时帧将传递给DSP进行处理。

    pict_q包含拍照帧,用于给jpeg_encoder进行图像编码处理。

    vpe_q是VPE控制命令队列。

    s5k8aa.c是相应摄像头设备的驱动部分。它的功能很简单,主要实现sensor模块的创建、初始化和控制。主要实现以下三个函数: 

    s->s_init = ov2685_sensor_init; 

    s->s_release = ov2685_sensor_release; 

    s->s_config = ov2685_sensor_config;

    ov2685_sensor_init函数:    

    主要实现摄像头的上电、时钟控制(MCLK)、设备初始化功能。    上电分为DOVDD、DVDD、AVDD、reset、PWDN几个部分。需要按照设备要求顺序操作,一般时钟控制顺序也包含在内。    设备初始化过程是将sensor设备的所有寄存器全部初始化一遍,采用IIC方式将初始化寄存器地址和值全部发送到sensor端。完成后此时摄像头模组才能正常工作,并将图像通过MIPI线路传送到CPU端。

    ov2685_sensor_config函数:    

    主要实现对sensor的各种配置接口,相应的有帧率配置,白平衡效果设置,曝光度设置,特效设置等等。相应接口将配置好的寄存器列表通过IIC发送到sensor中。

    3. 摄像头调试中的几个问题点:

    1.1 是否正确上电,是否有时钟波形输出。    检测输出电压的电压值是否和上电时序以及MCLK是否符合sensor的要求。这部分可以用示波器和万用表测量。测量电压值和上电时序以及MCLK的时钟频率是否正确。

    1.2 IIC读写是否正常。调试CPU与ISP间的I2C通信。    检测包括IIC地址是否正确,协议是否匹配。这部分也可以用示波器测量IIC的SDA、CLK的峰值、波形逻辑是否正确。

    1.3 正确上电并初始化以后sensor模块是否正常工作。    这部分主要通过用示波器测量MIPI线路的数据和时钟PIN是否正确,它的波形是否含有数据,是否标准波形,峰值有没有达到要求等。

    1.4 如果以上都正确了以后,MIPI控制器将接收到中断,并开始处理图像信号。此时如果出错,可以通过中断信号的出错值查看错误状态。除CPU端是否正常初始化工作的问题外,需要关注模组端设置的图像格式和CPU接收的默认图像格式和图像大小(SIZE)是否一致。模组中图片格式和图像大小通过寄存器值查看。CPU端接收图片格式和图像大小在HAL部分的s5k8aa中设置, 拍照源图像大小和预览源图像大小需要分别设置。

    以上部分完成后,摄像头可以正确预览。

    展开全文
  • 拍摄景物通过镜头,将生成的光学图像投射到传感器上,然后光学图像被转换成电信号,电信号再经过模数转换变为数字信号,数字信号经过DSP加工处理,再被送到电脑中进行处理,最终转换成手机屏幕上能够看到的图像。...

    摄像头基础介绍

    一、摄像头结构和工作原理.
    在这里插入图片描述

    拍摄景物通过镜头,将生成的光学图像投射到传感器上,然后光学图像被转换成电信号,电信号再经过模数转换变为数字信号,数字信号经过DSP加工处理,再被送到电脑中进行处理,最终转换成手机屏幕上能够看到的图像。
    在这里插入图片描述

    数字信号处理芯片DSP(DIGITAL SIGNAL PROCESSING)功能:主要是通过一系列复杂的数学算法运算,对数字图像信号参数进行优化处理,并把处理后的信号通过USB等接口传到PC等设备。DSP结构框架:

    1. ISP(image signal processor)(镜像信号处理器)

    2. JPEG encoder(JPEG图像解码器)

    3. USB device controller(USB设备控制器)

    常见的摄像头传感器类型主要有两种,
    

    一种是CCD传感器(Chagre Couled Device),即电荷耦合器。

    一种是CMOS传感器(Complementary Metal-Oxide Semiconductor)即互补性金属氧化物半导体。

    CCD的优势在于成像质量好,但是制造工艺复杂,成本高昂,且耗电高。在相同分辨率下,CMOS价格比CCD便宜,但图像质量相比CCD来说要低一些。CMOS影像传感器相对CCD具有耗电低的优势,加上随着工艺技术的进步,CMOS的画质水平也不断地在提高,所以目前市面上的手机摄像头都采用CMOS传感器。

    手机摄像头的简单结构

    滤光片有两大功用:

    1.滤除红外线。滤除对可见光有干扰的红外光,使成像效果更清晰。

       2.修整进来的光线。感光芯片由感光体(CELL)构成,最好的光线是直射进来,但为了怕干扰到邻近感光体,就需要对光线加以修整,因此那片滤光片不是玻璃,而是石英片,利用石英的物理偏光特性,把进来的光线,保留直射部份,反射掉斜射部份,避免去影响旁边的感光点.
    

    二、相关参数和名词

    1、常见图像格式

    1.1 RGB格式:
    
    传统的红绿蓝格式,比如RGB565,RGB888,其16-bit数据格式为5-bit R + 6-bit G + 5-bit B。G多一位,原因是人眼对绿色比较敏感。
    
    1.2 YUV格式:
    
    luma (Y) + chroma (UV) 格式。YUV是指亮度参量和色度参量分开表示的像素格式,而这样分开的好处就是不但可以避免相互干扰,还可以降低色度的采样率而不会对图像质量影响太大。YUV是一个比较笼统地说法,针对它的具体排列方式,可以分为很多种具体的格式。
    

    色度(UV)定义了颜色的两个方面─色调与饱和度,分别用CB和CR表示。其中,Cr反映了RGB输入信号红色部分与RGB信号亮度值之间的差异。而Cb反映的是RGB输入信号蓝色部分与RGB信号亮度值之间的差异。

    主要的采样格式有YCbCr 4:2:0、YCbCr 4:2:2、YCbCr 4:1:1和 YCbCr 4:4:4。

    1.3 RAW data格式:
    
    RAW图像就是CMOS或者CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据。RAW文件是一种记录了数码相机传感器的原始信息,同时记录了由相机拍摄所产生的一些元数据(Metadata,如ISO的设置、快门速度、光圈值、白平衡等)的文件。RAW是未经处理、也未经压缩的格式,可以把RAW概念化为“原始图像编码数据”或更形象的称为“数字底片”。sensor的每一像素对应一个彩色滤光片,滤光片按Bayer pattern分布。将每一个像素的数据直接输出,即RAW RGB data
    

    Raw data(Raw RGB)经过彩色插值就变成RGB.
    在这里插入图片描述

    RAW格式图像示例

    1. 相关技术指标

    2.1 图像解析度/分辨率(Resolution):

    SXGA(1280 x1024)又称130万像素

    XGA(1024 x768)又称80万像素

    SVGA(800 x600)又称50万像素

    VGA(640x480)又称30万像素(35万是指648X488)

    CIF(352x288) 又称10万像素

    SIF/QVGA(320x240)

    QCIF(176x144)

    QSIF/QQVGA(160x120)

    2.2 彩色深度(色彩位数):

    256色灰阶,有256种灰色(包括黑白)。
    
    15或16位彩色(高彩色):65,536种颜色。
    
    24位彩色(真彩色):每种原色都有256个层次,它们的组合便有256*256*256种颜色。
    
    32位彩色:除了24位彩色的颜色外,额外的8位是储存重叠图层的图形资料(alpha频道)。
    

    2.3 光学变焦和数码变焦:

    光学变焦: 通过镜头的调整,拉近拉远所要拍摄的对象,保持像素不变和画质基本不变,却可以拍到自己             理想的物像。     数码变焦:其实没有什么变焦,只是从原图片中截取出来放大,你从液晶屏幕上看到变大了,实际上画质并没有本质提高,而像素比你相机能拍摄的最大像素降低了。 画质上说基本是鸡肋把,但是可以提供一些方便。
    

    2.4 图像压缩方式:

    JPEG/M-JPEG
    
    H.261/H.263
    
    MPEG
    
    H.264 
    

    2.5 图像噪音:

    指的是图像中的杂点干挠。表现为图像中有固定的彩色杂点。

    2.6 自动白平衡处理技术(auto White Balance):

      简单来说就是:摄像机对白色物体的还原。相关概念:色温。
    

    2.7 视角:

    与人的眼睛成像是相成原理,简单说就是成像范围。

    2.8 自动对焦:

       自动对焦可以分成两大类:一类是基于镜头与被拍摄目标之间距离测量的测距自动对焦,另一类是基于对焦屏上成像清晰的聚焦检测自动对焦(清晰度算法)。
    

    注:变焦就是把远处的物体拉近。对焦是让图像清晰。

    2.9 自动曝光和Gamma:

      就是光圈和快门的组合。光圈,快门速度,ISO。Gamma即人眼对亮度的响应曲线。
    

    三、高通的CAMERA部分硬件架构
    在这里插入图片描述

    CAMERA部分硬件架构

    VFE:VIDEO front-end 视频前端

    VPE:Video preprocessing 视频预处理

    摄像头模组中自带了ISP(图像信号处理器),所以,VFE和VPE有关图像效果处理的功能都是关闭的。

    1.VFE的功能:

    1.1 通过算法提高图像的质量。
    
    1.2 提供高分辨率的图像的AWB(自动白平衡)/AE(自动曝光)/AF(自动对焦)算法处理。
    
    1.3 图像衰减校正。
    
    1.4 低光下的噪声滤波。
    
    1.5 图像色彩效果优化。
    
    1.6 皮肤颜色效果优化。
    
    1.7 图像抖动计算。
    
    1.8 亮度适应算法。
    

    2.VPE的功能:

    2.1 图像稳定性。
    
    2.2 数字对焦。
    
    2.3 图像旋转。
    
    2.4 Overlay。
    

    在这里插入图片描述

    四、android系统camera基本架构
    在这里插入图片描述

    1.应用层

    Camera 的应用层在Android 上表现为直接调用SDK API 开发的一个Camera 应用APK 包。代码在/android/packages/apps/Camera 下。主要对 android.hardware.Camera(在Framework中) 类的调用,并且实现Camera 应用的业务逻辑和UI 显示。一个Android 应用中若要使用这个android.hardware.Camera类,需要在Manifest 文件声明Camera 的权限,另外还 需要添加一些 元素来声明应用中的Camera 特性,如自动对焦等。 具体做法可如下:

    2.Framework层

    2.1 android.hardware.Camera:代码位置/android/frameworks/base/core/java/android/hardware/Camera.java

    这部分目标是framework.jar。这是是Android 提供给app层调用的java接口。这个类用来连接或断开一个Camera 服务,设置拍摄参数,开始、停止预览,拍照等。

    2.2 android.hardware.Camera这个类是和JNI中定义的类是一个,有些方法通过JNI的方式调用本地代码得到,有些方法自己实现。 Camera的JAVA native调用部分(JNI):/android/frameworks/base/core/jni/android_hardware_Camera.cpp。Camera.java 承接JAVA 代码到C++ 代码的桥梁。编译生成libandroid_runtime.so 。libandroid_runtime.so库是公用的, 其中除了Camera 还有其他方面的功能。

    2.3 Camera框架的client部分:

    代码位置:/android/frameworks/base/libs/camera/下5个文件。

    Camera.cpp

    CameraParameters.cpp

    ICamera.cpp

    ICameraClient.cpp

    ICameraService.cpp

    它们的头文件在/android/frameworks/base/include/camera目录下。

    这部分的内容编译生成libcamera_client.so 。在Camera 模块的各个库中,libcamera_client.so 位于核心的位置,作为Camera 框架的 Client 客户端部分,与另外一部分内容服务端 libcameraservice.so 通过进程间通讯(即Binder 机制)的方式进行通讯。

    2.4 Camera框架的service部分:

    代码位置:/android/frameworks/base/services/camera/libcameraservice。

    这部分内容被编译成库libcameraservice.so 。CameraService 是Camera 服务,Camera 框架的中间层,用于链接CameraHardwareInterface 和Client部分 ,它通过调用实际的Camera 硬件接口来实现功能,即下层HAL层。
    在这里插入图片描述

    四. 摄像头预览、拍照、录像基本数据流向和处理流程以及驱动调试
    在这里插入图片描述

    HAl层相关代码:(frameworks/base/services/camera/libcameraservice/CameraService.cpp)

    vendor/qcom/android-open/libcamera2/QualcommCameraHardware.cpp

    vendor/qcom/proprietary/mm-camera/apps/appslib/mm_camera_interface.c

    vendor/qcom/proprietary/mm-camera/apps/appslib/camframe.c

    vendor/qcom/proprietary/mm-camera/apps/appslib/snapshot.c

    vendor/qcom/proprietary/mm-camera/apps/appslib/jpeg_encoder.c

    vendor/qcom/proprietary/mm-camera/apps/appslib/cam_frame_q.c

    vendor/qcom/proprietary/mm-camera/apps/appslib/cam_display.c

    vendor/qcom/proprietary/mm-camera/targets/vfe31/8x60/

    vendor/qcom/proprietary/mm-camera/targets/vfe31/common/vpe1/QualcommCameraHardware.cpp

    主要分为三个部分,preview,snapshot,video。它们分别用一个pthread进行处理。另外还有auto focus功能也是用pthread的方式处理。预览或拍照、视频线程处理得到的数据帧都以datacallback的方式回调到上层CameraService.cpp中,进行存储或预览等操作。以下是HAL层部分的代码大概的调用结构流程。
    在这里插入图片描述

    整个模块主要巡行三个主线程:control、config及frame。

    control用来执行总的控制,是上层控制接口。

        config主要进行一些配置,这个线程里面主要进行3A的工作,另外还有一些跟效果有关的设置;
    
        frame线程主要用来做帧queue的循环获取处理。所有事件或状态的反馈,用回调函数的方式传回QualcommCameraHardware.cpp。
    
    1. 驱动部分从设备驱动s5k8aa.c开始。新建平台设备后,执行入口函数probe时,调用创建摄像头设备功能函数

    int msm_camera_drv_start(struct platform_device *dev,

                                int (*sensor_probe)(const struct msm_camera_sensor_info *, 
    
                                            struct msm_sensor_ctrl *))
    

    并将设备信息结构体和摄像头设备调用入口sensor_probe传入。msm_camera_drv_start(xxx)函数在msm_camera.c中实现。他创建了提供上层调用的四个终于设备结点:

    /dev/msm_camera/frame%d

    /dev/msm_camera/control%d

    /dev/msm_camera/config%d

    /dev/msm_camera/pic%d

    实现了上层库对VFE模块,VPE模块,jpeg_encoder模块和摄像头sensor模块驱动的控制调用接口。在file_operations中的相应函数中分别实现的是这些设备的新建初始化和IOCTL功能调用接口。

    然后这个函数还创建了四个工作队列:

    struct msm_device_queue event_q;

    struct msm_device_queue frame_q;

    struct msm_device_queue pict_q;

    struct msm_device_queue vpe_q;

    event_q包括/dev/msm_camera/control%d传入的控制信号队列,用于将上层传下来的控制命令(command)传到config thread中去。

    frame_q用于对图像帧的操作管理,预览或录像时帧将传递给DSP进行处理。

    pict_q包含拍照帧,用于给jpeg_encoder进行图像编码处理。

    vpe_q是VPE控制命令队列。

    s5k8aa.c是相应摄像头设备的驱动部分。它的功能很简单,主要实现sensor模块的创建、初始化和控制。主要实现以下三个函数:

    s->s_init = ov2685_sensor_init;

    s->s_release = ov2685_sensor_release;

    s->s_config = ov2685_sensor_config;

    ov2685_sensor_init函数:

    主要实现摄像头的上电、时钟控制(MCLK)、设备初始化功能。 上电分为DOVDD、DVDD、AVDD、reset、PWDN几个部分。需要按照设备要求顺序操作,一般时钟控制顺序也包含在内。 设备初始化过程是将sensor设备的所有寄存器全部初始化一遍,采用IIC方式将初始化寄存器地址和值全部发送到sensor端。完成后此时摄像头模组才能正常工作,并将图像通过MIPI线路传送到CPU端。

    ov2685_sensor_config函数:

    主要实现对sensor的各种配置接口,相应的有帧率配置,白平衡效果设置,曝光度设置,特效设置等等。相应接口将配置好的寄存器列表通过IIC发送到sensor中。

    1. 摄像头调试中的几个问题点:

    1.1 是否正确上电,是否有时钟波形输出。 检测输出电压的电压值是否和上电时序以及MCLK是否符合sensor的要求。这部分可以用示波器和万用表测量。测量电压值和上电时序以及MCLK的时钟频率是否正确。

    1.2 IIC读写是否正常。调试CPU与ISP间的I2C通信。 检测包括IIC地址是否正确,协议是否匹配。这部分也可以用示波器测量IIC的SDA、CLK的峰值、波形逻辑是否正确。

    1.3 正确上电并初始化以后sensor模块是否正常工作。 这部分主要通过用示波器测量MIPI线路的数据和时钟PIN是否正确,它的波形是否含有数据,是否标准波形,峰值有没有达到要求等。

    1.4 如果以上都正确了以后,MIPI控制器将接收到中断,并开始处理图像信号。此时如果出错,可以通过中断信号的出错值查看错误状态。除CPU端是否正常初始化工作的问题外,需要关注模组端设置的图像格式和CPU接收的默认图像格式和图像大小(SIZE)是否一致。模组中图片格式和图像大小通过寄存器值查看。CPU端接收图片格式和图像大小在HAL部分的s5k8aa中设置, 拍照源图像大小和预览源图像大小需要分别设置。

    以上部分完成后,摄像头可以正确预览。

    展开全文
  • 拍摄的图片在传感器上将光信号转换成了电信号,电信号经过AD转换器(模数转换器)转换成了数字信号,数字信号经过DSP(数字信号处理器)进行加工处理,再被送到电脑中进行处理,最终转换成了手机屏幕上我们可以看到...
  • 本书内容以知识性内容为纲,重点关注开发要点,各个部分内容注重相互照应,按照清晰的思路向读者介绍整个android系统的原理和开发方法。  本书按照android系统的框架和各个子系统的主线,重点介绍开发android应用...
  • 本书内容以知识性内容为纲,重点关注开发要点,各个部分内容注重相互照应,按照清晰的思路向读者介绍整个android系统的原理和开发方法。  本书按照android系统的框架和各个子系统的主线,重点介绍开发android应用...
  • 本书内容以知识性内容为纲,重点关注开发要点,各个部分内容注重相互照应,按照清晰的思路向读者介绍整个android系统的原理和开发方法。  本书按照android系统的框架和各个子系统的主线,重点介绍开发android应用...
  • 本书内容以知识性内容为纲,重点关注开发要点,各个部分内容注重相互照应,按照清晰的思路向读者介绍整个android系统的原理和开发方法。  本书按照android系统的框架和各个子系统的主线,重点介绍开发android应用...
  • 本书内容以知识性内容为纲,重点关注开发要点,各个部分内容注重相互照应,按照清晰的思路向读者介绍整个android系统的原理和开发方法。  本书按照android系统的框架和各个子系统的主线,重点介绍开发android应用...
  • 本书内容以知识性内容为纲,重点关注开发要点,各个部分内容注重相互照应,按照清晰的思路向读者介绍整个android系统的原理和开发方法。  本书按照android系统的框架和各个子系统的主线,重点介绍开发android应用...
  • 智能手机摄像头的工作原理是,拍摄景象通过镜头组生成光学图像,投射到图像传感器上,图像传感器将光学图像转换成电信号,电信号再经过模数转换变为数字信号,数字信号经过DSP(数字信号处理芯片)加工处理,再被送...
  • 摄像头基础介绍

    2019-01-22 22:47:00
    拍摄景物通过镜头,将生成的光学图像投射到传感器上,然后光学图像被转换成电信号,电信号再经过模数转换变为数字信号,数字信号经过DSP加工处理,再被送到电脑中进行处理,最终转换成手机屏幕上能够看到的图像。...
  • 高通camera调试

    2019-05-23 22:31:24
    拍摄景物通过镜头,将生成的光学图像投射到传感器上,然后光学图像被转换成电信号,电信号再经过模数转换变为数字信号,数字信号经过DSP加工处理,再被送到电脑中进行处理,最终转换成手机屏幕上能够看到的图像。...
  • linux摄像头(mipi接口)简要说明

    万次阅读 2019-03-19 15:46:16
    拍摄景物通过镜头,将生成的光学图像投射到传感器上,然后光学图像被转换成电信号,电信号再经过模数转换变为数字信号,数字信号经过DSP加工处理,再被送到电脑中进行处理,最终转换成手机屏幕上能够看到的图像。...
  • 拍摄景物通过镜头,将生成的光学图像投射到传感器上,然后光学图像被转换成电信号,电信号再经过模数转换变为数字信号,数字信号经过DSP加工处理,再被送到电脑中进行处理,最终转换成手机屏幕上能够看到的图像。...
  • 摄像头基础知识介绍

    千次阅读 2020-05-10 19:42:53
    拍摄景物通过镜头,将生成的光学图像投射到传感器上,然后光学图像被转换成电信号,电信号再经过模数转换变为数字信号,数字信号经过DSP加工处理,再被送到电脑中进行处理,最终转换成手机屏幕上能够看到的图像。...
  • 摄像头基础

    2017-04-20 17:40:06
     拍摄景物通过镜头,将生成的光学图像投射到传感器上,然后光学图像被转换成电信号,电信号再经过模数转换变为数字信号,数字信号经过DSP加工处理,再被送到电脑中进行处理,最终转换成手机屏幕上能够看到的图像。...
  • Camera基础及基本概念

    2021-01-29 00:19:37
    拍摄景物通过镜头,将生成的光学图像投射到传感器上,然后光学图像被转换成电信号,电信号再经过模数转换变为数字信号,数字信号经过DSP加工处理,再被送到电脑中进行处理,最终转换成手机屏幕上能够看到的图像。...

空空如也

空空如也

1 2 3 4 5
收藏数 95
精华内容 38
关键字:

手机屏幕结构原理图