图像处理框架

Picasso.get().load(网址).into();

Picasso.get()

.load(url)

.placeholder(R.drawable.user_placeholder)

.error(R.drawable.user_placeholder_error)

.into(imageView)
load(String path):用于下载图片,必须
resize(int width,int height):用于设置图片的宽高，不必须
Glide （可以绘制圆形图片）
Glide.with(this(上下文)).load(网址).into(iv);
ImageLoader 可以监听下载进度

Java对图像的处理框架比较少，目前比较流行的有Jmagick以及Marvin，但Jmagick只能处理图像(上篇Java清除图片中的恶意信息(利用Jmagick)中对Jmagick已做过简略介绍),而Marvin不但可以处理图像，而且可以集成各种插件，操作视频，摄像头来达到各种效果。
Marvin 是一个Java开发的可扩展的图像处理框架，该框架主要提供以下几方面的功能：
基本图像操作；
从视频中捕获帧；
多线程的图像处理；
通过GUI界面集成插件；
插件性能分析；
通过插件进行功能扩展。
授权协议： GPL
开发语言： Java
操作系统： 跨平台
目前插件提供的效果：
艺术化(马塞克，电视效果)、模糊、纹理、分割、变形、渲染、图案、直方图、边缘检测等等，
截个电视效果的图大家看下：
使用方法：
1. 下载MarvinFramework_1.3.1(图像处理框架)和JMF1.2(Java媒体处理框架)
2. 将marvin_1.3.1.jar拷贝到你的lib目录，marvin整个文件夹拷贝到工程根目录,该文件夹包含了各种图片处理插件。
3. 若需要对视频处理，则将JMF1.2解压后的customizer.jar、jmf.jar、multiplayer.jar、mediaplayer.jar拷贝到你的工程lib目录，另外
该框架中还有一个jmf-2_1_1e-windows-i586.exe需要安装，这样才能操作你的摄像头，并释放必要的dll文件。
下面是个简单程序，演示了Marvin加载图片，修改大小后写重新生成图片的过程：
packageimage;
importmarvin.image.MarvinImage;
importmarvin.io.MarvinImageIO;
/**
* Created on 2010-7-9
* 
Description: [Marvin学习]
* @author         shixing_11@sina.com
* @version        1.0
*/
publicclassMarvinTest
{
/**
* Created on 2010-7-9
* 
Discription:[main]
* @param args
* @author:[shixing_11@sina.com]
*/
publicstaticvoidmain(String[] args)
{
String srcFile ="c://img//b.jpg";     //源文件
String dstFile ="c://img//bb.jpg";    //处理后的文件
MarvinImage image = MarvinImageIO.loadImage(srcFile);//装载图像
MarvinImage backupImage = image.clone();//克隆图像，确保对原图不做修改
backupImage.resize(800,600);//设置新宽度和高度
MarvinImageIO.saveImage(backupImage, dstFile);//保存图像
}
}
package image;
import marvin.image.MarvinImage;
import marvin.io.MarvinImageIO;
/**
* Created on 2010-7-9
* 
Description: [Marvin学习]
* @author         shixing_11@sina.com
* @version        1.0
*/
public class MarvinTest
{
/**
* Created on 2010-7-9
* 
Discription:[main]
* @param args
* @author:[shixing_11@sina.com]
*/
public static void main(String[] args)
{
String srcFile = "c://img//b.jpg";     //源文件
String dstFile = "c://img//bb.jpg";    //处理后的文件
MarvinImage image = MarvinImageIO.loadImage(srcFile);  //装载图像
MarvinImage backupImage = image.clone();  //克隆图像，确保对原图不做修改
backupImage.resize(800, 600);   //设置新宽度和高度
MarvinImageIO.saveImage(backupImage, dstFile);   //保存图像
}
}
可见Marvin的图片管理是通过类MarvinImageIO来完成的。
分享到：
      
      
2012-10-11 09:16
浏览 10209
评论

 

iOS为应用程序开发提供了许多可使用的框架，并构成IOS操作系统的层次架构，分为四层，从上到下依次为:Cocoa Touch Layer（触摸UI层）、MediaLayer（媒体层）、Core Services Layer（核心服务层）、Core OS Layer（核心OS层）。

 



 

 

 

 

 

 

 

========================================

 

CoreImage是一个图像框架，它基于OpenGL顶层创建，底层则用着色器来处理图像，这意味着它利用了GPU基于硬件加速来处理图像。CoreImage中有很多滤镜，它们能够一次给予一张图像或者视频帧多种视觉效果。而且滤镜可以连接起来组成一个滤镜链，把滤镜效果叠加起来处理图像。CoreImage框架最早出现于iOS5，iOS6也对这个框架进行了扩展，可以实现人脸识别。

Core Image 是苹果官方提供的图像处理框架，通过丰富的 built-in（内置）或自定义 Filter（过滤器）高效处理静态图片、动态图片或视频。开发者还可以通过构造 Filter 链或自定义 Core Image Kernel 来实现更丰富的效果。

在 WWDC20 中，苹果官方针对 Core Image 技术在以下三方面做了优化：Core Image 对视频 / 动图的支持、基于 Metal 构建 Core Image (CI) Kernel 以及 Core Image 的 Debug 支持。

 

CoreImage图像处理框架

 

 

主要分为三部分：

1）定义部分：CoreImage 何CoreImageDefines。见名思义，代表了CoreImage 这个框架和它的定义。

2）操作部分：

滤镜（CIFliter）：CIFilter 产生一个CIImage。典型的，接受一到多的图片作为输入，经过一些过滤操作，产生指定输出的图片。

检测（CIDetector）：CIDetector 检测处理图片的特性，如使用来检测图片中人脸的眼睛、嘴巴、等等。

特征（CIFeature）：CIFeature 代表由 detector处理后产生的特征。 

3）图像部分：

画布（CIContext）：画布类可被用与处理Quartz 2D 或者   OpenGL。可以用它来关联CoreImage类。如滤镜、颜色等渲染处理。

上下文类，如CoreGraphics以及CoreData中的上下文用于处理绘制渲染以及处理托管对象一样，CoreImage的上下文也是实现对图像处理的具体对象。

这里需要注意的是在Context创建的时候，我们需要给它设定为是基于GPU还是CPU。(这里使用GPU)

基于GPU的话，处理速度更快，因为利用了GPU硬件的并行优势。但是GPU受限于硬件纹理尺寸，而且如果你的程序在后台继续处理和保存图片的话，那么需要使用CPU，因为当app切换到后台状态时GPU处理会被打断。

 

颜色（CIColor）：   图片的关联与画布、图片像素颜色的处理。

向量（CIVector）： 图片的坐标向量等几何方法处理。

图片（CIImage）： 代表一个图像，可代表关联后输出的图像。 

 

 

查看所有内置滤镜


-(void)showAllFilters{  

NSArray *filterNames=[CIFilter filterNamesInCategory:kCICategoryBuiltIn]; 

  for (NSString *filterName in filterNames) {     

  CIFilter *filter=[CIFilter filterWithName:filterName];      

NSLog(@"\rfilter:%@\rattributes:%@",filterName,[filter attributes]); 

  }}


调用[CIFilter attributes]会返回filter详细信息，

 

***使用Core Image框架创建滤镜效果一般分为以下几步：

 

1.创建图像上下文CIContext

//创建基于CPU的图像上下文

//    NSNumber *number=[NSNumber numberWithBool:YES];

//    NSDictionary *option=[NSDictionary dictionaryWithObject:number forKey:kCIContextUseSoftwareRenderer];

//    _context=[CIContext contextWithOptions:option];

//使用GPU渲染，推荐,但注意GPU的CIContext无法跨应用访问，例如直接在UIImagePickerController的完成方法中调用上下文处理就会自动降级为CPU渲染，所以推荐现在完成方法中保存图像，然后在主程序中调用

_context=[CIContext contextWithOptions:nil];

//    EAGLContext *eaglContext=[[EAGLContext alloc]initWithAPI:kEAGLRenderingAPIOpenGLES1];

//    _context=[CIContext contextWithEAGLContext:eaglContext];//OpenGL优化过的图像上下文

 

2.创建滤镜CIFilter


CIFilter用来表示CoreImage提供的各种滤镜。滤镜使用键-值来设置输入值，一旦这些值设置好，CIFilter就可以用来生成新的CIImage输出图像了。记住，这里的输出的图像不会进行实际的图像渲染，他只包含一个对输入图像的引用以及需要应用与数据上的滤镜链。IOS永远在最佳的时间选择渲染图像。

CIFilter *filter = [CIFilter filterWithName:@"CISepiaTone"];   //设置滤镜
	
[filter setValue:inputImage forKey:@"inputImage"];  //设置从输入的图片
	
[filter setValue:[NSNumber numberWithFloat:0.8] forKey:@"inputIntensity"];  //设置滤镜参数


3.创建过滤原图片CIImage

         CIImage是CoreImage框架中最基本代表图像的对象，他不仅包含元图像数据，还包含作用在原图像上的滤镜链。这里我想特别强调的是CIImage和其他图像是不同的，在CIImage被CIContext渲染出来之前，他是依赖于滤镜链的，滤镜是不会更改CIImage中的图像数据。这个需要正确理解，不然会给你的程序造成错误。说到了CIImage的不同，就必须得提一下如何创建CIImage了，CIImage是不能直接有UIImage转化而来的，有以下几种创建CIImage的类方法:



 

 


1.CIImage*image=[CIImage imageWithContentsOfURL:myURL];  
	
2.CIImage*image=[CIImage imageWithData:myData];  
	
3.CIImage*image=[CIImage imageWithCGImage:myCgimage];  
	
4.CIImage*image=[CIImage imageWithCVPixelBuffer：CVBuffer]


 

4.调用CIFilter的setValue： forKey：方法为滤镜指定源图片

5.设置滤镜参数【可选】

6.取得输出图片显示或保存

CIContext *context = [CIContext context];  
	
  
	
// Get outputImage from the last filter in chain  
	
  CIImage *ciimage = [filter outputImage];  
	
  
	
// Render the CIImage into a CGImageRef  
	
  CGImageRef cgimg = [context createCGImage:ciimage fromRect:[ciimage extent]];  
	
  
	
// Create a UIImage from the CGImageRef  
	
UIImage *uiimage = [UIImage imageWithCGImage:cgimg scale:1.0f  
	
orientation:ui_orientation([ciimage properties])];  
	
CGImageRelease(cgimg);  
	
// Use the UIImage in an UIImageView  
	
imageView.image = uiimage;  
 

7.CIDetector和CIFeature

         CIDetector用来分析CIImage，得到CIFeature。每个CIDetector都要用一个探测器来初始化，这个类型高数探测器要在图像中寻找什么特征。

         当一个CIDetector分析一张图片时，返回一个探测到的CIFeature的数组，如果CIDetector 被初始化为寻找面孔，那么返回的数组会被填上CIFaceFeature对象，每个CIFaceFeature都包含一个面部的CGrect引用(按照图像的坐标系)，以及检测到的面孔的左眼，右眼，嘴部位置的CGPoint;




 



CIDetector *faceDetector = [CIDetector   
	
                                    detectorOfType:CIDetectorTypeFace  
	
                                    context:self.imageContext   
	
                                    options:options];                
	
NSArray *faces = [faceDetector featuresInImage:coreImage  
	
                                               options:nil];  
	
for(CIFaceFeature *face in faces){  
	
            coreImage = [CIFilter filterWithName:@"CISourceOverCompositing"  
	
                                   keysAndValues:kCIInputImageKey, [self makeBoxForFace:face],  
	
                         kCIInputBackgroundImageKey, coreImage, nil].outputImage;  
	
        }  
	
 


======================

大家都知道在美图秀秀中有一个“增强”功能，利用它可以调整照片的饱和度、亮度、对比度，其实在Core Image中也有这样一款滤镜

 

1.

//创建基于CPU的图像上下文

//    NSNumber *number=[NSNumber numberWithBool:YES];

//    NSDictionary *option=[NSDictionary dictionaryWithObject:number forKey:kCIContextUseSoftwareRenderer];

//    _context=[CIContext contextWithOptions:option];

//使用GPU渲染，推荐,但注意GPU的CIContext无法跨应用访问，例如直接在UIImagePickerController的完成方法中调用上下文处理就会自动降级为CPU渲染，所以推荐现在完成方法中保存图像，然后在主程序中调用

_context=[CIContext contextWithOptions:nil];

//    EAGLContext *eaglContext=[[EAGLContext alloc]initWithAPI:kEAGLRenderingAPIOpenGLES1];

//    _context=[CIContext contextWithEAGLContext:eaglContext];//OpenGL优化过的图像上下文

 

2._colorControlsFilter=[CIFilter filterWithName:@"CIColorControls"];//设置滤镜

3.[_colorControlsFilter setValue:_image forKey:@"inputImage"];//设置滤镜的输入图片

4.[_colorControlsFilter setValue:[NSNumber numberWithFloat:slider.value] forKey:@"inputSaturation"];//设置滤镜参数(饱和度)

[_colorControlsFilter setValue:[NSNumber numberWithFloat:slider.value] forKey:@"inputBrightness"];//设置滤镜参数(明度)

[_colorControlsFilter setValue:[NSNumber numberWithFloat:slider.value] forKey:@"inputContrast"];//设置滤镜参数(对比度)

5.

CIImage *outputImage= [_colorControlsFilter outputImage];//取得输出图像

CGImageRef temp=[_context createCGImage:outputImage fromRect:[outputImage extent]];

self.imgView.image=[UIImage imageWithCGImage:temp];//转化为CGImage显示在界面中

CGImageRelease(temp);//释放CGImage对象

===============================

 

下面是一个简单的棕色滤镜的使用:

 



?


			
1

			
2

			
3

			
4

			
5

			
6

			
7

			
8

			
9

			
10

			
11

			
12

			
13

			
14
			
			

			

			
NSURL *url = [NSURL fileURLWithPath:path];

			
CIImage *coreImage = [CIImage imageWithContentsOfURL:url];

			
 

			
CIFilter *sepiaFilter = [CIFilter filterWithName:kSepiaFilterName];

			
[sepiaFilter setValue:coreImage forKey:kCIInputImageKey];

			
[sepiaFilter setValue:@(intensity) forKey:@"inputIntensity"];

			
 

			
CIImage *output = [sepiaFilter outputImage];

			
 

			
CGImageRef cgimg = [_context createCGImage:output fromRect:[output extent]];

			
 

			
UIImage *image = [UIImage imageWithCGImage:cgimg];

			
 

			
CGImageRelease(cgimg);
			
			
		


 

=============================

使用中的注意事项:

1.为了防止阻塞主线程，用GCD异步执行滤镜与渲染操作，在获取渲染后的照片以后，返回主线程进行界面的更新。

2 不要重复应用滤镜，即使是同一个滤镜也不要应用两次，因为滤镜后输出照片包含滤镜链，在进行照片渲染是会将滤镜链效果叠加到原始数据上，这时会造成问题。比如，有一个CIImage，上面配置了强度为0.5的棕色滤镜，现在通过滑块将强度改为0.6，这个滤镜应该用在新的CIImage上，如果不是新的CIImage上，那么原来的CIImage中将包含强度为0.5和0.6的棕色滤镜，而我们只想0.6的棕色滤镜，这样就造成错误，这一点在编写程序的时候一定要切忌。

3 app中应用的滤镜太多，改变速率太快，如果是根据滑块来产生事件的话，一定要注意在使用滑条值前要首先判断更改的滤镜当前是否正在起作用，如果该滤镜正在生成新的渲染图片，则应该这次滑块的更新。这一点也是很重要的，弄的不好常常导致程序崩溃，出现内存泄露问题。

========================

 

计算机视觉和图像处理框架

一、概述

图像处理即传感器将图像信号转换为数字信号，再利用计算机对其进行加工处理的过程。其涉及到的方法主要有图像变换、图像编码、图像去噪、图像增强、图像恢复、图像分割、特征提取、图像识别等。 

计算机视觉是一门研究如何让机器(计算机)像人一样看并理解周围世界的学科，其基本理论和研究方法，旨在从图像或者其他数据中获得相关信息。 

从直观的角度看，我们可以说计算机视觉处理视频，图像处理处理图像，而视频由图像构成，当然这个说法只能用作理解，不够严谨。二者更科学的区别是计算机视觉重点研究映射到单幅图像或者多幅图像上的三维场景，如三维重建就是计算机视觉研究的内容；图像处理主要研究一个二维的数字图像，主要针对的是像素级的操作，例如提高对比度、边缘提取、几何变换等。 

计算机视觉和图像处理有很大的交叉，之前我也会把机器学习和模式识别也加入到交叉部分，现在我倒觉得，把这两门学科总结为像数学和英语那样为基础服务更合适。

二、计算机视觉基本流程

一个信息处理系统，总对应着一个或多个Input和Output，计算机视觉系统也不例外，输入为从三维世界中采集到的数据，输出为系统对信息的理解。无外乎就以下几个部分： 

1、数据采集（输入） 

2、预处理: 去噪、增强 

3、特征提取； 

4、检测/跟踪/分割； 

5、高级操作（分类、识别等）（输出） 

关于图像检测与识别的区分： 

目标检测：首先我们已经知道目标是什么，然后去图像中定位它的位置。（人脸检测、行人检测、车辆检测等） 

图像识别：简单的说，是图像再认，从成千上万张图像中找到认识的那一张，犹如我们在大街上遇到一个一个人，然后就会去搜索我们见过的所有人，‘哦！我见过他’，如果再加上‘哦！我见他趟在天安门的水晶棺里！’，那么就等于识别系统识别到了一个图像的id和路径，这就是图像识别的过程，(对于一个从来没有出现过的目标，计算机是无法进行再认的，人也不行)。其处理过程主要包括：图像输入、预处理、特征提取、特征分类、匹配。 

计算机视觉中的识别：是计算机视觉系统处理的高级过程，从再认的角度上讲，它们是一样的，然而出发点和‘识别’过程是不同的两个方面，计算机视觉中的识别重点在某一个领域内，比如行人行为识别（拥抱、指路、打架、偷车等），那么这个系统我们研究的就是人，车辆行为识别（是否酒驾、是否超速等），那就是一个交通监控系统，我们需要定义一个行为：什么是拥抱（偷车）或者什么是酒驾；而图像识别旨在从某一个库中去‘匹配’一个相同或者相似的图像（当然匹配的是特征）。

三、基本图像处理与分析

基于计算机视觉系统的整条主线，总结一下现有的一些理论和方法。 

图像采集：（摄像机标定和矫正） 

预处理：（去噪、增强、金字塔等） 

特征提取：（BRIEF、颜色和直方图特征、FAST特征、Harris特征、HOG、SIFT、SURF等） 

检测：（背景建模、特征+分类器（SVM、Adaboost、Random forest）、显著性监测等） 

跟踪：（Mean-shift、TLD、粒子滤波、卡尔曼） 

高级操作：（BOW） 

上述主要介绍了整个系统中常用到的一些方法和理论，当然计算机视觉和图像处理的内容远不止这些，下面列一些主要的领域，然后再补充一点模式识别的内容： 

人脸检测、人脸识别、目标检测和跟踪、OCR、阴影检测、场景理解、SLAM、视频监控等。



四、为我所用

最后主要总结一下能够为计算机视觉使用的一些理论和方法。 

机器学习：用摄像机模拟人眼，cpu模拟人脑，对于‘白痴’cpu，告诉它学习的方法也就显得自然了。 

模式识别：理论极强的一门学科，和ML、CV相辅相成，基于神经网络的DL大红大紫 

Boosting、clustering、CS（Compressive Sensing）、DT（Decision Trees）、DP（Dynamical Programimg）、EM、GM（Graphical Model）、HMM、ICA、PCA、RF（random forest）、RANSAC、SVD（Singular Value Decomposition）、稀疏表示、SVM、小波、NN 

英语：谁让我们落后于人家呢，师夷长技以制夷 

数学：一切美好的基石，数学分析、概率、统计、矩阵、最优化等 

计算机基础理论和方法：可能像组成原理、体系结构、操作系统、编译原理对算法研究帮助不大，不过数据结构和基本算法的作用却是相当大的，如果是做工程，前面的基础知识就显得很重要了。 

产品：为什么提到产品，因为工业不等于研究，要想自己喜欢的学科真正能够服务于大众，理论和实际必须要结合起来。