iOS8 Core Image In Swift:自动改善图像以及内置滤镜的使用

简介: iOS8 Core Image In Swift:自动改善图像以及内置滤镜的使用iOS8 Core Image In Swift:更复杂的滤镜iOS8 Core Image In Swift:人脸检测以及马赛克iOS8 Core Image In Swift:视频实时滤镜Core Image是一个很强大的框架。

iOS8 Core Image In Swift:自动改善图像以及内置滤镜的使用

iOS8 Core Image In Swift:更复杂的滤镜

iOS8 Core Image In Swift:人脸检测以及马赛克

iOS8 Core Image In Swift:视频实时滤镜


Core Image是一个很强大的框架。它可以让你简单地应用各种滤镜来处理图像,比如修改鲜艳程度, 色泽, 或者曝光。 它利用GPU(或者CPU)来非常快速、甚至实时地处理图像数据和视频的帧。并且隐藏了底层图形处理的所有细节,通过提供的API就能简单的使用了,无须关心OpenGL或者OpenGL ES是如何充分利用GPU的能力的,也不需要你知道GCD在其中发挥了怎样的作用,Core Image处理了全部的细节。 

Core Image框架给我们提供了这些东西:

  • 内置的图片滤镜
  • 特征检测能力(如人脸识别)
  • 支持自动改善图像
  • 能利用多个滤镜组合成一个自定义滤镜


自动改善图像

先上一个简单的例子。用Single View Application的工程模板建立一个工程,这个工程建好后只有一个AppDelegate和一个ViewController,另外还有一个Main.storyboard,在Main.storyboard里已经准备好一个ViewController了,我们在这个ViewController里放置一个UIImageView,调整其frame:


除此之外,因为UIImageView是默认拉伸图片的,我们不想让它变形,把它的ContentMode设置为Aspect Fit。顺便把Auto Layout和Size Classes关掉。

最后在拖两个按钮进来,一个用于显示原图,一个用于自动改善图像,整个ViewController看起来像这样:


接下来在ViewController中增加对应的IBAction方法以及IBOutlet属性:

class ViewController: UIViewController {

    @IBOutlet var imageView: UIImageView!

    

    lazy var originalImage: UIImage = {

        return UIImage(named: "Image")

    }()

......

一个连接到Storyboard的imageView,还有一个只懒加载一次的originalImage属性,这个属性在后面会用到很多次,这里有我 整个工程用到的image

然后在ViewDidLoad里像这样:

override func viewDidLoad() {

    super.viewDidLoad()

    self.imageView.layer.shadowOpacity = 0.8

    self.imageView.layer.shadowColor = UIColor.blackColor().CGColor

    self.imageView.layer.shadowOffset = CGSize(width: 1, height: 1)

    

    self.imageView.image = originalImage

}

只做了两件事:一是给imageView加上了阴影边框,只是为了好看;二是把originalImage赋值给imageView。

一行代码显示原图:

@IBAction func showOriginalImage() {

    self.imageView.image = originalImage

}

下面是自动改善的代码,我先贴出来,再慢慢说,有一个直观的效果会更有兴趣一些:

@IBAction func autoAdjust() {

    var inputImage = CIImage(image: originalImage)

    let filters = inputImage.autoAdjustmentFilters() as [CIFilter]

    for filter: CIFilter in filters {

        filter.setValue(inputImage, forKey: kCIInputImageKey)

        inputImage = filter.outputImage

    }

    self.imageView.image = UIImage(CIImage: inputImage)

}

把IBAction和IBOutlet连接对之后,运行起来应该就能看到以下效果了:


点击自动改善就能看到效果了,可能运行会有点慢,因为我们还没做优化,如果觉得改善效果不明显的话,可以多点击几次原图来对比一下。

虽然有些问题,但是已经不妨碍我们继续探索了。上面的自动改善代码显式地用到了两个类(我为什么在这里要用显式这个词?):CIImage和CIFilter,其中:

  • CIImage:这是一个模型对象,它保存能构建图像的数据,可以是图像的Data,可以是一个文件,也可以是CIFilter输出的对象。
  • CIFilter:滤镜,不同的CIFilter实例能表示不同的滤镜效果,不同的滤镜所能设置的参数也不尽相同,但它至少需要一个输入参数以及能生成一个输出对象。
另外Core Image的自动改善功能能智能的对图像的柱状图(histogram?)、人脸区域以及元数据进行分析,只需要传入一个Image作为输入参数,就能得到一组能使图像改善的滤镜。
CIImage的实例能通过UIImage来得到,然后通过两个API: autoAdjustmentFiltersautoAdjustmentFiltersWithOptions:取到能使图像得到改善的滤镜数组,在大多数情况下,你可能会用提供Option字典的那个API,因为你能设置:
  • 图片的方向,这对CIRedEyeCorrection、CIFaceBalance等滤镜来说格外重要,因为Core Image需要精确的对面部进行检测。
  • 是否只需要消除红眼(设置kCIImageAutoAdjustEnhance为false)。
  • 是否使用除了消除红眼以外的所有的滤镜(设置kCIImageAutoAdjustRedEye为false)。
如果你想提供Option字典,那么可以这样使用:
NSDictionary *options = @{ CIDetectorImageOrientation :
                 [[image properties] valueForKey:kCGImagePropertyOrientation] };
NSArray *adjustments = [myImage autoAdjustmentFiltersWithOptions:options];
在这个例子中,我就不传入Option字典了,因为不涉及图片方向的问题。
想知道自动改善功能用了哪些滤镜?只需要把filter对象打印出来即可,一般来说,会是这5个滤镜:
  • CIRedEyeCorrection:修复因相机的闪光灯导致的各种红眼
  • CIFaceBalance:调整肤色
  • CIVibrance:在不影响肤色的情况下,改善图像的饱和度
  • CIToneCurve:改善图像的对比度
  • CIHighlightShadowAdjust:改善阴影细节
大部分情况下这些滤镜就够用了。
之前也提到了,不同的CIFilter会有不同的参数,如果我们想知道CIFilter具体有哪些参数,可以调用它自己的 inputKeys方法,得到它支持的输入参数的列表,或者调用它的 outputKeys方法,得到它的输出参数的列表(一般我们只用outpuntImage就行了),又或者直接调用它的 attributes方法,得到它的所有信息,包括它的名字、所属的分类、输入参数、输出参数、各参数的取值范围以及默认值等。
调用CIFilter的inputKeys方法可以看到它的输入参数:

for filter: CIFilter in filters {

    let inputKeys = filter.inputKeys()

    print(filter.name())

    println(inputKeys)

...

打印结果:

CIFaceBalance[inputImage, inputOrigI, inputOrigQ, inputStrength, inputWarmth]
CIVibrance[inputImage, inputAmount]
CIToneCurve[inputImage, inputPoint0, inputPoint1, inputPoint2, inputPoint3, inputPoint4]
CIHighlightShadowAdjust[inputImage, inputRadius, inputShadowAmount, inputHighlightAmount]

几乎所有的滤镜都有inputImage这个输入参数,我们可以直接用系统预置的各种key来设置参数(如kCIInputImageKey),系统已经预置了大部分常用的key,如果你发现有的key系统没有预置,你可以直接使用获取的key名的字符串来作key,如:

filter.setValue(inputImage, forKey: kCIInputImageKey)

//两者设置方式完全一样

filter.setValue(inputImage, forKey: "inputImage") 

对自动改善图像功能来说,我们不需要知道太多的细节,设置inputImage就可以了。

接下来填坑。

上面的代码有两个问题:一是在每次使用自动改善的过程中感觉到明显的慢;二是图像在自动改善后变形了。原图和改善后的图像对比:


我把UIImageView的contentMode设置为Aspect Fit,就是不希望图片发生变形,而是按等比例缩放,如果把UIImageView的背景色设置为红色的话,在显示原图的时候可以看到上下均有红色,而改善之后的图片就没有红色。由于苹果表示UIImage是完全支持CIImage的,所以文档中并没有指出出现这个问题的原因,我参考了下面这个贴子:

http://stackoverflow.com/questions/15878060/setting-uiimageview-content-mode-after-applying-a-cifilter

上面有说通过UIImage(CIImage:)方法得到的UIImage并不是一个基于CGImage的标准UIImage,所以不能按一般的显示规则去理解,因此我们要换种方式去得到一个真正的UIImage,解决方法放在下面再说。

在之前介绍CIImage和CIFilter的时候我们用到显式这个词,因为在代码里可以直观的看到使用了这两个类,CIImage提供图像的信息,CIFilter提供滤镜,当我们调用CIFilter的outputImage方法时,此时Core Image并不会去渲染图像,而是通过计算各种参数,并把计算结果存储到CIImage对象中,只有当真正将要显示的时候,才会通过第三个对象去渲染。这个对象就是CIContext

CIContext是Core Image处理图像的关键,它和Core Graphics的CGContext类似但又与之不同,CIContext可以被重用,不必每次都新建一个,同时在输出CIImage的时候又必须有一个,简而言之,Core Image通过CIContext来渲染CIFilter产生的对象

在上面的例子中我们没有使用CIContext,但在调用UIImage(CIImage:)的时候Core Image隐式地在内部使用了CIContext,也就是把我们需要手动做的工作自动地完成了。但是这就有了一个问题,在每次调用UIImage(CIImage:)的时候它都会重新创建一个CIContext对象,这在用完即毁的情况下不会造成很大的影响,但在反复地使用滤镜的过程中就很影响性能了,为了防止这种情况,我们把CIContext对象重用起来,让ViewController持有一个懒加载的属性: 

lazy var context: CIContext = {

    return CIContext(options: nil)

}()

CIContext在初始化的时候需要一个字典,可以通过kCIContextUseSoftwareRenderer创建一个基于CPU的CIContext对象,默认是创建基于GPU的CIContext对象,不同之处在于GPU的CIContext对象处理起来会更快,而基于CPU的CIContext对象除了支持更大的图像以外,还能在后台处理。我们传nil创建基于GPU的CIContext对象就可以了。


有了可重用的CIContext对象,在创建UIImage的时候需要这样:  

@IBAction func autoAdjust() {

    var inputImage = CIImage(image: originalImage)

    let filters = inputImage.autoAdjustmentFilters() as [CIFilter]

    for filter: CIFilter in filters {

        filter.setValue(inputImage, forKey: kCIInputImageKey)

        inputImage = filter.outputImage

    }

    //self.imageView.image = UIImage(CIImage: inputImage)

    let cgImage = context.createCGImage(inputImage, fromRect: inputImage.extent())

    self.imageView.image = UIImage(CGImage: cgImage)

}

虽然在第一次执行自动改善的时候会有点慢(因为要创建CIContext对象),但是在反复执行的情况下性能改善了很多,而且这样一来还解决了第二个问题,即ContentMode的问题。如果没有特殊情况,应该总是用这种方式创建一个CGImage,再把CGImage转成UIImage。


使用各种内置滤镜

通过CIFilter的类方法 filterNamesInCategory()可以得到属于某个类别下的所有滤镜:

func showFiltersInConsole() {

    let filterNames = CIFilter.filterNamesInCategory(kCICategoryBuiltIn)

    println(filterNames.count)

    println(filterNames)

    for filterName in filterNames {

        let filter = CIFilter(name: filterName as String)

        let attributes = filter.attributes()

        println(attributes)

    }

}

在这个方法里传入的类别参数是 kCICategoryBuiltIn,表示会输出iOS8 Core Image的所有滤镜:

共有127种。当然了,并不是所有的滤镜都是常用的,我们可以通过 kCICategoryColorEffect这个key取到一些常见的滤镜,就像iOS7相机应用里的一样,这些滤镜一般不需要设置什么参数(其中有些也可以设置不同的参数),只需要同上文一样,设置inputImage就行了。把这个类别下的滤镜打印一些出来看看:

我选中了其中一个滤镜,这是一个单色滤镜,虽然看上去内容很多,但并不复杂,CIAttributeFilterDisplayName是它的显示名,inputImage是参数,每个参数的详细信息通过一个字典来展示,其中包括了这个参数的类型(CIAttributeTypeImage),以及参数的Class(CIImage),之后是这个滤镜所属的类别,一个滤镜可以同时属于多个类别,最后是这个滤镜在实例化的时候需要提供的字符串,即CIPhotoEffectMono。
它上面的CIPhotoEffectInstant以及下面的CIPhotoEffectNoir、CIPhotoEffectProcess与之类似,都只需要一个inputImage参数,是不是很简单?这些滤镜的参数已经被内部设置好了,我们直接使用即可。
为了方便使用,我们给ViewController持有一个CIFilter属性,在其他的方法中实例化CIFilter,同时用一个公共的方法来显示打上滤镜后的图像:

class ViewController: UIViewController {

    @IBOutlet var imageView: UIImageView!

    

    lazy var originalImage: UIImage = {

        return UIImage(named: "Image")

    }()

    lazy var context: CIContext = {

        return CIContext(options: nil)

    }()

    var filter: CIFilter!

......

// MARK: - 怀旧

@IBAction func photoEffectInstant() {

    filter = CIFilter(name: "CIPhotoEffectInstant")

    outputImage()

}

// MARK: - 黑白

@IBAction func photoEffectNoir() {

    filter = CIFilter(name: "CIPhotoEffectNoir")

    outputImage()

}

// MARK: - 色调

@IBAction func photoEffectTonal() {

    filter = CIFilter(name: "CIPhotoEffectTonal")

    outputImage()

}

// MARK: - 岁月

@IBAction func photoEffectTransfer() {

    filter = CIFilter(name: "CIPhotoEffectTransfer")

    outputImage()

}

// MARK: - 单色

@IBAction func photoEffectMono() {

    filter = CIFilter(name: "CIPhotoEffectMono")

    outputImage()

}

// MARK: - 褪色

@IBAction func photoEffectFade() {

    filter = CIFilter(name: "CIPhotoEffectFade")

    outputImage()

}

// MARK: - 冲印

@IBAction func photoEffectProcess() {

    filter = CIFilter(name: "CIPhotoEffectProcess")

    outputImage()

}

// MARK: - 铬黄

@IBAction func photoEffectChrome() {

    filter = CIFilter(name: "CIPhotoEffectChrome")

    outputImage()

} 

func outputImage() {

    println(filter)

    let inputImage = CIImage(image: originalImage)

    filter.setValue(inputImage, forKey: kCIInputImageKey)

    let outputImage =  filter.outputImage

    let cgImage = context.createCGImage(outputImage, fromRect: outputImage.extent())

    self.imageView.image = UIImage(CGImage: cgImage)

}

这些都写好后,在UI上把各种按钮及touch事件绑定好,UI看起来像这样:


运行后各种滤镜效果:


以上就是对Core Image内置滤镜的简单使用,如果你不需要对滤镜做更加细粒度控制的话,上述方法就够用了。


GitHub下载地址

我在GitHub上会保持更新。


UPDATED:

另外不知道有没有人注意到我在注释里用到了 // MARK: -,这和Objective-C的 #pragma mark -作用一样。


参考资料:

https://developer.apple.com/library/mac/documentation/graphicsimaging/conceptual/CoreImaging/ci_intro/ci_intro.html

相关实践学习
基于阿里云DeepGPU实例,用AI画唯美国风少女
本实验基于阿里云DeepGPU实例,使用aiacctorch加速stable-diffusion-webui,用AI画唯美国风少女,可提升性能至高至原性能的2.6倍。
目录
相关文章
|
3月前
|
存储 数据建模 iOS开发
iOS设备功能和框架: 什么是 Core Data,它在 iOS 中的作用是什么?
iOS设备功能和框架: 什么是 Core Data,它在 iOS 中的作用是什么?
33 1
|
3月前
|
定位技术 iOS开发
iOS设备功能和框架: 如何使用 Core Location 获取设备的位置信息?
iOS设备功能和框架: 如何使用 Core Location 获取设备的位置信息?
19 0
|
3月前
|
机器学习/深度学习 PyTorch TensorFlow
iOS设备功能和框架: 什么是 Core ML?如何在应用中集成机器学习模型?
iOS设备功能和框架: 什么是 Core ML?如何在应用中集成机器学习模型?
27 0
|
3月前
|
iOS开发
iOS设备功能和框架: 如何使用 Core Animation 创建动画效果?
iOS设备功能和框架: 如何使用 Core Animation 创建动画效果?
101 0
|
8月前
|
iOS开发
iOS Image根据TintColor进行绘制图片(UIImageRenderingMode)
iOS Image根据TintColor进行绘制图片(UIImageRenderingMode)
103 0
|
并行计算 算法 Swift
iOS 利用 Metal 实现滤镜与动效滤镜
iOS 利用 Metal 实现滤镜与动效滤镜
iOS 利用 Metal 实现滤镜与动效滤镜
|
存储 缓存 数据可视化
Core Image:iOS图像处理技术追踪
Core Image是苹果官方提供的图像处理框架,通过丰富的built-in(内置)或自定义Filter(过滤器)高效处理静态图片、动态图片或视频。开发者还可以通过构造Filter链或自定义Core Image Kernel来实现更丰富的效果。 在WWDC20中,苹果官方针对Core Image技术在以下三方面做了优化:Core Image对视频/动图的支持、基于Metal构建Core Image (CI) Kernel以及Core Image的Debug支持。 这三方面会在下文逐一提到,文末笔者也会浅谈Core Image在手淘图片库中的应用可能以及对Core Image技术的展望。
1818 0
Core Image:iOS图像处理技术追踪
|
iOS开发
IOS开发---菜鸟学习之路--(十六)-将Image转换为Base64
我们直接在.m文件的引用头文件部分 和 @interface   AddPictureViewController ()  之间  加入 增加部分的代码 然后就可以使用图片转Base64了 #import "AddPictureViewController.
906 0
|
iOS开发
IOS开发---菜鸟学习之路--(十四)-将BASE64图片转换成Image
本文基本全部都是代码 首先是.H文件 1 #import 2 3 @interface Base64AndImageHelp : NSObject 4 - (NSString*)encodeURL:(NSString *)string; 5 +(id)mydataWithBas...
910 0