简单了解iOSCVPixelBuffer（下）

　　1、前言
　　在简单了解iOSCVPixelBuffer（中）中，我们了解了颜色空间RGB和YUV的区别以及相关的背景知识，最后对CVPixelBuffer中的kCVPixelFormatType相关类型进行了解读。我们已经对CVPixelBuffer有了初步的了解，在这篇文章中，我们将继续聊聊CVPixelBuffer在使用过程中的一些格式转换；
　　RGB和YUV格式转换
　　在很多场景下，我们需要将不同的颜色空间进行转换，以此来解决对应的工程性问题。以下是转换公式：1。1YUVRGBRY1。13983VGY0。39465U0。58060VBY2。03211U1。2RGBYUVY0。299R0。587G0。114BU0。14713R0。28886G0。436BV0。615R0。51499G0。10001B2、iOS中常见格式转换
　　在iOS中RGB和YUV互相转换的方法会使用到libyuv开源库，打开此链接需要梯子，目前国内也有，需要的自取libyuv开源库国内仓库
　　iOS在CVPixelBuffer转换的上会很复杂，对buffer操作之前需要执行加锁方法CVPixelBufferLockBaseAddress进行保护，在处理完后，执行解锁buffer方法CVPixelBufferUnlockBaseAddress。
　　以下的方法是我在项目中以及平常的开发中所整理，仅供参考；2。1NV12toI420
　　核心NV12ToI420方法是使用了libyuv开源库；NV12toI420（CVPixelBufferRef）I420PixelBufferWithNV12：（CVImageBufferRef）cvpixelBufferRef｛CVPixelBufferLockBaseAddress（cvpixelBufferRef，0）；图像宽度（像素）sizetpixelWidthCVPixelBufferGetWidth（cvpixelBufferRef）；图像高度（像素）sizetpixelHeightCVPixelBufferGetHeight（cvpixelBufferRef）；获取CVPixelBufferRef中的y数据constuint8yframe（uint8）CVPixelBufferGetBaseAddressOfPlane（cvpixelBufferRef，0）；获取CMVImageBufferRef中的uv数据constuint8uvframe（uint8）CVPixelBufferGetBaseAddressOfPlane（cvpixelBufferRef，1）；ystridesizetplane1strideCVPixelBufferGetBytesPerRowOfPlane（cvpixelBufferRef，0）；uvstridesizetplane2strideCVPixelBufferGetBytesPerRowOfPlane（cvpixelBufferRef，1）；yuvsize（内存空间）sizetframesizepixelWidthpixelHeight32；开辟framesize大小的内存空间用于存放转换好的i420数据uint8buffer（unsignedchar）malloc（framesize）；buffer为这段内存的首地址，plane1size代表这一帧中y数据的长度uint8dstubufferpixelWidthpixelHeight；dstu为u数据的首地，plane1size4为u数据的长度uint8dstvdstupixelWidthpixelHeight4；libyuv转换intretNV12ToI420（yframe，（int）plane1stride，uvframe，（int）plane2stride，buffer，（int）pixelWidth，dstu，（int）pixelWidth2，dstv，（int）pixelWidth2，（int）pixelWidth，（int）pixelHeight）；if（ret）｛returnNULL；｝NSDictionarypixelAttributes｛（id）kCVPixelBufferIOSurfacePropertiesKey：｛｝｝；CVPixelBufferRefpixelBufferNULL；CVReturnresultCVPixelBufferCreate（kCFAllocatorDefault，pixelWidth，pixelHeight，kCVPixelFormatType420YpCbCr8Planar，（bridgeCFDictionaryRef）（pixelAttributes），pixelBuffer）；CVPixelBufferLockBaseAddress（pixelBuffer，0）；sizetdCVPixelBufferGetBytesPerRowOfPlane（pixelBuffer，0）；sizetudCVPixelBufferGetBytesPerRowOfPlane（pixelBuffer，1）；sizetvdCVPixelBufferGetBytesPerRowOfPlane（pixelBuffer，2）；unsignedchardsty（unsignedchar）CVPixelBufferGetBaseAddressOfPlane（pixelBuffer，0）；unsignedchardstu（unsignedchar）CVPixelBufferGetBaseAddressOfPlane（pixelBuffer，1）；unsignedchardstv（unsignedchar）CVPixelBufferGetBaseAddressOfPlane（pixelBuffer，2）；unsignedcharsrcybuffer；for（unsignedintrIdx0；rIdxpixelHeight；rIdx，srcypixelWidth，dstyd）｛memcpy（dsty，srcy，pixelWidth）；｝unsignedcharsrcubufferpixelHeightpixelWidth；for（unsignedintrIdx0；rIdxpixelHeight2；rIdx，srcupixelWidth2，dstuud）｛memcpy（dstu，srcu，pixelWidth2）；｝unsignedcharsrcvbufferpixelHeightpixelWidth54；for（unsignedintrIdx0；rIdxpixelHeight2；rIdx，srcvpixelWidth2，dstvvd）｛memcpy（dstv，srcv，pixelWidth2）；｝CVPixelBufferUnlockBaseAddress（pixelBuffer，0）；if（result！kCVReturnSuccess）｛NSLog（Unabletocreatecvpixelbufferd，result）；｝free（buffer）；CVPixelBufferRelease（cvpixelBufferRef）；returnpixelBuffer；｝
　　C音视频学习资料免费获取方法：关注音视频开发T哥，点击链接即可免费获取2023年最新C音视频开发进阶独家免费学习大礼包！2。2NV12toBGRA
　　核心NV12ToARGB方法同样使用了libyuv开源库NV12toBGRA（CVPixelBufferRef）RGBAPixelBufferWithNV12：（CVImageBufferRef）pixelBufferNV12｛CVPixelBufferLockBaseAddress（pixelBufferNV12，0）；图像宽度（像素）sizetpixelWidthCVPixelBufferGetWidth（pixelBufferNV12）；图像高度（像素）sizetpixelHeightCVPixelBufferGetHeight（pixelBufferNV12）；ystridesizetsrcstrideyCVPixelBufferGetBytesPerRowOfPlane（pixelBufferNV12，0）；uvstridesizetsrcstrideuvCVPixelBufferGetBytesPerRowOfPlane（pixelBufferNV12，1）；获取CVImageBufferRef中的y数据uint8tsrcy（unsignedchar）CVPixelBufferGetBaseAddressOfPlane（pixelBufferNV12，0）；获取CMVImageBufferRef中的uv数据uint8tsrcuv（unsignedchar）CVPixelBufferGetBaseAddressOfPlane（pixelBufferNV12，1）；创建一个空的32BGRA格式的CVPixelBufferRefNSDictionarypixelAttributes｛（id）kCVPixelBufferIOSurfacePropertiesKey：｛｝｝；CVPixelBufferRefpixelBufferRGBANULL；CVReturnresultCVPixelBufferCreate（kCFAllocatorDefault，pixelWidth，pixelHeight，kCVPixelFormatType32BGRA，（bridgeCFDictionaryRef）pixelAttributes，pixelBufferRGBA）；kCVPixelFormatType32BGRAif（result！kCVReturnSuccess）｛NSLog（Unabletocreatecvpixelbufferd，result）；returnNULL；｝resultCVPixelBufferLockBaseAddress（pixelBufferRGBA，0）；if（result！kCVReturnSuccess）｛CFRelease（pixelBufferRGBA）；NSLog（Failedtolockbaseaddress：d，result）；returnNULL；｝得到新创建的CVPixelBufferRef中rgb数据的首地址uint8trgbdata（uint8）CVPixelBufferGetBaseAddress（pixelBufferRGBA）；使用libyuv为rgbdata写入数据，将NV12转换为BGRAsizetbgraStrideCVPixelBufferGetBytesPerRowOfPlane（pixelBufferRGBA，0）；intretNV12ToARGB（srcy，（int）srcstridey，srcuv，（int）srcstrideuv，rgbdata，（int）bgraStride，（int）pixelWidth，（int）pixelHeight）；if（ret）｛NSLog（ErrorconvertingNV12VideoFrametoBGRA：d，result）；CFRelease（pixelBufferRGBA）；returnNULL；｝CVPixelBufferUnlockBaseAddress（pixelBufferRGBA，0）；CVPixelBufferUnlockBaseAddress（pixelBufferNV12，0）；returnpixelBufferRGBA；｝2。3CVPixelBufferReftoUIImage
　　以下方法可以将视频帧转成单张图片（比较适用于间隔时间长的截图，高频的使用这个方法很可能会引起内存的问题）buffertoimage（UIImage）convert：（CVPixelBufferRef）pixelBuffer｛CIImageciImage〔CIImageimageWithCVPixelBuffer：pixelBuffer〕；CIContexttemporaryContext〔CIContextcontextWithOptions：nil〕；CGImageRefvideoImage〔temporaryContextcreateCGImage：ciImagefromRect：CGRectMake（0，0，CVPixelBufferGetWidth（pixelBuffer），CVPixelBufferGetHeight（pixelBuffer））〕；UIImageuiImage〔UIImageimageWithCGImage：videoImage〕；CGImageRelease（videoImage）；returnuiImage；｝2。4CGImageReftoCVPixelBufferRef
　　以下方法会通过单张图片转成一个PixelBuffer（适用于将某一帧图片转成Buffer添加字幕或者美颜贴纸等等）imagetobuffer（CVPixelBufferRef）pixelBufferFromCGImage：（CGImageRef）image｛NSDictionaryoptions｛（NSString）kCVPixelBufferCGImageCompatibilityKey：YES，（NSString）kCVPixelBufferCGBitmapContextCompatibilityKey：YES，（NSString）kCVPixelBufferIOSurfacePropertiesKey：〔NSDictionarydictionary〕｝；CVPixelBufferRefpxbufferNULL；CGFloatframeWidthCGImageGetWidth（image）；CGFloatframeHeightCGImageGetHeight（image）；CVReturnstatusCVPixelBufferCreate（kCFAllocatorDefault，frameWidth，frameHeight，kCVPixelFormatType32BGRA，（bridgeCFDictionaryRef）options，pxbuffer）；NSParameterAssert（statuskCVReturnSuccesspxbuffer！NULL）；CVPixelBufferLockBaseAddress（pxbuffer，0）；voidpxdataCVPixelBufferGetBaseAddress（pxbuffer）；NSParameterAssert（pxdata！NULL）；CGColorSpaceRefrgbColorSpaceCGColorSpaceCreateDeviceRGB（）；CGContextRefcontextCGBitmapContextCreate（pxdata，frameWidth，frameHeight，8，CVPixelBufferGetBytesPerRow（pxbuffer），rgbColorSpace，（CGBitmapInfo）kCGImageAlphaNoneSkipFirst）；NSParameterAssert（context）；CGContextConcatCTM（context，CGAffineTransformIdentity）；CGContextDrawImage（context，CGRectMake（0，0，frameWidth，frameHeight），image）；CGColorSpaceRelease（rgbColorSpace）；CGContextRelease（context）；CVPixelBufferUnlockBaseAddress（pxbuffer，0）；returnpxbuffer；｝2。5BufferDatatoUIImage
　　以下方法会通过内存数据转成图片（根据内存的地址去取出存储的buffer并生成图片，其实这里的内存的地址指向的就是Buffer）NV12toimage（UIImage）YUVtoUIImage：（int）wh：（int）hbuffer：（unsignedchar）buffer｛YUV（NV12）CIImageUIImageConversionNSDictionarypixelAttributes｛（NSString）kCVPixelBufferIOSurfacePropertiesKey：｛｝｝；CVPixelBufferRefpixelBufferNULL；CVReturnresultCVPixelBufferCreate（kCFAllocatorDefault，w，h，kCVPixelFormatType420YpCbCr8BiPlanarVideoRange，（bridgeCFDictionaryRef）（pixelAttributes），pixelBuffer）；CVPixelBufferLockBaseAddress（pixelBuffer，0）；voidyDestPlaneCVPixelBufferGetBaseAddressOfPlane（pixelBuffer，0）；Hereych0isYPlaneofYUV（NV12）data。unsignedcharych0buffer；unsignedcharych1bufferwh；memcpy（yDestPlane，ych0，wh）；voiduvDestPlaneCVPixelBufferGetBaseAddressOfPlane（pixelBuffer，1）；Hereych1isUVPlaneofYUV（NV12）data。memcpy（uvDestPlane，ych1，wh0。5）；CVPixelBufferUnlockBaseAddress（pixelBuffer，0）；if（result！kCVReturnSuccess）｛NSLog（Unabletocreatecvpixelbufferd，result）；｝CIImageConversionif（available（iOS13。0，））｛CIImagecoreImage〔CIImageimageWithCVPixelBuffer：pixelBuffer〕；CIContexttemporaryContext〔CIContextcontextWithOptions：nil〕；CGImageRefvideoImage〔temporaryContextcreateCGImage：coreImagefromRect：CGRectMake（0，0，w，h）〕；UIImagefinalImage〔〔UIImagealloc〕initWithCGImage：videoImage〕；CVPixelBufferRelease（pixelBuffer）；CGImageRelease（videoImage）；returnfinalImage；｝returnnil；｝；2。6BufferToNSData（NSData）dataFrompixelBuffer：（CVPixelBufferRef）pixelBuffer｛CVPixelBufferLockBaseAddress（pixelBuffer，0）；sizetpixelWidthCVPixelBufferGetWidth（pixelBuffer）；sizetpixelHeightCVPixelBufferGetHeight（pixelBuffer）；sizetysizepixelWidthpixelHeight；sizetuvsizeysize2；uint8tyuvframe（uint8t）malloc（uvsizeysize）；uint8tyframe（uint8t）CVPixelBufferGetBaseAddressOfPlane（pixelBuffer，0）；memcpy（yuvframe，yframe，ysize）；uint8tuvframe（uint8t）CVPixelBufferGetBaseAddressOfPlane（pixelBuffer，1）；memcpy（yuvframeysize，uvframe，uvsize）；CVPixelBufferUnlockBaseAddress（pixelBuffer，0）；NSDatadata〔NSDatadataWithBytesNoCopy：yuvframelength：ysizeuvsize〕；returndata；｝
　　iOS中格式转换涉及到C、OC、C的一些方法，所以很多方法看起来会非常的冗余，需要一定的基础和持续的学习。还有很多是通过OpenGL来绘制图像的方法，更是难得看懂，所以初学者做好笔记，保持耐心，把常用的方法梳理起来，最后封装到工具类中。等到机缘巧合的时候再来深入了解。3、参考文献
　　一文读懂YUV的采样与格式
　　原文链接：简单了解iOSCVPixelBuffer（下）掘金