Android 平台上使用 MediaCodec , OpenGL 对视频进行处理（建议收藏）-轻识

前言

当前众多的视频SDK中, 大都是封装ffmpeg对视频进行转码, 压缩, 裁剪的处理.
优点是ffmpeg发展到现在已经相对成熟, 支持的视频格式较多。

但是缺点也是显而易见的的。

用cpu来执行视频数据的处理属于软解码, 效率并不高;

以腾讯视频sdk为例, 有20m上下, 这样的sdk合入应用后, 对应用尺寸影响太大.

那可是GPL许可证, 当然, 在国内这个没人在意…

当然目前像是七牛视频sdk也是使用的硬解码方式, 但却是收费的。

最近两个多月因为工作需要, 经历了一番视频录制, 美颜, 裁剪, 转码的需求洗礼, 最终证明通过安卓本地硬解码的方式完全可以实现基本的视频处理. 并且效果很好。

预览也许叫播放更合适. 说道播放, 最简单的有两种选择, 一是MediaPlayer, 一是ExoPlayer

ExoPlayer比MediaPlayer支持的视频格式更多. 但因为我们处理的视频格式只有MP4, 所以MediaPlayer完全胜任.

就是拖动播放进度条时, 显示拖动位置的帧页面, 方便选择. 经过调研, 这个功能跟播放器的关系不大, 跟视频格式强相关, 如果视频的关键帧很少, 那么拖动的时候,显示的画面必然不流畅。

反之, 如果关键帧数据很丰富, 那么画面就会很流畅. 经过测试, 在相同数据状况下, MediaPlayer表现的更好. 当然也可以通过定制修改exoplayer的逻辑达到目的, 但是考虑之下, 已经没有必要。

这个都是支持的.

都支持.

都支持。

经过学习研究, 发现可以通过glsurfaceview或者TextureView基础上使用egl来创建surface, 并交给播放器使用。

只要达到这个目的, 就可以方便的对播放器给出的帧画面进行opengl渲染, 不管是滤镜还是类似抖音上的那些动效, 都可以通过着色器来实现。

可以参考项目: https://github.com/MasayukiSuda/ExoPlayerFilter

通过使用fbo, 并且对每种过滤器(filter)添加时间段属性, 从而实现动效的叠加.

引入的开源库是
https://github.com/MasayukiSuda/Mp4Composer-android
https://github.com/ypresto/android-transcoder/
两个日本人的作品.

视频裁剪同样需要有应用滤镜, 叠加动效的功能. 上面两个项目并不支持, 需要改造扩展.

最终给出一份我的项目代码demo
https://github.com/shaopx/VideoClipEditViewTest

    1.http://bigflake.com/mediacodec/
    这个网址列出的cts测试用例, 可以说是最全面, 最正确的是安卓平台硬解码使用范例了。
    对应一篇简单翻译过的中文文章
    https://www.jianshu.com/p/e6c683d6dbbe

帧缓冲技术简介
https://blog.csdn.net/jxw167/article/details/54985183
https://blog.csdn.net/junzia/article/details/53861519
https://www.jianshu.com/p/78a64b8fb315
https://www.jianshu.com/p/1da4a843e1b2
Surface, SurfaceTexture, Opengl ES , 安卓平台上surface及相关概念的介绍
https://source.android.com/devices/graphics/arch-sf-hwc
关于opengl 着色器的简单介绍
https://blog.jayway.com/2009/12/04/opengl-es-tutorial-for-android-part-ii-building-a-polygon/
通过MediaCodec播放音视频的项目
https://github.com/saki4510t/AudioVideoPlayerSample
https://github.com/googlesamples/android-BasicMediaDecoder
通过MediaPlayer + SurfaceTexture 播放视频
https://github.com/crossle/MediaPlayerSurface
一份视频软解码压缩
https://github.com/fishwjy/VideoCompressor
关于isoparser: 这里是另一个文章: https://blog.csdn.net/qq1263292336/article/details/73197456
各种模仿抖音的动效, 着色器实现的
https://www.jianshu.com/u/fd6f2b25d0f4
https://www.jianshu.com/p/5bb7f2a0da90
使用Camera2 添加opengl效果的示例:
https://github.com/aleksas/androidGlesCamera2
https://github.com/googlecreativelab/shadercam/
FFmpeg 和 OpenGL
https://github.com/githubhaohao/LearnFFmpeg
https://github.com/githubhaohao/NDK_OpenGLES_3_0

原文链接: https://www.jianshu.com/p/cbebba28b12c

-- END --

进技术交流群，扫码添加我的微信：Byte-Flow

获取相关资料和源码