Android MediaCodec 解码H264/H265码流视频_android h265 mediacodec-程序员宅基地
技术标签： Android音视频相关专栏 h.264 MediaCodec android H265
音视频学习H264系列：H264简介
音视频学习H264系列：H264视频编码原理基础分析
音视频学习H264系列：H264视频编码原理进阶分析
音视频学习H264系列：MediaCodec H264/H265解码
音视频学习H264系列：终结篇实战
序言
本篇是有关音视频学习系列中的H264 / H265的解码视频部分，文章大部分记录直接上干货，编码原理基础部分【音视频学习H264系列：H264视频编码原理】后续再补上。欢迎留言讨论。
使用MediaCodec 解码H264/H265码流视频，那必须谈下MediaCodec这个神器。附官网数据流程图如下：
input：ByteBuffer输入方；
output：ByteBuffer输出方；
- 使用者从MediaCodec请求一个空的输入buffer（ByteBuffer），填充满数据后将它传递给MediaCodec处理。
- MediaCodec处理完这些数据并将处理结果输出至一个空的输出buffer（ByteBuffer）中。
- 使用者从MediaCodec获取输出buffer的数据，消耗掉里面的数据，使用完输出buffer的数据之后，将其释放回编解码。
H264码流解码示例代码如下（基本都做了注释）
package com.zqfdev.h264decodedemo;
import android.media.MediaCodec;
import android.media.MediaFormat;
import android.util.Log;
import android.view.Surface;
import java.io.ByteArrayOutputStream;
import java.io.DataInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.nio.ByteBuffer;
/**
* @author zhangqingfa
* @createDate 2020/12/10 11:39
* @description 解码H264播放
*/
public class H264DeCodePlay {
private static final String TAG = "zqf-dev";
//视频路径
private String videoPath;
//使用android MediaCodec解码
private MediaCodec mediaCodec;
private Surface surface;
H264DeCodePlay(String videoPath, Surface surface) {
this.videoPath = videoPath;
this.surface = surface;
initMediaCodec();
}
private void initMediaCodec() {
try {
Log.e(TAG, "videoPath " + videoPath);
//创建解码器 H264的Type为 AAC
mediaCodec = MediaCodec.createDecoderByType("video/avc");
//创建配置
MediaFormat mediaFormat = MediaFormat.createVideoFormat("video/avc", 540, 960);
//设置解码预期的帧速率【以帧/秒为单位的视频格式的帧速率的键】
mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 15);
//配置绑定mediaFormat和surface
mediaCodec.configure(mediaFormat, surface, null, 0);
} catch (IOException e) {
e.printStackTrace();
//创建解码失败
Log.e(TAG, "创建解码失败");
}
}
/**
* 解码播放
*/
void decodePlay() {
mediaCodec.start();
new Thread(new MyRun()).start();
}
private class MyRun implements Runnable {
@Override
public void run() {
try {
//1、IO流方式读取h264文件【太大的视频分批加载】
byte[] bytes = null;
bytes = getBytes(videoPath);
Log.e(TAG, "bytes size " + bytes.length);
//2、拿到 mediaCodec 所有队列buffer[]
ByteBuffer[] inputBuffers = mediaCodec.getInputBuffers();
//开始位置
int startIndex = 0;
//h264总字节数
int totalSize = bytes.length;
//3、解析
while (true) {
//判断是否符合
if (totalSize == 0 || startIndex >= totalSize) {
break;
}
//寻找索引
int nextFrameStart = findByFrame(bytes, startIndex + 1, totalSize);
if (nextFrameStart == -1) break;
MediaCodec.BufferInfo info = new MediaCodec.BufferInfo();
// 查询10000毫秒后，如果dSP芯片的buffer全部被占用，返回-1；存在则大于0
int inIndex = mediaCodec.dequeueInputBuffer(10000);
if (inIndex >= 0) {
//根据返回的index拿到可以用的buffer
ByteBuffer byteBuffer = inputBuffers[inIndex];
//清空缓存
byteBuffer.clear();
//开始为buffer填充数据
byteBuffer.put(bytes, startIndex, nextFrameStart - startIndex);
//填充数据后通知mediacodec查询inIndex索引的这个buffer,
mediaCodec.queueInputBuffer(inIndex, 0, nextFrameStart - startIndex, 0, 0);
//为下一帧做准备，下一帧首就是前一帧的尾。
startIndex = nextFrameStart;
} else {
//等待查询空的buffer
continue;
}
//mediaCodec 查询 "mediaCodec的输出方队列"得到索引
int outIndex = mediaCodec.dequeueOutputBuffer(info, 10000);
Log.e(TAG, "outIndex " + outIndex);
if (outIndex >= 0) {
try {
//暂时以休眠线程方式放慢播放速度
Thread.sleep(33);
} catch (InterruptedException e) {
e.printStackTrace();
}
//如果surface绑定了，则直接输入到surface渲染并释放
mediaCodec.releaseOutputBuffer(outIndex, true);
} else {
Log.e(TAG, "没有解码成功");
}
}
} catch (IOException e) {
e.printStackTrace();
}
}
}
//读取一帧数据
private int findByFrame(byte[] bytes, int start, int totalSize) {
for (int i = start; i < totalSize - 4; i++) {
//对output.h264文件分析 可通过分隔符 0x00000001 读取真正的数据
if (bytes[i] == 0x00 && bytes[i + 1] == 0x00 && bytes[i + 2] == 0x00 && bytes[i + 3] == 0x01) {
return i;
}
}
return -1;
}
private byte[] getBytes(String videoPath) throws IOException {
InputStream is = new DataInputStream(new FileInputStream(new File(videoPath)));
int len;
int size = 1024;
byte[] buf;
ByteArrayOutputStream bos = new ByteArrayOutputStream();
buf = new byte[size];
while ((len = is.read(buf, 0, size)) != -1)
bos.write(buf, 0, len);
buf = bos.toByteArray();
return buf;
}
}
H265示例代码如下
package com.zqfdev.h264decodedemo;
import android.media.MediaCodec;
import android.media.MediaFormat;
import android.util.Log;
import android.view.Surface;
import java.io.ByteArrayOutputStream;
import java.io.DataInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.nio.ByteBuffer;
/**
* @author zhangqingfa
* @createDate 2020/12/10 11:39
* @description 解码H264播放
*/
public class H265DeCodePlay {
private static final String TAG = "zqf-dev";
//视频路径
private String videoPath;
//使用android MediaCodec解码
private MediaCodec mediaCodec;
private Surface surface;
H265DeCodePlay(String videoPath, Surface surface) {
this.videoPath = videoPath;
this.surface = surface;
initMediaCodec();
}
private void initMediaCodec() {
try {
Log.e(TAG, "videoPath " + videoPath);
//创建解码器 H264的Type为 AAC
mediaCodec = MediaCodec.createDecoderByType("video/hevc");
//创建配置
MediaFormat mediaFormat = MediaFormat.createVideoFormat("video/hevc", 368, 384);
//设置解码预期的帧速率【以帧/秒为单位的视频格式的帧速率的键】
mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 15);
//配置绑定mediaFormat和surface
mediaCodec.configure(mediaFormat, surface, null, 0);
} catch (IOException e) {
e.printStackTrace();
//创建解码失败
Log.e(TAG, "创建解码失败");
}
}
/**
* 解码播放
*/
void decodePlay() {
mediaCodec.start();
new Thread(new MyRun()).start();
}
private class MyRun implements Runnable {
@Override
public void run() {
try {
//1、IO流方式读取h264文件【太大的视频分批加载】
byte[] bytes = null;
bytes = getBytes(videoPath);
Log.e(TAG, "bytes size " + bytes.length);
//2、拿到 mediaCodec 所有队列buffer[]
ByteBuffer[] inputBuffers = mediaCodec.getInputBuffers();
//开始位置
int startIndex = 0;
//h264总字节数
int totalSize = bytes.length;
//3、解析
while (true) {
//判断是否符合
if (totalSize == 0 || startIndex >= totalSize) {
break;
}
//寻找索引
int nextFrameStart = findByFrame(bytes, startIndex + 1, totalSize);
if (nextFrameStart == -1) break;
Log.e(TAG, "nextFrameStart " + nextFrameStart);
MediaCodec.BufferInfo info = new MediaCodec.BufferInfo();
// 查询10000毫秒后，如果dSP芯片的buffer全部被占用，返回-1；存在则大于0
int inIndex = mediaCodec.dequeueInputBuffer(10000);
if (inIndex >= 0) {
//根据返回的index拿到可以用的buffer
ByteBuffer byteBuffer = inputBuffers[inIndex];
//清空byteBuffer缓存
byteBuffer.clear();
//开始为buffer填充数据
byteBuffer.put(bytes, startIndex, nextFrameStart - startIndex);
//填充数据后通知mediacodec查询inIndex索引的这个buffer,
mediaCodec.queueInputBuffer(inIndex, 0, nextFrameStart - startIndex, 0, 0);
//为下一帧做准备，下一帧首就是前一帧的尾。
startIndex = nextFrameStart;
} else {
//等待查询空的buffer
continue;
}
//mediaCodec 查询 "mediaCodec的输出方队列"得到索引
int outIndex = mediaCodec.dequeueOutputBuffer(info, 10000);
Log.e(TAG, "outIndex " + outIndex);
if (outIndex >= 0) {
try {
//暂时以休眠线程方式放慢播放速度
Thread.sleep(33);
} catch (InterruptedException e) {
e.printStackTrace();
}
//如果surface绑定了，则直接输入到surface渲染并释放
mediaCodec.releaseOutputBuffer(outIndex, true);
} else {
Log.e(TAG, "没有解码成功");
}
}
} catch (IOException e) {
e.printStackTrace();
}
}
}
//读取一帧数据
private int findByFrame(byte[] bytes, int start, int totalSize) {
for (int i = start; i < totalSize - 4; i++) {
//对output.h264文件分析 可通过分隔符 0x00000001 读取真正的数据
if (bytes[i] == 0x00 && bytes[i + 1] == 0x00 && bytes[i + 2] == 0x00 && bytes[i + 3] == 0x01) {
return i;
}
}
return -1;
}
private byte[] getBytes(String videoPath) throws IOException {
InputStream is = new DataInputStream(new FileInputStream(new File(videoPath)));
int len;
int size = 1024;
byte[] buf;
ByteArrayOutputStream bos = new ByteArrayOutputStream();
buf = new byte[size];
while ((len = is.read(buf, 0, size)) != -1)
bos.write(buf, 0, len);
buf = bos.toByteArray();
return buf;
}
}
MainActivity代码如下
package com.zqfdev.h264decodedemo;
import android.content.pm.PackageManager;
import android.os.Bundle;
import android.os.Environment;
import android.util.Log;
import android.view.SurfaceHolder;
import android.view.SurfaceView;
import java.io.File;
import androidx.annotation.NonNull;
import androidx.appcompat.app.AppCompatActivity;
import androidx.core.app.ActivityCompat;
public class MainActivity extends AppCompatActivity {
private String[] permiss = {"android.permission.WRITE_EXTERNAL_STORAGE", "android.permission.READ_EXTERNAL_STORAGE"};
private H264DeCodePlay h264DeCodePlay;
// private H265DeCodePlay h265DeCodePlay;
private String videoPath;
@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main);
checkPermiss();
initView();
}
private void checkPermiss() {
int code = ActivityCompat.checkSelfPermission(this, permiss[0]);
if (code != PackageManager.PERMISSION_GRANTED) {
// 没有写的权限，去申请写的权限
ActivityCompat.requestPermissions(this, permiss, 11);
}
}
private void initView() {
File dir = getExternalFilesDir(Environment.DIRECTORY_DOWNLOADS);
if (!dir.exists()) dir.mkdirs();
final File file = new File(dir, "output.h264");
// final File file = new File(dir, "output.h265");
if (!file.exists()) {
Log.e("Tag", "文件不存在");
return;
}
videoPath = file.getAbsolutePath();
final SurfaceView surface = findViewById(R.id.surface);
final SurfaceHolder holder = surface.getHolder();
holder.addCallback(new SurfaceHolder.Callback() {
@Override
public void surfaceCreated(@NonNull SurfaceHolder surfaceHolder) {
h264DeCodePlay = new H264DeCodePlay(videoPath, holder.getSurface());
h264DeCodePlay.decodePlay();
// h265DeCodePlay = new H265DeCodePlay(videoPath, holder.getSurface());
// h265DeCodePlay.decodePlay();
}
@Override
public void surfaceChanged(@NonNull SurfaceHolder surfaceHolder, int i, int i1, int i2) {
}
@Override
public void surfaceDestroyed(@NonNull SurfaceHolder surfaceHolder) {
}
});
}
}
测试的H264 / H265码流视频通过FFmpeg抽取可得到。
命令行：
ffmpeg -i 源视频.mp4 -codec copy -bsf: h264_mp4toannexb -f h264 输出视频.h264附上测试视频下载地址：
H264资源：output.h264-Android文档类资源-CSDN下载
H265资源：https://download.csdn.net/download/Ae_fring/13624500
效果如下：
智能推荐
874计算机科学基础综合,2018年四川大学874计算机科学专业基础综合之计算机操作系统考研仿真模拟五套题...-程序员宅基地
文章浏览阅读1.1k次。一、选择题1． 串行接口是指( )。A. 接口与系统总线之间串行传送，接口与I/0设备之间串行传送B. 接口与系统总线之间串行传送，接口与1/0设备之间并行传送C. 接口与系统总线之间并行传送，接口与I/0设备之间串行传送D. 接口与系统总线之间并行传送，接口与I/0设备之间并行传送【答案】C2． 最容易造成很多小碎片的可变分区分配算法是( )。A. 首次适应算法B. 最佳适应算法..._874 计算机科学专业基础综合题型
XShell连接失败：Could not connect to '192.168.191.128' (port 22): Connection failed._could not connect to '192.168.17.128' (port 22): c-程序员宅基地
文章浏览阅读9.7k次，点赞5次，收藏15次。连接xshell失败，报错如下图，怎么解决呢。1、通过ps -e|grep ssh命令判断是否安装ssh服务2、如果只有客户端安装了，服务器没有安装，则需要安装ssh服务器，命令：apt-get install openssh-server3、安装成功之后，启动ssh服务，命令：/etc/init.d/ssh start4、通过ps -e|grep ssh命令再次判断是否正确启动..._could not connect to '192.168.17.128' (port 22): connection failed.
杰理之KeyPage【篇】_杰理 空白芯片 烧入key文件-程序员宅基地
文章浏览阅读209次。00000000_杰理 空白芯片 烧入key文件
一文读懂ChatGPT，满足你对chatGPT的好奇心_引发对chatgpt兴趣的表述-程序员宅基地
文章浏览阅读475次。2023年初，“ChatGPT”一词在社交媒体上引起了热议，人们纷纷探讨它的本质和对社会的影响。就连央视新闻也对此进行了报道。作为新传专业的前沿人士，我们当然不能忽视这一热点。本文将全面解析ChatGPT，打开“技术黑箱”，探讨它对新闻与传播领域的影响。_引发对chatgpt兴趣的表述
中文字符频率统计python_用Python数据分析方法进行汉字声调频率统计分析-程序员宅基地
文章浏览阅读259次。用Python数据分析方法进行汉字声调频率统计分析木合塔尔·沙地克;布合力齐姑丽·瓦斯力【期刊名称】《电脑知识与技术》【年(卷),期】2017(013)035【摘要】该文首先用Python程序,自动获取基本汉字字符集中的所有汉字,然后用汉字拼音转换工具pypinyin把所有汉字转换成拼音,最后根据所有汉字的拼音声调,统计并可视化拼音声调的占比.【总页数】2页(13-14)【关键词】数据分析;数据可..._汉字声调频率统计
linux输出信息调试信息重定向-程序员宅基地
文章浏览阅读64次。最近在做一个android系统移植的项目，所使用的开发板com1是调试串口，就是说会有uboot和kernel的调试信息打印在com1上（ttySAC0）。因为后期要使用ttySAC0作为上层应用通信串口，所以要把所有的调试信息都给去掉。参考网上的几篇文章，自己做了如下修改，终于把调试信息重定向到ttySAC1上了，在这做下记录。参考文章有：http://blog.csdn.net/longt..._嵌入式rootfs 输出重定向到/dev/console
随便推点
uniapp 引入iconfont图标库彩色symbol教程_uniapp symbol图标-程序员宅基地
文章浏览阅读1.2k次，点赞4次，收藏12次。1，先去iconfont登录，然后选择图标加入购物车 2，点击又上角车车添加进入项目我的项目中就会出现选择的图标 3，点击下载至本地，然后解压文件夹，然后切换到uniapp打开终端运行注：要保证自己电脑有安装node(没有安装node可以去官网下载Node.js 中文网)npm i -g iconfont-tools（mac用户失败的话在前面加个sudo，password就是自己的开机密码吧）4,终端切换到上面解压的文件夹里面，运行iconfont-tools 这些可以默认也可以自己命名（我是自己命名的_uniapp symbol图标
C、C++ 对于char*和char[]的理解_c++ char*-程序员宅基地
文章浏览阅读1.2w次，点赞25次，收藏192次。char*和char[]都是指针，指向第一个字符所在的地址，但char*是常量的指针，char[]是指针的常量_c++ char*
Sublime Text2 使用教程-程序员宅基地
文章浏览阅读930次。代码编辑器或者文本编辑器，对于程序员来说，就像剑与战士一样，谁都想拥有一把可以随心驾驭且锋利无比的宝剑，而每一位程序员，同样会去追求最适合自己的强大、灵活的编辑器，相信你和我一样，都不会例外。我用过的编辑器不少，真不少～ 但却没有哪款让我特别心仪的，直到我遇到了 Sublime Text 2 ！如果说“神器”是我能给予一款软件最高的评价，那么我很乐意为它封上这么一个称号。它小巧绿色且速度非
对10个整数进行按照从小到大的顺序排序用选择法和冒泡排序_对十个数进行大小排序java-程序员宅基地
文章浏览阅读4.1k次。一、选择法这是每一个数出来跟后面所有的进行比较。2.冒泡排序法，是两个相邻的进行对比。_对十个数进行大小排序java
物联网开发笔记——使用网络调试助手连接阿里云物联网平台（基于MQTT协议）_网络调试助手连接阿里云连不上-程序员宅基地
文章浏览阅读2.9k次。物联网开发笔记——使用网络调试助手连接阿里云物联网平台（基于MQTT协议）其实作者本意是使用4G模块来实现与阿里云物联网平台的连接过程，但是由于自己用的4G模块自身的限制，使得阿里云连接总是无法建立，已经联系客服返厂检修了，于是我在此使用网络调试助手来演示如何与阿里云物联网平台建立连接。一.准备工作1.MQTT协议说明文档（3.1.1版本）2.网络调试助手（可使用域名与服务器建立连接）PS：与阿里云建立连解释，最好使用域名来完成连接过程，而不是使用IP号。这里我跟阿里云的售后工程师咨询过，表示对应_网络调试助手连接阿里云连不上
＜＜＜零基础C++速成＞＞＞_无c语言基础c++期末速成-程序员宅基地
文章浏览阅读544次，点赞5次，收藏6次。运算符与表达式任何高级程序设计语言中，表达式都是最基本的组成部分，可以说C++中的大部分语句都是由表达式构成的。_无c语言基础c++期末速成