悄摸直播 —— javaCV实现本机摄像头画面远程直播
搭建rtmp服务器
一、素材
rtmp服务器：smart_rtmpd

ffmpeg工具：ffmpeg.exe
二、搭建
1.下载smart_rtmpd软件包，解压rtmpd.rar，进一步解压smart_rtmpd_win.rar得到smart_rtmpd.exe文件

2.运行smart_rtmpd.exe文件，直接启动。（如果对rtmp服务器有特殊配置需求，可以在smart_rtmpd.exe同级目录下的config.xml文件中修改）
启动成功示例：



smart_rtmpd会在启动时获取本机所有网络的ip地址，自动生成rtmp服务器地址。

具体样式：rtmp://192.168.1.48/live/stream

192.168.1.48就是本机的网络IP地址
如果想更改rtmp服务器的地址，可以在config.xml文件中修改：


三、推流&播流测试
1.安装ffmpeg工具
安装包请看“素材”
2.推流测试
cmd打开小黑窗，输入命令：

ffmpeg.exe -re -stream_loop -1 -i F:\55427366\48\55427366_48_0.flv -c copy -f flv rtmp://192.168.1.48/live/stream



推流成功：


3.播流测试
找到一个播放器，打开rtmp服务器地址：



播流成功：


参考教程：http://www.qiyicc.com/bbs001/forum.php?mod=viewthread&tid=984&extra=page%3D1

RTMP(实时消息传送协议 (Real Time Messaging Protocol)):
RTMP协议是被Flash用于对象,视频,音频的传输.该协议建立在TCP协议或者轮询HTTP协议之上.
RTMP协议就像一个用来装数据包的容器,这些数据可以是AMF格式的数据,也可以是FLV中的视/音频数据.一个单一的连接可以通过不同的通道传输多路网络流.这些通道中的包都是按照固定大小的包传输的.
安装步骤简要说明：
①、安装JDK
打开http://java.sun.com/javase/downloads/，下载最新的Java SE Development Kit (JDK)，安装在/usr/local/jdk/下。
chmod +x jdk-6u13-linux-i586.bin
./jdk-6u13-linux-i586.bin
②、安装Red5(0。7版)
打开http://osflash.org/red5/070final，下载red5-0.7.0.tar.gz，解压缩tar –xvif red5-0.7.0.tar后执行./red5.sh，然后访问http://yourdomain:5080/,如果出现了欢迎页面，说明安装成功。
Windwos 2003服务器测试环境：
视频存放路径：
C:\Program Files\Red5\webapps\oflaDemo\streams
http访问路径:
C:\Program Files\Red5\webapps\root\
启动Red5    red5.sh
1．使用测试文件：test_rtmp.swf:
把测试文件.swf放到：/var/www/html/
rtmp://t5ucmapz2.rtmphost.com/videomedia          nike
rtmp://192.168.0.144/oflaDemo                icea/icea.flv
2．网页直接测试：
rtmp://192.168.0.144/oflaDemo   链接
再选择要播放视频文件
Cent OS 5.3服务器测试环境:(0。7版)
1． 打开http://java.sun.com/javase/downloads/，下载最新的Java SE Development Kit (JDK)，安装在/usr/local/jdk/下
2． 把RED 5直接安装或解压到/var/www/html下面
3． http访问目录：/var/www/html/ webapps/root
4． 模板目录：/var/www/html/ webapps/root/demos
5． 视频文件存放目录：/var/www/html/webapps/oflaDemo/streams/
6． 运行Red5：cd/var/www/html
7． ./red5.sh
测试方式：
1． 用Red5自带模板测试：
rtmp://192.168.0.53/oflaDemo(文件夹目录)
2． 用第三方工具测试：test_rtmp.swf
先把test_rtmp.swf放到模板目录下(/var/www/html/ webapps/root/demos)
rtmp://192.168.0.53/oflaDemo/     icea/icea.flv
错误提示及解决方法:
1. (63) Connections: true | true
(11944) connected?: true
(32921) NetConnection.onStatus:
level = error
code = NetConnection.Connect.Failed
或者
rtmp://192.168.0.53/oflaDemo icea.flv true NetConnection.Connect.Failed:error
原因:防火墙挡住了或者rtmp地址不对，在rtmp地址上不能加端口号(rtmp://192.168.0.53/oflaDemo)
vi /etc/sysconfig/iptables
解决方法:在防火墙上开启5080，1935
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 5080 -j ACCEPT
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 1935 -j ACCEPT
保存退出并重启iptables    /etc/init.d/iptables restart
注意事项：当red5.sh在运行时，终端(putty/ssh)不能退出或者断开，否则red5.sh会停止运行
HTTP方式播放，如果服务器端不限速，客户端的带宽越大，服务器消耗的带宽也越大，但限速又会影响用户体验；
RTMP流媒体方式播放，只要客户端达到最低带宽要求，不管客户端的带宽如何，服务器消耗的带宽都一样。
如果播放10M以内大小的视频，HTTP能够在较短的时间内下载完视频，能够降低并发观看用户数；
如果播放10M以上大小的视频，RTMP要比HTTP方式节省不少带宽。
RTMP播放时进度条可以自由拖动，虽然Lighttpd和Nginx目前也可以使用somevideo.flv?start=xxx的方式从指定位置下载视频，但还是不如RTMP灵活。
Red5 0.8版安装方法：
当Red5安装好后，联网打开：http://127.0.0.1:5080，在页面上安装相关服务
版权声明： 原创作品，谢绝转载！否则将追究法律责任。

文章目录
安卓直播推流专栏博客总结
一、 编写快速搭建 RTMP 服务器 Shell 脚本
二、 RTMP 快速搭建方法
三、创建阿里云 RTMP 服务器镜像
四、浏览器查看直播内容
五、前置 / 后置摄像头图像旋转效果展示









安卓直播推流专栏博客总结



Android RTMP 直播推流技术专栏 :


0 . 资源和源码地址 :

资源下载地址 : 资源下载地址 , 服务器搭建 , x264 , faac , RTMPDump , 源码及交叉编译库 , 本专栏 Android 直播推流源码 ;
GitHub 源码地址 : han1202012 / RTMP_Pusher



1. 搭建 RTMP 服务器 : 下面的博客中讲解了如何在 VMWare 虚拟机中搭建 RTMP 直播推流服务器 ;

【Android RTMP】RTMP 直播推流服务器搭建 ( Ubuntu 18.04.4 虚拟机 )

2. 准备视频编码的 x264 编码器开源库 , 和 RTMP 数据包封装开源库 :


【Android RTMP】RTMPDumb 源码导入 Android Studio ( 交叉编译 | 配置 CMakeList.txt 构建脚本 )


【Android RTMP】Android Studio 集成 x264 开源库 ( Ubuntu 交叉编译 | Android Studio 导入函数库 )


3. 讲解 RTMP 数据包封装格式 :


【Android RTMP】RTMP 数据格式 ( FLV 视频格式分析 | 文件头 Header 分析 | 标签 Tag 分析 | 视频标签 Tag 数据分析 )


【Android RTMP】RTMP 数据格式 ( FLV 视频格式分析 | AVC 序列头格式解析 )


4. 图像数据采集 : 从 Camera 摄像头中采集 NV21 格式的图像数据 , 并预览该数据 ;


【Android RTMP】Android Camera 视频数据采集预览 ( 视频采集相关概念 | 摄像头预览参数设置 | 摄像头预览数据回调接口 )


【Android RTMP】Android Camera 视频数据采集预览 ( NV21 图像格式 | I420 图像格式 | NV21 与 I420 格式对比 | NV21 转 I420 算法 )


【Android RTMP】Android Camera 视频数据采集预览 ( 图像传感器方向设置 | Camera 使用流程 | 动态权限申请 )


5. NV21 格式的图像数据编码成 H.264 格式的视频数据 :


【Android RTMP】x264 编码器初始化及设置 ( 获取 x264 编码参数 | 编码规格 | 码率 | 帧率 | B帧个数 | 关键帧间隔 | 关键帧解码数据 SPS PPS )


【Android RTMP】x264 图像数据编码 ( Camera 图像数据采集 | NV21 图像数据传到 Native 处理 | JNI 传输字节数组 | 局部引用变量处理 | 线程互斥 )


【Android RTMP】x264 图像数据编码 ( NV21 格式中的 YUV 数据排列 | Y 灰度数据拷贝 | U 色彩值数据拷贝 | V 饱和度数据拷贝 | 图像编码操作 )


6. 将 H.264 格式的视频数据封装到 RTMP 数据包中 :


【Android RTMP】RTMPDump 封装 RTMPPacket 数据包 ( 封装 SPS / PPS 数据包 )


【Android RTMP】RTMPDump 封装 RTMPPacket 数据包 ( 关键帧数据格式 | 非关键帧数据格式 | x264 编码后的数据处理 | 封装 H.264 视频数据帧 )


【Android RTMP】RTMPDump 推流过程 ( 独立线程推流 | 创建推流器 | 初始化操作 | 设置推流地址 | 启用写出 | 连接 RTMP 服务器 | 发送 RTMP 数据包 )


7. 阶段总结 : 阿里云服务器中搭建 RTMP 服务器 , 并使用电脑软件推流和观看直播内容 ;


【Android RTMP】RTMP 直播推流 ( 阿里云服务器购买 | 远程服务器控制 | 搭建 RTMP 服务器 | 服务器配置 | 推流软件配置 | 直播软件配置 | 推流直播效果展示 )


【Android RTMP】RTMP 直播推流阶段总结 ( 服务器端搭建 | Android 手机端编码推流 | 电脑端观看直播 | 服务器状态查看 )


8. 处理 Camera 图像传感器导致的 NV21 格式图像旋转问题 :


【Android RTMP】NV21 图像旋转处理 ( 问题描述 | 图像顺时针旋转 90 度方案 | YUV 图像旋转细节 | 手机屏幕旋转方向 )


【Android RTMP】NV21 图像旋转处理 ( 图像旋转算法 | 后置摄像头顺时针旋转 90 度 | 前置摄像头顺时针旋转 90 度 )


9. 下面这篇博客比较重要 , 里面有一个快速搭建 RTMP 服务器的脚本 , 强烈建议使用 ;

【Android RTMP】NV21 图像旋转处理 ( 快速搭建 RTMP 服务器 Shell 脚本 | 创建 RTMP 服务器镜像 | 浏览器观看直播 | 前置 / 后置摄像头图像旋转效果展示 )

10. 编码 AAC 音频数据的开源库 FAAC 交叉编译与 Android Studio 环境搭建 :


【Android RTMP】音频数据采集编码 ( 音频数据采集编码 | AAC 高级音频编码 | FAAC 编码器 | Ubuntu 交叉编译 FAAC 编码器 )


【Android RTMP】音频数据采集编码 ( FAAC 头文件与静态库拷贝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音频采样 PCM 格式 )


11. 解析 AAC 音频格式 :

【Android RTMP】音频数据采集编码 ( AAC 音频格式解析 | FLV 音频数据标签解析 | AAC 音频数据标签头 | 音频解码配置信息 )

12 . 将麦克风采集的 PCM 音频采样编码成 AAC 格式音频 , 并封装到 RTMP 包中 , 推流到客户端 :


【Android RTMP】音频数据采集编码 ( FAAC 音频编码参数设置 | FAAC 编码器创建 | 获取编码器参数 | 设置 AAC 编码规格 | 设置编码器输入输出参数 )


【Android RTMP】音频数据采集编码 ( FAAC 编码器编码 AAC 音频解码信息 | 封装 RTMP 音频数据头 | 设置 AAC 音频数据类型 | 封装 RTMP 数据包 )


【Android RTMP】音频数据采集编码 ( FAAC 编码器编码 AAC 音频采样数据 | 封装 RTMP 音频数据头 | 设置 AAC 音频数据类型 | 封装 RTMP 数据包 )











Android 直播推流流程 : 手机采集视频 / 音频数据 , 视频数据使用 H.264 编码 , 音频数据使用 AAC 编码 , 最后将音视频数据都打包到 RTMP 数据包中 , 使用 RTMP 协议上传到 RTMP 服务器中 ;


Android 端中主要完成手机端采集视频数据操作 , 并将视频数据传递给 JNI , 在 NDK 中使用 x264 将图像转为 H.264 格式的视频 , 最后将 H.264 格式的视频打包到 RTMP 数据包中 , 上传到 RTMP 服务器中 ;


上一篇博客中实现将 NV21 图像顺时针旋转 90 度的算法 , 后置摄像头需要顺时针旋转 90 度, 前置摄像头与后置摄像头相反 , 需要逆时针旋转 90 度 ;


本博客展示 NV21 图像前置 , 后置摄像头旋转后的效果 , 先搭建起 RTMP 服务器 , 这一次直接编写一个快速搭建 RTMP 服务器的 Shell 脚本 , 每次重新搭建太麻烦 ;








一、 编写快速搭建 RTMP 服务器 Shell 脚本



每次购买开启服务器测试都要搭建 RTMP 服务器 , 这里写一个简单的 Shell 脚本 , 上传指定的文件到指定目录后 , 自动完成 RTMP 服务器搭建并启动 RTMP 服务器 ;


购买阿里云服务器 , 参考之前的博客内容 , 【Android RTMP】RTMP 直播推流 ( 阿里云服务器购买 | 远程服务器控制 | 搭建 RTMP 服务器 | 服务器配置 | 推流软件配置 | 直播软件配置 | 推流直播效果展示 ) ;
服务器设置 : 一定要确保入方向打开了 8080 和 1935 端口 , 否则 RTMP 服务器 HTTP 无法访问 , RTMP 无法推流 ;



上传路径 : 将博客资料中的 RTMP 服务器搭建需要的 $4$ 个文件上传到远程 Ubuntu 18.04 服务器中的 /root/rtmp 目录下 ; ( 注意 Shell 脚本全部基于该目录 )



编写 Shell 脚本 : 将每一步操作记录下来 , 下一次启动服务器 , 上传 $5$ 个文件到 /root/rtmp 目录下 , 执行该 Shell 脚本 , 即可完成 RTMP 服务器搭建 ;
#!/bin/bash

# 该 Shell 脚本必须在 /root/rtmp 目录下执行
# 此外 nginx.conf , nginx-1.15.3.tar.gz , nginx-rtmp-module-1.2.1.tar.gz , sources.list
# 四个文件必须上传到该 /root/rtmp 目录下

# 备份源
mv /etc/apt/sources.list /etc/apt/sourses.list.backup
# 拷贝国内源
cp sources.list /etc/apt/
# 更新源
sudo apt-get update

# 安装 pcre 库
sudo apt-get install libpcre3 libpcre3-dev
# 安装 OpenSSL 库
sudo apt-get install openssl libssl-dev
# 安装 zlib 库
sudo apt-get install zlib1g-dev

# 解压 Nginx 服务器源码
tar xvf nginx-1.15.3.tar.gz
# 解压 nginx-rtmp-module 模块源码
tar xvf nginx-rtmp-module-1.2.1.tar.gz

# 进入 Nginx 源码目录
cd nginx-1.15.3/

# 生成 Makefile 文件
./configure --prefix=./bin --add-module=../nginx-rtmp-module-1.2.1

# 编译安装
make install

# 备份 Nginx 服务器配置脚本
mv /root/rtmp/nginx-1.15.3/bin/conf/nginx.conf /root/rtmp/nginx-1.15.3/bin/conf/nginx.conf.backup

# 复制上传到脚本 nginx.conf 到 nginx-1.15.3/bin/conf/ 目录下
cp /root/rtmp/nginx.conf /root/rtmp/nginx-1.15.3/bin/conf/

# 查看 1935 和 8080 端口号
lsof -i:8080
lsof -i:1935 

# 启动服务器
# 特别注意 : 一定要确保阿里云服务器的安全组开启了 入方向的 TCP 8080 和 1935 端口
/root/rtmp/nginx-1.15.3/bin/sbin/nginx

# 查看 1935 和 8080 端口号
lsof -i:8080
lsof -i:1935 









二、 RTMP 快速搭建方法



再起一台服务器测试下上面的 Shell 脚本 , 购买后注意开启入方向的 TCP 1935 和 8080 端口 ;


1 . 上传服务器文件 : 将这 $5$ 个文件上传到服务器端 /root/rtmp 目录下 , 注意不要传错目录 , 否则 Shell 脚本执行肯定出错 ;





2 . 执行 Shell 脚本 :


① 进入 /root/rtmp 目录 : 必须在该目录下执行 , 否则会出错 ;


② 给 rtmp_server_build.sh 脚本赋予执行权限 ;
$ chmod -R 777 rtmp_server_build.sh



③ 在该目录下执行 :
$ rtmp_server_build.sh



④ 出现下面错误解决方案 : 这是在 Windows 中编辑保存文件导致的 , 使用 vi rtmp_server_build.sh 命令打开文件 , 在命令模式下 , 该模式输入 :set ff=unix , 将文件设置成 Unix 文件 , 然后执行 :wq 保存退出即可 ; ( : 是进入底线命令模式 )
-bash: ./rtmp_server_build.sh: /bin/bash^M: bad interpreter: No such file or directory



⑤ RTMP 服务器启动成功 : 浏览器访问 http://123.57.37.45:8080/stat 地址 ;









三、创建阿里云 RTMP 服务器镜像



创建镜像 :



创建的镜像 : 其中只有 RTMP 服务器相关文件 ;



创建个镜像 , 之后避免每次都要手动搭建 RTMP 服务器 , 如果有需要的 , 可以在博客下方浏览 , 共享镜像 ;








四、浏览器查看直播内容



1 . 浏览器查看直播内容 : Android 手机端将推流地址修改为 rtmp://59.110.116.214/myapp/mystream , 即可在服务器的 http://59.110.116.214:8080/ 地址的 jwplayer 播放器中播放该推流的内容 , 可以不使用直播软件观看该直播 ;


2 . 页面源码分析 : 这是 http://59.110.116.214:8080/ 地址页面的源码 , 可以分析出该界面播放器播放的视频来源 ; 需要将 rtmp://localhost/myapp?carg=1/mystream?sarg=2 链接中的 localhost 修改为 实际的 IP 地址 59.110.116.214 ;
<b>Play</b> | <a href="record.html">Record</a>
<br/>
<script type="text/javascript" src="/jwplayer/jwplayer.js"></script>

<div id="container">Loading the player ...</div>
    <script type="text/javascript">
        jwplayer("container").setup({
        sources: [
            {
                file: "rtmp://localhost/myapp?carg=1/mystream?sarg=2"
            }
        ],
        image: "bg.jpg",
        autostart: false,
        width: 640,
        height: 480,
        primary: "flash"
});
</script>



3 . 修改 HTML 页面信息 : 使用 vim 编辑器修改 /root/rtmp/nginx-rtmp-module-1.2.1/test/www/index.html 主页的 RTMP 直播源 IP 地址 , 将该 IP 地址改为当前的的服务器的 IP 地址 ;
$ vim /root/rtmp/nginx-rtmp-module-1.2.1/test/www/index.html




4 . 浏览器观看直播 : 之后可以通过 http://59.110.116.214:8080/ 地址观看直播内容 ;








五、前置 / 后置摄像头图像旋转效果展示



1 . 后置摄像头横屏效果展示 :


① 手机端 : 推流地址 rtmp://59.110.116.214/myapp/mystream ;



② 浏览器端 : 访问 http://59.110.116.214:8080/ 地址 , 注意要将该 HTML 页面中的 rtmp 源修改为
        sources: [
            {
                file: "rtmp://59.110.116.214/myapp?carg=1/mystream?sarg=2"
            }
        ],






2 . 后置摄像头竖屏效果展示 :


① 手机端 : 推流地址 rtmp://59.110.116.214/myapp/mystream ;



② 浏览器端 : 访问 http://59.110.116.214:8080/ 地址 , 注意要将该 HTML 页面中的 rtmp 源修改为
        sources: [
            {
                file: "rtmp://59.110.116.214/myapp?carg=1/mystream?sarg=2"
            }
        ],

安装nginx
下载ngnix源码
git clone https://github.com/nginx/nginx.git
git clone https://github.com/arut/nginx-rtmp-module.git
编译安装
./configure --add-module=../nginx-rtmp-module-master
make
sudo make install
默认安装路径为/usr/local/nginx，运行./sbin/nginx
打开浏览器在地址栏输入：localhost,如果显示Welcome to nginx,说明安装成功了
配置rtmp服务
打开./conf/nginx.conf ，添加RTMP的配置
worker_processes  1;
events {
worker_connections  1024;
}
rtmp {                #RTMP服务
server {
listen 6666;  #//服务端口
chunk_size 4096;   #//数据传输块的大小
application vod {  #//点播服务
play /opt/video/vod; #//视频文件存放位置。
}
application live{ #第一处添加的直播字段
live on;
}
}
}
http {
include       mime.types;
default_type  application/octet-stream;
sendfile        on;
keepalive_timeout  65;
server {
listen       80;
server_name  localhost;
location / {
root   html;
index  index.html index.htm;
}
location /stat {     #第二处添加的location字段。
rtmp_stat all;
rtmp_stat_stylesheet stat.xsl;
}
location /stat.xsl { #第二处添加的location字段。
root /usr/local/nginx/nginx-rtmp-module/;
}
error_page   500 502 503 504  /50x.html;
location = /50x.html {
root   html;
}
}
}
配置目录/opt/video/vod为存放视频文件的位置,放一个视频文件test.mp4用于测试
打开视频播放软件，播放地址填写rtmp://localhost:6666/vod/test.mp4
live是直播服务，如果打算弄多个频道的直播就可以live_2、live_2名字任意。第二处就是添加两个location字段，字段的内容请直接看文件吧。