为了让初学者快速起步把 WebRTC demo 跑起来，我写了一个极其简单的 startup demo 项目，展示了如何基于 WebRTC API 实现一对一的视频通话。该项目地址：https://github.com/Jhuster/RTCStartupDemo
本文则主要介绍如何从一对一通话升级到多人通话，即视频会议，其中涉及到如下几个问题：
多人会议，每个 Client 是创建多个 PeerConnection 还是只有一个 PeerConnection ？

多人会议，谁来发起 OFFER，谁来作为 ANSWER，如何把多个 Client 相互间的连接分别建立起来 ？

首先，我们用下面这一张图来看看两个 WebRTC Peer 之间是如何建立一对一通话链路的：



在一对一通话场景中，每个 Client 均创建有一个 PeerConnection 对象，由一方主动发 OFFER SDP，另一方则应答 ANSWER SDP，最后双方交换 ICE Candidate 从而完成通话链路的建立。
如果要再加入一个人，其实也是一样的流程，假设新加入的人是 C，那么，只需要 C 分别跟 A 和 B 交换 SDP 和 Candidate 即可建立新的通话链路。C 加入后，谁来主动发送 OFFER 呢 ？常用的策略有 2 种：
每当有新的成员加入到房间后，房间内的每个人主动给新成员发 OFFER，并等待他回复 ANSWER 建立新的 PeerConnection 连接

每当有新的成员加入到房间后，新成员主动给房间的每个人发 OFFER，并等待 ANSWER 建立新的 PeerConnection 连接

当然，还有其他的策略，无非就是谁主动扮演 OFFER 发起者的角色触发整个建联过程而已。


如图所示，3 人会议，则每个人都会创建 2 个 PeerConnection 分别与其他两个人建立通话连接。
我这里实现了一套 Web 端 3 人连麦会议的 demo 代码，完整地复现了上述场景和逻辑，大家有兴趣可以看一看：
https://github.com/Jhuster/RTCStartupDemo/tree/master/RTCClientDemo/Web/multiple
本文一直描述的是通过多 PeerConnection 的方案来实现多人会议，那么，是否也可以仅仅使用单个 PeerConnection 呢 ？答案是肯定的，不过这需要服务器端的参与，让多路流通过一个 PeerConnection 连接端口进行传输，到端上再利用 ***c 等信息提取和分离出来，整体来说要复杂很多，但是也是有不少好处的。
有一篇文章关于单 PeerConnection 和多 PeerConnection 的优劣分析，有兴趣的小伙伴可以看看，链接如下：
《WebRTC RTCPeerConnection. One to rule them all, or one per stream?》
简单来说，多 PeerConnection 会导致连接到 SFU 服务器的连接数量超多，对服务端的压力是比较大的；另外，多 PeerConnection 也比单 PeerConnection 要消耗更多的资源。而单 PeerConnection 虽然整个逻辑复杂，但是在上述这两点上还是有一些不错的优化的。
关于 WebRTC 如何从一对一通话到多人会议，就分享到这里了。
转载于：https://blog.51cto.com/ticktick/2348008

膜拜一下大神 janus Qt的客户端 


debug工程不能用webrtc的release库

error LNK2038: 检测到“RuntimeLibrary”的不匹配项: 值“MD_DynamicRelease”不匹配值“MDd_DynamicDebug
这种问题，是因为我是debug工程，但是webrtc库我手头只有一个release的，换用prebuild最新的，可能是vs工具链不一致，链接出错
所以改为release工程了。

release 工程也能debug

release下默认是不能debug的
参考这位大神
这些可以debug了。

大佬的qtopengl渲染

start name register 挨个点击，服务端会对应应答




大家都加入到1234 房间：



每个stream的videotrack创建一个render


track reader  pid  绑定到view 结构体





每个videotrack对应一个view了。




支持多个view 渲染

之前公司要做自主研发的多人会议,搞了很久.记录一些东西在这里,因为涉及到的东西有点多,网上教程很多,这里只做一些记录,就不写详细的过程了.

之前自主研发了一套IM,用webrtc做了点对点的视频通话.

之后用了几天时间查了一些资料,准备做多人视频会议.然后就入坑了.

后台用的nodejs配合forever,就是那个大家都在用的.访问http://localhost:3000#roomName查看效果，其中roomName为进入的房间名，不同房间的用户无法互相通信,这里不再赘述.

iOS编译修改demo的过程很顺利.

网页端由于需要SSL验证,我们公司连测试的SSL证书和服务器都没提供,我就自己搭建了一个虚拟机,然后用我自己的域名,申请了一个阿里云的免费SSL证书.

如果网页端想要绕过SSL协议,通过3000端口访问页面使用摄像头,需要使用火狐浏览器46版本以下方可做到.

如图



我用的浏览器是


之后就是安卓,需要验证SSL协议,我就去虚拟机上弄nginx来配置SSL协议,之后由于自己的失误耽误了一天半时间,由于nginx在1.9.0以上版本才支持TCP,所以你安装的nginx版本一定要在1.9.0以上,我最开始为了省事,随便找了个低版本的装上去了,结果怎样都连不上,大家引以为戒,我把nginx的安装配置过程写在下面吧.
1.最重要的一点，我在这里卡了一天半，最开始用的低版本的nginx，nginx从1.9.0版本开始支持TCP，所以版本一定要大于等于这个。
2.安装nginx依赖的程序
yum install gcc;

yum install pcre-devel;

yum install zlib zlib-devel;

yum install openssl openssl-devel;

3.下载nginx
wget http://nginx.org/download/nginx-1.12.2.tar.gz

4.解压nginx
tar -zxvf nginx-1.12.2.tar.gz

5.cd nginx-1.12.2/
cd nginx-1.12.2/

6…/configure --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module
./configure --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module

7.make && make install
make && make install

8.cd /usr/local/nginx/sbin
cd /usr/local/nginx/sbin

9…/nginx
./nginx

10.访问IP地址如图，成功

11.cd /usr/local/nginx/conf/
cd /usr/local/nginx/conf/

12.mkdir cert
mkdir cert

13.cd cert
cd cert

14.把SSL证书扔进去,如图

15.cd …/
cd ../

16.vim nginx.conf
vim nginx.conf

17.配置文件修改如下

worker_processes  1;

events {
    worker_connections  1024;
}

http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;
    server {
        listen       80;
        server_name  localhost;
        location / {
            root   html;
            index  index.html index.htm;
        }
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }

 upstream web {
    server 0.0.0.0:3000;      
        }
 
 upstream websocket {
    server 0.0.0.0:3000;   
        }
        
 server { 
    listen       443; 
    server_name  localhost;
    ssl          on;
    ssl_certificate     cert/cert.crt;
    ssl_certificate_key  cert/cert.key;
    ssl_session_cache    shared:SSL:1m;
    ssl_session_timeout  50m;
	ssl_protocols TLSv1 TLSv1.1 TLSv1.2 SSLv2 SSLv3;
    ssl_ciphers  HIGH:!aNULL:!MD5;
    ssl_prefer_server_ciphers  on;
     
    location /wss {
	proxy_pass http://websocket/; 
	proxy_read_timeout 60s;
	proxy_set_header Host $host;
	proxy_set_header X-Real_IP $remote_addr;
	proxy_set_header X-Forwarded-for $remote_addr;
	proxy_set_header Upgrade $http_upgrade;
	proxy_set_header Connection 'Upgrade';	
    }
    
    location / {
	proxy_pass         http://web/;
	proxy_set_header   Host             $host;
	proxy_set_header   X-Real-IP        $remote_addr;
	proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for;
    }
  }

}


18.cd …/sbin/
cd ../sbin/

19…/nginx -s reload
./nginx -s reload

这样nginx就配置好了.
最后来个合集

首先安卓


然后iOS


最后网页端


以上就是webrtc多人视频会议的一些杂乱记录了.

 基于WebRTC的多人视频会议 2015-02-20
 16:33:23



分类： Web开发



基于WebRTC的多人视频会议

25 July 2014

最近两周在调研和搭建基于WebRTC的多人视频会议系统。

目前已经搭建成功，可以在http://jitsi.shengbin.me/试用。


这个系统无需注册和登录，只要多人访问同一个URL（含有系统为每个房间分配的特定ID），就可以进行视频会议。

如果上面那个链接失效，可以尝试国外一个同样的系统：https://meet.jit.si/。

使用视频会议系统需要客户端电脑提供摄像头功能；至于带宽，当然是越大越好了。


下面总结一下该系统的组成。

1. 客户端

客户端是一个Web App的形式，包括HTML、CSS、JavaScript代码组成的网页。

HTML和CSS来构造聊天室的界面，JavaScript来实现功能。由于功能比较复杂，JS代码也较多。


通过WebRTC，客户端从用户摄像头获取图像并传给服务器，来实现视频会议。

由于WebRTC只在Chrome、Opera、Firefox上支持，而Firefox有相关的bug尚未解决，

所以客户端只能运行于Chrome或者Opera浏览器。


2. 服务器

服务器端包含多个部分。下面分别介绍。

Nginx

Nginx是一个Web服务器，与著名的Apache同类。它的用途是提供网页访问。



3. Prosody

Prosody是一个XMPP服务器。

XMPP全称是Extensible Messaging and Presence Protocol，即可扩展通信和表示协议。

它是一种即时通信协议，主要是实现文字聊天。



XMPP的前身是Jabber，一个开源的即时通信协议。Jabber被IETF标准化为XMPP。

Google Talk用的就是它。



4. Jitsi-Videobridge

Jitsi-Videobridge用于处理视频传输，也就是视频流在各参与者之间的转发。

如果没有这个组件，各参与者能文字聊天，但无法互相看见。



转发意味着服务器要从N个参与者那里接受视频流，

然后给每个参与者发送其他N-1个参与者的视频数据，

这对服务器带宽要求很高。

但由于未对视频做任何处理，CPU负载并不高。



5. Restund

这是一个STUN/TURN服务器。

STUN是一种NAT穿透技术，用于帮助处在内网的主机确定自己的公网IP和端口，

从而与别的主机建立直接连接（WebRTC中PeerConnection）。

TURN是STUN的增强版，可以在无法穿透NAT进行直连的情况下提供数据的转发。



上述整个系统都是开源的，

更多信息可参见相关的GitHub代码库(https://github.com/jitsi/jitsi-meet)和

Jitsi主页(https://jitsi.org/)。



原谅链接:

http://blog.shengbin.me/posts/multi-user-video-conference-based-on-webrtc/