WebRTC客户端主要流程分析
1.通信过程
因为WebRTC规范里没有包含信令协议,所以像OWT、mediasoup等支持WebRTC的开源项目,其通信两端建立连接的过程中的信令逻辑各不相同。但是,总体上来说,其通信过程必然会包括以下过程。
发起端创建本地的PeerConnection,并且创建Offer。 发起端通过信令服务器将Offer发送给应答端。 应答端创建本地的PeerConnection,把发起端的Offer设置到PeerConnection中,并且获取到Answer。 应答端通过信令服务器将Answer发送给发起端。 发起端把应答端的Answer设置到PeerConnection中。 两端都收集本地PeerConnection的ICE Candidate,通过信令服务器发送给对方,对方收到ICE Candidate后设置给本地的PeerConnection。 两端成功建立音视频通道,开始收发音视频数据。
这个过程如果是在局域网中,可以通过某种方式与对端直接建立好信令通道,则可以不需要信令服务器,直接建立P2P的音视频通道。
这个过程中有些概念可以了解一下。
音视频免费学习资料获取:后台私信扣1
PeerConnection:WebRTC最初设计师用于浏览器的P2P媒体通信,所以其核心接口类就是PeerConnection,简称PC。
Offer、Answer:都属于SDP。SDP是一种描述会话协议,用于描述一次会话的多媒体数据格式等配置信息。通信双方交换SDP就是为了协商一个双方都支持的会话配置。
ICE:一种NAT穿透协议,利用STUN、TURN协议完成工作。ICE会在SDP中增加传输地址信息,然后对其进行连通性测试,测试成功后就可以用于传输媒体数据了。
ICE Candidate:即ICE的传输地址信息,包括host、srflx、relayed和prflx。 2.核心流程
WebRTC支持的客户端系统有iOS、Mac、Android、Windows和Linux。各端的代码各不相同,但是,其核心API的调用过程是类似的。所以,只要把握了总体的调用过程就能顺藤摸瓜的去查看各端的详细代码。这里总结下调用的关键步骤:
全局初始化。
创建PeerConnectionFactory。
通过PeerConnectionFactory接口创建PeerConnection。
创建Capturer。
通过PeerConnectionFactory接口创建Source、Track。
通过PeerConnection接口创建Transceiver。
创建Offer、Answer,设置给PeerConnection,并相互交换。
相互交换ICE Candidate,通过ICE Candidate回调接受对端ICE Candidate,设置给PeerConnection。
P2P连接的状态可以通过监听PeerConnection的状态回调函数(Windows端是OnIceConnectionChange)。
其中,几个重要的WebRTC中的概念可以了解一下: Capturer:视频数据采集,包括相机、屏幕、视频文件等。 Source:数据源,数据来自Capturer或其他,然后将数据传给Track。 Track:媒体数据交换的载体。 Sink:Track数据的消费者,本地预览和渲染远端视频都是Sink。 Transceiver:负责收发媒体数据。
以视频数据收发为例,发送端的Capturer采集到视频数据,交给Source,再由Source交给本地的Track,然后本地Track中数据分为2路,一路给本地Sink做预览,一路由Transceiver发送给接收端。接收端的Track收到数据后交给接收端的Sink进行渲染。
作者:caesar1228
原文链接:https://blog.csdn.net/caesar1228/article/details/127198711?spm=1001.2101.3001.6650.3&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EYuanLiJiHua%7EPosition-3-127198711-blog-78008769.pc_relevant_3mothn_strategy_recovery&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EYuanLiJiHua%7EPosition-3-127198711-blog-78008769.pc_relevant_3mothn_strategy_recovery&utm_relevant_index=6
天猫双11菜鸟进口备货超3。7亿件保税仓送货上门覆盖超250城这届天猫双11,菜鸟持续运输全球好物。最近,一批进口乐高积木由德国杜伊斯堡货车总站登上中欧班列菜鸟号,足足塞满了31节车厢,20天途径德国白俄罗斯俄罗斯哈萨克斯坦四国后,抵达中国义
天气寒,要补阳!不论有钱没钱,都要吃5素,提阳气,暖身体阳气对于人体来说有着十分重要的作用,别看它看不见摸不着,但一个阳气充足的人,精神饱满,气色状态也比较好相反人一旦缺少了阳气,整个人看起来就是萎靡不振的。而且,随着秋天的深入,寒气也
科学家对质子的康普顿散射进行新的测量质子是一种位于原子核中的带有正电荷的核粒子。它是一个由夸克和胶子的基本构件组成的复合粒子。这些组成部分及其相互作用决定了质子的结构,包括其电荷和电流。当暴露在外部电场和磁场中时,这
英特尔如何从小芯片布局到通用量子计算机一些世界顶级的高性能计算中心正在进行量子计算机测试,他们通过测试不同的系统和方法,寻找最适合其基础设施建设的方法。围绕量子芯片的大规模生产,一场争夺量子优势的战斗正式打响,这很有挑
天文学家正在研究从未见过的最强光的影响19October2022天文学家观测到从距离地球24亿光年处的未曾见过的最强爆炸。一光年约9。4万亿千米。科学家说这种爆炸可能是由黑洞形成导致的。伽玛射线是最强的电磁辐射波之一。
氢车熟路,奔向风口能源是人类社会发展的物质基础,能源安全是国家安全的重要组成部分。十八世纪以后,煤炭石油电力的广泛使用,先后推动了第一次和第二次工业革命,使人类社会从农耕文明迈向工业文明。如今,随着
戒糖是什么原理?最近比较流行一种戒糖减肥的说法。市面上也陆陆续续出现了琳琅满目的相关产品和广告。很多商家都为了蹭热度,纷纷推出了相关戒糖减肥专用食品。那么,你理解的戒糖减肥方法对吗?首先,让我们先
广东迎战上海,杜锋斗智李春江,易建联对位王哲林,输者将3连败CBA常规赛第5轮,广东队将迎战上海队,比赛时间为10月21日1935,两队作为上赛季季后赛四强,在新赛季堪称难兄难弟,战绩都是一胜三负,其中广东队排名倒数第一,上海队也接近垫底,
一波120,首钢新外援9分不是水货,雷蒙高效11分锋线双星被激活一波120,首钢新外援9分不是水货,雷蒙高效11分,锋线双星被激活北京首钢上一场轻松大胜,外援尼克约翰逊完成了首秀,本轮对阵浙江广厦,是首钢队的一块试金石。对手的大外援威尔哲也已经
冲进前8三连胜,首钢24分大胜广厦,新外援15分创新高,雷蒙11分冲进前8三连胜,首钢24分大胜广厦,新外援15分创新高,雷蒙11分在赛季前两场比赛惜败之后,北京首钢队迅速调整,上一场完成了大胜,并且在对阵广厦的比赛中继续着出色的状态,半场比赛就
说说喝茶(七)听说过喝茶也会醉吗?鑫来特共享茶室著什么是茶醉呢?平时我们在空腹喝茶,或者是喝浓茶的过程中,可能会引起胃部不适或者心跳加速,有些人甚至会头晕站不稳,这种现象就叫茶醉。如果要缓解这种茶醉的话,首先了解一