ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

音视频数据处理入门:RTP协议解析

2021-05-01 13:31:10  阅读:235  来源: 互联网

标签:int unsigned 音视频 char sockfd RTP 数据处理 payload


协议分析

image-20210501093710855

1、RTP(Real-time Transport Protocol)

RTP报文由两部分组成:报头和有效载荷。

RTP头部:
image-20210501094719200

这里只说明几个我们需要用到的字段:

V(2位):协议版本号

pt(7位):payload type载荷类型

sequence number(2字节):序列号,每个报文都有一个序列号;接收者据此来检测报文丢失情况,重组报文。

timestamp(4字节):时间戳,反映采样时间;接收者据此来计算延迟和延迟抖动,并进行同步控制。


2、MPEG-TS

image-20210501110807922 音频数据和视频数据经压缩编码后,形成音频基本流和视频基本流(ES:Elementary Stream);基本流经过打包、附加某些必要信息后,形成打包基本流(PES)。音频PES和视频PES可以经节目复合器形成节目流,也可以经传输流复合器形成传输流。

TS包结构:包头(4字节)、自适配域(可选,一般不选)、包数据(最大184字节)

image-20210501110215045

包头信息:

image-20210501102841377

包数据有两种:

1)视频、音频的PES包

2)PSI节目专用信息

PSI:节目特定信息(ProgramSpecificInformation),由节目关联表PAT,条件接收表CAT,节目映射表PMT和网络信息表NIT组成。


程序代码

①引用头文件与RTP头结构定义

#include <stdio.h>
#include <stdint.h>
#include <string.h>
#include <unistd.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <arpa/inet.h>

/*
 *  RTP data header: 12Bytes
 */
typedef struct {
    unsigned char cc:4;        /* CSRC count */
    unsigned char x:1;         /* header extension flag */
    unsigned char p:1;         /* padding flag */
    unsigned char version:2;   /* protocol version */
    unsigned char pt:7;        /* payload type */
    unsigned char m:1;         /* marker bit */
    unsigned short seq;      /* sequence number */
    uint32_t ts;              /* timestamp */
    uint32_t ssrc;            /* synchronization source */
    uint32_t csrc[0];         /* optional CSRC list */
} rtp_header_t;
// 网络传输 -》大端模式, 高地址放低字节
// 注意非单字节数据要用ntoh转换

/*
 * MPEGTS header: 4Bytes
 */
typedef struct {
    unsigned int  sync_byte;                        // 同步字节,恒为0x47
    unsigned int  ts_error_indicator: 1;            // 传输误码指示符
    unsigned int  payload_unit_start_indicator: 1;  // 有效单元载荷起始指示
    unsigned int  ts_priority: 1;                   // 优先传输
    unsigned int  PID: 13;                          // 包标识符,流类型
    unsigned int scrambling_control: 2;             // 传输控制标识
    unsigned int adaptation_field_exist: 2;         // 自适应区标识,1时表示
有附加数据
    unsigned int continue_counter: 4;               // 连续计数器
} mpegts_header_t;

②创建socket并绑定端口进行监听

static struct sockaddr_in local_addr;
int udp_socket_init() {
    int sockfd = socket(AF_INET, SOCK_DGRAM, 0);
    if (sockfd < 0) {
        perror("socket()");
        return -1;
    }

    // sockfd绑定127.0.0.1:1998
    local_addr.sin_family = AF_INET;
    local_addr.sin_port = htons(1998);
    inet_pton(AF_INET, "0.0.0.0", &local_addr.sin_addr);
    if (bind(sockfd, (void *)&local_addr, sizeof(local_addr)) < 0) {
        perror("bind()");
        return -2;
    }
    return sockfd;
}

③接收RTP包并解析RTP头信息

void rtp_parser(void) {
    struct sockaddr_in remote_addr;
    socklen_t len = sizeof(remote_addr);

    int sockfd = udp_socket_init();
    if (sockfd < 0) return ;
    
    int cnt = 0;
    char recvbuf[10000];
    while (1) {
        int pktsize = recvfrom(sockfd, recvbuf, 10000, 0, (void *)&remote_ad
dr, &len);
        if (pktsize < 0) continue;

        // 解析RTP头信息
        rtp_header_t rtpHead;
        int rtphead_size = sizeof(rtpHead);
        memcpy((void *)&rtpHead, recvbuf, rtphead_size);
        
        // 在结构体中pt要放在m前面
        char pt = rtpHead.pt;
        char payload_str[10];
        switch(pt) {
            case 18: sprintf(payload_str,"Audio");break;
            case 31: sprintf(payload_str,"H.261");break;
            case 32: sprintf(payload_str,"MPV");break;
            case 33: sprintf(payload_str,"MP2T");break;
            case 34: sprintf(payload_str,"H.263");break;
            case 96: sprintf(payload_str,"H.264");break;
            default: sprintf(payload_str,"other");break;
        }

        unsigned int timestamp = ntohl(rtpHead.ts);
        unsigned int seq_no = ntohs(rtpHead.seq);
        printf("[RTP packet] %5d| %6s| %10u| %5d| %5d|\n", cnt++, payload_st
r, timestamp, seq_no, pktsize);
    
        // 解析MPEG-TS头信息
        char *rtp_data = recvbuf + rtphead_size;
        int rtp_data_size = pktsize - rtphead_size;

        if (pt == 33) {
            // mpegts_header_t tsHead;
            // memcpy((void *)&tsHead, &rtp_data[i], sizeof(tsHead));
            // 逐一解析包头的每个字段...
            for (int i = 0; i < rtp_data_size; i += 188) {
                if (rtp_data[i] != 0x47) // 检验同步字节
                    break;
                printf("[MPEG-TS packet]\n");
            }
        }
    }

    close(sockfd);
}

ffmpeg推流命令:ffmpeg -re -i xxx.ts -f rtp_mpegts udp://127.0.0.1:1998

测试结果:
image-20210501124600219

标签:int,unsigned,音视频,char,sockfd,RTP,数据处理,payload
来源: https://blog.csdn.net/weixin_43796767/article/details/116329607

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有