多媒体计算与通信

1. 多媒体通信

研究多媒体信息在各种网络环境下传输的问题，以及各种网络之间的无缝切换技术。

1.1 通信

• 通信原理 ：信息、信源、信道、调制解调

• 通信原理 ：基带、低频/高频、射频、天线

• 数据通信 ： 电路/包交换、骨干/核心网、广域网/局域网、单工/双工、多路复用、FIFO、协议

• 计算机网络 ： ISO七层协议、地址/端口、TCP/IP、Socket、单播/组播、路由器、交换机、网关

1.2 EE视角看通信

1.3 CS视角看通信

1.4 多媒体通信系统

• EE视角

  

• CS视角

  

2. 多媒体计算

多媒体信息的编码、多媒体信息的内容分析、多媒体信息的呈现、多媒体信息的检索和挖掘。

2.1 多媒体类型

• 视频、音频（80%以上信息载体）

• 文本、图像（字幕、弹幕、缩略图）

• 图形（游戏素材、3D对象）

2.2 编程语言、开源工具

• 编程语言：C++、Python、Java

• 媒体类：FFmpeg、VLC、opencv

• AI类：pytorch、tensorflow、keras、sklearn

2.3 多媒体信息编码

2.4 多媒体内容分析

2.5 多媒体信息呈现

…待补充

3. 学习资料

• 国内实验室

  [1] 上海交通大学多媒体实验室

  [2] 腾讯多媒体实验室

  [3] 香港中文大学多媒体实验室(计算机视觉界的黄埔军校)

  [4] 中山大学智能与多媒体科学实验室

• 教材与参考书

  • 《多媒体通信技术基础》，蔡安妮等编著
  • …待补充

我会把我收集到的一些资料同步到百度网盘上，提供下载。链接，提取码：u5g0。