研发团队：多媒体网络通信实验室现有教授、副教授、博士后及博士硕士研究生共二十多人，一支专业性强、充满活力的研发团队。主持与开发的主要项目介绍如下：

1.图像拼接技术

主要功能：将通过转动的拍摄器拍摄的涵盖360度景物的多幅图像进行拼接，实时地得到超大视角甚至360度角的全像， 从而使观察者可以观察到周围的全部情况。

应用场景：在民用方面，可以利用手机照相机获得场景全景，而不需要其他的专用设备，经济实用;在军事领域，引入图像拼接技术，将从各个战场获得的画面拼接起来，得到战场区域完整的实时监控画面，根据画面显示的信息做出相应的决策，真正做到运筹于帷幄之中，决胜于千里之外;在医学领域，进行生理检查时，对于较大尺寸的目标，显微镜一般不能一次性的显示出来，图像拼接技术的引入可有效地解决这种问题。此外，在虚拟现实、指纹识别、机器人导航等领域，图像拼接技术都起着重要的作用。

核心技术：图像拼接技术主要包括以下几个步骤：图像源采集、图像配准、投影变换及图像融合;其中，图像配准和图像融合是关键技术。图像配准过程采用的是基于特征点匹配算法中目前最先进的算法之一SURF (Speeded Up Robust Feature)算法。在拼接时，采用基于最优缝合线的塔式多分辨率的图像融合技术来进行融合，最终生成全景图。图像拼接生成的全景图效果如图1所示。从图中可以看出，本实验室算法对于各种场景视角变换拼接准确、高效，接缝处无明显痕迹，对于运动物体无影在一定程度上处理曝光补偿、色彩差异，拼接后的全景图主观视觉质量效果较好。

图1 全景拼接效果

2.色彩增强技术

主要功能：提高图像中感兴趣物体的对比度和清晰度，消除视频图像中的无效信号，以满足特定应用的图像处理技术。

主要应用场景：1)改善光照不均条件下所拍摄照片的视觉效果;2)增强医学图像的对比度以利于后续分析诊断，提取图像中人眼不易见的细节信息等。

核心技术：本算法基于Retinex理论，首先从给定的采集图片中通过高斯滤波抽取出照射光分量，然后利用颜色恒常性特性，得到反应物体本质的反射特性，从而产生不受光照非均衡性影响的、动态范围压缩好的、令人满意的图像。本算法的处理效果如图所示：

图2 色彩增强效果

如图所示，原图颜色比较暗淡、模糊，暗区细节不够突出，颜色略显单一。通过色彩增强，图像更加鲜艳，图像细节得以突出，纹理得到增强，且无失真，光晕等现象。

3.运动目标提取技术

主要功能：主要完成监控视频中前景(运动目标)的提取与背景的重建。

应用场景：运动目标检测与跟踪、运动物体识别与行为理解、运动图像编码、内容检索与匹配等。

核心技术：结合经典混合高斯建模法的优势，并针对光照突变、树叶摇动、相机抖动等特殊情况进行改良，

本实验室的运动目标提取算法可以适应各种复杂场景的需要，检测出的前景目标准确完整，误检率大大降低。

如图3所示，左图为原始视频中的一帧图片，中图和右图分别为使用本实验室的运动目标提取算法后提取出的运动目标与重建出的真实背景

4. 高动态范围图像(High Dynamic Range Imaging, HDRI)

主要功能：利用三幅同一场景下不同曝光时间的图片，来快速合成适合传统显示器显示的高动态范围图像，从而完成现场景的再现，使图像细节更加突出，色彩层次感更强，给人一种身临其境的感觉。

应用场景：HDR图像处理技术在遥感图像，卫星气象，印刷，航空航天等领域都有着广泛的应用。

核心技术：首先采用改进的D算法完成相机响应曲线的求解，进行高动态范围照度图的合成，然后利用改进的iCAM06色调映射算法得到适用于传统显示器显示的图像。如图4所示为本实验室算法与两款经典HDR合成软件的效果对比，由图可知，在本实验室算法的效果中，天空更加明朗，桥底的细节更加清晰，整体对比度更好。

5.智能视频插帧(Frame Rate Up-Conversion, FRUC)

主要功能：通过在解码端相邻帧之间插入中间帧的方式，将视频从低帧率提升至高帧率，实现不同帧率之间的转换。

应用场景：1)实现不同帧率的视频格式的转换。2)减少视频编码中的时间信息冗余度，可应用于对传输比特率要求低的情况，如可视电话、电视会议等。3)提高平板电视的图像质量。LCD显示天然存在运动模糊、图像抖动、运动拖尾等缺陷，而PDP显示会有大面积的闪烁。使用FRUC技术对改善并解决这些问题。

核心技术：采用三维递归搜索(3-D Recursive Search, 3DRS)算法来做运动估计，在3DRS算法基础上，我们实现了一种基于3DRS的多级运动估计帧率上转换算法。该算法将3DRS与双向运动估计算法相结合，在不产生“重叠”与“空洞”的同时，提高了双向运动估计准确性和运动矢量一致性，有效减小了块效应，并且复杂度低、易于实现，可应用于高清视频的实时处理。如图5所示为视频插帧示意图。

6.先进音频编码(Advanced Audio Coding, AAC)

主要功能：完成对音频数据的压缩。

应用场景：一方面，多声道和高采样率的特点使得它非常适合DVD-Audio;另一方面，低码率下的高音质则使它也适合移动通信、网络电话、在线广播等领域。相对于MP3等有损格式，AAC格式的音质更佳，文件更小，如下图所示为AAC与MP3编码效果对比，从图中可以看出，AAC无论在时域上还是在频域上均与原始语音差别不大，失真较小。