|
||
---|---|---|
README.md |
README.md
赛题题目:分布式硬件子系统高效视频传输
赛题说明:
当前直播话题非常火热,直播间场景的好坏直接影响用户的进入率,当前存在的问题如画面模糊、光线差、声音刺耳……极其影响用户体验。为了满足更好的直播场景效果,视频传输质量至关重要。 受到信号质量、带宽限制等因素影响,高画质高带宽视频传输成为一项重要挑战。满足用户对画质和流畅度的诉求,决定了直播场景的核心竞争力。此课题旨在分布式硬件子系统中实现一种视频传输高效高质量图像重建技术,实现对高画质高带宽视频的压力缓冲,保障用户高端精致的观赏体验。 技术路线不限,可以采用压缩感知、超分重建等技术路线,可以参考:超分辨率和背景提取的方法,压缩传输大小,通过端侧计算来换取带宽,实现高画质视频传输能力。
当前挑战:业界已具有多种超分模型和背景提取算法,但在端侧ROM和RAM资源有限情况下,需要考虑性能和效果的平衡。
- 高效的算法,超分和背景提取算法对算力要求高,需要设计高效的算法,此为该课题的主要挑战项;
- 帧率和画质性能,需要满足移动端设备的满帧运行,同时PSNR(峰值信噪比, Peak signal-to-noise ratio)和SSIM(结构相似性,structural similarity)达标。
赛题要求:
基于分布式相机模块在端侧进行原型验证。(https://gitee.com/openharmony/distributedhardware_distributed_camera)采用H.264视频编码方案,在dataprocessor中实现关键软件算法,实现低带宽高画质传输。具体要求如下:
- 基于OpenHarmony操作系统实现图像重建分布式相机传输框架搭建,且必须使用图像重建技术对采集图像进行处理。
- 基于提供不同画质打桩数据集(比赛提供少量数据集作为Sample,评审基于数据全集),PSNR及SSIM综合指标不低于既定指标。数据集中包含大量高画质内容,90%上数据集是在低速运动或静止场景进行采集,10%数据集存在一些快速运动物体或存在相机运动情形,要求针对运动场景进行运动补偿。同一环境不同距离测试,课题采用了分布式相机框架,同时进行打桩测试,针对环境引起的变化会进行多个信号条件测试,反复测试10次求平均。最终按照数据集平均PSNR和SSIM得分进行评价。
- 时效性:要求对整个图像重建进行日志标记,计算整个数据集条件下因图像重建算法产生的单次平均耗时。平均耗时不大于10ms(松弛度Slack为10ms,即20ms也可得分,下同),可得10分;平均耗时不大于50ms,可得8分;平均耗时不大于500ms,可得5分;平均耗时不大于1s,可得3分;平均耗时不大于3s,可得2分;平均耗时超过3s,不得分。
评分标准:
评分项 占比 说明 功能 10 满足上述要求3(1),功能完整可得10分 性能 70 满足第三部分要求3(2)/(3),其中评分: 60 *(0.6 * PSNR + 0.4 * SSIM)+ 时效性(占10分)。其中PSNR∈[0, ∞], PSNR∈[0, ∞]时得分为0;PSNR∈[20, 30]时得分为0.6;PSNR∈[30, ∞]时得分为MIN(1.0,(PSNR - 30)/ 10)。另外,SSIM∈[0, 1],保持原值。性能得分在整体数据集上进行平均,总体得分向下取整。 代码规范性10%:代码符合OpenHarmony社区规范,按照规范类型扣分点,每条减少1分,直至为0。 代码规范性 10 代码符合OpenHarmony社区规范,按照规范类型扣分点,每条减少1分,直至为0 文档质量 10 文档能将从架构和技术实现角度,说明架构和技术竞争力。
赛题联系人:
董慧滨 donghuibin@huawei.com 李东华 lidonghua5@huawei.com 参考资料: https://gitee.com/openharmony/distributedhardware_distributed_camera
参赛资源支持:
OpenHarmony社区可提供:硬件开发平台X2
https://laval.csdn.net/651288d19fe5a0689ae58be6.html?login=from_csdn
赛题交流讨论链接:
https://www.chaspark.com/#/races/competitions/1136094700259041280