JCEC-comp/README.md

2.1 KiB
Raw Permalink Blame History

  • JCECJointCloud Erasure Code是一种基于纠删码的云际容灾存储系统。该系统可用纠删码将文件编码为多个条带的多个块数据块和校验块后分散存储到多个云数据中心的多个云主机上。当某个云主机或某个云数据中心故障时仍可通过正常云主机中的块恢复出原始文件。

  • 在云际环境中,基于纠删码的存储系统在写入、修复、更新数据时均需要跨云传输数据。因为跨云流量往往是昂贵的且跨云带宽往往较低,所以十分有必要降低系统的写入、修复、更新时的跨云传输量,从而降低传输成本并提高传输速度。

  • JCEC支持用户灵活定义纠删码编码过程和修复过程因此支持用户根据具体的云际环境对纠删码的编码过程和修复过程进行优化以降低编码和修复时的跨云传输量。此外JCEC支持弹性条带和条带校验和管理这为实现纠删码编码文件增量更新提供了支持。

  • JCEC基于开源项目FastDFSC语言和OpenECC++语言)实现:

  • FastDFS是一种轻量级的分布式文件系统我们使用其作为JCEC的底层存储系统。在原始的FastDFS的基础上我们增加了对OpenEC的支持。

  • OpenEC是一种支持自定义纠删码编码操作和修复操作的框架。为了实现JCEC我们在OpenEC的基础上完善了多点修复功能、增加了对FastDFS的支持、增加了多粒度故障感知及相应的新生节点选择机制、改变了写入流程和元数据管理方式JCEC使用MongoDB管理元数据

  • JCEC的安装和部署架构可参考JCEC-doc.pdfresources中提供了部分依赖软件。

  • 本次赛题任务主要完成以降低跨云传输量和提高速度为主要目的的自适应编码、自适应修复和增量更新,具体大赛任务在项目的 Issue 中发布。

  • 特别说明:本赛题需要在跨云环境上进行测试,在完成相关任务开发后,如需测试环境,请按照下面的方式添加微信联系我们。

  • 联系我们:包涵/baohan547604微信号