【大家的项目】helyim: 纯 Rust 实现的分布式对象存储系统

2024-01-12 15:43:27 浏览数 (1)

helyim 是使用 rust 重写的 seaweedfs，具体架构可以参考 Facebook 发表的 haystack 和 f4 论文。

主要设计目标为：

  1. 精简文件元数据信息，去掉对象存储不需要的 POSIX 语义（如文件权限）
  2. 小文件合并成大文件，从而减小元数据数，使其完全存在内存中，以省去获取文件元数据的磁盘IO
  3. 支持地域容灾，包括 IDC 容灾和机架容灾
  4. 架构简单，易于实现和运维

支持的特性：

  1. 支持使用 Http 的文件上传，下载，删除，查看集群状态等接口
  2. Volume 数据支持 Replica Placement
  3. 基于 Openraft 的元数据服务的 Failover 功能
  4. 冗余数据的定时删除
  5. 元数据接口的请求重定向

未来可能实现的功能：

  1. 支持纠删码（高优先级）
  2. 支持 Filer 服务（高优先级，以支持 S3，HDFS，Fuse 等 proxy）
  3. 支持 io-uring
  4. 支持 kernel bypass（RDMA，DPDK，SPDK）
  5. GPU direct storage（大概率不做，但是会学习相关知识）

使用方法：

1. 启动 master 服务
代码语言：javascript复制
> cargo run --bin helyim master
2. 启动 volume 服务
代码语言：javascript复制
> cargo run --bin helyim volume --port 8080 --folders ./data:7
3. 上传文件
代码语言：javascript复制
# 获取文件 ID
> curl http://localhost:9333/dir/assign

{"fid":"6,16b7578a5","url":"127.0.0.1:8080","public_url":"127.0.0.1:8080","count":1,"error":""}

# 上传文件
> curl -F file=@./sun.jpg http://127.0.0.1:8080/6,16b7578a5

{"name":"sun.jpg","size":1675569,"error":""}
4. 删除文件
代码语言：javascript复制
> curl -X DELETE http://127.0.0.1:8080/6,16b7578a5

更多用法请参考 https://github.com/helyim/helyim

rust 数据 系统 对象存储 分布式

0 人点赞