Intel高性能IO500分布式存储系统DAOS资源汇总-包含RDMA 网络 SPDK NVME TSE 任务调度 异步 事件队列等

晓兵技术杂谈1-intel_daos项目简介高性能分布式存储RDMA_SPDK_NVME_HPC对象存储源码分析_c语言

2023-09-02 00:22:15

https://cloud.tencent.com/developer/video/78657 https://www.bilibili.com/video/BV1mz4y1M7GN

分布式异步对象存储 (DAOS) 是一种开源对象存储，专为大规模分布式非易失性内存 (NVM) 而设计。DAOS 利用下一代 NVM 技术，如 Intel © Optane ™ Persistent Memory 和 NVM express (NVMe)，同时在商用硬件之上提供键值存储接口，提供事务性非阻塞 I/O 等功能，具有自我修复、端到端数据完整性、细粒度数据控制和弹性存储的高级数据保护，以优化性能和成本, 参考: https://github.com/ssbandjl/daos

晓兵技术杂谈2-daos用户态文件系统io路径dfuse_io全路径io栈分布式存储c语言

2023-09-03 17:21:31

https://cloud.tencent.com/developer/video/78647 https://www.bilibili.com/video/BV1gu411P71a

分布式异步对象存储（DAOS，Distributed Asynchronous Object Storage）是一个开源的可扩展存储系统，从根本上设计用于在用户空间支持SCM和NVMe存储。DAOS在IO500基准测试中展现出领先的性能 DAOS从头开始设计，以利用现代化存储硬件（SCM、NVMe和CXL SSD）。其先进的低级键值API使其具有比传统基于POSIX的并行文件系统更高的IOPS和可扩展性，DAOS的IO500结果 2 也证实了这一点。需要注意的是，虽然DAOS提供了POSIX抽象层，但它也可以直接与自定义I/O中间件（如MPI-IO、HDF和几个AI/分析框架）集成，以提供比POSIX更多的功能。本研究仅在DAOS POSIX容器之上使用DAOS DFS API 参考: https://logread.cn/post/daos/daos_dfuse_fs_io_path/ https://blog.csdn.net/ssbandjl/article/details/132651510 https://cloud.tencent.com/developer/article/2322705

晓兵技术杂谈3-分布式存储系统-daos的rdma通信框架_verbs_rpc_cart_mercury_libfabric_c语言

2023-09-08 23:16:22

https://cloud.tencent.com/developer/video/78658 https://www.bilibili.com/video/BV1fp4y1L7VZ

晓兵技术杂谈3-分布式存储系统-daos与rdma通信框架_verbs_rpc_cart_mercury_libfabric_c语言 CaRT（集体和 RPC 传输）与Mercury CaRT 是用于大数据和 百亿级 HPC 的开源 RPC 传输层。 它支持传统的 P2P RPC 和集体 RPC，后者通过可扩展的基于树的消息传播在一组目标服务器上调用 RPC。Cart将Mercury封装，对应用程序提供初始化上下文，创建请求，发送请求，请求回调等数据通道接口，典型的上层应用如心跳swim，rank管理, 持久内存和Nvme读写IO, 底层通过libfabric或ucx封装RDMA的发送SEND/接收RECV和READ读/WRITE写接口 参考: https://blog.csdn.net/ssbandjl/article/details/130448137 htthttps://blog.csdn.net/ssbandjl/article/details/130655867 https://github.com/ssbandjl/libfabric/blob/main/ofi_guide.md https://github.com/ssbandjl/mercury.git https://github.com/ssbandjl/daos/tree/master/src/cart

晓兵技术杂谈4-分布式存储系统-daos的异步任务调度引擎框架TSE_task_schedule_engine_c语言编程

2023-09-16 22:01:48

https://cloud.tencent.com/developer/video/78659 https://www.bilibili.com/video/BV18u411c7Mg

晓兵技术杂谈4-分布式存储系统-daos的异步任务调度引擎框架TSE_task_schedule_engine_c语言编程 任务调度引擎: https://blog.csdn.net/ssbandjl/article/details/132178633 事件和事件队列,网络上下文即EV/EQ/CartContext https://blog.csdn.net/ssbandjl/article/details/132385609

晓兵技术杂谈5-分布式存储系统-daos底层通信rdma接口libfabric教程gpu数据dma_socket大块数据bulk传输原理rdma单边读写c语言编程.mp4

2023-09-24 23:41:08

https://cloud.tencent.com/developer/video/78660 https://www.bilibili.com/video/BV1nr4y1f7kE

晓兵技术杂谈5-分布式存储系统-daos底层通信rdma接口libfabric教程gpu数据dma_socket大块数据bulk传输原理rdma单边读写c语言编程ai_intel_panda熊猫博士 https://logread.cn/post/ofa/libfabric_tutorial_rdma_gpu_intel_dma_video_panda/ https://blog.csdn.net/ssbandjl/article/details/133248887

晓兵技术杂谈6-分布式存储系统-daos底层通信rdma接口分层调用详解libfabric_mercury高性能网络通信c语言编程云计算存储.mp4

2023-10-13 21:24:52

https://cloud.tencent.com/developer/video/78733 https://www.bilibili.com/video/BV1iN411b7qS

晓兵技术杂谈6分布式存储系统DAOS Mercury(HG) Libfabric(OFI) RDMA 分层verbs接口调用详解c语言代码走读通信_rpc, DAOS Mercury(HG) Libfabric(OFI) RDMA 分层verbs接口调用详解 , https://cloud.tencent.com/developer/article/2335208 htthttps://logread.cn/post/daos/daos_mercury_libfabric_rxm_rdma_verbs_rpc_bulk_api/ 常用学习链接(随时更新): https://logread.cn/post/study/summary/

晓兵技术杂谈7_DAOS分布式存储引擎是如何收到客户端RPC请求并处理的_c语言_rpc_cart_回调_mercury回调_rdma回调

2023-10-21 23:51:23

https://cloud.tencent.com/developer/video/78791 https://www.bilibili.com/video/BV11M41197yb

晓兵技术杂谈7_DAOS分布式存储引擎是如何收到客户端RPC请求并处理的_c语言_rpc_cart_回调_mercury回调_rdma回调 Intel高性能IO500分布式存储系统DAOS资源汇总-包含RDMA 网络 SPDK NVME TSE 任务调度 异步 事件队列等 https://cloud.tencent.com/developer/article/2344030 DAOS引擎是如何收到客户端RPC并处理的? https://cloud.tencent.com/developer/article/2348703

晓兵技术杂谈8_UCX统一通信框架_UCT传输层简介_rdma_零拷贝_rpc_高性能网络_c语言_常用通信语义_内存注册_云计算_GPU通信等

2023-11-04 22:41:48

https://cloud.tencent.com/developer/video/78930 https://www.bilibili.com/video/BV1Yg4y1X7aq

晓兵技术杂谈8_UCX统一通信框架_UCT传输层简介_rdma_零拷贝_rpc_高性能网络_c语言_常用通信语义_内存注册_云计算_GPU通信等_博客链接: https://cloud.tencent.com/developer/article/2349389 UCT设计: https://github.com/openucx/ucx/wiki/UCT-Design UCT文档: https://openucx.readthedocs.io/en/master/ucx_features.html

晓兵技术杂谈9_UCX统一通信框架_UCT传输层深入_服务端与客户端_连接建立主流程_rdma_零拷贝_rpc_高性能网络_c语言_常用通信语义_内存注册_云计算_GPU通信等

2023-11-18 21:16:47

https://cloud.tencent.com/developer/video/79142 https://www.bilibili.com/video/BV1pw411H78x

UCX-UCT统一通信传输层2-深入: https://cloud.tencent.com/developer/article/2351953 UCX-UCT统一通信传输层1-简介: https://cloud.tencent.com/developer/article/2349389 UCX-UCT统一通信传输层3-服务端和客户端调用栈详解(及相关)_源码解读: https://cloud.tencent.com/developer/article/2353126

晓兵技术杂谈10_UCX统一通信框架_UCT传输层深入_服务端与客户端_连接建立主流程_rdma_零拷贝_rpc_高性能网络_c语言_常用通信语义_内存注册_云计算_GPU通信等

2023-11-19 21:08:10

https://cloud.tencent.com/developer/video/79146 https://www.bilibili.com/video/BV1s94y1H7jV

晓兵技术杂谈10_UCX统一通信框架_UCT传输层深入_服务端与客户端_连接建立主流程_rdma_零拷贝_rpc_高性能网络_c语言_常用通信语义_内存注册_云计算_GPU通信等 参考: UCX-UCT统一通信传输层2-深入: https://cloud.tencent.com/developer/article/2351953 UCX-UCT统一通信传输层1-简介: https://cloud.tencent.com/developer/article/2349389 UCX-UCT统一通信传输层3-服务端和客户端调用栈详解(及相关)_源码解读: https://cloud.tencent.com/developer/article/2353126