NCCL源码解析7——RDMA建连_lvyilong316-ChinaUnix博客

技术之美

首页　| 　博文目录　| 　关于我

lvyilong316

博客访问： 3748117
博文数量： 216
博客积分： 0
博客等级：民兵
技术积分： 7480
用户组：普通用户
注册时间： 2013-01-23 18:56

个人简介

将晦涩难懂的技术讲的通俗易懂

文章分类

全部博文（216）

RDMA（1）
NCCL（8）
服务器硬件（1）
AI infra（11）
网络安全（3）
容器技术（5）
spdk（1）
SDN（0）
论文（2）
论文（0）
网络大二层（1）
性能优化（6）
虚拟化（22）

qemu-kvm（5）
体系结构（5）
dpdk（23）
链接、装载与库（2）
python（1）
内核网络（13）
分布式存储（1）
Nginx（1）
经典算法（1）
学习生活（1）
Web（2）
网络编程（8）
疑难杂症（5）
Linux系统使用（5）
算法（2）
ASP.NET（1）
linux系统编程（28）

epoll（7）
Linuc/unix（36）

内核（17）
C/C++（18）
未分配的博文（2）

文章存档

2025年（8）

2024年（11）

2023年（9）

2022年（4）

2021年（12）

2020年（8）

2019年（18）

2018年（19）

2017年（9）

2016年（26）

2015年（18）

2014年（54）

2013年（20）

我的朋友

最近访客

推荐博文

NCCL源码解析7——RDMA建连

发布时间：2025-04-14 00:23:09

NCCL源码解析7——RDMA建连——lvyilong316 前文我们分析过在channel setup阶段，设计到proxyService线程还有proxyProgress线程，主线程通过proxyService线程进行RDMA建连接。上一篇上传的图片有些糊了，重新上传一下，如下图所示。本节我们就以NCCL中的RDMA建连过程来讲一下RDMA的典.........【阅读全文】

阅读(1016) | 评论(0) | 转发(0)

NCCL源码解析6——channel setup

发布时间：2025-03-23 00:38:18

NCCL源码解析6——channel setup——lvyilong316继续NCCL源码分析。上一篇文章介绍了机内和机间的channel搜索情况。所谓channel只是描述了一些列可以通信rank的关系，channel搜索结束后只是确定了这些关系，并记录在：comm->channels[c].ring.prev（当前rank在channel c的前节点）, comm->rank（当前rank.........【阅读全文】

阅读(776) | 评论(0) | 转发(0)

RDMA为什么要Pin内存？

发布时间：2025-03-16 00:46:48

IOMMU的作用IOMMU是系统级的硬件单元，负责保护主机内存免受DMA攻击（如恶意设备直接访问非授权内存区域），并提供虚拟地址到物理地址的转换（VA→PA）的。所以这里IOMMU有两个功能，内存保护和地址翻译。前者是检查DMA目的地址的合法性，比如如果没有IOMMU，程序直接使用物理地址（PA）进行DMA，如果这个程序被攻击.........【阅读全文】

阅读(520) | 评论(0) | 转发(0)

NCCL源码解析5——跨机channel合并

发布时间：2025-03-09 00:14:22

NCCL源码解析5——跨机channel合并——lvyilong316 上节中我们知道通过ncclTopoCompute函数完成单机（单node）内的channel搜索和构建。接下来回到initTransportsRank中，看下如果是多机器情况，是如何合并各个node的拓扑和channel。在后续介绍之前，需要先再回顾一下graph结构的intra和int.........【阅读全文】

阅读(845) | 评论(0) | 转发(0)

NCCL概述和NCCL-Test分析

发布时间：2025-02-23 22:22:17

NCCL概述和NCCL-Test分析——lvyilong316 NCCL（NVIDIA Collective Communications Library）是一种由NVIDIA开发的高性能通信库，专门用于加速多GPU系统中的并行计算工作负载。NCCL旨在优化多GPU之间的数据传输和通信，以实现更快的并行计算速度。NCCL具备以下.........【阅读全文】

阅读(1257) | 评论(0) | 转发(0)

给主人留下些什么吧！~~

吻的感觉适2025-07-18 23:22

https://txc.qq.com/products/762843/blog/2022630
https://txc.qq.com/products/762814/blog/2022624
https://txc.qq.com/products/762833/blog/2022632
https://txc.qq.com/products/762839/blog/2022631
https://txc.qq.com/products/762835/blog/2022633
https://txc.qq.com/products/762845/blog/2022634
https://txc.qq.com/products/762810/blog/2022636
https://txc.qq.com/products/762848/blog/2022637
https://txc.qq.com/products/762843/blog/2022638
https://txc.qq.com/products/762814/blog/2022639
https://txc.qq.com/products/762839/blog/2022640
https://txc.qq.com/products/762833/blog/2022642
https://txc.qq.com/products/762810/blog/2022644
https://txc.qq.com/products/762843/blog/2022645
https://txc.qq.com/products/762814/blog/2022647
https://txc.qq.com/products/762833/blog/2022648
https://txc.qq.com/products/762843/blog/2022650

回复　　| 　举报

Tabi_star2025-04-15 14:58

Tabi_star：跪求大佬继续更新，PKU博一，导师让我魔改NCCL，本人太菜源码看不懂一点儿，大佬的博客应该是全网NCCL版本最新最详细的源码解读，能不能毕业全靠大佬了

我爱博主

回复　　| 　举报

Tabi_star2025-03-13 21:08

跪求大佬继续更新，PKU博一，导师让我魔改NCCL，本人太菜源码看不懂一点儿，大佬的博客应该是全网NCCL版本最新最详细的源码解读，能不能毕业全靠大佬了

回复　　| 　举报

zf8292024-11-13 13:41

zf829：您好，请教大神一个问题，设备直通给VM时，中断到底会不会导致VM_EXIT吗，如果会，那VIRTIO直通时还会导致IO性能下降吧？“当透传设备产生中断时，vfio_msihandler ISR执行，该函数不做实际的服务程序处理，仅仅通过eventfd_signal激活irqfd_inject，然后最终调用deliver_posted_interrupt向虚机注入中断，中断号即为虚机配置透传设备时的中断号。” 这段描述在代码上我也仔细看了，逻辑肯定是对的，但另一方面我还是不确定中断到底会不会导致VM_EXIT

这里的中断主要是指数据包收发的中断

回复　　| 　举报

zf8292024-11-13 11:35

您好，请教大神一个问题，设备直通给VM时，中断到底会不会导致VM_EXIT吗，如果会，那VIRTIO直通时还会导致IO性能下降吧？“当透传设备产生中断时，vfio_msihandler ISR执行，该函数不做实际的服务程序处理，仅仅通过eventfd_signal激活irqfd_inject，然后最终调用deliver_posted_interrupt向虚机注入中断，中断号即为虚机配置透传设备时的中断号。” 这段描述在代码上我也仔细看了，逻辑肯定是对的，但另一方面我还是不确定中断到底会不会导致VM_EXIT

回复　　| 　举报

留言热议

请登录后留言。

登录注册

感谢所有关心和支持过ChinaUnix的朋友们

16024965号-6