Chinaunix首页 | 论坛 | 博客
  • 博客访问: 591128
  • 博文数量: 135
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 1654
  • 用 户 组: 普通用户
  • 注册时间: 2013-07-09 16:16
个人简介

围城

文章分类

全部博文(135)

文章存档

2019年(3)

2018年(7)

2017年(14)

2016年(15)

2015年(34)

2014年(9)

2013年(53)

我的朋友

分类: LINUX

2016-08-22 16:21:41

根据LDD3说法,DMA是一种硬件机制,是说硬件具有这种仲裁能力,在cpu不干预的情况下设备可以作为主设备来对内存的直接读写访问,这样可以大大提高大数据流的传输速度。我所调试的PCI网卡和视频采集卡就是支持DMA机制的设备。

  在讲解内核提供的通用DMA层之前,LDD3介绍了底层直接来分配DMA缓冲的方法,当然这种方法在编写驱动的过程中是不提倡的,原因在LDD3的15.4.4通用DMA层有解释,主要是缓存一致性和可移植性的问题,但是学习底层直接分配DMA的方法对于我们理解DMA的工作原理还是有好处的,在通用DMA层之前有2个知识点需要记录:

  1 

  LDD3说道“随 DMA 缓冲带来的主要问题是, 当它们大于一页, 它们必须占据物理内存的连续页因为设备使用 ISA 或者 PCI 系统总线传输数据, 它们都使用物理地址”。

  这段话说明分配DMA缓冲区时必须是物理上连续的一段空间,原因我的理解是因为DMA是设备的一种机制,真正使用DMA的是设备,也就是说cpu分配好缓冲区给设备,设备来进行DMA操作,完成对缓冲区的访问,这个过程对cpu是不透明的,设备对缓冲区的寻址是物理地址,如果这个设备是挂载在PCI总线上,则设备对DMA缓冲区的寻址就是pci总线地址。这里还有2点需要说明,一是对于普通的具有DMA的设备,他们只能对物理上连续的地址进行访问,所以一般设备的DMA缓冲区必须物理连续,还有一类设备具有sgDMA的能力,这类设备的DMA缓冲区可以在物理上分散的。


  2

  在15.4.3一节中说明了总线地址,说明如下:

一个使用 DMA 的设备驱动必须和连接到接口总线的硬件通讯, 总线使用物理地址, 而程序代码使用虚拟地址.事实上, 情况比这个稍微有些复杂. 基于 DMA 的硬件使用总线地址, 而不是物理地址. 尽管 ISA 和 PCI 总线地址在 PC 上完全是物理地址, 这对每个平台却不总是真的. 有时接口总线被通过桥接电路连接, 它映射 I/O 地址到不同的物理地址. 一些系统甚至有一个页映射机制, 使任意的页连续出现在外设总线.

   这一段话我刚开始看不是很理解,现在结合调试PCI总线设备的DMA,才算是想通,这段话主要涉及到3个地址:虚拟地址 物理地址 总线地址,只要把这3个地址区分开,这段话就可以理解了。

   理解物理地址和虚拟地址还是比较简单的,虚拟地址是通过了操作系统内存管理单元映射之后的地址。物理地址是站在cpu角度看到的外设资源的地址。起初我把物理地址和总线地址混淆在一起,感觉物理地址就是总线地址,但是经过调试PCI网卡和视频卡的DMA才理解了这个问题,说清楚这个问题,首先要说清楚pci控制器的地址映射。

   对于cpu来说,不管是设备直接挂接在cpu本地总线还是通过pci总线挂接,cpu去访问这个设备都是通过物理地址,这个物理地址就是本地总线的地址。pci总线上的设备需要将自己的资源映射到本地总线,这样cpu直接去访问这个地址就可以访问到pci设备的资源。pci控制器就实现了这个地址的转换,pci控制器有mem地址窗口,对于pci设备,配置空间的BAR0~5就说明了设备资源的偏移和大小,pci设备资源基于pci地址窗口的偏移就是cpu访问设备资源的本地总线地址了。

  对于pci设备来说,设备做DMA时需要去访问内存,这段内存就需要映射到PCI总线上,这个映射也是由PCI控制器来完成的,这时包括PCI控制器在内的CPU资源就是从设备,而做DMA的设备是主设备,对于从设备来说,它资源在总线上的映射是由配置空间的BAR0~5决定的,就是说pci控制器也会有自己的配置空间,pci控制器配置空间的BAR0~5决定了CPU资源在pci总线上的映射地址,举个简单的例子,决定DDR映射的BAR4 5的值是0x80000000,那么物理地址0x10000000的内存单元在pci总线设备看来就是0x90000000.

  一句话,物理地址和总线地址需要经由PCI控制器的转换 ,PCI控制器也就是LDD3上所说的桥接电路!

  如果不是挂接在外部总线上,设备做DMA时使用的物理地址和总线地址是一致的,因为这是本地总线。

  这个问题对于内核驱动在分配DMA时非常的关键,这段时间调试PCI网卡以及视频卡就遇到了这个问题,因为没有设置好PCI控制器的配置空间BAR0~5,分配的DMA总线地址没有做相应的转换。


通用DMA层

  通用DMA层介绍了DMA映射操作的函数,DMA映射分为3种,一致性映射   DMA池   流式映射

  首先我遇到的第一个需要想明白的地方,什么是DMA映射?

  LDD3的解释是  一个 DMA 映射是分配一个 DMA 缓冲和产生一个设备可以存取的地址的结合。光看这句话不是很能理解,但是学习了后面的几种映射之后就大体明白了,其实DMA映射主要工作就是给做DMA的设备准备它可以正常访问的总线地址,如果是一致性映射,需要内核来分配一段内存,然后给出这段内存设备访问的总线地址,如果是流式映射,因为是给定内存和大小,所以只需要给出这段内存设备访问的总线地址就可以。

  遇到的第二个问题就是做DMA映射必须考虑的问题,缓存一致性的问题,根本的原因还是因为设备做DMA对于CPU来说是不可见的,从2个数据流向来说,DMA FROM DEVICE,设备做DMA将数据写入内存中,这时CPU必须将这段内存地址对应的缓存无效掉,不然cpu从缓存中取出的数据跟内存中的数据不一致,DMA TO DEVICE,设备从内存中取数据,这时CPU必须将这段内存对应的缓存写回,不然内存中的数据太旧,没有意义。

  特别是对于软件管理缓存的处理器(MIPS)这一点非常重要。

  通用DMA层有一个变量类型dma_addr_t来表示DMA的总线地址。

  1 一致性映射

    一致性映射必须要建立在一致性缓存中,对于mips处理器一致性映射建立在无缓存的区域,也就是0xa0000000之上了。使用缓存一致区域开销比较大。一致性映射CPU和设备可以同时访问,因为这样的操作不存在数据的差异,所见即所得。

   dma分配函数:

   static inline void *pci_alloc_consistent(struct pci_dev *hwdev, size_t size,dma_addr_t *dma_handle);

   void *dma_alloc_coherent(struct device *dev, size_t size,dma_addr_t * dma_handle, gfp_t gfp);

   pci总线设备可以调用pci_alloc_consistent来分配DMA,其实就是封装了dma_alloc_coherent。下面就来分析一下dma_alloc_coherent函数。

   void *dma_alloc_coherent(struct device *dev, size_t size,
    dma_addr_t * dma_handle, gfp_t gfp)
{
    void *ret;

    if (dma_alloc_from_coherent(dev, size, dma_handle, &ret))
        return ret;

    gfp = massage_gfp_flags(dev, gfp);

    ret = (void *) __get_free_pages(gfp, get_order(size));

    if (ret) {
        memset(ret, 0, size);
        *dma_handle = plat_map_dma_mem(dev, ret, size);

        if (!plat_device_is_coherent(dev)) {
            dma_cache_wback_inv((unsigned long) ret, size);
            ret = UNCAC_ADDR(ret);
        }
    }

    return ret;
}
主要工作是获取一段连续的物理页,然后调用plat_map_dma_mem来获取DMA的总线地址,函数返回值就是这段DMA内存的虚拟地址,由驱动使用。

  调用dma_alloc_coherent可以获取一段指定大小的DMA内存,但是地址不能指定,因为对于驱动来说它不需要关心缓存一致的区域在哪。

  不使用调用void dma_free_coherent(struct device *dev, size_t size,void *vaddr, dma_addr_t dma_handle);


  2 DMA池

  一致性映射分配的是连续的物理页,最小size也是一页,如果要分配小于一页的一致性DMA需要使用DMA池。

  dma池的使用我在代码中没有看到过,这里不详细说明,具体看LDD3.

   

  3 流式映射

  流失映射接口比一致性映射复杂,因为需要接受指定的内核缓冲区来建立DMA映射,处理它没得选择的内存地址。

   流式映射在LDD3上给出了2条必须要遵守的规则:

   缓冲必须用在只匹配它被映射时给定的方向的传输.

    一旦一个缓冲已被映射, 它属于这个设备, 不是处理器. 直到这个缓冲 已被去映射, 驱动不应当以任何方式触动它的内容. 只在调用
  dma_unmap_single 后驱动才可安全存取缓冲的内容(有一个例外, 我们马上见到). 其他的事情, 这个规则隐含一个在被写入设备的缓冲不能被
  映射, 直到它包含所有的要写的数据.这个缓冲必须不被映射, 当 DMA 仍然激活, 否则肯定会有严重的系统不稳定.

  这2点规则LDD3上的解释也让人不是很理解,我的理解还是缓存一致的原因。因为CPU和设备操作之间是不透明的,而流式映射并不一定建立在缓存一致的区域,所以必须要强制规定操作顺序来保证缓存和内存中数据的一致!

  设备和CPU同一时间只能有一个拥有DMA缓冲区,也就是只能有一个对DMA缓冲区有操作权。

  void dma_sync_single_for_cpu(struct device *dev, dma_handle_t bus_addr,size_t size, enum dma_data_direction direction);

  void dma_sync_single_for_device(struct device *dev, dma_handle_t bus_addr, size_t size, enum dma_data_direction direction);

  这2个函数来决定DMA缓冲区的使用权,查看这2个函数的源码,主要的工作就是调用函数__dma_sync来对相应的缓冲区进行写回和无效操作来实现缓存的一致性。

  这样当设备做完DMA后调用dma_sync_single_for_cpu来将缓存更新,这样内存和缓存一致,CPU操作数据才能正确。对于设备也是如此。

  流式映射有3种接口, 单缓冲区映射  单页映射  分离聚合映射

  单缓冲映射

  dma_addr_t dma_map_single(struct device *dev, void *ptr, size_t size,enum dma_data_direction direction)

   void dma_unmap_single(struct device *dev, dma_addr_t dma_addr, size_t size,enum dma_data_direction direction);

  这种映射针对于驱动指定的小缓冲区,CPU可以找到一段连续的物理页来实现DMA映射。

   

  单页映射

   dma_addr_t dma_map_page(struct device *dev, struct page *page,unsigned long offset, size_t size,enum dma_data_direction direction);
  void dma_unmap_page(struct device *dev, dma_addr_t dma_address,size_t size, enum dma_data_direction direction);

    这种映射实现了已知单物理页缓冲区来建立DMA映射


  sg映射

  实现sg映射必须做DMA的设备有sg映射的机制,就是说设备可以接受一个分散表数组,这个数组成员描述了每一个缓冲区的总线地址 长度等信息,设备可以实现在一个DMA操作中完成对这些缓冲区的传送。

  比如最近调试的视频采集卡就是使用的sgDMA,因为对于视频来说每一帧数据的容量都会比较大,想通过分配一个连续的缓冲区来实现不太可能,因为内存中充满了碎片,get_free_pages理论上最多了一分配2^11个页,也就是8M内存,但是实际上可能连128K都分配失败。所以每一帧数据都需要很多个dma缓冲区,一般情况下sgDMA的每个缓冲区大小为一页。根据视频采集卡的代码,驱动只需要建立分散表数组scaterrlist,然后再建立一个页表缓冲区,页表缓冲区上每一个单元的值都是每一个数据缓冲区的地址,将这个页表以及分散表传给设备,设备就会自动完成DMA传输。

  操作函数:

  int dma_map_sg(struct device *dev, struct scatterlist *sg, int nents,enum dma_data_direction direction);

   void dma_unmap_sg(struct device *dev, struct scatterlist *list, int nents,enum dma_data_direction direction);

  具体的函数说明LDD3上有,这里不说了,这里说明一下scatterlist。对于misp处理器,定义如下:

struct scatterlist {
#ifdef CONFIG_DEBUG_SG
    unsigned long   sg_magic;
#endif
    unsigned long   page_link;
    unsigned int    offset;
    dma_addr_t  dma_address;
    unsigned int    length;
};

这个结构体就表示了sgDMA中的一个缓冲区。对于sgDMA的驱动会分配一个scatterlist数组,然后驱动会填充这个结构体中的每个成员。


对于DMA映射的通用层函数,在其实现中都可以看到dma_addr_t类型的变量也就是dma总线地址是由plat_map_dma_mem来获取的

static inline dma_addr_t plat_map_dma_mem(struct device *dev, void *addr,size_t size)
{       
    return virt_to_phys(addr);
}
mips处理器的实现如上,可以看出返回值就是物理地址,从前面对于总线地址 物理地址的分析,如果这个设备不是本地总线上的设备,而是PCI设备,这个返回地址必须要加上一个pci控制器配置空间BAR寄存器的地址窗口才可以!

阅读(2564) | 评论(0) | 转发(1) |
给主人留下些什么吧!~~