未来的企业级内存解决方案——FB-DIMM

近年来，CPU的运算速度发展迅猛，企业级运算也得到了越来越广阔的应用，并且应用的规模也与日俱增。一直为了追赶CPU速度可苦苦前进的内存子系统也因此碰到更大的挑战。未来的企业级运算应用将需容量更大，速度更快的内存系统予以支持，而目前的内存子系统显然还达不到这种要求，而这种需求上的挑战渐渐地引发了一场变革。 作为IT业硬件标准的领袖之一，Intel针对未来企业级运算平台开发出了新的内存体系，而之所以要研制新的体系结构，原因就在于我们今天要讲的FB-DIMM（Fully Buffered-DIMM，全缓冲双列内存模组）。Intel希望以它替代传统的Registered DIMM（Reg-DIMM），来更好的为高端平台服务，但从很多设计理念上看，FB-DIMM已经与传统的DIMM有了很大不同。   什么是FB-DIMM？    要说清FB-DIMM，我们最好还是先了解一下传统的Reg-DIMM。我们平常所使用的内存模组是Unb-DIMM（Unbuffered-DIMM，无缓冲DIMM），Unb与Reg-DIMM的最大区别在于模组上有无寄存器。在高容量模组上，内存芯片数量很多，而且在需要大容量内存的工作场合，内存模组的安插数量也是很多的，这使命令与寻址信号的稳定性受到了严重考验。很多芯片组的资料中都说明只有使用Reg-DIMM才能达到标称的最高内存容量，从这点就能猜到寄存器的作用——稳定命令/地址信号，隔离外部干扰。 Reg-DIMM工作示意图，命令与地址信号通过寄存器中继传输至内存芯片   在工作时，命令地址信号会先送入寄存器进行“净化”并进入锁存状态，然后再发送至内存芯片，芯片中的数据则不经过寄存器而直接传向北桥。由于要经过中继传输，所以内存操作的时序也会因此而增加一个时钟周期，这是它所带来的一个弊端，但在高端应用中，内存系统的稳定可靠的重要性远在性能之上，所以Reg-DIMM一般只用于高端市场，并且需要芯片组的支持才行（主要是Reg所引起的时序变化）。而在高端设备中，ECC基本都是必须的，因此市场上的Reg-DIMM也都无一例外的是ECC型模组，虽然也有无ECC的Reg-DIMM设计标准。 现在再回头看看我们常用的Unb-DIMM，就很明白了。它要害就少了寄存器，但为什么不称之为Unregistered-DIMM呢？其实，Buffered与Registered是Reg-DIMM的两种工作模式，前者在Reg-DIMM上并不常用，它是以时钟异步方式工作的，输出信号的再驱动不与时钟同步，Registered模式下输入信号的再驱动则与时钟同步。显然，Buffered模式下的性能要更低一些。不过，从原理上讲Registered模式也是一种缓冲操作，只是与时钟同步而已。在SDRAM的Reg-DIMM上，Buffered与Registered模式通过REGE信号控制，但到了DDR SDRAM-DIMM时代，可能由于性能的原因Buffered模式被取消了。   好，简要介绍完Reg-DIMM，我们再看看FB-DIMM。从下面这张FB-DIMM系统结构图上可以看出很多新的设计。
  FB-DIMM系统架构图，类似于PCI-EXPress的信号总线是其最大的亮点 与传统的Reg-DIMM只是在Unb-DIMM上加装寄存器、PLL等元件而成的方法不一样，FB-DIMM与同级的普通Unb-DIMM有了很大的变化。首先，DIMM与内存控制器之间的数据与命令的传输不再是传统的并行线路（ECC时数据线路至少需要72条），FB-DIMM是采用了类似于PCI-Express的串行接口多路并联的设计，目前的设计是上行10路并联（位宽10bit），下行14路并联（位宽14bit），数据传输以串行的方式。另外，从图中还可以看出，每个DRAM芯片不再直接与内存控制器进行数据交换，事实上，除了时钟信号与系统治理总线的访问（主要与SPD打交道），其他的命令与数据的I/O都要经过位于DIMM上的内存缓冲器（Memory Buffer）的中转，这可能就是全缓冲（Fully Buffered）这一叫法的来历。 FB-DIMM的优势何在？ 有人可能会问，为什么FB-DIMM要做如此大的改动呢？原因在于传统的并行连接的方法已经不适应高容量、高频率的应用需求，从下图中我们能发现目前这种连接方式的缺陷。           短线连接方法不利于在频率提高的过程中提高通道内芯片容积   目前的DIMM采用的是一种“短线连接”（Stub-bus）的拓扑结构，这种结构中，每个芯片与内存控制器的数据总线都有一个短小的线路相连，这样会造成电阻抗的不继续性，从而影响信号的稳定与完整，频率越高或芯片数据越多，影响也就越大。因此日后随着时钟频率的提高这种结构对内存通道内的芯片数量的限制作用也越来越大，在1999年，每个内存通道可以容纳140个内存芯片，而到了今年则下降到了70个，预计到2007年会进一步下降到20个左右。虽然对于普通的PC机，这种限制所产生的影响基本感觉不到，但这与企业级平台对内存子系统的容量需求不断高速提升（相对于普通PC机）的发展方向是背道而驰的。              传统内存子系统与应用需求间的容量差距逐年增加   在FB-DIMM架构中，每个DIMM上的缓冲区是相互串联的，之间为点对点的连接方式，数据会在经过第一个缓冲区后传向下一个缓冲区，这样，第一个缓冲区与内存控制器之间的连接阻抗就能始终保持稳定，从而有助于容量与频率的提升。
         点对点的连接解决了“短线连接”所带来的困扰 另外，因为采用了串行传输的设计，使得FB-DIMM的引脚数大为减少，下表就是FB-DIMM的预计引脚数与基本的分配：  

信号类型 差分信号 引脚数 数据（往DIMM方向） 10 20 数据（往控制器方向） 14 28 所有的高频信号引脚数 48个 电源引脚数 6个 接地引脚数 12个 共享信号（如时钟）引脚数 3个（大约） 引脚总数 约69个

  要知道，目前的DDR-2 Reg-DIMM的引脚数为240个，与之相比，FB-DIMM还不到后者的1/3。而且，串行信号的大量采用也使得对同步的要求大大简化（但仍需要数据块的同步），有助于提高布线设计的效率并降低电路板设计的难度。
  FB-DIMM与DDR2 Reg-DIMM之间的主板布线比较，显然FB-DIMM的布线要简单得多 接下来，其他的好处也接踵而至。基于以上特点，FB-DIMM内存子系统相对于现有的DDR2内存子系统具备了很大的优势。由于串行连接，可以用更少的引脚建立更多的内存通道，也是由于串行连接，还可以使通道内的芯片容积得以大幅度的增加，从而扩大了内存子系统的容量。 FB-DIMM与传统DDR2系统之间的最大容量与带宽比较 那么，FB-DIMM的性能表现将会如何呢？通过Intel的模拟分析表明，FB-DIMM由于全缓冲的设计，在低带宽应用时，潜伏期会比DDR2系统长，但随着容量与带宽需求的增加，潜伏期反倒渐渐成为了FB-DIMM的优势，而且带宽越大，这就优势也就越明显，从而证实FB-DIMM非常适合用于高端系统的内存体系。
  FB-DIMM与DDR2系统的潜伏期/带宽坐标图，从中可以看出，带宽需求越高，FB-DIMM的优势越明显 FB-DIMM的未来计划 作为FB-DIMM的主要发起者，Intel有着长远的计划。而由于Intel自身在芯片组领域里的地位，也使其实现这些计划事半功倍。其实，FB-DIMM只是一种连接技术，它并不涉及到内存的核心技术的改变。就如QBM内存模组一样，它们都利用了现有的DRAM芯片，只是在系统架构与互联方式上进行了新的尝试。在Intel的设想中，FB-DIMM将以DDR2内存为起点，日后的DDR3内存也将可以利用FB-DIMM来更好地进入高端应用市场。 FB-DIMM的发展蓝图，预计在2005年推出基于DDR2内存的FB-DIMM，基于DDR3的FB-DIMM将与DDR3同步开发，计划在2006年推出 目前Intel正在进行的开发工作包括：FB-DIMM的架构与相关协议、FB-DIMM所采用的信号技术、FB-DIMM所使用的高级内存缓冲器（AMB，Advanced Memory Buffer）、测试与验证系统、模组与连接引脚（金手指）规格、FB-DIMM用SPD的规范等等。并且已经上报联合电子设备工程委员会（JEDEC，Joint Electronic Devices Engineering Council，）希望能确立为国际行业标准。在最近举办的2004年春季IDF上，Intel更是大张旗鼓地宣传FB-DIMM，并与闻名的服务器生产商Dell、HP共同成立了“内存执行论坛”（详见本站新闻），来向业内推广FB-DIMM。而主要的内存与模组生产商也已经成为了该论坛的会员。这一切都预示着FB-DIMM有一个美好的未来。   总结 从FB-DIMM的设计思路上看，我们能发现不少Rambus的影子，这个Intel昔日的铁杆盟友的确带来了很多对内存发展影响深远的技术，在此之前用于Itanium2的E8870芯片组中，我们就可以发现Intel为了降低多通道（高于两个）DDR内存主板布线的难度，采用了DDR内存集线器（DMH，DDR Memory Hub）的设计，而DMH与主控制器相连的通道则采用了RDRAM的数据串行多路并联的总线设计，从而大大简化了主板布线的复杂程度。 面对处理器带宽的飞速提升以及市场对内存容量需求的不断提高，中低端服务器市场也迫切的需要一种高效的内存解决方案，而若以传统的并行DDR内存子系统应对，无疑是非常困难的。FB-DIMM的出现就是为了解决这个问题，而最要害的突破就是在服务器的主流领域（Itanium2属于高端领域）引入数据串行多路并联的内存体系，而高端系统也因此有了更好的解决方案。 从设计上看，FB-DIMM在未来市场上的确具备了很大优势，除了技术性能之外，这种优势很多来自于Intel的商业资源，作为全世界最大最全面的芯片组厂商，它完全可以自己设计芯片组并去推广，而其在业界的影响力是无人可比的。最要害的一点，FB-DIMM的变化并不像RDRAM当初那样剧烈——从控制器、模组一直到DRAM芯片本身都彻底改变。FB-DIMM并没有影响DDR2、DDR3的开发，而是在此基础上发展出的一种新型模组与互联架构。所以其受到业界阻力将比RDRAM小得多，再加上Intel的影响力（这是推广QBM的Kentron公司所梦寐以求的），FB-DIMM想不流行都难。 综上所述，FB-DIMM的应用将是2005年服务器领域的一个重要亮点。而由此引发的业界竞争态势也将出现微妙的变化。Rambus一直寄希望于XDR内存重返主流应用市场，服务器/工作站所处的高端领域被认为是XDR一试身手击败DDR家族的最佳场所。但FB-DIMM的出现可能会打乱Rambus的计划，这种基于DDR内存巧妙的串并结合，在相互弥补设计上的天生缺陷的同时也产生了如虎添翼的效果。不过，FB-DIMM仅限于对成本要求相对不高的服务器领域，至于普通的PC机，我们还是先踏踏实实的预备迎接DDR2-533的到来吧……