来自豆瓣的架构经验

以下文章内容来自程序员杂志对豆瓣技术总监洪强宁的采访，简要介绍了douban网在技术架构上的思想，本次Qcon大会有，据内部人介绍，这次演讲非常的精彩，期待中。

本刊记者：好，现在开始，豆瓣是一个非常著名的Web2.0网站，你们的开发语言选择的是Python，我想问的是，为什么选择Python？

洪强宁：我们选择Python的理由是它是动态语言，具有动态语言的优点，比如开发特别迅速。我们做的是一个Web2.0的网站，这种网站的 特点就是always beta，用户的需求在随时发生变化，我们也不断发现新的价值。所以网站的结构和程序会不断变化，如果用Java做，你的开发量比较大，你就难以做出迅速 地改变。Python的特点就是开发迅速，你可以在一两个小时，就做出一个功能。或者说已¾¬上线了，用户反映需要某一功能，也可以比较快地做出来。

本刊记者：这就是TDD，敏捷开发的思路，和传统的方式有些不同。但是会有另一方面的问题，Python的程序员好找吗？在国内会Python的要比会Java程序员少的多。

洪强宁：对，确实是。在中国用Python的人确实不多，也给我们寻找开发任何人员带来困难。不过从另一方面说，也有好处，因为没有一个学校 去教Python，会Python的人都是自己学的，也就是说他知道自己需要什么技术，而且能够通过自学掌握它，包括Python的资料中文比较少，需要 学习者接触第一手资料，这都使得Python程序员的平均水平，要比使用其他热门语言的平均水平要高。另一方面Python也越来越流行，在国外比较流行 的动态语言有Perl,和Python,现在Python已经超过了Perl。

本刊记者：不过，在Web开发这方面有许多选择，比如，Java，.NET，和PHP，在这个格局里Python还是比较弱势。

洪强宁：对，当然，它是新兴语言。在未来，我相信，至少在在Web2.0网站开发方面，它会有自己的一个位置。

本刊记者：还有问一个问题，Python与Perl比较怎么样？因为Python的面向对象的特性好一些，代码看起来更容易理解一些吧，我以前是用 Perl写程序的，觉得Perl的程序代码看起来比较乱。

洪强宁：对，Perl 是write once风格的，一个人写完了，过一段时间，可能自己都不能看懂，它确实很强大，但比较适合当作个人工具使用，不太适合团队的开发。Python的哲学是 解决问题的最好方式只有一种，这样同样的功能，每个人写出来的程序样子应该差不太多，比较易于理解，更适合团队开发。

本刊记者：还有一个问题,，有一种说法，认为Python比较慢，在性能方面会不会有问题？

洪强宁：这个问题可以分两个方面说，首先，说Python慢，这是和编译语言比，比如与C,C++，Java比，在动态语言中，它并不慢，它 比Ruby要快，它和Perl性能相当。如果选择动态语言的话，Python并不是很慢。另一方面，如果做网站开发，语言的不是速度的瓶颈，比如我把我们 现在用Python写的程序全部用C写，程序当然会快一点，但是改变不是很大。Web网站一般会有很多对IO的操作，比如对数据库的访问，对硬盘的访问响 应用户的请求，80%，90%你的时间都花在IO上，语言的速度，相对而言，不是那么重要。也可以这样说，网站的性能主要取决于架构设计的是否合理。因为 网站需要响应大量的并发的请求，如果你的设计的不好，即使你用C写的，也可能无法应付。所以更多的考虑是在架构设计上，要使架构体系不会产生速度瓶颈。

本刊记者：那您能简要地介绍一下豆瓣的架构吗？

洪强宁：关于豆瓣的系统架构图，首先我们在Web server上做个划分，把网站内容分为动态内容和静态内容。在豆瓣上所有的html都是动态内容，图片都是静态内容。分成两个Web 服务可以做不同的调优。 对动态内容，我们用的是nginx和lighttpd的混合，nginx做负载的平衡，lighttpd通过 SCGi 与application server相连，application server是基于 quixote这个框架写的。

application server拿到用户的请求,分析用户的url，并且利用外部的资源，比如数据库，组合成一个html，返回。从数据库存取会比较慢，数据库有大量的 IO，我们使用cache,我们使用的是Memcached,这是一个分布式的内存的cache，比如你可以用很多机器，每个机器有两个G的内存，我们自 己开发了client端来使用它，另外如果用户有搜索请求，我们会用搜索引擎。Xapian是一个C++写的开源的搜索引擎，我们通过Web service去访问它。其他，我们还提供了另外的Web service接口响应用户的请求，比如要访问某个文件。spread是我们最近加了一部分，用户有的请求可以采用这样的异步服务。

数据库是这样的，两个MySQL做成一对，一个master ，一个 slave，根据应用划分，使得load不会太高。这个图上»¬的是两对，实际上有三对。还有一个slave,一方面作为备份，一方面用作数据挖掘，因为不能对线上的数据做直接操作。

对于静态部分，我们也是用nginx，你注意到豆瓣现在有日记的贴图功能系统，用户可能上传很多图片，我们采用的方案是用了mogile FS ，这是一个分布式的文件系统，同时可以做备份，保持高可用性，可以提高很大的IO。

关于application server，它都是用Python写的。我们是用的MVC方式，Controller我们用的是quixote ，它接受用户的请求，根据这个URL去找到Model的某个具体的函数来执行，它是一个dispatcher，当中会判断用户的权限等。然后再传给 View，View根据模版进行渲染，形成网页。View的模版，我们以前是用的是PTL，PTL很高效，最近引用了mako，这是一个比较现代的开源的 模版，用它写出的代码比较好维护，比PTL好维护一些.。同时，在使用mako的同时，我们的工程师做了很多加速的工作，现在mako的代码有很多是豆瓣 的人写的。

你如果注意过Python的Web开发框架的话，你会发现Python的有三个比较著名的框架，Django，Pylons，TurboGears，Pylons默认的模版就是Mako。

下面的就是Model，业务模块，核心是类是User，因为Web2.0是以人为本，我们肯定会有一个User。只有人也做不了事情，还要有物。豆瓣的物，就是Subject，比如书，比如评论，比如小组等。

与数据库进行链接，我们一个很轻量级的与数据库进行链接，这也是一个开源项目，SQL Farm Manager。这个Web service，豆瓣中有很多用的都是Web service。

本刊记者：好，还想问您一个问题，Web2.0会不会也在架构设计中也有所体现呢 ？

洪强宁： Web2.0用户的反复的操作非常多，你需要一个非常流畅的体现。这需要一些技术来实现，比如Ajax；豆瓣花了很多钱很多精力，来提高性能，比如买好的 机器，使用Gentoo Linux，为什么使用Gentoo Linux，因为它方便调优。还有，大量的使用cache。在数据库调优方面，我们也花了很大的精力。

另一方面，Web 2,0是用户提供数据的，用户有很多写操作。这样很多1.0优化方法在2.0中行不通。豆瓣在数据库上用的是分库的方式。除此之外我们还尝试了一些其他的方法。

虽然没有太多更详细的介绍，但是已经可以看到豆瓣所采取的一些开源方案，现在开源的世界来构建大规模应用网站已经非常成熟了。