大型网站的感悟

在大公司呆了蛮久了，各种工作也有所耳闻，这里随便写一点感想，姑且听之，也欢迎一起探讨哈。

前提：这里的东西适用于访问量非常大的top N（日pv千万）的网站，当然部分东西在中小网站也适用。写的支离破碎的，只是自己看的明白，以后逐渐完善。

 

系统方面：
1。服务器选型：cpu/io,mem，disk看具体的服务吧，我个人经验较少,不过类似squid这种应该内存足够大

2.批量安装问题，一般同时上线N台，而且需要的应用也不同，甚至还要重新定制编译，一般用kickstart批量安装，可以看下pxe相关的知识。

3.cdn,海量存储，分布式系统。主要是海量数据缓存，冗余，灾备，以及跨IDC的数据库复制。以及瞬间删除海量缓存（消息模型pub/sub等）。

补充一个，实时直播加速的技术，一般通过卫星传入直播方的直播系统，消掉原音，加上自己的直播情况，然后通过H.264设备压缩，cdn的几个点直接来取数据，然后拆分成流，再同步到各个点，所以一般实时直播都要延迟，否则画面很卡，不断的跳跃。也有通过光纤传入wmv直播服务器推流，其他步骤类同。

4.监控，性能分析，负载均衡，服务单元（域名bind）拆分。

5.IDC灾备，web之间内容同步灾备等,走专线？

6.服务器密码管理。

7.批量配置cfengine，puppet等。

 

网络方面：

办公网的helpdesk，802.1x身份认证，各个IDC的防火墙，防攻击的IPS管理，IDC设备定期巡检等。

 

安全方面：

包括开发和专职的安全人员。ddos，sql注入，cc攻击，xss,挂马等，渗透测试。

 

人员管理：

1.对开发者的安全开发培训（比如xss,sql注入），技术控制(选择什么样的语言等，比如系统维护方面假如我是决策者肯定优先选shell(awk,sed等），因为基础上手快，至于perl,python等在于其次，关键在于人员离职后技术的延续性，毕竟shell简单易上手）建立FAQ，KB等

 

2.网络，系统工作人员之间的协通工作等。

 

web内容发布：

文章发布姑且叫做cms吧。

 

剩下还有一个重要的一环：QA测试，我对此不了解。

 

话又说回来，即使其中的cdn就很复杂，什么流量的动态调度（根据链路状态智能分配到各个node,或是根据各个节点的QOS如负载等分配，也可以根据各个节点的带宽使用情况来分配的。）还有视频cdn的片源上传压缩转码，散片到各个节点等等等等，太多东西了，一个人实在搞不定这些啊。