发布时间:2013-01-02 09:50:54
今天下午,一个偶然的时间,一个都没有联系过的客户,突然拿了一年的数据来给我,要我把其中的数据统计出来。 哇,乖乖,一年的数据,每天几十个文件,总量就是 365×46=16790,不错,是个挑战。 当我辛辛苦苦地开始调试脚本时,老兄又跑过来,说只要某个文件的某个字段,就好了。呵呵,好吧,工作量小了,不过开始的工作也算是白费了。 于是开始重新清理思路。 技术路线,依然是Shell。因为工作环境没有安装Python,直接排除;用C、Java写个,一来开发量太大,二来运行效率也很低(当然我没有测试过,直觉来着)。而Shell有着awk、sed等非常便于进行文字处理和统计的功能。 系统......【阅读全文】
发布时间:2012-12-28 15:49:53
一.网络相关命令 1.ifconfig 用于查看和更改网络接口的地址和参数,包括IP地址、网络掩码、广播地址,使用权限是超级用户 ifconfig eth0 192.168.0.1 netmask 255.255.255.0 up ---直接即时生效,重启失效 gateway:# route add default gw 192.168.30.1 eth0dns:# vi /etc/resolv.confnameserver 202.131.80.1nameserver 202.131.80.5 如果要暂停某个网络接口的工作,可以使用down参数: #ifc......【阅读全文】
发布时间:2012-12-28 15:49:28
#!/bin/bash# This script run at 00:00# The Nginx logs pathlogs_path="/data/logs"mkdir -p $logs_path/`date -d "yesterday" +"%Y"`/`date -d "yesterday" +"%m"`/mv $logs_path/game.log $logs_path/`date -d "yesterday" +"%Y"`/`date -d "yesterday" +"%m"`/game_`date -d "yesterday" +"%Y%m%d"`.logkill -USR1 `ca......【阅读全文】
发布时间:2012-12-26 11:15:12
目的 MySQL的innodb存储引擎支持行级锁,innodb的行锁是通过给索引项加锁实现的,这就意味着只有通过索引条件检索数据时,innodb才使用行锁,否则使用表锁。然而,在数据处理中,当操作的索引列数据较多时,行锁将会升级,导致非索引项的操作也会处于锁等待状态。 测试方案 创建数据表test,表定义如下所示: CREATE TABLE `test` ( ......【阅读全文】
发布时间:2012-12-25 17:15:19
运维中关键技术点解剖:1 大量高并发网站的设计方案 ;2 高可靠、高可伸缩性网络架构设计;3 网站安全问题,如何避免被黑?4 南北互联问题,动态CDN解决方案;5 海量数据存储架构一、什么是大型网站运维?首先明确一下,全文所讲的”运维“是指:大型网站运维,与其它运维的区别还是蛮大的;然后我们再对大型网站与小型网站进行范围定义,此定义主要从运维复杂性角度考虑,如网站规范、知名度、服务器 量级、pv量等考虑,其它因素不是重点;因此,我们先定义服务器规模大于1000台,pv每天至少上亿(至少国内排名前10),如sina、baidu、 QQ,51.com等等;其它小型网站可能没有真正意义上的运维工程师......【阅读全文】