Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1077410
  • 博文数量: 101
  • 博客积分: 206
  • 博客等级: 入伍新兵
  • 技术积分: 1789
  • 用 户 组: 普通用户
  • 注册时间: 2012-09-12 10:24
  • 认证徽章:
文章分类
文章存档

2018年(4)

2017年(7)

2016年(3)

2015年(14)

2014年(33)

2013年(31)

2012年(9)

发布时间:2017-11-27 18:30:31

最近有个需求,就是对视频日志中的部分URL提取出来,并随机挑选五条。由于线上日志比较大,而且需要每天执行一次,如果单纯的用python即便是多线程性能也会大大折扣。于是考虑到用hadoop的MR去实现。准备工作:1、hadoop集群;2、mapper和reducer划分;初步把提取url的操作划分为mapper中执行,随机挑选5条由reducer去.........【阅读全文】

阅读(10985) | 评论(0) | 转发(0)

发布时间:2017-10-31 14:01:42

在Linux上执行Python脚本,发送邮件,报错如下:[Errno -2] Name or service not known  发送邮件失败send error。解决办法:1、邮件中list列表人名写错,写成str了。。2、有人改了hosts文件,导致localhost找不到了......【阅读全文】

阅读(288) | 评论(0) | 转发(0)

发布时间:2017-05-10 15:09:53

为Jenkins的每个build设置description,这个需求是什么意思呢?在持续集成过程中,随着feature的不断加入,版本越来越多,你希望每个build成功之后能显示一些很重要的信息,比如版本号,当前该build支持的主要feature等。这样不论是开发还是测试,在拿build的时候都能一眼就看出该build对应的版本号以及主要的fea.........【阅读全文】

阅读(1562) | 评论(0) | 转发(0)

发布时间:2017-05-10 10:53:58

错误代码:raise ImportError('Start directory is not importable: %r' % start_dir)ImportError: Start directory is not importable是因为所执行代码的问题:错误命令如下:正确命令如下:就是先进入目录,再执行命令,与crontab执行时有点像;另外一种错误是权限问题,那就是因为jenkins本身的权限与所执行的.........【阅读全文】

阅读(627) | 评论(0) | 转发(0)

发布时间:2017-04-21 11:10:38

#获取html内容点击(此处)折叠或打开#coding=utf8import socketimport timeimport urllib2import os,sysimport jsonsocket.setdefaulttimeout(60)    ----设置socket超时时间,60sdef getData(base_url, que.........【阅读全文】

阅读(1087) | 评论(2) | 转发(0)
给主人留下些什么吧!~~

aishiyue2014-06-17 12:05

路过 学习了

回复  |  举报

dsy8510092013-08-29 16:49

电影vs程序员:学习了,留下脚印

我新手,多多支持哦~~~~

回复  |  举报

电影vs程序员2013-08-28 17:21

学习了,留下脚印

回复  |  举报
留言热议
请登录后留言。

登录 注册