Chinaunix首页 | 论坛 | 博客
  • 博客访问: 299871
  • 博文数量: 145
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 1139
  • 用 户 组: 普通用户
  • 注册时间: 2014-01-14 16:47
个人简介

路漫漫其修远兮,吾将上下而求索

文章分类

全部博文(145)

文章存档

2016年(10)

2015年(15)

2014年(120)

我的朋友

分类: 系统运维

2014-11-13 11:34:31

考虑到我手上的服务器逐渐的增多,有时候需要大规模的部署同一个文件,例如因为方便使用systemtap这个工具定位问题,需要把手上几百台服务器同时安装kernel-debuginfo这个包,原有的方式采用一个源服务器,采用rsync或者scp之类的文件传输方式只能做到一个点往下分发这个文件,这个时候下发的速度就会比较的慢,基于以上原因,我写了一个基于bt协议传输文件的小工具,实际测试,传输到10个机房,70多台机器传输一个240M的这个内核文件,到所有的机器,源采用限速2m/s的上传速度,测试的结果大概只要140s,就可以全部传输完毕,这个效率是非常之高,如果不限速的情况下速度会更快,下面把这个程序开源出来。


点击(此处)折叠或打开

  1. #!/usr/bin/env python
  2.  
  3. import libtorrent as lt
  4. import sys
  5. import os
  6. import time
  7. from optparse import OptionParser
  8. import socket
  9. import struct
  10. import fcntl
  11.  
  12. def get_interface_ip(ifname):
  13.     s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
  14.     return socket.inet_ntoa(fcntl.ioctl(s.fileno(), 0x8915, struct.pack('256s',
  15.                             ifname[:15]))[20:24])
  16. def ip2long(ip):
  17.     return reduce(lambda a,b:(a ip2long('172.33.255.255')) \
  18.                 and (ip2long(ip) < ip2long('192.168.0.0') or ip2long(ip) > ip2long('192.168.255.255')):
  19.                 return ip
  20.         except:
  21.             pass
  22.  
  23.     return ip
  24.  
  25. def make_torrent(path, save):
  26.     fs = lt.file_storage()
  27.     lt.add_files(fs, path)
  28.     if fs.num_files() == 0:
  29.         print 'no files added'
  30.         sys.exit(1)
  31.  
  32.     input = os.path.abspath(path)
  33.     basename = os.path.basename(path)
  34.     t = lt.create_torrent(fs, 0, 4 * 1024 * 1024)
  35.  
  36.     t.add_tracker("http://10.0.1.5:8760/announce")
  37.     t.set_creator('libtorrent %s' % lt.version)
  38.  
  39.     lt.set_piece_hashes(t, os.path.split(input)[0], lambda x: sys.stderr.write('.'))
  40.     sys.stderr.write('\n')
  41.  
  42.     save = os.path.dirname(input)
  43.     save = "%s/%s.torrent" % (save, basename)
  44.     f=open(save, "wb")
  45.     f.write(lt.bencode(t.generate()))
  46.     f.close()
  47.     print "the bt torrent file is store at %s" % save
  48.  
  49.  
  50. def dl_status(handle):
  51.     while not (handle.is_seed()):
  52.         s = handle.status()
  53.  
  54.         state_str = ['queued', 'checking', 'downloading metadata', \
  55.                 'downloading', 'finished', 'seeding', 'allocating', 'checking fastresume']
  56.         print '\ractive_time: %d, %.2f%% complete (down: %.1f kb/s up: %.1f kB/s peers: %d, seeds: %d) %s' % \
  57.                 (s.active_time, s.progress * 100, s.download_rate / 1000, s.upload_rate / 1000, \
  58.                 s.num_peers, s.num_seeds, state_str[s.state]),
  59.         sys.stdout.flush()
  60.  
  61.         time.sleep(1)
  62. def seed_status(handle, seedtime=100):
  63.     seedtime = int(seedtime)
  64.     if seedtime < 100:
  65.         seedtime = 100
  66.     while seedtime > 0:
  67.         seedtime -= 1
  68.         s = handle.status()
  69.  
  70.         state_str = ['queued', 'checking', 'downloading metadata', \
  71.                 'downloading', 'finished', 'seeding', 'allocating', 'checking fastresume']
  72.         print '\rseed_time: %d, %.2f%% complete (down: %.1f kb/s up: %.1f kB/s peers: %d, seeds: %d) %s' % \
  73.                 (s.active_time, s.progress * 100, s.download_rate / 1000, s.upload_rate / 1000, \
  74.                 s.num_peers, s.num_seeds, state_str[s.state]),
  75.         sys.stdout.flush()
  76.  
  77.         time.sleep(1)
  78.  
  79. def remove_torrents(torrent, session):
  80.     session.remove_torrent(torrent)
  81.  
  82. def read_alerts(session):
  83.     alert = session.pop_alert()
  84.     while alert:
  85.         #print alert, alert.message()
  86.         alert = session.pop_alert()
  87.  
  88. def download(torrent, path, upload_rate_limit=0, seedtime=100):
  89.     try:
  90.         session = lt.session()
  91.         session.set_alert_queue_size_limit(1024 * 1024)
  92.  
  93.         sts = lt.session_settings()
  94.         sts.ssl_listen = False
  95.         sts.user_agent = "Thunder deploy system"
  96.         sts.tracker_completion_timeout = 5
  97.         sts.tracker_receive_timeout = 5
  98.         sts.stop_tracker_timeout = 5
  99.         sts.active_downloads = -1
  100.         sts.active_seeds = -1
  101.         sts.active_limit = -1
  102.         sts.auto_scrape_min_interval = 5
  103.         sts.udp_tracker_token_expiry = 120
  104.         sts.min_announce_interval = 1
  105.         sts.inactivity_timeout = 60
  106.         sts.connection_speed = 10
  107.         sts.allow_multiple_connections_per_ip = True
  108.         sts.max_out_request_queue = 128
  109.         sts.request_queue_size = 3
  110.  
  111.         sts.use_read_cache = False
  112.         session.set_settings(sts)
  113.  
  114.         session.set_alert_mask(lt.alert.category_t.tracker_notification | lt.alert.category_t.status_notification)
  115.         session.set_alert_mask(lt.alert.category_t.status_notification)
  116.  
  117.         ipaddr = get_wan_ip_address()
  118.         #print ipaddr
  119.         if ipaddr == "":
  120.             session.listen_on(6881, 6881)
  121.         else:
  122.             session.listen_on(6881, 6881, ipaddr)
  123.  
  124.         limit = int(upload_rate_limit)
  125.         if limit>=100:
  126.             session.set_upload_rate_limit(limit*1024)
  127.             session.set_local_upload_rate_limit(limit*1024)
  128.         print session.upload_rate_limit()
  129.         torrent_info = lt.torrent_info(torrent)
  130.         add_params = {
  131.             'save_path': path,
  132.             'storage_mode': lt.storage_mode_t.storage_mode_sparse,
  133.             'paused': False,
  134.             'auto_managed': True,
  135.             'ti': torrent_info,
  136.         }
  137.  
  138.         handle = session.add_torrent(add_params)
  139.  
  140.         read_alerts(session)
  141.         st = time.time()
  142.         dl_status(handle)
  143.         et = time.time() - st
  144.         print '\nall file download in %.2f\nstart to seeding\n' % et
  145.         sys.stdout.write('\n')
  146.         handle.super_seeding()
  147.         seed_status(handle, seedtime)
  148.  
  149.         remove_torrents(handle, session)
  150.         assert len(session.get_torrents()) == 0
  151.  
  152.     finally:
  153.         print 'download finished'
  154.  
  155. if __name__ == '__main__':
  156.     usage = "usage: %prog [options] \n \
  157.       %prog -d -f -s \n \
  158.       or \n \
  159.       %prog -m -p -s \n"
  160.  
  161.     parser = OptionParser(usage=usage)
  162.     parser.add_option("-d", "--download", dest="download",
  163.             help="start to download file", action="store_false", default=True)
  164.     parser.add_option("-f", "--file", dest="file",
  165.             help="torrent file")
  166.     parser.add_option("-u", "--upload", dest="upload",
  167.             help="set upload rate limit, default is not limit", default=0)
  168.     parser.add_option("-t", "--time", dest="time",
  169.             help="set seed time, default is 100s", default=100)
  170.     parser.add_option("-p", "--path", dest="path",
  171.             help="to make torrent with this path")
  172.     parser.add_option("-m", "--make", dest="make",
  173.             help="make torrent", action="store_false", default=True)
  174.     parser.add_option("-s", "--save", dest="save",
  175.             help="file save path, default is store to ./", default="./")
  176.     (options, args) = parser.parse_args()
  177.     #download(sys.argv[1])
  178.     if len(sys.argv) != 6 and len(sys.argv) != 4 and len(sys.argv) != 8 and len(sys.argv) != 10:
  179.         parser.print_help()
  180.         sys.exit()
  181.     if options.download == False and options.file !="":
  182.         download(options.file, options.save, options.upload, options.time)
  183.     elif options.make == False and options.path != "":
  184.         make_torrent(options.path, options.save)

准备环境:


   需要在所有的os上面安装一个libtorrent的库,下载地址:


   http://code.google.com/p/libtorrent/downloads/list


   记得编译的时候带上./configure -enable-python-binding,然后mak,make install,进入binding目录,make,make install就


   可以运行这个小的工具


   当然大规模部署不可能采用每一台都去编译安装的方式,只要把编译出来的libtorrent.so libtorrent-rasterbar.so.7的文件跟bt.py这个文件放到同一个目录,另外写一个shell脚本


lib=`dirname $0`
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$lib
python bt.py -d -f  -s  -t  -u 
   使用方法:


   首先在源服务器上面生成种子文件


python bt.py -m -p  -s 
   发布文件


   在源服务器上面,执行


python bt.py -d -f  -s  -t  -u 
   其中做种时间默认设置的是100s,上传速度默认不限制,限制的速度单位是KB


   下面的机器,直接可以


python bt.py -d -f  -s  -t 
   只要有一台机器完成了,就自动作为种子,在下载的过程中也会上传,任何一台机器都可以作为源服务器,当然了这里面还有中心的tracker服务器,脚本当中,我搭建了一个tracker源服务器,放到10.0.1.5端口是8760上面,当然大家也可以采用opentracker这个软件自己搭建一个tracker服务器,修改其中的源代码对应部分,另外考虑到发布都是私有文件,代码当作已经禁止了dht,如果还想更安全,就自己搭建一个私有的tracker server,具体搭建方法就使用一下搜索引擎,查找一下搭建的方法!


   目前基本做到可以使用,后续考虑更简单一点,采用磁力链接的方式,这样就可以做到不用每台都要拷贝一个种子文件,采用一个单独的命令行就可以发布整个文件


转载自:http://blogread.cn/it/article/6816?f=wb
阅读(643) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~
评论热议
请登录后评论。

登录 注册