gearman的安装与使用示例

一， gearman的安装
1.1. gearman工作原理
Gearman 服务有很多要素使得它不仅仅是一种提交和共享工作的方式，
但是主要的系统只由三个组件组成： 
    gearmand 守护进程（server），
    用于向 Gearman 服务提交请求的 client ，
    执行实际工作的 worker。

其关系如下图所示： 

Fig 1. gearm工作原理

Gearmand server执行一个简单的功能，
即从client收集job请求并充当一个注册器，
而worker可以在此提交关于它们支持的job和操作类型的信息，
这样server实际上就充当了Client和Worker的中间角色。
Client将job直接丢给server，而server根据worker提交的信息，将这些job分发给worker来做，
worker完成后也可返回结果，server将结果传回client。

举个例子，
在一个公司里面，有老板1、老板2、老板3（client），
他们的任务就是出去喝酒唱歌拉项目（job），将拉来的项目直接交给公司的主管（server），
而主管并不亲自来做这些项目，他将这些项目分给收手下的员工（worker）来做，
员工做完工作后，将结果交给主管，主管将结果报告给老板们即可。

1.2. gearman 的下载与安装
它的下载与安装分两部分：
    Job Server(gearmand); 
    和 Client & Worker APIs

而这每个部分又提供了很多种语言的实现，
   Job Server的实现有C,Java, Perl三种；
   Client&Worker API的实现语言更多，包括有C, shell, Perl, Nodejs, PHP,Python, Java, C#/.NET, GO, Lisp; 
   它还有数据库的接口，支持的种类有: MySQL, PostgreSQL, Drizzle等 

另外，官网还介绍了一些可选配的工具，包括有:
. Gearman-Monitor(PHP)
  使用PHP开发服务器监视工具，用来监测服务器的状态
  Gearman-Monitor on GitHub ()

. GearmanManager(PHP)
  用来管理多个gearman woker的框架
  GearmanManager On GitHub()

. Multi-process Gearman Task Server Library(Python)
  GMTasks contains a simple multiprocessing server for Gearman workers, 
  designed for ease of configuration and maximum availability.
  GMTasks()
  
本文使用的是C语言版的Job Server和Python版的 Client&Worker API; 

1.2.1 安装server
要使用gearman，首先得安装server，下载地址：
    。

下载源码：


$ tar -zxvf gearmand-1.1.14
$ cd gearmand-1.1.14
$ ./configure
$ make
$ sudo make install

配置时，可能会报缺库，需要自己手动安装
1). libevent库的安装:
下载:
$ wget
在当前目录下解压安装包：
$ tar -zxvf libevent-2.0.22-stable.tzr.gz
$ cd libevent-2.0.22-stable
配置安装库的目标路径：
$ ./configure
编译安装libevent库：
$ make
$ sudo make install

2). libuuid的安装
$ sudo apt-get install uuid-dev

3). boostlib的安装
$ sudo apt-get install uuid-dev libevent-dev libboost-all-dev libdrizzle-dev

当安装完成后，可以启动
gearmand，
启动有很多参数选项，可以man gearmand来查看，主要的选项有：
-b, --backlog=BACKLOG       Number of backlog connections for listen. 
-d, --daemon                Daemon, detach and run in the background. 
-f, --file-descriptors=FDS  Number of file descriptors to allow for the process                             
                            (total connections will be slightly less). Default is max allowed for user. 
-h, --help                  Print this help menu. 
-j, --job-retries=RETRIES   Number of attempts to run the job before the job  server removes it. 
                            This is helpful to ensure a bad  job does not crash all available workers. 
                            Default  is no limit. 
-l, --log-file=FILE         日志输出文件；Log file to write errors and information to. 
                            Turning this option on also forces the first  verbose level to be enabled. 
-L, --listen=ADDRESS        Address the server should listen on. Default is  INADDR_ANY. 
-p, --port=PORT             Port the server should listen on. 
-P, --pid-file=FILE         以进程号为标识的文件写出；File to write process ID out to. 
-r, --protocol=PROTOCOL     Load protocol module. 
-R, --round-robin           Assign work in round-robin order per  workerconnection. 
                            The default is to assign work in  the order of functions added by the worker. 
-q, --queue-type=QUEUE      Persistent queue type to use. 
-t, --threads=THREADS       Number of I/O threads to use. Default=0. 
-u, --user=USER             Switch to given user after startup. 
-v, --verbose               Increase verbosity level by one. 
-V, --version               Display the version of gearmand and exit. 
-w, --worker-wakeup=WORKERS Number of workers to wakeup for each job received.   
                            The default is to wakeup all available workers.


启动gearmand:
sudo gearmand --pid-file=/var/run/gearmand/gearmand.pid --daemon --log-file=/var/log/gearman.log  
若提示没有/var/log/gearman.log这个文件的话，自己新建一个就可以了。

1.2.2 Client & Worker API
gearman提供了两种不同的Python API， 一个是 libgearman C库的封装，另一个则是纯粹的Python API.
纯Python的安装：
A pure-Python API that can be found on PyPI as “gearman”, and can be installed with “easy_install gearman”.
$ easy_install gearman
或
$ pip install gearman

C库的Python封装的安装：
. python-gearman()

二，应用示例
2.1 单机版消息通信示例
worker.py

#!/usr/bin/env python2.7
# -*- coding:utf-8 -*-
#

import os
import gearman
import math

class CustomGearmanWorker(gearman.GearmanWorker):
    def on_job_execute(self, current_job):
        print "Job started"
        return super(CustomGearmanWorker, self).on_job_execute(current_job)

def task_callback(gearman_worker, job):
    print job.data
    return job.data


if __name__ == '__main__':
    new_worker = CustomGearmanWorker(['localhost:4730'])
    new_worker.register_task("echo", task_callback)
    new_worker.work()

client.py

#!/usr/bin/env python2.7
# -*- coding:utf-8 -*-
#

from gearman import GearmanClient


new_client = GearmanClient(['localhost:4730'])
current_request = new_client.submit_job('echo', 'foo')
new_result = current_request.result
print new_result

运行gearman server：
$ gearmand  --daemon  --listen=127.0.0.1


启动worker程序：python worker.py
启动client程序：python client.py


2.2 多机版消息通信示例
worker.py

#!/usr/bin/env python2.7
# -*- coding:utf-8 -*-
#

import os
import gearman
import math


class CustomGearmanWorker(gearman.GearmanWorker):
def on_job_execute(self, current_job):
print "Job started"
return super(CustomGearmanWorker, self).on_job_execute(current_job)


def task_callback(gearman_worker, job):
print job.data
return job.data


if __name__ == '__main__':
new_worker = CustomGearmanWorker(['10.11.31.86:4730'])
new_worker.register_task("echo", task_callback)
new_worker.work()

client.py

#!/usr/bin/env python2.7
# -*- coding:utf-8 -*-
#

from gearman import GearmanClient


new_client = GearmanClient(['10.11.31.86:4730'])
current_request = new_client.submit_job('echo', 'foo')
new_result = current_request.result
print new_result

在一台服务器上启动服务端:
$ gearmand --daemon --listen=10.11.31.86


可以在多台不同的服务器上启动worker:
$ python worker.py


再启动client发布命令:
$ python client.py