nginx使用ip_hash做负载均衡的问题及解决办法

看一个这样的架构：

squid<=>nginx<=>server(s)

前端使用squid做缓存，后端用多台服务器，但多台服务器间的SESSION不共享，为了做负载均衡，使用nginx的ip_hash来做，使得来源机器的会话是持续的。

于是便引起来了一个问题，使用nginx的ip_hash规则来做负载均衡时，得到的IP则始终是squid机器的IP，于是负载均衡便失效了。

同理，在使用nginx的ip_hash做负载均衡方案时也会存在这个问题，即realip的问题，nginx有一个realip的模块，但并没有解决ip_hash的realip的问题，因此当通过代理访问你的网站就会引起分布均的问题，这种情况在小范围的负载方案中会表现的尤为突出。

nginx中有一个ngx_http_request_t的数据结构，其中的x_forwarded_for存储的就是realip的信息(当然这是存在安全问题的).

typedef struct {
ngx_uint_t        hash;
ngx_str_t         key;
ngx_str_t         value;
u_char           *lowcase_key;
} ngx_table_elt_t;

value存储的就是realip的信息。

于是便实现了ip_hash使用realip来做负载均衡的方案：
为ngx_http_upstream_ip_hash_module.c这个文件添加一个函数用来获取realip.

static ngx_int_t ngx_http_upstream_realip(ngx_http_request_t *r);

函数的实现如下：

static ngx_int_t
ngx_http_upstream_realip(ngx_http_request_t *r)
{
    u_char                      *ip, *p;
    size_t                       len;
    in_addr_t                    addr;
    struct sockaddr_in          *sin;

    if (r->headers_in.x_forwarded_for == NULL) {
            return NGX_DECLINED;
    }

    len = r->headers_in.x_forwarded_for->value.len;
    ip = r->headers_in.x_forwarded_for->value.data;

    for (p = ip + len - 1; p > ip; p--) {
                if (*p == ' ' || *p == ',') {
                          p++;
                        len -= p - ip;
                        ip = p;
                        break;
                }
        }

    /*ngx_log_error(NGX_LOG_ERR, r->connection->log, 0, "realip: \"%s\"", ip);*/

    /* AF_INET only */

    sin = (struct sockaddr_in *) r->connection->sockaddr;

        addr = inet_addr((char *) ip);

    if (addr == INADDR_NONE) {
                return NGX_DECLINED;
        }

        p = ngx_palloc(r->connection->pool, len);
        if (p == NULL) {
                return NGX_HTTP_INTERNAL_SERVER_ERROR;
        }

        ngx_memcpy(p, ip, len);

        sin->sin_addr.s_addr = addr;

        r->connection->addr_text.len = len;
        r->connection->addr_text.data = p;

    return NGX_DECLINED;
}

在函数ngx_http_upstream_init_ip_hash_peer中调用它来获取realip.

ngx_http_upstream_realip(r);

以上代码做过小的测试，能正常使用。 :)