记一次kafka producer连接缓慢的排查

现象：
    kafka producer通过SSL连接kafka broker，发送消息。
   能够发送成功，但连接非常缓慢，发送一条消息接近50秒。

环境：
    kafka broker位于数据中心，通过端口映射暴露到公网。
   内网IP：10.1.1.1
   公网IP：x.x.x.x   (映射 9093 端口到内网的 10.1.1.1:9093)

   内网访问broker使用PLAINTEXT，外网访问broker使用SSL。

   broker配置（只网络相关配置）

ssl.keystore.location=server.keystore.jks
ssl.keystore.password=xxx
ssl.key.password=xxx
ssl.truststore.location=server.truststore.jks
ssl.truststore.password=xxx
ssl.client.auth=required

listeners=PLAINTEXT://0.0.0.0:9092,SSL://:9093
advertised.listeners=PLAINTEXT://10.1.1.1:9092,SSL://x.x.x.x:9093

    producer在外网，通过SSL访问。配置：

bootstrap.servers=x.x.x.x:9093

ssl.protocol=SSL
security.protocol=SSL
ssl.keystore.location=client.keystore.jks
ssl.keystore.password=xxx
ssl.key.password=xxx
ssl.truststore.location=client.truststore.jks
ssl.truststore.password=xxx

producer日志：

14:01:23.367 [main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka version : 0.9.0.1
14:01:23.367 [main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka commitId : 23c69d62a0cabf06
14:01:44.856 [main] INFO org.apache.kafka.clients.producer.KafkaProducer - Closing the Kafka producer with timeoutMillis = 9223372036854775807 ms.

排查：
在producer一侧，使用tcpdump观察9093端口，发现SSL握手成功，也有数据传输，
但是从producer启动到发送出syn，间隔10多秒。

后来去掉对9093端口的过滤，观察所有端口，发现在137端口有name query，
发送了3次，花费了10多秒。
137端口是windows的NETBIOS协议，看来producer是在向broker查询主机信息。

然后，通过jstack查看producer的线程堆栈，发现在getHostByAddr处等待。
到这时，才怀疑是不是因为取不到broker的主机名。

在producer一侧的hosts文件里配置主机名  "x.x.x.x  serverx" 之后，故障解决，
producer非常快就结束了消息发送。


总结：
这次故障，是因为客户端无法根据服务器的IP获取主机名，一直等待到超时，所以造成处理缓慢。

最终通过配置hosts解决。
（如果使用DNS的话，看来需要配置反向解析。）


producer的配置里直接设置的是broker的ip，为什么客户端还要调用getHostByAddr呢？
这个问题还没有弄明白，猜测是因为SSL协议需要校验服务器证书，会用服务器的域名和
证书的cn比对吧？