openstack的 metadata

metadata字面上是元数据，是一个不容易理解的概念。在除了openstack的其他场合也经常会碰到。openstack里的metadata，是提供一个机制给用户，可以设定每一个instance 的参数。
具体可以参见openstack的相关api和以下的蓝图：

比如你想给instance设置某个属性，比如主机名。metadata的一个重要应用，是设置每个instance的ssh公钥。公钥的设置有两种方式：
1、创建instance时注入文件镜像
2、启动instance后，通过metadata获取，然后用脚本写入
第二种方式更加灵活，可以给非root用户注入公钥。以下是获取ssh key的代码片段：
# Fetch public key using HTTP
ATTEMPTS=10
while [ ! -f /root/.ssh/authorized_keys ]; do
    curl -f > /tmp/aws-key 2>/dev/null
    if [ \$? -eq 0 ]; then
        cat /tmp/aws-key >> /root/.ssh/authorized_keys
        chmod 0600 /root/.ssh/authorized_keys
        restorecon /root/.ssh/authorized_keys
        rm -f /tmp/aws-key
        echo "Successfully retrieved AWS public key from instance metadata"
    else
        FAILED=\$((\$FAILED + 1))
        if [ \$FAILED -ge \$ATTEMPTS ]; then
            echo "Failed to retrieve AWS public key after \$FAILED attempts, quitting"
            break
        fi
        echo "Could not retrieve AWS public key (attempt #\$FAILED/\$ATTEMPTS), retrying in 5 seconds..."
        sleep 5
    fi
done

可以看到，获取metadata的api接口是：

可是，这个IP地址，在我们 openstack 是不存在的。为什么可以获取到metadata呢？
这是由于Amazon的原因，最早metadata是亚马逊提出来的，参见：

后来很多人给亚马逊定制了一些操作系统的镜像，比如 ubuntu, fedora, centos 等等，而且将里面获取 metadta 的api地址也写死了。所以opentack为了兼容，保留了这个地址 169.254.169.254。然后通过iptables nat映射到真实的api上：
iptables -A nova-network-PREROUTING -d 169.254.169.254/32 -p tcp -m tcp --dport 80 -j DNAT --to-destination 10.0.0.4:8775
使用metadata会带来便利，但是经常碰到的一个问题是，metadata获取不成功，导致instance启动很慢，并且获取失败会导致ssh key等功能设置失效，刚才获取ssh的代码片段中，就是尝试10次。需要注意的是：
1、在 network 上，正确设置相关参数，在 /etc/nova/nova.conf 里配置：
metadata_host=10.0.0.4
这里的 10.0.0.4 是api所在的内网地址
2、network上，要能够连接这个api地址 10.0.0.4
3、由于 api 判断instance是通过fix ip 来判断的，所以instance的fix ip地址段，一定要能够正确连接 api 所在 ip, 并且没有经过 nat 地址转换。否则不能正确获取instance 的metadata
openstack 的 metadata获取，我修正了一个bug：


但是，在某些场合，管理地址分开的情况下，还有bug, 需要继续改进：