=======================================
KVM虚拟机IO性能调优
=======================================
我们知道OpenStack中nova组件能够支持很多种虚拟化方式，官方目前主推的KVM，面向KVM虚拟化支持的功能也是最多的，它能够和neutron组件有很好的结合。本文的重点主要讨论KVM虚拟机IO性能调优，但是需要提前说明的是不同的场景需要选用不同的策略，这里没有银弹。


因为我不是专门做虚拟化技术的，所以本文只是把nova中的调优方法总结一下，至于哪个好，自己试！

aio 调度策略
=====================
aio有两种调度策略，nativa 和 threads，nova中并没有激活使用aio，可能是考虑到除了aio还有bio以及nio可以使用的缘故，这些应该交给管理员去配置。

nova中的代码没有指定aio，所以我们的简单修改下代码::

    #edit /usr/lib/python2.7/dist-packages/nova/virt/libvirt/config.py

    self.disk_total_iops_sec = None
    self.io = "native"   #add

    def format_dom(self):
        dev = super(LibvirtConfigGuestDisk, self).format_dom()

        dev.set("type", self.source_type)
        dev.set("device", self.source_device)
        if (self.driver_name is not None or
            self.driver_format is not None or
            self.driver_cache is not None):
            drv = etree.Element("driver")
            if self.driver_name is not None:
                drv.set("name", self.driver_name)
            if self.driver_format is not None:
                drv.set("type", self.driver_format)
            if self.driver_cache is not None:
                drv.set("cache", self.driver_cache)
            if self.io is not None:  #add
                drv.set("io", self.io)   #add
            dev.append(drv)

重启nova-compute服务，已经创建的虚拟机硬重启一下，就能支持aio了，查看qemu-kvm的进程，可以看到aio的参数。

目前没有配置项可以设置aio，社区里有个BP是关于这个问题的，https://blueprints.launchpad.net/nova/+spec/improve-nova-kvm-io-support ，还没有被实现，core成员给的回复是io策略比较多，nova不适合做这些事，这些应该交给管理员去配置kvm来实现。

那么这个aio该如何使用呢？有个普遍的认识是这样的，io=native for block device based VMs，io=threads for file-based VMs。就是说qcow2的用thread，基于块设备创建vm就用nativa，但这并不是绝对的，最好在你的场景下都测试一下，选择最优的。

io cache策略
=====================
激活了aio后，vm的io性能能够比较接近物理机，但是如果你对性能有更高的追求，仍然有办法，就是开启io cache，让物理内存为你的vm io操作提速。

查看qemu-kvm的进程，能看到 cache=none 的参数，这是nova默认的，默认是关闭cache，如果开启cache，则需要做一些配置::

    #edit /etc/nova/nova-compute.conf

    [libvirt]
    disk_cachemodes = file=default, block=none
    
file是针对file-backend的disk，block是针对块设备的disk，这个你可以通过vm的 libvir.xml 对比看一下就了解。default 和 none 是指cache 模式，nova提供很多种cache mode，通过源码可知::

    # nova/virt/libvirt/driver.py 

    self.disk_cachemodes = {}
    self.valid_cachemodes = ["default", 
                        "none", 
                        "writethrough", 
                        "writeback",
                        "directsync",
                        "unsafe",
                        ]

指定了cache之后，vm的io性能将会有质的飞跃，但是cache写满后，性能就回到普通状态，cache刷到硬盘后，io性能又会提升。

block or file backend 
=====================
如果前面所说file backend就是qcow2这个模式，qcow2虽然有很多先进的特性，但是io性能上一直都是有问题的，而基于块设备block backend创建的vm，io性能上是最佳的。

实现block backend可以有两种方法

- 基于cinder volume创建vm，这时候宿主机通过iSCSI挂载远端volume，vm可将其当做本地volume使用。

- 基于本地lvm创建vm，需要提前设置好本地的volume group。

通过本地lvm方式创建vm，需要进行如下配置::

    确认lvm2有木有安装，没有则装之

    修改/etc/nova/nova-compute.conf
    [libvirt]
    images_type=lvm
    images_volume_group=nova-volumes

    系统需要有一块裸设备(比如 /dev/sdb)，执行下面命令:
    pvcreate /dev/sdb
    vgcreate nova-volumes /dev/sdb

    重启nova-compute服务

block backend 的性能无疑是最好的，但是其他特性很受限制，比如快照，block backend 只能使用raw镜像，快照会很大，非常不方便。

按照自己的场景，各取所需吧。