Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1943839
  • 博文数量: 1000
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 7921
  • 用 户 组: 普通用户
  • 注册时间: 2013-08-20 09:23
个人简介

storage R&D guy.

文章分类

全部博文(1000)

文章存档

2019年(5)

2017年(47)

2016年(38)

2015年(539)

2014年(193)

2013年(178)

分类: LINUX

2015-04-22 10:48:57

原文地址:qemu-kvm 中断虚拟化 作者:cywcdwxjf

中断,这个概念相信大家已经不陌生了,我也没什么资格来介绍中断,就简单的说一下。我认为它从宏观上看可以分为软件部分和硬件部分。

软件部分:

软件部分在操作系统中实现,如Linux中断的x86,每一个中断对应一个中断门,中断门中包含中断处理函数(ISR或者别的)地址,优先级等等。CPU可以通过LIDT加载这个描述符表,跳转到指定的中断门。

硬件部分:

中断硬件部分就是产生中断脉冲,传给中断控制器,然后通知CPU,CPU在执行下调指令前会去查询中断情况,如果有中断信号,就执行中断。我们在这里模拟的就是硬件部分内容。

因此中断的模拟按照我的理解可以分为两个主要部分,一个是中断源的模拟,一个是给虚拟机的VCPU响应中断。

 

中断源模拟:

中断源模拟我也不是很清楚,方法很多,可以直接响应Linux的驱动,也可以别的,比如时钟中断可以设置一个定时器,定时器到了就触发中断,但是键盘,鼠标,硬盘呢?这个等待高手回?欢迎大家来讨论。

虚拟机响应虚拟中断:

KVM中断虚拟化主要依赖于VT-x技术,VT-x主要提供了两种中断事件机制,分别是中断退出和中断注入。

中断退出

是指虚拟机发生中断时,主动使得客户机发生VM-exit,这样能够在主机中实现对客户机中断的注入。

中断注入

它是指将中断写入VMCS对应的中断信息位,来实现中断的注入,当中断完成后通过读取中断的返回信息来分析中断是否正确。这个也是这里要详细将的地方。

首先中断注入有个一个标志性的函数 kvm_set_irq,这个是中断注入的最开始。

 

中断退出和注入是个关系紧密的过程,一先一后,我们放在一起来讲解,下面来分析一下KVM-KMOD-2.6.36相关实现代码,首先从 kvm_set_irq开始。

函数位置: x86/irq_comm.c/

函数参数: kvm,发生中断的客户机的结构体指针,我们知道在KVM模块中有个vmlist,链接了所有注册的虚拟机,当多次使用QEMU命令以后会产生多个虚拟 机,不同虚拟机中公用一个KVM模块,通过这个kvm结构体来辨识是哪个虚拟机,当然每个虚拟机里面可以对应多个VCPU,别把这个概念弄混淆 了;irq_source_id中断资源ID,对于KVM设备我们都会申请一个中断资源ID,注册KVM IO设备时申请的;irq中断请求号,这个是转化GSI之前的,比如时钟是0号,这里就是0,而不是32;level表示中断的高低电平。

int kvm_set_irq(struct kvm *kvm, int irq_source_id, u32 irq, int level)

{

         struct kvm_kernel_irq_routing_entry *e, irq_set[KVM_NR_IRQCHIPS];

                  struct kvm_irq_routing_table *irq_rt;

        ......  

          /*检查中断请求号范围*/

        if (irq < irq_rt->nr_rt_entries)                                                            

               /*提取中断路由表中对应的中断路由实体,map[irq]是一个对应中断的路由实体表头结点,这里遍历它能够得到所有对应的路由实体。

       hlist_for_each_entry(e, n, &irq_rt->map[irq], link) 

                           irq_set[i++] = *e;       

        while(i--) {

                  int r;

                   /*触发对应路由实体的触发函数,这个函数在之前的安装中断路由的时候已经注册,下面具体说明*/

                  r = irq_set[i].set(&irq_set[i], kvm, irq_source_id, level);

                  if (r < 0)

                           continue;

                  ret = r + ((ret < 0) ? 0 : ret);

        }

        return ret;

}

安装中断路由函数主要在setup_routing_entry中。

int setup_routing_entry(struct kvm_irq_routing_table *rt, struct kvm_kernel_irq_routing_entry *e, const struct kvm_irq_routing_entry *ue)

{

        struct kvm_kernel_irq_routing_entry *ei;

        struct hlist_node *n

        … …

     switch (ue->type) {

         /*普通的IRQCHIP,分为PIC和IOAPIC,路由函数分别是kvm_set_pic_irq和kvm_set_ioapic_irq,PIC分为主从两块芯片。*/

        case KVM_IRQ_ROUTING_IRQCHIP:

                  delta = 0;

                  switch (ue->u.irqchip.irqchip) {

                  case KVM_IRQCHIP_PIC_MASTER:

                           e->set = kvm_set_pic_irq;

                           max_pin = 16;

                           ......

                                              case KVM_IRQCHIP_IOAPIC:

                           max_pin = KVM_IOAPIC_NUM_PINS;

                           e->set = kvm_set_ioapic_irq;

                            ... ...

                  }

         /*MSI中断消息系统的中断触发函数kvm_set_msi*/

        case KVM_IRQ_ROUTING_MSI:

                  e->set = kvm_set_msi;

                  ......

                          }

         /*中断路由实体添加到中断

        hlist_add_head(&e->link, &rt->map[e->gsi]);

        ...

        }

 

这样就会通过kvm_set_irq()调转到对应的中断注入函数。这个触发函数从上面来看可以分为三类kvm_set_pic_irq、kvm_set_ioapic_irq、kvm_set_msi,他们分别对应不同的中断方式。

对于PIC来说

它主要是设置kvm里面的虚拟中断控制器结构体struct kvm_pic完成虚拟终端控制器的设置。如果是边缘触发,需要触发电瓶先0再1或者先1再0,完成一个正常的中断模拟。

对于IOAPIC来说

相对要复杂一点,它的大概调用过程如下,有兴趣的可以去跟一下。

kvm_set_ioapic_irq -> kvm_ioapic_set_irq -> ioapic_service -> ioapic_deliver -> kvm_irq_delivery_to_apic -> __apic_accept_irq -> apic_set_vector

 

整个流程是先检查IOAPIC状态,如果符合注入条件,则组建中断结构体,发送到指定VCPU的LAPIC,设置LAPIC的寄存器,完成虚拟中断控制器设置。

这里只介绍两个关键的容易出问题的函数,第一个是中断消息的投递,如下:

位置:x86/ioapic.c

static int ioapic_service(struct kvm_ioapic *ioapic, unsigned int idx)

{

        union kvm_ioapic_redirect_entry *pent;

        int injected = -1;

         /*取得对应中断的重定向表*/

        pent = &ioapic->redirtbl[idx];  

         /*检查中断是否被mask了,如果不允许中断则不触发*/

        if (!pent->fields.mask) {

                  /*构造APIC消息,准备发送到LAPIC*/

                  injected = ioapic_deliver(ioapic, idx);

                   /*如果投递成功并且是电瓶触发,设置目的中断请求寄存器*/

                  if (injected && pent->fields.trig_mode == IOAPIC_LEVEL_TRIG)

                           pent->fields.remote_irr = 1;

        }

        return injected;

}

然后来看下LAPIC如何接收中断,主要是在函数__apic_accept_irq中,这里就是将中断写入当前触发VCPU的kvm_lapic结构体中的相应位置。

位置:x86/lapic.c

static int __apic_accept_irq(struct kvm_lapic *apic, int delivery_mode,

                               int vector, int level, int trig_mode)

{

        int result = 0;

        struct kvm_vcpu *vcpu = apic->vcpu;

         /*APIC投递模式,表明是完成什么功能*/

  switch (delivery_mode) {

        case APIC_DM_LOWEST:

                  vcpu->arch.apic_arb_prio++;

        case APIC_DM_FIXED:

                  ......

                  if (trig_mode) {

                            /*中断触发,设置中断位,设置apic里面的寄存器变量,偏移地址APIC_TMR和Linux真实APIC控制器相同*/

                           apic_set_vector(vector, apic->regs + APIC_TMR);

                  } else

                           apic_clear_vector(vector, apic->regs + APIC_TMR);

 

                  result = !apic_test_and_set_irr(vector, apic);

                  ......

                  kvm_vcpu_kick(vcpu);

                  break;

        … …

        }

        return result;

}

对于MSI来说

就是将irq消息解析,然后构造发送给VCPU的LAPIC,后面和IOAPIC的相同。

kvm_set_msi -> kvm_irq_delivery_to_apic -> kvm_apic_set_irq -> __apic_accept_irq

这样我们就大概讲解了三种中断触发方式的实现,具体的可以参见详细代码。这里要注意,CPU主循环和中断注入是两个并行 的过程,所以CPU处于任何状态都能进行设置中断,设置中断以后,就会引起中断退出(最后一点是个人意见,可能不正确,应该是要写到vmcs位)。另外来 自QEMU的中断注入也是调用这个循环,所以在QEMU中的中断和CPU循环也是并行执行。

 

当我们设置好虚拟中断控制器以后,接着在KVM_RUN退出以后,就开始遍历这些虚拟中断控制器,如果发现中断,就将中断写入中断信息位,实现如下:

inject_pending_event在进入guest之前被调用。

位置:86/x86.c

参数:发生退出的虚拟cpu结构体

注意这里将NMI,exception的注入过程都注释掉了,同理。

static void inject_pending_event(struct kvm_vcpu *vcpu)

{

        … …

         /*如果存在老的还没有注入的中断,则注入之,set_irq指向vmx_irq_inject*/

        if (vcpu->arch.interrupt.pending) {

                  kvm_x86_ops->set_irq(vcpu);

                  return;

        }

        … …

        /* try to inject new event if pending */

        if (vcpu->arch.nmi_pending) {

        … …

          /*检测虚拟中断控制器,看是否有中断发生*/

         } else if (kvm_cpu_has_interrupt(vcpu)) {

                  if (kvm_x86_ops->interrupt_allowed(vcpu)) {

                                      /*获得当前中断号,并且将当前中断pending标记为true*/

                           kvm_queue_interrupt(vcpu, kvm_cpu_get_interrupt(vcpu), false);

                                      /*将中断写入VMCS的中断信息位*/

                           kvm_x86_ops->set_irq(vcpu);

                  }

        }

}

set_irq(),实现写入VMCS,代码如下:

位置: x86/vmx.c

static void vmx_inject_irq(struct kvm_vcpu *vcpu)

{

        struct vcpu_vmx *vmx = to_vmx(vcpu);

        uint32_t intr;

         /*之前得到并且设置好的中断的中断向量号*/

        int irq = vcpu->arch.interrupt.nr;

        … …

        intr = irq | INTR_INFO_VALID_MASK;

         /*看是外部中断还是软中断,我们之前注入的地方默认是false,所以是走下面分支*/

        if (vcpu->arch.interrupt.soft) {

                  intr |= INTR_TYPE_SOFT_INTR;

                   /*写VMCS位,指令长度*/

                  vmcs_write32(VM_ENTRY_INSTRUCTION_LEN,

                               vmx->vcpu.arch.event_exit_inst_len);

        } else

                  intr |= INTR_TYPE_EXT_INTR;

          /*写VMCS中断信息位*/

        vmcs_write32(VM_ENTRY_INTR_INFO_FIELD, intr);

}

这样KVM就完成了虚拟中断的注入,从中断源触发到写入虚拟中断控制器,再到VMCS的过程。

 

最后我在回过头来讲讲是什么时候触发这个kvm_set_irq的。当然中断需要模拟的时候就调用。这里调用分为两种。

1.可以直接在KVM中调用这个函数,如虚拟I8254,我在其他文章中分析过i8254的中断模拟过程,这里有这种类型设备的中断源的模拟,顺被贴一张,一般中断源的逻辑流程图:

 

 

 

2.可以从QEMU中通过调用QEMU中的函数中断注入函数kvm_set_irq.

在QEMU中,如果有中断触发,会触发到相应中断控制器,中断方式也有8259(hw/i8259.c), IOAPIC(hw/ipf.c x86下没用这个,pic和apic相同处理,将pic扩展到24个), MSI(hw/msix.c),在这里中断控制器里面都会触发这个QEMU的kvm_set_irq函数。

至于这个kvm_set_irq函数位置在qemu-kvm.c,在这个函数中进而调用kvm_set_irq_level,最后通过一个KVM_IRQ_LINE的IOCTL调用KVM模块里面的kvm_set_irq函数。

int kvm_set_irq_level(kvm_context_t kvm, int irq, int level, int *status)

{

   ... ...

   event.level = level;

   event.irq = irq;

    /*IOCTL*/

   r = kvm_vm_ioctl(kvm_state, kvm->irqchip_inject_ioctl, &event);

    ... ...

}

 

这里我就不分析QEMU中的中断源了,毕竟主要将的是KVM,也希望大家针对QEMU中断的中断源进行讨论。发表自己的观点。


阅读(1676) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~