Guest NUMA技术

[Panda_Master]

Guest NUMA技术

实验室项目要求最近研究Guest NUMA技术，作为一个全新的技术领域，所有的都是新的。但是未来的前景还是非常好的，看的一段时间了稍微分析一下。
首先，NUMA结构应该非常清楚了，就是指定固定大小的内存分配给一个指定的cpu序列，然后这样就形成一个节点NODE，整个框架是由几个Node结构组成的。其中cpu访问本地的内存速度要远远快于访问远端Node的内存速度。相当于对内存和cpu进行绑定划分的体系架构。这也就是所谓的NUMA结构了。
NUMA结构的概念提出了已经有一段时间了，该方向的主要技术热点主要还是关于并行计算的高效处理，主要就是如何提高本地cpu快速访问remote cpu的问题。对该问题的解决方案也有很多，例如共享cache相关处理，page migration等等。这些还不是我要学习的重点。
介绍完NUMA之后，就要说一下什么是Guest NUMA了。
Guest NUMA是相对于虚拟化技术而言的，这里特指XEN虚拟机。熟悉XEN的童鞋都知道，XEN划分域的时候分为Host Domain和Guest Domain两个概念，具体的命名原因以及功能区别这里就不详细描述。其中这里的Guest 和Domain划分时的Guest有一定的相似性。可以说，都是用户级的，都是针对用户空间的命名来区别于非Guest（Host）的。
XEN虚拟机在hardware和userspace之间加了至关重要的一层Xen Hyperviser(VMM) ,它是Xen虚拟机的心脏 。由它全局统筹虚拟化的实现和配置、管理工作。也就是说该层之上的内容就是所谓的虚拟化内容了，也就是虚拟机。而因为Domain 0域特有的特点被称为Host，其他的Domain于此对应成为Guest。相对NUMA架构，道理是一样的。此时Hyperviser层下面的硬件结构是NUMA结构（之前的可以随便，也可以是NUMA技术，也可以是SMP，这里只是强调此时是NUMA结构），而在Xen-3.x版本（具体哪个版本我也不清楚）之后，上层是可以识别出来物理硬件是NUMA结构的。而此时要做的是，使得Hyperviser上层也是NUMA结构，当然这个空间已经是虚拟化空间，自然该NUMA结构也是虚拟化的，为了区别于底层的NUMA结构，该虚拟NUMA结构称为Guest NUMA。
2010年xen summit会议中讨论了Guest NUMA结构，同时也开启了NUMA虚拟化的时代。VMM之下的物理架构是NUMA结构，VMM之上的用户空间仍然是NUMA结构，这样就涉及到很多的问题。比如vnode与物理node之间的对应关系，vnode的迁移问题，vcpu的迁移问题，以及vnode在物理node的物理内存分配和归属问题等。具体的分配过程可以在Guest NUMA构造过程完成，也可以在之后进行指定等。