发表更新5 分钟读完 (大约705个字)

面向国产XPU的openCoDA开源框架亮相中国开源大会

10月21-22日，以“开源联合，聚力共赢”为主题的2023 CCF中国开源大会在长沙召开。在算力网与大模型分论坛上，戚正伟教授分享了面向国产XPU的openCoDA开源框架的报告。这是华为数据存储和上海交通大学自2020年成立联创中心后孵化出来的又一创新成果，旨在构建开放的XPU虚拟化生态：根据自身硬件和应用特性，协同优化性能和功耗，形成开放自主的协议栈，实现软硬垂直协同；通过标准化接口，向下屏蔽硬件差异，向上提供统一管理接口；构建虚拟化统一开源框架（Unified Virtualization Framework，UVF），形成公共的开放架构，避免重复投入。

UVF框架作为这一技术体系的核心组成部分，具有以下特点和优势：

  • 高效性能：UVF框架在内核态级别管理GPU资源分配和调度，确保虚拟vGPU性能接近原生性能，实现了较低的性能开销。
  • 资源隔离：UVF框架具备强大的资源隔离能力，确保容器之间的vGPU工作负载互不干扰，从而减少了“吵闹邻居干扰”。
  • 灵活管理：UVF框架支持GPU显存动态划分，并支持MB级划分和GPU利用率的动态调整，以满足不同应用场景的需求。
  • 功能丰富：UVF框架不仅支持算力加速、渲染、超算等GPU基本功能，还向上提供统一的用户态驱动接口，实现国产南北向生态的衔接。

openCoDA开源框架旨在解决国产XPU“各自为主”、缺乏统一开放生态的问题。通过对资源进行虚拟化和池化，openCoDA形成了一个公共的开发架构，提供了标准化接口，使得用户和厂商可以更加便捷地进行适配工作，从而形成国产算力开放XPU算力生态技术体系。同时，通过与头部国产XPU厂商的产学研合作，openCoDA期望能够构建一个国产化开放XPU算力和技术生态。

构建软硬协同的开放XPU算力生态技术体系是引领算力生态新趋势的关键。通过协同优化性能和功耗，形成开放自主的协议栈，并借助UVF统一框架的力量，可以更好地满足AI大模型亿万量级参数的计算需求。

发表更新4 分钟读完 (大约561个字)

《深入浅出系统虚拟化：原理与实践》出版

本书的特色在于：

  • 借鉴学习操作系统（Linux内核源代码已超过2700万行）的方法，借助实验把重要概念涉及的主干技术路径叙述清楚（ Linux内核版本为4.19.0，QEMU版本为4.1.1），解读现代主流开源虚拟化KVM/QEMU的源码，读者也可以通过调试和打印直观理解虚拟化场景的“现场”，使静态的代码变得鲜活生动，通过实验来理解重要概念。

  • 针对新型“多虚一”，本书讲述了开源项目GiantVM的CPU、内存和I/O“多虚一”的基本实现方法，这也是国际上第一个Type II开源多虚一的实现方案，有助于了解多虚一方面的进展。

  • 基于ARMv8的华为鲲鹏虚拟化架构，并概述其CPU、中断、内存、I/O和时钟虚拟化的基本原理，也对ARM虚拟化进行了比较系统的介绍，便于和x86的实现进行对比。

  • 类似于代码量约1万行的Linux 0.11，“麻雀虽小、五脏俱全”，本书基于内存安全的Rust语言从零开始打造一个具备基本功能的轻量级虚拟化平台StratoVirt，逐步提供CPU、内存和I/O的虚拟化能力。从开始运行一段汇编代码到最终能够运行Linux客户机操作系统，读者可以完整经历虚拟化从设计到实现的全部流程。

遗憾的是，由于时间和篇幅，以及RISC-V虚拟化刚刚推进到1.0版本，RISC-V虚拟化也有很多特色，本书没有专门重点介绍，只好留待今后了。

本书的源代码及安装运行说明均保存于 GiantVM 和 StratoVirt开源社区。后续将通过开源社区进行代码更新和线上交流。

GiantVM 社区

StratoVirt 开源社区

出版信息

发表更新1 分钟读完 (大约204个字)

Prof. Shen Hong Visits and Gives a Talk

Prof. Shen

Privacy-preserving Data Sharing against Malicious Attacks

Recent years have seen a remarkable development of privacy-preserving computing (PPC) as an effective way to achieve secure distributed computing and information sharing across a public network that are of critical importance for network-centric computation and big data analytics. Recent advancement in cloud data sharing techniques has made traditional PPC techniques unable to effectively against emerging malicious attacks such as shilling, collusion and inference attacks.

In the first part of this talk, I will first introduce the problem of privacy-preserving computing, its research challenges in cloud big data computing, then give a taxonomy on data protection techniques categorized on the security levels of data publishing, with the focus on differential privacy as an effective method to combat malicious attacks, and provide an overview on our contributions in privacy-preserving computing. In the second part, to show the power of differential privacy for secure data sharing, I will give two examples of our work in applying differential privacy to achieve privacy-preserving recommendation and data clustering against collusion and inference attacks. Finally I will conclude the talk by displaying our ongoing research projects.

发表更新几秒读完 (大约42个字)

Prof. Hanhua Chen Visits and Gives a Talk

Prof. Hanhua Chen from HUST visits and gives a talk on high efficiency and large data flow processing system critical technology.

Chen's Talk
Chen's Talk
Chen's Talk

×