Why Virtual Memory? 为什么要使用虚拟内存 By SeaMount, Words: 3448 Posted on October 9, 2024 为什么有了物理地址还需要虚拟地址呢?虚拟地址的优势在哪里? [Read More] Tags: VM OS
非 root 用户安装 gcc Ubuntu-18.04 gcc 安装 By SeaMount, Words: 997 Posted on December 25, 2023 最近在将一个 CPP 项目转成 CUDA 项目,但是编译的时候发现现有的 CUDA 版本和 GCC 版本不匹配,需要自己安装对应版本的 GCC,但是自己又没有服务器的超级用户权限,用不了 update-alternatives,所以需要使用源码编译安装与 CUDA 版本相匹配的相应版本的 GCC。 [Read More] Tags: gcc Linux C/C++
非 root 用户安装 boost Ubuntu-18.04 boost 安装 By SeaMount, Words: 778 Posted on December 25, 2023 去 boost 官网选择合适的版本下载,本文安装的是 boost-1.81.0。 [Read More] Tags: boost Linux C/C++
英伟达显卡架构发展 GPGPU By SeaMount, Words: 10030 Posted on December 20, 2023 图形处理器(Graphics Processing Unit, GPU),又称显卡核心、视觉处理器或显卡芯片,是一种专门在 PC、工作站、游戏机和一些移动终端上进行图像计算工作的处理器。20 世纪 80 年代之前,计算机的图形计算和处理工作都是由 CPU 完成的,而近几十年里,图形处理技术的重大变革,特别是图形界面操作系统(如微软的 Windows、国产的麒麟等)的出现和普及推动了新型图形处理器架构的更迭,GPU 也不再是只能作为辅助 CPU 的简单图像处理设备,逐渐发展为如今的通用高性能并行计算工具。 [Read More] Tags: MLSys GPU NVIDIA
ZeRO-Memory Optimizations Toward Training Trillion Parameter Models ZeRO family[1] By SeaMount, Words: 3534 Posted on December 3, 2023 随着深度神经网络模型的加深,模型的准确性也得到了相应的提升,但由于硬件条件的限制,在单个设备上训练数十亿至数万亿参数十分困难。当前,通常会使用数据并行和模型并行的方法来解决训练大型模型显存受限的问题,但数据并行和模型并行均存在不足之处。数据并行虽然不需要进行频繁的通信,但是需要在每个处理器上复制一份完整的模型状态,造成模型的冗余;而模型并行虽然对模型状态进行了划分,能够减少模型状态冗余,更高效地使用内存,但是会导致计算粒度过细,需要频繁进行通信。 [Read More] Tags: MLSys Parallelism