杂七杂八的记录小铺


Welcome to my world !
  • 非 root 用户安装 gcc

    Ubuntu-18.04 gcc 安装

    By SeaMount, Words: 997
    最近在将一个 CPP 项目转成 CUDA 项目,但是编译的时候发现现有的 CUDA 版本和 GCC 版本不匹配,需要自己安装对应版本的 GCC,但是自己又没有服务器的超级用户权限,用不了 update-alternatives,所以需要使用源码编译安装与 CUDA 版本相匹配的相应版本的 GCC。 [Read More]
    Tags:
  • 英伟达显卡架构发展

    GPGPU

    By SeaMount, Words: 10030
    图形处理器(Graphics Processing Unit, GPU),又称显卡核心、视觉处理器或显卡芯片,是一种专门在 PC、工作站、游戏机和一些移动终端上进行图像计算工作的处理器。20 世纪 80 年代之前,计算机的图形计算和处理工作都是由 CPU 完成的,而近几十年里,图形处理技术的重大变革,特别是图形界面操作系统(如微软的 Windows、国产的麒麟等)的出现和普及推动了新型图形处理器架构的更迭,GPU 也不再是只能作为辅助 CPU 的简单图像处理设备,逐渐发展为如今的通用高性能并行计算工具。 [Read More]
    Tags:
  • ZeRO-Memory Optimizations Toward Training Trillion Parameter Models

    ZeRO family[1]

    By SeaMount, Words: 3534
    随着深度神经网络模型的加深,模型的准确性也得到了相应的提升,但由于硬件条件的限制,在单个设备上训练数十亿至数万亿参数十分困难。当前,通常会使用数据并行和模型并行的方法来解决训练大型模型显存受限的问题,但数据并行和模型并行均存在不足之处。数据并行虽然不需要进行频繁的通信,但是需要在每个处理器上复制一份完整的模型状态,造成模型的冗余;而模型并行虽然对模型状态进行了划分,能够减少模型状态冗余,更高效地使用内存,但是会导致计算粒度过细,需要频繁进行通信。 [Read More]