精华内容
下载资源
问答
  • 内存当显存
    2021-12-22 20:57:57

    更多相关内容
  • 早期内存通过存储器总线和北桥相连,北桥通过前端总线与CPU通信。从Intel Nehalem起,北桥被集成到CPU内部,内存直接通过存储器总线和CPU相连。
  • 上周,我们一起了解了什么是DIMM、什么是DDR内存(戳这里),相信有不少人心里还有个疑惑:“内存显存有什么差别?...那显存当内存用嘛?内存当显存用嘛?可以。最好的例子就是Playstation、XBOX等专用主机平台...

    上周,我们一起了解了什么是DIMM、什么是DDR内存(戳这里),相信有不少人心里还有个疑惑:“内存与显存有什么差别?为什么显卡都GDDR6了,CPU还在用DDR4?”那么我们今天就来聊一聊这个话题。

    首先从名字上看,GDDR不就只比DDR多了个G嘛,顾名思义“Graphic图形”之意,给显卡用的。

    f2f8b2a62dc1876ecb52f56259f76353.png

    那显存能当内存用嘛?内存能当显存用嘛?可以。最好的例子就是Playstation、XBOX等专用主机平台,比如PS4统一使用了8GB的GDDR5共享内存,只有一个高速缓冲区域,huma统一寻址,256bit位宽,GDDR5,达到了176GB/s带宽;

    a88156ba88dcea013993fd2f6b2a749c.png

    带宽 = 位宽 x 频率

    反过来看在电脑上,如果你用的是核显,是可以共享内存来当显存用(IGD Memory),也即是说这两种内存没有特别大的隔阂。

    但这并不意味着显存不够内存来凑,首先内存要走一遍PCIE总线,跟GPU同步,低带宽,延迟还高,划不来划不来...给核显的带宽只有几GB/s(个位数),受内存带宽影响。

    0330e554c9bf5ade9fc932cde18f7638.png

    其实很久之前有过用DDR当作显存的显卡,比如Geforce3 Ti 200,随着游戏、专业应用的需求越来越高,DDR的带宽成为了瓶颈,于是便有了后来的GDDR,

    8f45960c4d43d80c79a3ca62147d38a1.png

    GDDR作为一种专用存储,主要用作帧缓存,带宽非常之大,在VEGA 64上用的HBM2 2048bit能提供484GB/s带宽,RTX2080Ti的GDDR6 352bit显存提供了足足616GB/s带宽,如果用常规内存并不能达到这么高的吞吐量。

    而GDDR6对应的并不是DDR6,GDDR5也并不是对应的DDR5,虽然二者关系密不可分,但这个代号两边并不是同步升级的,GDDR5有点类似DDR3,且也是8bit 预取缓存。

    c7690a6c19a9e033dec29a2b4950cc53.png

    两者用途和侧重点也有很大差异,GPU核心没有CPU那样的L1/2/3缓存,且纹理贴图数据量巨大,需求在于高带宽,因此夸张的频率和位宽是必要的,但与此同时带来了延迟高的问题,好在GPU的并行结构对延迟不敏感,因此高频能得到高收益。

    932887f1aef461cfd5bc09498caadfa7.png

    而内存就不一样的,吞吐量没有这么大、波动也小,因此低延迟的收益更大,也便造成了DDR和GDDR看似相同但规格截然不同的结果。

    显存频率虽高,但也有极限,所以提升带宽最有效的方法就是提升位宽,这也是区分显卡定位重要的一个点。

    最后,iPhone SE 2发布了,你怎么看?

    参考与引用:

    http://m.elecfans.com/article/723101.html

    https://www.sohu.com/a/141359096_378593

    8416881c6a9aa509912fe5301e86ab4f.png aa3391091ba7e3b1fcdba5a0e05bd23f.png d08a41881f88a5751b2dafd63516e690.png
    展开全文
  • 深度学习训练时当显存不够时是否会调用共享GPU内存进行训练? 问题来源: 在用pycharm做一个模型训练时,想着能否同时再跑一个模型进行训练,但是发现显存已经不足1G了,于是就产生了上述的问题,在显存已然不足情况...

    深度学习训练时当显存不够时是否会调用共享GPU内存进行训练?

    问题来源:

    在用pycharm做一个模型训练时,想着能否同时再跑一个模型进行训练,但是发现显存已经不足1G了,于是就产生了上述的问题,在显存已然不足情况下能否通过占用共享GPU内存再对第二个深度学习模型进行训练?

    测试

    1、单个神经网络进行训练
    于是做了如下的测试,下图是仅仅训练单个神经网络时的GPU内存占用大小,目前显存占用10.2,共享GPU内存占用0.1
    图2
    图1
    2、两个神经网络同时训练
    在此基础上我又开始训练了第二个网络,但这个网络层数很少,就十来层(没敢用太大的模型测试,大家可以自己试试大一点的网络),结果显示还是可以训练的,只是这时候共享GPU的占用明显多了一些,显存占用达到10.7,共享内存GPU占用提高到了0.5,如下图所示:
    请添加图片描述
    请添加图片描述
    专用GPU内存与共享GPU内存区别:

    所谓共享GPU内存就是系统内存,是win10开始做的优化,本质上就是系统内存,cpu和显卡都可以用,当显存不够用时,可以借用一部分给显卡,防止程序崩溃,但明显训练的速度也会减慢。

    GPU内存是“专用GPU内存”和“共享GPU内存”加一块的容量。而“共享GPU内存”是win10系统专门为显卡划分的优先内存容量。在显卡显存不够的时候,系统会优先使用这部分“共享GPU内存”。在win10系统中,会划分一半容量的物理内存容量为“共享GPU内存”。“显存不够内存凑,内存不够硬盘凑”,在程序运行时,win10系统会优先使用显卡显存,但程序需要显存超过显存容量的时候,为了避免程序崩溃win10系统就会在“共享GPU内存”中借用内存给显卡当显存,但借用容量不会超过“共享GPU内存”总容量。因为内存相对于显存来说带宽和时延都比较小,不可避免会带来程序运行效率降低,如果放在游戏中就是掉帧卡顿的问题。不过“共享GPU内存”虽然占据一半物理内存容量,却并不是说其他程序就不能使用这些内存容量。它是一个共享容量,只不过优先给显卡使用而已。

    专有内存就是GPU自己用的,不会分给其它应用,而共享内存就是所有应用都可以使用,但是GPU优先使用。这里的内存指的是从系统内存中提出来的,优先让GPU使用。假如32G内存,而共享内存有16G,有两个GPU,实际上系统内存并没有全部占用,16G是两个GPU一起使用的,而不是每个都有16G。

    共享内存不仅仅是多GPU共享,而且还是GPU和的其他应用一起共享,只不过GPU优先级高些罢了。而且Windows也尽量会使用专有的GPU内存,而共享的GPU内存完全可以在其它应用大量使用内存后归他们使用。而且这个值无法设置,需要由Windows根据系统内存大小自行设定。共享内存的带宽和时延受到PCIe的限制,比专有的内存低。

    较好的讲解链接:
    专用GPU内存和共享GPU内存区别

    显卡和GPU区别:
    GPU(Graphic Processing Unit)是图形处理器,一般GPU就是焊接在显卡上的,GPU是显卡的核心芯片,是显卡的一个核心零部件,核心组成部分。GPU芯片+显存芯片+其他一些电容等配件,加散热器等放到板卡上就做成显卡了

    GPU是图像处理芯片,属于显卡的重要组成部分,主要用于大量的重复计算,因为GPU功耗很高、背面电流过大,都是焊接在显卡上,独立显卡GPU焊在显卡的电路板上,集成显卡中GPU和CPU集成在一起。CPU是主板上的一块芯片。GPU是显卡上的一块芯片。

    显卡类型:当下显卡类型主要包括独立显卡和集成显卡。

    独立显卡简称独显,是指成独立的板卡,需要插在主板的相应接口上的显卡,通过PCI-Express、PCI或AGP等扩展槽界面与主板连接的,而通常它们可以相对容易地被取代或升级(假设主板能支持升级),现在还没有出现GPU插在主板上的,因为GPU功耗很高,背面电流过大,还是焊接更为可靠。独立显卡又分为内置独立显卡和外置显卡。平常我们见到的独立显卡都是内置独立显卡,是一片实实在在的显卡插在主板上,比如插在AGP或PCI Express插槽上,拆开机箱看,就是独立显卡和显示器信号线相连的那部分零件。 独立显卡具备单独的显存,不占用系统内存,而且技术上领先于集成显卡,能够提供更好的显示效果和运行性能。显卡作为电脑主机里的一个重要组成部分,对于喜欢玩游戏和从事专业图形设计的人来说显得非常重要。以前民用显卡图形芯片供应商主要包括ATI和NVIDIA两家。(ATI现被AMD收购)

    集成显卡一般不带有显存,而是使用系统的一部分主内存作为显存,具体的数量一般是系统根据需要自动动态调整的。显然,如果使用集成显卡运行需要大量占用内存的空间,对整个系统的影响会比较明显,此外系统内存的频率通常比独立显卡的显存低很多,因此集成显卡的性能比独立显卡要逊色一些。使用集成了显卡的芯片组的主板,并不是必须使用集成的显卡,主板完全可以把集成的显卡屏蔽,只是出于成本,很少会这样做。

    CPU集成的核心显卡主板集成显卡统称集成显卡,但CPU集成显卡和主板集成显卡是不一样的。

    处理器集成显卡就是指集成在CPU内部的显卡,通常称为核心显卡,如Intel酷睿i3 i5 i7系列处理器以及AMD APU系列处理器中多数都集成了显卡。

    主板集成显卡是指集成在主板中的显卡,目前处理器核心显卡性能已经领先于主板集成的显卡,并且将显卡核心集成处理器中相比集成主板中优势更明显。

    参考链接:GPU与CPU、显卡区别
    参考链接:CPU,GPU,TPU,NPU都是什么?

    GPU与CPU区别:

    GPU使显卡减少了对CPU的依赖,并进行部分原本CPU的工作,尤其是在3D图形处理时GPU所采用的核心技术有硬件T&L(几何转换和光照处理)、立方环境材质贴图和顶点混合、纹理压缩和凹凸映射贴图、双重纹理四像素256位渲染引擎等,而硬件T&L技术可以说是GPU的标志。GPU的生产商主要有NVIDIA和ATI。

    GPU的构成相对简单,有数量众多的计算单元和超长的流水线,特别适合处理大量的类型统一的数据。但GPU无法单独工作,必须由CPU进行控制调用才能工作。CPU可单独作用,处理复杂的逻辑运算和不同的数据类型,但当需要大量的处理类型统一的数据时,则可调用GPU进行并行计算。

    GPU的工作大部分是计算量大,但没什么技术含量,而且要重复很多很多次。GPU的运算速度取决于雇了多少小学生,CPU的运算速度取决于请了多么厉害的教授。教授处理复杂任务的能力是碾压小学生的,但是对于没那么复杂,但是量特别大的任务,还是顶不住人多。

    内存和虚拟内存
    1、内存
    硬盘是用于长期存储资料的,计算机要用文件和应用程序都要从硬盘中调用。cpu要从硬盘读取数据,而cpu的缓存和硬盘的速度相差太大,这时需要速度居2者之间的内存来起缓冲作用,即硬盘数据放到内存,cpu再从内存读。内存是电脑的数据存储设备之一,其特点为容量较小,但数据传送速度较快,用以弥补硬盘虽然容量大但传送速度慢的缺点。在电脑中,内存被架设在硬盘和高速缓存器之间,从而可以充分发挥CPU的运算能力,不至于使CPU的高速运算能力因数据提取速度过慢。内存是暂时存储一些需要查看或操作的文件和应用程序,供用户进行处理,内存中的资料会因断电而自动清除。
    2、虚拟内存
    内存在计算机中的作用很大,电脑中所有运行的程序都需要经过内存来执行,如果执行的程序很大或很多,就会导致内存消耗殆尽。为了解决这个问题,Windows中运用了虚拟内存技术,即拿出一部分硬盘空间来充当内存使用,当内存占用完时,电脑就会自动调用硬盘来充当内存,以缓解内存的紧张。虚拟内存同物理内存条一样也是暂时存储一些需要查看或操作的文件和应用程序,供用户进行处理,虚拟内存中的资料会因断电而丢失。

    展开全文
  • Jetson TX2内存/显存

    千次阅读 2021-10-12 15:43:20
    一、参考资料 CUDA for Tegra ...Jetson系列(包括TX1,TX2,Xavier等)用的都是SoC芯片,CPU和GPU集成在一个芯片上,自然用的是同一个内存,因此GPU可以直接访问内存上的数据(100多GB/s)而不用受到PCI

    一、参考资料

    CUDA for Tegra
    知否,NVIDIA Jetson 产品显存到底多少?

    二、重要概念

    1. integrated GPU (iGPU)

    集成显卡

    2. discrete GPU (dGPU)

    独立显卡

    3. device memory

    GPU显存

    4. host memory

    普通内存

    Jetson系列(包括TX1,TX2,Xavier等)用的都是SoC芯片CPU和GPU集成在一个芯片上,自然用的是同一个内存,因此GPU可以直接访问内存上的数据(100多GB/s)而不用受到PCIE的限制(10多GB/s)。

    NVIDIA嵌入式产品的核心模组就是这种不能拔出来的,因为物理(die)上就是合并在一起的,因此它们也不存在独立的显存和内存,CPU部分和GPU部分公用存储器的。

    在CUDA编程中可以舍弃cudaMemcpy系列函数(相当于在同一个内存上徒劳地复制了一遍),转而使用zero copy或者统一内存unified memory。

    三、NVIDIA® Tegra®架构

    Tegra是一款通用处理器(即CPU,NVIDIA称为“Computer on a chip”片上计算机),是一种系统芯片(SoC),集CPU、GPU、南桥以及北桥芯片于一身,基于ARM 11处理器架构。能够为便携设备提供高性能、低功耗体验。

    它最大的特点是将CPU和GPU等核心整合在一颗微小的芯片上,在提供更为强劲渲染性能的同时,体积和功耗却只有Atom的1/10左右,因此可以设计出更为小巧的、集成上网/影音/游戏/GPS等众多功能的手持设备,同时续航时间也将获得大幅提升。

    Tegra是一款完全重新开发的片上系统产品,耗费了工程师1000人/年的开发,能够将移动设备的功耗降低百倍。

    Tegra是一种采用单片机系统设计(system-on-a-chip)芯片,它集成了ARM架构处理器和NVIDIA的GeforceGPU,并内置了其它功能,产品主要面向小型设备。和Intel以PC为起点的x86架构相比,ARM架构的Tegra更像是以手机处理器为起点做出的发展。它不能运行x86PC上的WindowsXP等操作系统,但在手机上应用多年的ARM架构轻量级操作系统更能适应它高速低功耗的需求。

    为了更好地在中国地区开展NVIDIA(英伟达™)的品牌推广活动,使NVIDIA(英伟达™)产品在中国地区更加深入人心并被广泛记忆,从2009年11月30日起,NVIDIA(英伟达™)Tegra™正式在中国启用中文名--“图睿™”。“NVIDIA(英伟达™)Tegra™(图睿™)”的中英文组合名称,被使用于所有的NVIDIA(英伟达™)公关、销售及其他宣传材料中,以及NVIDIA(英伟达™)合作伙伴的公关、销售及其他宣传材料中。“图睿™”须与“Tegra™”英文名称组合使用,不可以单独使用,且顺序不可以颠倒,即“Tegra™”在前,“图睿™”在后。

    四、内存共享

    In Tegra® devices, both the CPU (Host) and the iGPU share SoC DRAM memory.
    在这里插入图片描述

    In Tegra®, device memory, host memory, and unified memory are allocated on the same physical SoC DRAM. On a dGPU, device memory is allocated on the dGPU DRAM.

    Memory TypeCPUiGPUTegra®-connected dGPU
    Device memoryNot directly accessibleCachedCached
    Pageable host memoryCachedNot directly accessibleNot directly accessible
    Pinned host memoryUncached where compute capability is less than 7.2.Cached where compute capability is greater than or equal to 7.2.UncachedUncached
    Unified memoryCachedCachedNot supported

    On Tegra®, because device memory, host memory, and unified memory are allocated on the same physical SoC DRAM, duplicate memory allocations and data transfers can be avoided.

    1. device memory 显存分配

    • Host allocated memory = Total used physical memory – Device allocated memory
    • If (Host allocated memory < Free Swap Space) then Device allocatable memory = Total Physical Memory – already allocated device memory
    • If (Host allocated memory > Free Swap Space) then Device allocatable memory = Total Physical Memory – (Host allocated memory - Free swap space)

    2. 查看 device memory

    • Device allocated memory is memory already allocated on the device. It can be obtained from the NvMapMemUsed field in /proc/meminfo or from the total field of /sys/kernel/debug/nvmap/iovmm/clients.
    • Total used physical memory can be obtained using the free -mcommand. The used field in row Mem represents this information.
    • Total Physical memory is obtained from the MemTotal field in /proc/meminfo.
    • Free swap space can be find by using the free -m command. The free field in the Swap row represents this information.
    • If the free command is not available, the same information can be obtained from /proc/meminfo as:
      • Total Used physical memory = MemTotal – MemFree
      • Free swap space = SwapFree

    五、Unified Memory 统一内存寻址

    Unified Memory

    1. 简化了代码编写和内存模型。
    2. 可以在CPU端和GPU端公用一个指针,不用单独各自分配空间。方便管理,减少代码量。
    3. 使用cudaMallocManaged分配内存,而非malloc。
    展开全文
  • 内存、CPU、显存、GPU

    2022-08-24 14:51:57
    内存、CPU、显存、GPU
  • 服务器内存显存基础知识介绍.docx
  • 显存的原理:显存的原理和cpu的内存一样,显存是临时放图像数据的,也被叫做帧缓存,它的作用是用来存储显卡芯片处理过或者即将提取的渲染数据。如同CPU的内存一样,如果芯片是一辆火车,那么显存就像是火车站,火车...
  • 原本显存是32MB的,现在内存升到768MB了,游戏还是有点卡,想弄到64MB的 一般情况下进入BIOS后“Advanced chipset setup”-“ONBOARD VGA SHARE MERNORY”应该就是调整显存 但是各个主板情况是不同的 AGP ...
  • 内存显存、CPU与GPU、GPU与CUDA

    千次阅读 2020-07-13 21:38:50
    内存显存 内存   内存(Memory)也被称为内存储器,其作用是用于暂时存放CPU中的运算数据,以及与硬盘等外部存储器交换的数据。只要计算机在运行中,CPU就会把需要运算的数据调到内存中进行运算,运算完成后CPU...
  • Pytorch节省内存显存)的小技巧

    千次阅读 2021-12-28 01:25:44
    点击上方“小白学视觉”,选择加"星标"或“置顶”重磅干货,第一时间送达一 提问Pytorch有什么节省内存显存)的小技巧?在用pytorch实现一个tensorflow project的...
  • 查找Linux进程所占用的物理内存以及显存
  • 内存为原资源大小,而显存为2的n次幂 大小
  • OpenGL中内存显存之间的拷贝操作

    千次阅读 2020-01-23 14:45:20
    1. 从内存显存 1.1 对Buffer object的操作,比较简单: glGenBuffers(NumBuffers, Buffers); glBindBuffer(GL_ARRAY_BUFFER, Buffers[ArrayBuffer]); glBufferData(GL_ARRAY_BUFFER, sizeof(vertices), vertices...
  • 显存内存的关系和区别

    千次阅读 2021-07-26 09:19:57
    显存内存是什么关系?显存内存有什么区别?接下来我们来讨论一下。通常说到显存内存的时候,还会说一下缓存、存储,我们一起介绍一下。1、显存即显卡内存,也叫帧缓存,是用来存储显卡芯片处理过或者即将提取...
  • 显存对计算机速度的影响视频内存的指标很多:类型,容量,带宽,位宽,速度等。这些指标或多或少相关。首先,我们需要清楚一点:视频内存用于图形卡,其功能是在短时间内存储GPU内核计算出的数据。也就是说...
  • 今天小编就为大家分享一篇解决Tensorflow占用GPU显存问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
  • 我有两个阿里云服务器,一个是自己的学生特惠买的,另一个是老师配的,自己的是基础版本,老师配的是高配版本,从价格上就可见一斑,我的是96一年,老师的是500...内存问题 显存不够,那就用cpu放那里慢慢跑吧,但是...
  • 内存 cpu 显存 GPU

    千次阅读 2019-07-04 19:04:58
    1. 内存和CPU的关系: 下面,我们打一个比方,类比内存和CPU的工作关系。 如果说把硬盘比喻成一个大仓库, CPU比喻成加工车间, 那么内存就是一个临时的小仓库。 从距离上来说, 相比内存到CPU的距离和硬盘到内存...
  • 内存条:独立显卡显存,正式再见

    千次阅读 2021-01-14 15:54:30
    原标题:内存条:独立显卡显存,正式再见因为电脑内存对于显卡显存来说使用面宽泛的多,自电脑诞生以来可以没有独立显存但是绝不能没有内存,到现在仍然有不少电脑只是使用CPU自带的核芯显卡,内存直接当作显存使用...
  • 最近尝试训练模型时,出现内存不足的问题,此外还遇到了显存不足的问题。 尝试了网上的一些方法,发现没用或用不了: 混合精度运算 即半浮点数精度训练,首先试了apex这个库,结果发现没用,别的博客说pascal构架...
  • 内存 显存,cpu,GPU,显卡

    千次阅读 2019-11-22 21:31:50
    主要总结了内存显存,cpu,GPU,之间的差异,通过硬件和功能上进行了分析,解决了自己一直以来对这几个概念之间的模糊的理解。
  • 默认情况下,TensorFlow 会映射进程可见的所有 GPU 的几乎所有 GPU 内存(取决于 CUDA_VISIBLE_DEVICES)。通过减少内存碎片,可以更有效地使用设备上相对宝贵的 GPU 内存资源。 在某些情况下,最理想的是进程只分配...
  • 简单来说,就是当显存容量无法满足需求之时,无处安放的数据会占据一部分内存容量,以此来保证工作的照常进行。那就又有小伙伴问了,既然都说显存不够内存来凑,这哥俩关系这么好,那假如内存不够呢?能不能也来占用...
  • 压缩纹理通过d3d9和cuda进显存速度对比,此demo测试了压缩纹理通过d3d9进显存,同样数据大小通过cuda进显存,和通过cuda从显存拷贝到内存的速度。
  • 显存检测工具显卡维修工具(小伙伴千万不要买hbm类型显存的显卡,因为显存坏了核心也就凉了)
  • python 获取显存使用信息与 内存使用信息 使用库:pynvml, 可以从 pip install pynvml 得到 round() 方法返回浮点数 x 的四舍五入值 import os import psutil def get_gpu_mem_info(gpu_id=0): """ 根据显卡 ...
  • 了解bios设置显卡内存占用及调整显存大小.doc
  • 详解服务器内存显存基础知识

    千次阅读 2019-09-16 00:08:36
    早期内存通过存储器总线和北桥相连,北桥通过前端总线与CPU通信。从Intel Nehalem起,北桥被集成到CPU内部,内存直接通过存储器总线和CPU相连。所以,在AMD...
  • 显存,其实就是显卡内存。在计算机电脑中,显存的作用可以说是和硬盘同样重要的,显卡主要就是对一些数据进行渲染,而显存越大,对笔记本数据的渲染也就越好。特别是一些图形的处理。如今的笔记本已经不想是以前集成...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 35,397
精华内容 14,158
关键字:

内存当显存