精华内容
下载资源
问答
  • 这些冗余数据占用了大量的存储资源,导致存储系统性能降低,数据存储和管理成本增加等问题。在此背景下,存储容量缩减技术在不改变数据基本属性前提下,通过采用重复数据删除技术和数据压缩技术,有效地缩减数据量的规模,...

    面向大数据的高效存储容量缩减技术研究

    【摘要】:随着信息化的发展,全球数据量呈指数式增长,数据中心存储规模快速迈向了PB级甚至是EB级,其中包含了大量的冗余数据。这些冗余数据占用了大量的存储资源,导致存储系统性能降低,数据存储和管理成本增加等问题。在此背景下,存储容量缩减技术在不改变数据基本属性前提下,通过采用重复数据删除技术和数据压缩技术,有效地缩减数据量的规模,提高存储资源利用率,降低管理成本。存储容量缩减技术已经成为业界研究的热点,显示出重要的学术价值和应用价值。然而,大数据的规模巨大、类型繁多、冗余量庞大以及对数据处理的速度要求较高等特点,导致存储容量缩减技术在面对大数据应用时仍然存在许多需要解决的技术问题。例如如何降低数据分块时间开销,减少冗余数据块发现时间以及提高数据压缩速度和压缩率等方面。针对上述问题,从存储容量缩减技术的数据分块策略、冗余数据块的发现机制以及数据块的高速压缩机制等方面进行深入的研究。具体来说,主要从以下三个方面提出了创新性理论或方法:1.基于位串内容感知的数据分块策略(Bit-string Content-aware Chunking Strategy,BCCS):围绕影响数据分块性能的各种因素进行分析和讨论,实现了一种新的基于位串的数字签名技术,并在此基础上提出了BCCS。BCCS从数据块每个正文字节中抽取某一特定比特来构成窗口特征数据,并使用位操作替代传统的比较操作。该策略充分利用每一次失败的匹配尝试所带来的特征信息,尽量排除尽可能多的不能匹配位置,从中获取最大跳跃长度,从而加快二进制串的匹配过程,降低确定块边界的CPU资源消耗。实验结果表明,对于可变数据测试集,相对Rabin算法,BCCS的数据块划分速度最多可以提高197%;对于固定数据测试集,相对于FSP算法,BCCS速度仅仅降低10.8%,而其数据压缩率却较FSP的0.977提高到了1.206,可以提高20%。2.基于二级布隆过滤的冗余数据块发现机制(Redundant Chunk Query Mechanism based on Two-staged Bloom Filter,RCQM-TBF):针对数据指纹(FingerPrint,FP)数量巨大,不能完全存储在内存中,导致性能下降的问题,提出了RCQM-TBF。RCQM-TBF中第二级布隆过滤器作为第一级布隆过滤器结果的一个整体表现,其每一个比特位代表进入相同准二级假阳性误判状态的所有FP。对于FP假阳性访问,TBF通过降低二级布隆过滤机制中第一级和第二级过滤的假阳性误判率,快速判断新到达数据块的非存在性;对于FP正常性访问,TBF通过建立FP高速缓存链表和对应的FP预取机制来减少直接的硬盘访问,对新到达的数据块存在性进行快速判断;同时TBF创建了一个具有强全局散列特性的哈希函数族,减小碰撞发生的可能性。实验结果表明,对于非冗余测试数据集,RCQM-TBF的FP查询延迟性能和数据块的存储性能较采用标准布隆过滤算法的ZHU-BLOOM FILTER最多提升了28%;对于冗余测试数据集,RCQM-TBF的存储速度较ZHU-BLOOM FILTER最多可以提高100%到135%;当扩充服务器内存时,理论上RCQM-TBF可管理的存储数据容量最大可以达到64PB。3.基于多矩阵并行匹配的高速数据压缩机制(Parallel Matching LZSS based on Multiple Matrix,PMLZSS-MM):为了加快压缩速度,并提高存储容量利用率,提出了PMLZSS-MM。该机制实现了一种GPU平台下的多矩阵并行匹配工作模式,将需要压缩的数据动态划分多个字典串和预读串,分别将其作为矩阵的纵轴和横轴,分解到GPU中的不同线程块中,形成多个矩阵进行并行匹配;而对于需串行执行的压缩编码生成部分,仍然在CPU上执行。通过合理的调度策略,协调两者共同完成任务。实验结果表明,PMLZSS-MM容量缩减率有所下降。相对于经典CPU平台上的串行LZSS算法,容量缩减率最多下降了1.5%。但PMLZSS-MM显著提高了大数据的压缩速度,当字典窗口设置为4KB,预读数据窗口设置为64B时,相对于CPU平台上的串行LZSS算法,其压缩吞吐率最大提高了18倍;相对于GPU平台上的并行CULZSS算法,其压缩吞吐率最大提高了20.8%。综上所述,通过采用BCCS,有效地减小数据分块过程中的CPU资源消耗,提高发现块边界的速度;采用RCQM-TBF,提高数据指纹查询速度,获取高效的查询速度;引入PMLZSS-MM,进一步补充和优化前两项技术的不足,获取更高的存储容量缩减率。

    【相似文献】

    中国期刊全文数据库

    前20条

    1

    史江瑾;王洪生;汪琳;初剑;;存储容量单位表示方法的探讨[J];电子工程师;2006年03期

    2

    赵国求;;计算机知识点滴[J];武钢技术;1985年01期

    3

    颜世科,李桂芬;单板(单片)机系统中存储容量大于2~N的扩展方法[J];电子与自动化;1997年05期

    4

    方卉;存储容量为130MB的软磁盘驱动器[J];计算机工程;1998年12期

    5

    任伏兵;一种扩展8096存储容量的方法[J];自动化仪表;1994年12期

    6

    ;不断增大的存储容量[J];个人电脑;1997年10期

    7

    AlixL.Paultre;邮票大小的全息媒体拥有高达1GB的存储容量[J];今日电子;2004年07期

    8

    Matthew Kendall,Duncan Furness;提高便携式消费电子的存储容量[J];电子产品世界;2005年07期

    9

    周福新;;大存储容量的激光卡[J];激光与光电子学进展;1986年01期

    10

    冯蓓;;音乐之旅[J];通信技术;2004年06期

    11

    ;扩展数字家庭的存储容量[J];电子产品世界;2007年09期

    12

    郭晓峰;;正交技术提高存储容量[J];互联网天地;2006年03期

    13

    ;扩充数字家庭里的存储容量[J];中国电子商情(基础电子);2007年07期

    14

    ;1U NAS上1TB[J];每周电脑报;2003年33期

    16

    周凯;;具有1Mbit容量的CMOS ROM[J];通信技术;1986年01期

    18

    ;从布衣到贵族——商用PC全面升级[J];电脑采购周刊;2002年13期

    19

    黄挚雄;时频参数测量中存储容量的压缩方法[J];电子技术应用;2002年03期

    20

    夏雨人;;DVD光盘/驱动器的物理基本原理介绍[J];记录媒体技术;2003年04期

    中国重要会议论文全文数据库

    前1条

    1

    李晓凡;陈岳瑞;孔宇菲;任久春;缪健;陈良尧;;新型三维高密度光存储方法的研究[A];上海市激光学会2005年学术年会论文集[C];2005年

    中国博士学位论文全文数据库

    前1条

    1

    周斌;面向大数据的高效存储容量缩减技术研究[D];华中科技大学;2015年

    中国硕士学位论文全文数据库

    前2条

    1

    伊莉娅;面向服务的未来互联网络副本存储技术及策略[D];北京邮电大学;2015年

    2

    戴健雄;VXI总线大存储容量扫描A/D模块研制[D];哈尔滨工业大学;2007年

    中国重要报纸全文数据库

    前10条

    1

    通讯员  邱克忠 记者  贺耀堂;存储容量苏北最大[N];连云港日报;2006年

    2

    丁小鱼编译;学会管理存储容量[N];计算机世界;2007年

    3

    ;如何增加本地存储容量[N];网络世界;2009年

    4

    ;五个步骤改进存储容量规划[N];网络世界;2009年

    5

    本报记者 邹本堃;移动存储容量也“短斤缺两”[N];中国消费者报;2005年

    6

    苗建 编译;如何应对存储容量危机?[N];计算机世界;2010年

    7

    记者 余瀛波;智能手机存储容量虚标成投诉热点[N];法制日报;2013年

    8

    张驰;从容应对存储容量危机[N];网络世界;2010年

    9

    记者 王惜纯;手机存储容量投诉量不小[N];中国质量报;2013年

    10

    编译 郭涛;有效遏制存储年支出增长10%[N];中国计算机报;2009年

    展开全文
  • 存储管理——内存扩充技术

    千次阅读 2012-03-18 11:15:27
    内存扩充技术及时借助性价比高的大容量辅助存储器在逻辑上实现内存扩充,从而解决内存不足的问题。 内存扩充技术主要有: 覆盖 将一个大程序按照程序逻辑划分为若干个程序段,并且这若干个段不会同时运行,从而...

     内存扩充技术及时借助性价比高的大容量辅助存储器在逻辑上实现内存扩充,从而解决内存不足的问题。

    内存扩充技术主要有:

    1. 覆盖
      将一个大程序按照程序逻辑划分为若干个程序段,并且这若干个段不会同时运行,从而不必一次将全部作业装入内存。即在作业内部解决问题。
    2. 交换技术
    3. 虚拟存储器
    展开全文
  • 所以,我们给大家带来的这篇文章就是从表层来解决电脑内存不足的问题,遇到这个问题的用户,可以按照这篇文章的方法进行操作。一、设置虚拟内存虚拟内存是计算机系统内存管理的一种技术。它使得应用程序认为它拥有...

    内存不足,不管是玩游戏,还是打开软件等方面,都会变得很卡,或者会提示内存不足。所以,我们给大家带来的这篇文章就是从表层来解决电脑内存不足的问题,遇到这个问题的用户,可以按照这篇文章的方法进行操作。

    一、设置虚拟内存

    虚拟内存是计算机系统内存管理的一种技术。它使得应用程序认为它拥有连续的可用的内存(一个连续完整的地址空间),而实际上,它通常是被分隔成多个物理内存碎片,还有部分暂时存储在外部磁盘存储器上,在需要时进行数据交换。目前,大多数操作系统都使用了虚拟内存,如Windows家族的“虚拟内存”;Linux的“交换空间”等。设置虚拟内存可以帮助电脑运行大型3D游戏、AE渲染等等工作时候,让系统更加稳定运行,起到必不可少的作用。

    方法/步骤:

    1、右键点击桌面此电脑,在打开的菜单项中,选择属性;

    b9ae4df1ca92505605dcc414b4e74666.png

    2、系统窗口中,点击左侧高级系统设置,然后在打开的系统属性窗口中,切换到高级选项卡,然后点击设置;

    1b166fabfa6586765987801d128b3829.png

    3、性能选项窗口中,切换到高级选项卡,虚拟内存下方点击更改,虚拟内存窗口中,取消勾选自动管理所有驱动器的分页文件大小(A),点击选择自定义大小,然后设置初始大小和最大值的内存。

    虚拟内存设置说明:

    虚拟内存设置大小一般应该为物理内存的1.5倍为好

    如果物理内存为1G,那虚拟内存应该设置为1.5G=1536MB

    如果物理内存为2G,那虚拟内存应该设置为3G=3072MB

    如果物理内存为4G,那虚拟内存应该设置为6G=6144MB

    8bd317da37d8c8e27186383855d9e489.png

    二、关闭空闲的程序任务

    电脑打开太多的程序运行起来内存很快不足,适当的关闭不必要的运行程序,让电脑能够资源合理运行。

    方法/步骤:

    1、按Ctrl+Alt+Del 组合键,可以快速打开任务管理器,当然也可以按 Ctrl + Shift + Esc 组合键,快速打开任务管理器;

    05b056656f57a8c76878a5d76a73e319.png

    2、任务管理器窗口中,内存栏可以显示各个程序占用的内存大小,从而导致我们系统运行速度变慢;

    ea0b938f535376df63be354a56cf5a90.png

    3、如果是不重要而且又占用了电脑很多内存的程序进程,可以直接在那个程序上面,右键点击,在打开的菜单项中,选择结束任务即可;

    b2456e0d0a139217767505d4f26f758b.png

    三、增加内存条

    如果以上的方法都试过,都不能帮你解决内存不足的问题,可以考虑重装系统,或增加内存条;

    以上就是解决电脑内存不足的解决方法|电脑内存不足怎么办的文章,如有其他电脑问题,或者要想了解更多技术教程,请继续关注我们。

    展开全文
  • 程序员可以使用的内存管理技术进行概述,虽然关注重点是 C 语言,但同样也适用于其他语言。文中将为您提供如何管理内存的细节,然后将进一步展示如何手工管理内存,如何使用引用计数或者内存池来半手工地管理...
  • 仔细读读操作系统原理资料以及系统内存管理的技术说明,swap或是win虚拟内存更多是被系统当成一种低速cache使用,或者寄放长期不用程序代码段在内存中释放空间做高速cache。总之强调一种缓存而不是内存功能。...

    请注意操作系统也不是把swap分区或是windows下的虚拟内存页面文件当成内存来管理的。仔细读读操作系统原理的资料以及系统内存管理的技术说明,swap或是win虚拟内存更多是被系统当成一种低速的cache使用,或者寄放长期不用的程序代码段在内存中释放空间做高速cache。总之强调一种缓存而不是内存功能。而且你这种物理内存枯竭只能证明是系统资源过少或者程序胃口太大,这时讲不了什么cache了,只能当内存使用。。。好奇的话,你可以试试在物理内存足够的机器上启动和关闭虚拟内存(或swap)进行试验,如果虚拟内存(或swap)真是当作内存使用应该是没有性能提升的,但是实验结果表示在物理内存足够的机器上,由于虚拟内存为物理内存腾出更多cache,系统流畅度上升。(当然效果不明显,由于物理内存足够时即使无虚拟内存系统也会在内存中缓存最常用数据)

    以上是对桌面应用说的。对于服务器,假如系统配置得好,程序内存管理也比较出色,那么可以腾出更多内存充当cache,对于访问大的站点(尤其是数据库站点),一个大cache空间很有效的提升响应速度。。。

    win以及linux的默认虚拟内存基本都是物理内存1.5倍到2.5倍,这种分配思想就是最佳情况下程序代码常用的只是极少一部分,内存几乎全部做高速cache放高使用率数据,大量不常用代码寄存在虚拟内存,少量低使用率数据待虚拟内存。这样内存和虚拟内存得到最佳利用。

    取消

    评论

    展开全文
  • JVM内存管理的不足: 1)Java对象存储密度低。Java对象在内存存储包含3个主要部分:对象头,实例数据,拆分填充部分。例如,一个只包含boolean属性对象占16byte:对象头占8byte,boolean属性占1字节,为了对齐...
  • 页式存储管理(不连续存储)

    千次阅读 2018-06-24 01:43:16
    页式存储管理就是把内存物理空间划分成大小相等若干区域,一个区域称为一块. 把逻辑地址空间划分为大小相等若干页,大小与块大小相等 “页”是逻辑单位,”块”是物理单位 逻辑地址是指由程序产生与...
  • OS-S2 内存管理

    2020-06-01 14:27:01
    文章目录§2 内存管理C0 存储管理C1 直接映射管理C2 分区式管理C3 虚拟内存P1 虚拟内存技术P2 页式存储P3 页目录自映射P4 请求页面式管理P5 系统性能C4 页面共享C4 段式管理 C0 存储管理 1)功能: 存储分配与回收 ...
  • 由于连续分配方式以下两点不足:①固定分区分配会导致产生大量内部碎片,内存的利用率很低,缺乏灵活性;...基本分页存储管理的思想:把内存分为一个个相等小分区,在按照分区大小把进程拆分成一...
  • 行虚拟地址到物理地址转换(如该指令中地址不在内存自动调入,如内存不足 则自动进行切换),并显示虚拟地址以及转换后物理地址(如:“ 1|500—1579 , 2|1234--5679 ”) 8 、 调入采用请求调段方式,置换...
  • —进程换进换出和页面置换都是内存不足造成。— 2.单道程序存储管理 把整个内存划分为系统区和用户区,用户区负责执行用户程序,系统区用于执行操作系统程序。 大概有三种实现方式 (上面模型已经不再采用,...
  • 操作系统(内存管理)

    热门讨论 2009-09-20 12:55:25
    文将对 Linux™ 程序员可以使用的内存管理技术进行概述,虽然关注重点是 C 语言,但同样也适用于其他语言。文中将为您提供如何管理内存的细节,然后将进一步展示如何手工管理内存,如何使用引用计数或者内存池来半...
  • 数据库实例以及数据存储规模不断增长,在传统基于单机运维以及管理模式下,遇到非常多困难与挑战,主要归结为:机型采购与预算问题在单机模式下计算资源(CPU和内存)与存储资源(主要为磁盘或者SSD)存在着不可调和...
  • 第三章 内存管理 本章是最难理解的,其中的四种...3、操作系统内存管理的大部分内容,都是为了解决内存速度和容量不足的问题。因为内存和CPU之间的速度差总是在10倍左右。 ?硬件虚拟化技术是否也是这个原因。 ...
  • 对集群服务器中的结点名称服务器内存大小,根据管理文件数量多少、文件块的大小、管理服务器的数量及每个服务数据的存储量,并结合服务器CPU的虚拟内核数及超线程数计算出其内存配置;对于服务器的CPU,提出主结点...
  • 采用IPC数据传递技术,实现了将高速度大容量实时数据刷新到windows下的外存数据库的存储任务。测试结果表明,普通数据采集频率可达2 000 Hz,图像数据采集速率可达60 MB/s,并且没有丢帧现象发生。
  • 虚存技术(上)

    2019-05-08 20:24:16
    虚拟内存的出现是为了缓解内存不足的问题, 覆盖技术: 目标:是为了在较小的内存中运行较大的程序,常用于多道程序系统,与分区存储管理配合使用。 原理:把程序按照其自身逻辑结构,划分为若干个功能上相对...
  • 5、 内存不足淘汰算法采用第二次机会法 四、主要技术路线提示 (1)要求利用结构化或面向对象方法完成系统设计; (2)要求在设计过程中,建立清晰层次关系; (3)在系统设计中,尽量采用面向对象...
  • 其中我们会学习请求分页管理方式相关一系列知识点,那么通过上个学期学习,我们知道请求分页管理方式是在基本分页管理方式基础上进行拓展,从而实现一种虚拟内存管理技术,那相比于基本分页存储管理操作系统...
  • 3.13.4 自动存储管理 72 3.13.5 Oracle与存储系统兼容性 72 第4章 使用SQL*Plus和Oracle企业管理器 73 4.1 启动SQL*Plus会话 73 4.1.1 设置环境 73 4.1.2 从命令行启动SQL*Plus会话 74 4.1.3 用...
  • 5.4 管理技术 126 5.4.1 CASE工具 127 5.4.2 共享目录 127 5.4.3 项目管理数据库 127 5.4.4 讨论数据库 127 5.5 管理包开发 127 5.5.1 生成图表 128 5.5.2 空间需求 128 5.5.3 调整目标 128 5.5.4 安全需求 128 ...
  • 当然,该学生信息管理系统也存在一些不足之处。在成绩管理界面,当3次改变成绩为不同内容时,程序会出错。虽然尝试了很多方法,仍不能解决。再一点就是关于打印和年级课程信息设置都未能实现,这有待于以后...
  • 有关数据库的存储量,就目前而言,客户的藏书量不是很大。如果日后有所扩大,可以在原有基础上作相应的扩充,这在SQL中是很容易办到的。 4.4改进之处: 原本客户使用的是人工系统(具体情况在前面已经介绍过),费时...
  • 3、信息技术:是指信息获取、存储、加工处理、传递、利用和服务过程中涉及的技术,主要包括:微电子技术、通信技术、计算机技术和传感技术等。计算机技术是信息技术的核心。 4、信息技术的应用:计算机辅助设计、...
  • 内存不足的异常 88  用户强制关闭应用的异常(AVK_END) 88  资源数据错误的异常 88  用户数据错误的异常 89  使用goto处理异常 89  正确使用goto语句 89  不要滥用goto语句 89  异常的提示信息 89...
  • 5.4 管理技术 126 5.4.1 CASE工具 127 5.4.2 共享目录 127 5.4.3 项目管理数据库 127 5.4.4 讨论数据库 127 5.5 管理包开发 127 5.5.1 生成图表 128 5.5.2 空间需求 128 5.5.3 调整目标 128 5.5.4 安全需求 128 ...
  • 5.4 管理技术 126 5.4.1 CASE工具 127 5.4.2 共享目录 127 5.4.3 项目管理数据库 127 5.4.4 讨论数据库 127 5.5 管理包开发 127 5.5.1 生成图表 128 5.5.2 空间需求 128 5.5.3 调整目标 128 5.5.4 安全需求...
  • 数据库引擎介绍 MySQL数据库引擎取决于MySQL在安装时候是如何被编译。要添加一个新引擎,就...因此,ISAM执行读取操作速度很快,而且不占用大量的内存存储资源。ISAM两个主要不足之处在于,它不 支持事务处
  • JVM

    2012-01-08 21:47:31
    指令集 寄存器 类文件格式 栈 垃圾回收堆 ...JRE超级线程在CPU空闲或内存不足时,进行回收,程序员无法...堆上对象,动态存储管理技术,她自动释放不在被程序引用对象,按照特定垃圾回收算法来实现内存资...

空空如也

空空如也

1 2 3 4 5 6
收藏数 102
精华内容 40
关键字:

内存不足的存储管理技术