精华内容
下载资源
问答
  • 优化存储空间什么意思
    千次阅读
    2018-08-29 09:37:28

    首先,打开电脑内的"终端";

    其次,逐条录入下面的命令行,执行完成后,再次查看您的储存空间,多少会有一些优化,具体会优化出多少储存空间因您日常使用而定(本人清出了5G 空间,还不错).

    主要是清除一些日常使用中的缓存和日志相关文件,不会影响其使用.

    命令如下:

    sudo rm -rf /private/var/log/*

    sudo rm -rf /private/var/tmp/*

    sudo rm -rf ~/Library/Caches/*

    sudo rm -rf /private/var/folders/*

    更多相关内容
  • 你是否曾经查看过你的索引并想了解更多关于在你的 Elastic 部署中是什么造成你存储消耗的因素? 也许你已经使用默认设置摄取了自定义数据,并且想知道你的数据建模工作在哪里可以产生最大的影响? 在这篇博文中,...

    你是否曾经查看过你的索引并想了解更多关于在你的 Elastic 部署中是什么造成你存储消耗的因素? 也许你已经使用默认设置摄取了自定义数据,并且想知道你的数据建模工作在哪里可以产生最大的影响? 在这篇博文中,我们将了解如何使用 Elastic 最近推出的磁盘使用 API (disk usage API)来回答此类问题。

    在 Elastic,当我们与客户合作时,最常见的改进领域之一是索引映射配置。 缺少映射或使用错误的类型可能会增加 Elastic 部署中的存储使用量。 这篇文章将帮助你了解哪些字段对驱动你的存储空间影响最大,以及如何通过最佳实践配置来优化损耗。

    在如下的展示中,我将使用 Elastic Stack 8.1 来进行展示,尽管其它的界面稍微会有所不同。

    入门

    如果您尚未使用 Elastic,请使用我们在 Elastic Cloud 上托管的 Elasticsearch 服务创建部署。该部署包括一个用于存储和搜索数据的 Elasticsearch 集群,以及一个用于可视化和管理数据的 Kibana 实例。有关更多信息,请参阅启动 Elastic Stack。我建议在此练习中使用开发或登台环境。

    你也可以参考我的文章 “Elastic:开发者上手指南” 来了解更多关于安装 Elasticsearch 及 Kibana 的知识。你可以可以在本地进行部署。

    你还需要 Elasticsearch 索引中的一些数据进行分析。如果你创建了一个全新的集群,你可以使用 Kibana 添加一些示例数据。如果你不知道如何添加数据用例,请参考我之前的文章 “Kibana:Kibana 入门 (一)”。

    在我的示例中,我使用了一些使用 Filebeat 摄取的日志数据。如果你没有 Filebeat 的数据,请参阅我之前的文章 “Beats:运用 Filebeat module 分析 nginx 日志” 来创建这个日志数据。如果你已经按照文章的步骤进行摄入数据,那么你可以看到如下的数据集:

    从上面,我们可以看出来它含有 984,887 个文档。 

    如果你使用 Elastic 的 Beats 或 Elastic Agent 来索引数据,那么很可能已经根据 Elastic 的最佳实践对其进行了建模。这当然很棒,只是它确实让这个练习变得不那么有趣了。幸运的是,我们可以通过将数据模型复制到没有映射配置的索引来轻松丢弃我们的数据模型。我选择了一个索引并使用 Kibana 开发工具执行了以下重新索引操作:

    GET .ds-filebeat-8.1.0-2022.03.22-000001/_count

    GET filebeat-*/_count

    上面显示:

    {
      "count" : 984887,
      "_shards" : {
        "total" : 1,
        "successful" : 1,
        "skipped" : 0,
        "failed" : 0
      }
    }

    我们使用如下的命令来进行 reindex 操作:

    POST _reindex/
    {
      "source": {
        "index": ".ds-filebeat-8.1.0-2022.03.22-000001"
      }, 
      "dest": {
        "index": "nomapping-filebeat"
      }
    }

    请注意,我选择了一个以与 Elastic 的任何标准索引模式都不匹配的前缀开头的目标索引名称 nomapping-filebeat。 这可确保不会从我的索引模板之一自动应用映射。由于文档的数据比较多,在上面的请求中,我们可能会看到 timeout 的返回信息。我稍等一段时间后,使用如下的命令来检查 reindex 的文档数据:

    GET nomapping-filebeat/_count
    {
      "count" : 984887,
      "_shards" : {
        "total" : 1,
        "successful" : 1,
        "skipped" : 0,
        "failed" : 0
      }
    }

    它表明我们的文档已经完全被 reindex 了。

    通过拥有两份索引副本,一份有适当的映射,一份没有,我们将能够在后面的章节中进行并排比较。

    最后的先决条件是 jq,它是一个很好的操作 json 的工具。 我们将使用 jq 将 API 响应转换为文档列表,我们可以使用 Kibana 轻松地将其摄取到 Elasticsearch 中。 这将使通过 Kibana 使用 Discover 接口更容易分析 API 响应。

    使用 disk usage API

    调用磁盘使用 API很简单,只需转到 Kibana 开发工具并发出类似以下的请求:

    POST nomapping-filebeat/_disk_usage?run_expensive_tasks=true

    请注意 run_expensive_tasks 参数是必需的,通过提供它我承认我在集群上增加了额外的负载。 这也是我之前建议在非生产集群中进行练习的原因。

    这是我的回应的顶部:

    {
      "_shards" : {
        "total" : 1,
        "successful" : 1,
        "failed" : 0
      },
      "nomapping-filebeat" : {
        "store_size" : "936.6mb",
        "store_size_in_bytes" : 982113614,
        "all_fields" : {
          "total" : "921.4mb",
          "total_in_bytes" : 966255844,
          "inverted_index" : {
            "total" : "381.3mb",
            "total_in_bytes" : 399833939
          },
          "stored_fields" : "367.7mb",
          "stored_fields_in_bytes" : 385623340,
          "doc_values" : "134.9mb",
          "doc_values_in_bytes" : 141553124,
          "points" : "20.1mb",
          "points_in_bytes" : 21123346,
          "norms" : "17.2mb",
          "norms_in_bytes" : 18122095,
          "term_vectors" : "0b",
          "term_vectors_in_bytes" : 0
        },
        "fields" : {
          "@timestamp" : {
            "total" : "5.7mb",
            "total_in_bytes" : 6042561,
            "inverted_index" : {
              "total" : "0b",
              "total_in_bytes" : 0
            },
            "stored_fields" : "0b",
            "stored_fields_in_bytes" : 0,
            "doc_values" : "2.6mb",
            "doc_values_in_bytes" : 2734301,
            "points" : "3.1mb",
            "points_in_bytes" : 3308260,
            "norms" : "0b",
            "norms_in_bytes" : 0,
            "term_vectors" : "0b",
            "term_vectors_in_bytes" : 0
          },
          "_id" : {
            "total" : "10.7mb",
            "total_in_bytes" : 11314894,
            "inverted_index" : {
              "total" : "7mb",
              "total_in_bytes" : 7429135
            },
            "stored_fields" : "3.7mb",
            "stored_fields_in_bytes" : 3885759,
            "doc_values" : "0b",
            "doc_values_in_bytes" : 0,
            "points" : "0b",
            "points_in_bytes" : 0,
            "norms" : "0b",
            "norms_in_bytes" : 0,
            "term_vectors" : "0b",
            "term_vectors_in_bytes" : 0
          }

    该响应提供了索引整体存储使用情况的细分。 我们可以看到倒排索引(inverted_index)是最大的因素,其次是 stored_fields 和文档值(doc_values)。

    进一步查看响应,我得到了每个字段的细分,包括 host.name 字段。

    "fields" : {
    …
    "host.name" : {
            "total" : "53.6kb",
            "total_in_bytes" : 54934,
            "inverted_index" : {
              "total" : "53.6kb",
              "total_in_bytes" : 54934
            },
    …

    我们很容易对 API 结果感到满意。 通过在响应 tab 中使用 CTRL-F 功能并搜索“mb”(以兆字节为单位),我们将快速识别索引中的一些大字段。 让我们更进一步,看看我们如何快速重新格式化响应并使用 Kibana 对其进行分析。

    分析 Kibana 中的现场磁盘使用情况

    将 API 结果复制粘贴到你喜欢的文本编辑器中并将其保存为文件,在我的例子中是 disk-usage-filebeat.json。 然后运行以下命令,将 nomapping-filebeat 替换为你的索引名称,将 disk-usage-filebeat.json 替换为你最近保存的文件:

    jq -c '.["nomapping-filebeat"].fields | to_entries | map({field: .key} + .value) | .[]' disk-usage-filebeat.json > disk-usage-ld.json

    上面的命令将生成一个叫做 disk-usage-ld.json 文件。它是一个类似如下格式的文件:

    该命令将 json 转换为对象列表,每个对象包括字段名称和相关使用数据,并输出换行符分隔的 json。 有关更多信息,请参阅 jq 手册

    现在,我们可以使用 Kibana 机器学习下的 data visualizer 工具上传数据。 导航到 data visualizer 工具后,单击导入文件并上传你的 disk-usage-ld.json 文件。 结果页面应包含类似于以下屏幕截图的字段,与 API 响应中的字段分析相匹配。

    我们发现上面的有些字段的格式并不易于阅读。我们可以通过修改 data view 中的显示格式来提高可读性。 

    我们将使用 Kibana 中的格式化功能来提高字节字段的可读性。 对于以下每个字段,单击编辑并选择字节作为格式:

    • doc_values_in_bytes
    • inverted_index.total_in_bytes
    • stored_fields_in_bytes
    • total_in_bytes

    提示:在搜索字段中输入 bytes 以快速查找字段,如下面的屏幕截图所示。

    按照同样的套路,我们给上面列出来的其它几个字段做同样的配置:

    现在我们准备好可视化我们的现场数据。 导航到发现并选择磁盘使用索引模式。 添加以下列:

    • field
    • stored_fields_in_bytes
    • inverted_index.total_in_bytes
    • doc_values_in_bytes
    • total_in_bytes

    按降序对 total_in_bytes 进行排序。

     

    我们按照同样的方法加入下面的其它字段:

    如你所见,我最大的字段是 _source。 这是一个存储原始文档的内置字段,也是我们几乎总是想要保留的字段。 接下来的两个字段是 host.macevent.original.keywordevent.originalhost.ip。 再往下看,我们还可以看到 ** 带有 .keyword ** 后缀的相同字段。 根据 Elasticsearch 的动态映射默认设置,这些字段已设置为带有 keyword 多字段的文本。 我还注意到文本字段的存储由用于搜索的倒排索引占用,而 keyword 字段的存储由用于聚合和排序的 doc_values 主导。

    将文本和关键字大小加在一起,总大小为:

    • host.mac + host.mac.keyword = 116.7M + 19M = 135.7M
    • host.ip + host.ip.keyword = 30.8M + 6.3M = 37.1M

    与最佳实践比较

    让我们导航到 Dev Tools 并查看原始 filebeat 索引。 该索引具有开箱即用的 Elastic Common Schema 映射。

    我使用以下方法从原始索引中检索磁盘使用信息:

    POST .ds-filebeat-8.1.0-2022.03.22-000001/_disk_usage?run_expensive_tasks=true

    从响应中,我读到了 host.ip 和 host.mac 字段的以下内容:

          "host.ip" : {
            "total" : "17.6mb",
            "total_in_bytes" : 18558341,
            "inverted_index" : {
              "total" : "0b",
              "total_in_bytes" : 0
            },
            "stored_fields" : "0b",
            "stored_fields_in_bytes" : 0,
            "doc_values" : "5.6mb",
            "doc_values_in_bytes" : 5911203,
            "points" : "12mb",
            "points_in_bytes" : 12647138,
            "norms" : "0b",
            "norms_in_bytes" : 0,
            "term_vectors" : "0b",
            "term_vectors_in_bytes" : 0
          },
          "host.mac" : {
            "total" : "18.9mb",
            "total_in_bytes" : 19903862,
            "inverted_index" : {
              "total" : "1.1mb",
              "total_in_bytes" : 1187304
            },
            "stored_fields" : "0b",
            "stored_fields_in_bytes" : 0,
            "doc_values" : "17.8mb",
            "doc_values_in_bytes" : 18716558,
            "points" : "0b",
            "points_in_bytes" : 0,
            "norms" : "0b",
            "norms_in_bytes" : 0,
            "term_vectors" : "0b",
            "term_vectors_in_bytes" : 0
          },

     正如我们所见,存储使用量降低了 2-5 倍。 要查看映射,我们可以使用以下方法检索它:

    GET .ds-filebeat-8.1.0-2022.03.22-000001/_mapping/field/host.ip,host.mac
    {
      ".ds-filebeat-8.1.0-2022.03.22-000001" : {
        "mappings" : {
          "host.ip" : {
            "full_name" : "host.ip",
            "mapping" : {
              "ip" : {
                "type" : "ip"
              }
            }
          },
          "host.mac" : {
            "full_name" : "host.mac",
            "mapping" : {
              "mac" : {
                "type" : "keyword",
                "ignore_above" : 1024
              }
            }
          }
        }
      }
    }

     我可以看到 host.ip 被映射为 ip 而 host.mac 被映射为 keyword。 在大多数情况下,存储在这些字段中的数据类型将用于精确过滤、聚合和排序,这意味着将它们映射为 text 字段不会为分析提供进一步的价值,并且会占用集群中的额外存储空间。

    结论和下一步

    在这篇博文中,我们了解了如何使用 disk usage API 来了解哪些字段在存储利用率方面最昂贵。 我们使用 jq 格式化 API 响应并使用数据可视化器将其导入回 Elastic,以便我们可以在 Discover 中分析数据。 我们还看到了如何拥有适当的映射可以显着减少存储空间。 那么我们如何优化索引中的存储使用呢?

    使用 Elastic integrations

    通过使用 Elastic integrations(通过 Beats 或 Elastic Agent),将在摄取数据时自动为你创建字段映射。 请注意,如果你不直接向 Elasticsearch 发送数据,例如通过 Logstash 发送 Filebeat 数据,你可能需要手动加载索引模板。

    配置映射

    如果你使用自定义数据,你通常需要手动配置映射。 为确保应用你的映射,请在具有适当 index patterns/data views 的索引模板中定义它。

    快速映射单个字段变得乏味。 对于大多数机器生成的数据,我们通常希望将大多数字符串映射到关键字类型,因此包括一个动态模板作为下面的示例将节省大量时间。 不要忘记为 ips 和用于自由文本搜索的文本添加特定映射,例如标准字段 “message”。

    "mappings": {
        "dynamic_templates": [
          {
             "strings_as_keyword" : {
               "match_mapping_type" : "string",
               "mapping" : {
                 "ignore_above" : 1024,
                 "type" : "keyword"
               }
             }
           }
        ]
      }

    在为你的字段命名和分配类型时,我们建议你参考 Elastic Common Schema。 它将帮助你构建一致的数据模型,并允许你在 Kibana 的应用程序中查看你的自定义数据。

    实施存储层

    数据层是优化存储空间的一个略微切线但重要的工具。 通过使用数据层,你可以在数据老化时将数据移动到更便宜的硬件上。 我们的冻结层甚至允许你将数据存储在 blob 存储中,这大大降低了成本,并且专为很少访问或可以接受较慢查询响应的数据而设计。 管理数据层的最简单方法是使用 Elastic Cloud,查看我们管理数据的最佳实践以帮助你入门。

    展开全文
  • 磁盘存储冗余是什么意思

    千次阅读 2021-08-01 00:13:59
    全部展开多个备份可提高系统可靠性!冗余系统配件主要包括:电源: 高端服务器产品中通常使用...存储子系统: 在整个服务器系统中,存储子系统最容易出现故障. 以下方法可以实现子系统的冗余.磁盘镜像: 将相同的数据分...

    c6451bdfcdb3d769143d129ca06f80bc.gif

    全部展开

    多个备份可提高系统可靠性!

    2c6742585589f14230f690666c0dc8ee.png

    冗余系统配件主要包括:

    电源: 高端服务器产品中通常使用双电源系统. 这两个电源是负载平衡的,也就是说,它们都在系统运行时为系统供电. 加载. 某些服务器系统实现DC冗余,而其他服务器产品(如美光的NetFRAME 9000)实现AC和DC完全冗余.

    98a91c347badd529ab76bddf5e906048.gif

    存储子系统: 在整个服务器系统中,存储子系统最容易出现故障. 以下方法可以实现子系统的冗余.

    磁盘镜像: 将相同的数据分别写入两个磁盘:

    18739794aa5cde671a41280d5462f5e3.png

    磁盘双工: 将I / O控制器添加到镜像磁盘以形成磁盘双工,从而改善总线争用;

    RAID: 廉价磁盘冗余阵列的首字母缩写. 顾名思义硬盘冗余是什么意思硬盘冗余是什么意思,它由几个磁盘组成,并且一个单个数据流通过控制器协调的运动机制顺序写入这些磁盘. RAID3系统由5个磁盘组成,其中4个存储数据,1个存储检查信息. 如果一个磁盘发生故障,则可以联机更换故障磁盘,并通过其他三个磁盘和检查磁盘在新磁盘上重新创建数据. RAID5将奇偶校验信息分布在5个磁盘上,因此可以替换任何磁盘,其余磁盘与RAID3相同.

    438a73ed0362c5194e85b60375776b88.png

    I / O卡: 对于服务器,主要是指网卡的冗余和硬盘控制e69da5e6ba907a6431333234313265系统卡. 网卡冗余是在服务器中插入双网卡. 冗余网卡技术曾经是大型机和中型计算机上的技术,但是现在逐渐被PC服务器所拥有. 诸如Micron的NetFRAME9200之类的PC服务器最多可实现4个网卡冗余,每个冗余都占用25%的网络流量. Compaq的所有ProSignia / Proliant服务器都具有容错冗余双网卡.

    PCI总线: NetFRAME 9200代表了美光的最高技术水平,它使用三倍等效的PCI技术来优化PCI总线的带宽并提高硬盘和网卡等高速设备的数据传输速度

    CPU: 系统中的主处理器通常不会出现故障,但是对称多处理器(SMP)允许多个CPU共享工作以提供一定程度的容错能力.

    本文来自电脑杂谈,转载请注明本文网址:

    http://www.pc-fly.com/a/jisuanjixue/article-194154-1.html

    展开全文
  • 数据库的使用总要用到数据库的优化,那么主要从哪些方法去考虑优化呢? 今天重点来总结一下,理解中的数据库优化(mysql数据库) ... 存储过程优化 3.架构层 分布式部署(读写分离) 4.sql语句层 使用高效的sql...

    数据库的使用总要用到数据库的优化,那么主要从哪些方法去考虑优化呢?
    今天重点来总结一下,理解中的数据库优化(mysql数据库)

    一、mysql优化,主要从哪些方面去考虑

    1.存储层

    	数据表的存储引擎选取,
    	字段类型的选取,
    	逆范式
    

    2.设计层

    	索引的使用,
    	分区/分表,
    	sql语句的优化,
    	存储过程优化
    

    3.架构层

    	分布式部署(读写分离)
    

    4.sql语句层

    	使用高效的sql语句
    

    1.1存储引擎

    1.1.1sql语句执行过程,

    sql语句

    1.1.2mysql 支持的引擎种类:

    	mysql> show engines;
    

    在这里插入图片描述

    1.1.3 常用的存储引擎

    	MyISAM:表锁,全文索引
    	InooDB:行锁,事物(回滚),外键
    	Memory:内存存储引擎,速度快、数据容易丢失
    
    innodb引擎:
    1.1.3.1存储格式
    默认的存储结构为:表结构与 数据+索引 分为两个文件, .frm 和 ibdata1
    其中ibdata1中,存放所有表的数据
    

    如何 让每个表拥有单的数据文件:

    查看是否开启 每表一个单独文件 命令:
    
    	mysql> show  variables   like 'innodb_file_per_table%';
    

    在这里插入图片描述

    设置每个表单独数据文件命令
    
    	mysql> set global innodb_file_per_table=1;
    

    注意:相比较之下,使用独占表空间的效率以及性能会更高一点。

    1.3.1.2数据存储顺序 主键顺序
    数据的写入顺序 与 存储的顺序不一致,
    需要按照主键的顺序把记录摆放到对应的位置上去,
    速度比Myisam的要稍慢。
    
    1.3.1.3并发处理
    行级锁定(row-level locking),实现了行级锁定,
    在一定情况下,可以选择行级锁来提升并发性,
    也支持表级锁定,innodb根据操作选择。
    
    
    锁机制:
    当客户端操作表(记录)时,为了保证操作的隔离性(多个客户端操作不能相互影响),通过加锁来处理。
    操作方面:
    读锁:读操作时增加的锁,也叫共享锁,S-lock。特征是所有人都只可以读,只有释放锁之后才可以写。
    写锁:写操作时增加的锁,也叫独占锁或排他锁,X-lock。特征,只有锁表的客户可以操作(读写)这个表,其他		客户读都不能读。
    
    myisam引擎
    MyISAM是mysql 5.5版本以前的默认引擎
    
    1.1.3.4 存储格式
    	mysiam存储引擎数据表,
    	每个数据表都有三个文件
    
    	*.frm(结构文件) 
    	*.MYD(数据文件)  
    	*.MYI(索引文件)
    
    1.1.3.4 数据存储顺序 插入顺序
    	数据写入时候,没有按照主键id值给予排序存储,该特点导致数据写入的速度非常快。
    
    1.1.3.4 并发处理
    	mysiam的并发性较比innodb要稍逊色(mysiam不支持事务)
    	因为数据表是“表锁”
    

    myisam和innodb的取舍

    如果表对事务的要求不高,同时是以查询和添加为主,我们考虑使用MyISAM存储引擎,
    比如bbs中的发帖表,回复表。
    
    INNODB存储引擎:
    对事务要求高,保存的数据都是重要数据,我们建议使用INNODB,
    比如订单表,库存表,商品表,账号表等等。
    购买成功了库存 -1,
    产生订单,操作表
    

    注意:innodb引擎支持行锁和表锁,myisam引擎支持表锁

    memory引擎
    内存存储引擎,	
    特点:存储数据运行速度非常快,临时存储一些信息
    缺点:服务器如果断电,重启,就会清空该存储引擎的全部数据
    
    create table t6(id int,name varchar(32)) engine memory charset utf8;
    mysql服务,重启后,数据丢失。
    

    1.2.1字段类型的选取

    1.应该尽量使用可以正确存储数据的最小字段类型
    
    2.选用简单的数据类型
    例如:一个是尽量用mysql内置的字段类型来存储日期和时间;另一个存储IP地址尽量用整	型;
    能用整型的尽量不用字符串类型
    
    3.尽量避免使用NULL,例如:打算创建索引的字段,不要设置为NULL
    

    1.3.1 逆范式

    第一范式:

    我们的表要满足两个条件:
    (1)表的属性(列)要具有原子性(不可分割)
    (2)表不能有重复的列,
    只要是关系型数据库,就天然的满足第一范式。
    

    第二范式:

    表要满足:不能存在完全相同的两条记录,通常是通过设置一个主键来实现,主键一般是非业务逻辑主键。
    

    第三范式:

    表中不能存在冗余数据,表中列的值,如果可以通过推导出来,则就不应该设置该列。
    

    反三范式(逆范式):

    有的时候基于性能考虑,需要有意违反 三范式,适度的冗余,以达到提高查询效率的目的。
    

    MySQL优化总结二 传送门

    展开全文
  • 存储引擎在 MySQL 的体系架构中位于第三层,负责对 MySQL 中的数据进行存储和提取,是与文件打交道的子系统,它是根据底层提供的文件访问层抽象接口定制的一种文件访问机制,这个机制就叫作 MySQL 存储引擎。...
  • 数据库优化专题---10、存储优化

    千次阅读 2020-05-11 11:35:17
    这节主要介绍下存储优化。 MySQL中索引是在存储引擎层实现的,这里我们会讲解存储引擎。 执行查询引擎的命令show engines,可以看到MySQL支持的存储引擎结果如下: mysql支持存储引擎有好几种,咱们这里主要讨论...
  • NULL和‘‘,存储空间优化

    万次阅读 2020-09-16 16:06:35
    另外’'可以走索引,null走不了索引 空值是不占用空间的。MySQL中的NULL是占用空间的 打个比方来说,你有一个杯子,空值代表杯子是真空的,NULL代表杯子中... 4.1: VARCHAR以字节为单位存储,所以假设全部为常用汉字
  • 人工智能技术与咨询 ...数据存储优化;...基于MapReduce并行架构模型,提出多副本一致性Hash数据存储算法,算法充分考虑了数据的相关性和时空属性,并优化了Hadoop平台的数据划分策略和数据块规格调...
  • 全部精简后,系统分区剩余空间(总共500MB)约为180MB。另提供一个直接删除多余语言包的命令(只保留英文和简繁中文): 代码:find / -type d -name *.lproj /! -name English.lproj /! -name en.lproj /! -name ...
  • IOPS 和流量放大问题严重 不能满足在线存储场景,我们在近线存储优化的基础上针对在线存储场景也做了多项优化工作,本文介绍这些优化的实践、效果以及我们的心得。 小对象合并 从 NOS 的对象大小统计分布情况看,...
  • 对象存储什么?看过就明白了

    万次阅读 多人点赞 2019-12-12 10:52:15
    对象存储什么 对象存储,官方的名词解释是:对象存储是基于对象的存储,是用来描述解决和处理离散单元的方法的通用术语,这些离散单元被称作对象。 说实话看完这段解释,我的内心是这样的: 这时候如果再继续介绍...
  • MySQL数据库存储引擎与数据库优化

    千次阅读 2016-06-26 21:09:02
    存储引擎(1)MySQL可以将数据以不同的技术存储在文件(内存)中,这种技术就成为存储引擎。每种存数引擎使用不同的存储机制、索引技巧、锁定水平,最终提供广泛且不同的功能。(2)使用不同的存储引擎也可以说不同...
  • win10系统C盘存储使用优化操作教程

    千次阅读 2019-12-29 14:42:01
    首先我们在优化电脑C盘适用空间得同时要明确明白,C盘之所以会满得主要原因。 1.所有软件都安装在C盘 2.所有得文档项目文件都存放在C盘 3.微信、qq钉钉等应用得聊天记录和缓存位置为C盘 4.下载文件均在C盘 5.浏览器...
  • Curve ChunkServer的CPU瓶颈问题 Curve是网易数帆开源的新一代分布式存储系统,具有高性能、高可用、高可靠的特点,可作为多种存储场景的底层存储,包括块...而Curve的写IOPS还有一定提升空间——对于6个存储节点的集
  • 释放Elasticsearch存储空间

    千次阅读 2021-02-27 16:34:22
    为了回收磁盘空间,需要_forcemergeAPI进行清理和优化。 Force Merge API 为了理解Force Merge API,我们需要大概了解Elasticsearch的底层架构Lucene。当往索引中插入文档时,文档被映射到一个或多个分片。每个分片...
  • Mysql优化碎片空间

    千次阅读 2019-10-31 15:40:56
    mysql的表在使用的过程,会不断产生碎片空间,占用存储 1.查询表的碎片空间 select ROW_FORMAT,TABLE_ROWS,DATA_LENGTH,INDEX_LENGTH,MAX_DATA_LENGTH,DATA_FREE,ENGINE from information_schema.TABLES where ...
  • MySQL中优化存储UUID

    千次阅读 2017-06-09 10:49:46
    关于MySQL中UUID的一些性能存储介绍可以参考Percona相关博客: ...1. 直接存uuid,存储空间较大 2. uuid生成没有“自增”性质,会导致数据插入缓慢 解决办法: 对uuid进行重排序,使用uuid中的时
  • 三态内容寻址存储器(TCAM)查找速度快、支持三态掩码存储,在SDN网络中应用广泛.但TCAM成本高、功耗大,并且在存储含有范围字段匹配域的规则时候存在范围膨胀问题,因此交换机中可存储的转发规则数量,尤其是匹配域...
  • 《MySQL 性能优化》之 InnoDB 存储引擎

    千次阅读 多人点赞 2020-02-18 09:46:49
    InnoDB 是一个具有高可靠性和高性能的通用存储引擎,也是 MySQL 5.5 之后的默认存储引擎。本文介绍 InnoDB 存储引擎的体系结构,包括内存组件和物理磁盘结构。
  • 文章目录前言一、vdo是什么?二、实验步骤1.引入库2.读入数据总结 前言 提示:这里可以添加本文要记录的大概内容: 例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,...
  • 数据存储优化 (二):具体优化方式

    千次阅读 2018-05-10 17:49:47
    数据存储优化 (一):存储格式对比Json、ProtocolBuffer 通过上一篇文章的分析发现在大数据的应用中proto在存储方面优于Json。数据都进行压缩,proto约为json的1/3 数据源 1、日志由前端SDK收集, 2、格式为...
  • mysql---优化概述、架构与存储引擎

    千次阅读 2021-09-15 21:17:46
    TPS: Transactions Per Second(每秒传输的事物处理个数),这是指服务器每秒处理的事务数,支持事务的存储引擎如InnoDB等特有的一个性能指标。 QPS: Queries Per Second(每秒查询处理量)同时适用于InnoDB和MyISAM引擎...
  • 从本文开始我们将讨论建立在块存储方案之上的关系型数据库的性能优化方案和集群方案。关系型数据库的选型将以创业公司、互联网行业使用最广泛的MySQL数据为目标,但是MySQL的安装过程和基本使用方法等知识并不在我们...
  • "C_Cpp.intelliSenseCacheSize": 0, "C_Cpp.intelliSenseEngineFallback": "Disabled
  • 1)如果说 HDFS 是大数据时代分布式文件系统首选标准,那么 parquet 则是整个大数据时代文件存储格式实时首选标准。 2)速度更快:从使用 spark sql 操作普通文件 CSV 和 parquet 文件速度对比上看,绝大多数情况会...
  • 程序优化

    万次阅读 2016-01-17 18:29:48
    按照优化的侧重点不同,程序优化可分为运行速度优化和代码尺寸优化。 运行速度优化是指在充分掌握软硬件特性的基础上,通过应用程序结构调整等手段来降低完成指定任务所需执行的指令数。在同一个处理器上,经过...
  • 如果您已经为iPhone准备了iCloud计划,并且Mac上的存储空间不足,则可以使用它来摆脱那些“磁盘空间已满”通知。 优化的存储设置 (Optimized Storage Settings) To get to the settings, head to Apple Menu > ...
  • 作者介绍:薛超,中移物联网数据库运维高级工程师,10年数据库运维经历,2017年加入中移物联网,负责数字化产品部数据库相关工作,专注于数据库优化和推动架构演进;近年来主要研究国产新型数据库,目前所在部门全部...
  • 该Hadoop集群有8台服务器,3台是24t,5台是32t,这种情况有问题吗?有没有优化的参数配置?
  • 运筹优化(一)--运筹学概述

    万次阅读 多人点赞 2019-01-07 23:27:49
    运筹学:主要运用数学方法研究各种系统的优化途径及方案,为决策者提供科学决策的依据。最优化方法的主要研究对象是各种有组织系统的管理问题及其生产经营活动。最优化方法的目的在于针对所研究的系统,求得一个合理...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 545,472
精华内容 218,188
热门标签
关键字:

优化存储空间什么意思