精华内容
下载资源
问答
  • 计算机网络的一些总结
    2020-12-18 09:11:31

    计算机网络一些总结
    知识部分
    常用缩写
    寄语
    本总结是针对于于五层协议编写的小知识,以及一些框架。

    知识部分
    1边缘部分:用户直接使用的;通信;进行资源的共享
    核心部分:为边缘部分提供服务的(连通性和交换)
    2 客户是服务的请求方
    服务器是服务的提供方
    网络的核心部分起特殊作用的是路由器
    3 RFC三个阶段 :因特网草案,建立标准,因特网标准。
    4 电路交换
    建立连接,通话,释放连接
    5 分组交换
    存储转发技术
    优点:高效,灵活,迅速,可靠
    6 按作用范围分
    WAN ,MAN ,LAN ,PAN,
    按照网络的使用者进行分类
    公用网,专用网
    7 OSI/RM开放系统互连基本参考模型
    8 协议三要素:语法,语义,同步。
    9计算机的网络的各层及其协议的集合就是网络的体系结构
    10 五层协议体系结构(物联网熟用):物理层,数据链路层,网络层,传输层,应用层
    (1)应用层:
    任务:通过应用进程间的交互来完成特定网络应用
    域名系统DNS 万维网的HTTP,电子邮件的SMTP,文件传输的FTP等
    (2)传输层:
    任务:负责两台主机中进程之间的的通信提供的数据传输服务。
    传输控制协议TCP 用户数据报协议 UDP
    (3)网络层
    任务:负责为分组交换网上的不同主机提供通信服务。把运输层产生的报文段或者用户数据封装成分组或包进行传送。
    IP数据报 = 分组(谢版本)
    IP协议,网际控制报文协议ICMP,网际组管理协议IGMP,地址解析协议ARP,开放最短路径优先OSPF,外部网关协议EGP
    (4)数据链路层
    任务:在两个相邻节点间传送数据时,数据链路层将网络层交下来的IP数据报组装成帧。

    PPP点对点协议,HDLC高级数据链路控制,STP 屏蔽双绞线
    (5)物理层
    确定与传输媒体的接口有关的特性:机械,电气,功能,过程
    传输单位:比特
    RJ-45 802.3

    11 通信的分类:单工,半双工,全双工(双方信息交互)
    12 香农公式
    13 传输介质:导向性,非导向性
    导向性:双绞线(STP,UTP),同轴电缆,光纤(多模光纤,单模光纤)
    非导向性:无线电波,微波,红外线激光
    14 中继器对信号的再生还原(再生数字信号)
    15 集线器多口中继器(再生放大信号)
    16 码分多址CDMA,规格化内积,CRC校验,循环冗余码
    17 数据链路层使用的信道:点对点信道,广播信道
    三个基本问题:封装成帧,透明传输,差错检测
    18 帧的总部和尾部进行帧定界 MTU:(最大传输单元)
    19 介质访问控制:静态划分信道:(信道划分介质访问控制)FDM,TDM,CDM,WDM 动态分配信道:(轮询访问)令牌传递协议,(随机访问)ALOHA协议CSMA(载波监听多路访问协议),CSMA/CD(载波监听多点接入/冲突检测),CSMA/CA(载波监听多点接入/冲突避免)
    CSMA:1-坚持 (忙之后坚持) 非坚持后坚持(先听,忙不听),P-坚持(P传1-p下一个时间传)
    CSMA/CD :重传次数=min{重传次数,10} ;最小帧长=2τ数据传输速率(以太网规定最小帧长64B)
    20 PPP协议是数据链路层点对点协议,面向字节的,只检测差错,不纠正差错
    21 局域网使用广播信道数据链路层
    22 媒体共享技术:静态划分信道,动态媒体接入控制
    23 数据链路层有两个子层:逻辑链路控制子层(LLC),媒体接入控制子层(MAC)
    24 每个用户到集线器的距离不超过100米,在10Base-T (10Mbit/s Base :基带传输T:双绞线,数字x表示x100m)网络里,两个用户之间距离达到200m.
    25 集线器工作在物理层,逻辑上一个总线网
    26 硬件地址=物理地址= MAC地址(48位)
    27 以太网,帧格式有2种标准 Ethernet V2;IEEE802.3
    28 在物理层扩展局域网,集线器
    29 在数据链路层扩展局域网,网桥(自学习算法)。
    30 IP地址的编址方法三个阶段:分类的IP地址,子网的划分,构成超网。
    31 A(1-126) B(128-191)C(192-223)D多播(224-239)E保留(240-255)环回(127)
    网络数 27-1 214-1 221-1
    主机数 224-1 216-1 28-1
    32 IP数据报(图)
    首部固定字节 20B
    有关协议字段部分的

    协议名 ICMP IGMP TCP EGP IGP UDP Ipv6 ESP ospf
    字段号 1 2 6 8 9 17 41 50 89
    注意:不是那个端口号的表!!!
    分片小于等于1420B,应用于片偏移部分
    DF =0 允许分片 MF =1 后面还有分片 0 无分片
    版本4b 首部长度 4b 区分服务 8b 总长度16b
    标识16b 标志3b 片偏移13b
    生存时间 8b 协议8b 首部检验和16b
    源地址和目的地址均为32b

    33 应当从匹配结果中选择具有最长的网络前缀的路由,叫最长前缀匹配
    34 ARP 地址解析协议 IP到MAC地址的映射
    4种情况:
    发送方是主机,将IP数据报发给同一个网络上的另一台主机,利用ARP找到目的主机的硬件地址
    发送方是主机,将IP数据报发给另一个网络上的一个主机,这是用ARP找到本网络上的路由器硬件地址,剩下的工作由路由器完成。
    发送方是路由器,将IP数据报发给同一个网络上的另一台主机,利用ARP找到目的主机的硬件地址
    发送方是路由器,将IP数据报发给另一个网络上的一个主机,这是用ARP找到本网络上的路由器硬件地址,剩下的工作由路由器完成。

    35 网际报文控制协议ICMP : PING (测试连通性) tracert (一个分组源到终路径)
    36 内部网关协议IGP:RIPOSPF。
    (1)RIP
    路由信息协议分布式的基于距离向量的路由选择协议允许一条路径上最多15条路由器
    要点:仅和相邻路由器交换信息,交换的是本路由器的路由表,按固定时间间隔交换路由。

    优点:实现简单,开销较小;
    (2)OSPF
    开放最短路径优先分布式链路状态协议

    要点:向本自治系统中所有路由器发送信息
    发送的信息是与路由表相邻的所有的路由器的链路状态
    只有当链路发生变化时,路由器才用洪泛法向所有路由器发送此信息。

    OSPF区域 32位区域标识符,一个区域内的路由器不超过200个。
    OSPF直接用IP数据报传送

    37 外部网关协议
    边界网关协议BGP
    一个BGP发言人与其他AS中BGP发言交换先TCP交换,交换BGP报文以及建立BGP会话
    BGP自治系统数量级
    BGP报文以建立BGP会话

    BGP-4 (不同AS的路由器之间交换路由信息的协议,是一种路径向量路由选择协议)
    四种报文
    OPEN 与相邻的另一个BGP建立关系
    UPDATE 发送某一路由的信息
    KEEPALIVE 确认打开报文,周期证实邻站关系
    NOTIFICATION 发送检测到的差错

    38 传输层向它上面的应用层提供服务
    39 网络层为主机之间提供逻辑通信,而传输层为应用进程提供端到端的逻辑通信。
    40 传输层的功能
    a) 传输层提供进程与进程之间的逻辑通信
    b) 复用和分用
    c) 对收到的报文进行差错检测
    d) 传输层两种不同的协议——UDP、TCP。

    41 常用的熟知端口号:

    FTP TELNET SMTP DNS TFTP HTTP SNMP SNMP(trap) HTTPS
    21 23 25 53 69 80 161 162 443
    42 解释分用与复用
    复用:应用层所有的应用进程都可以通过传输层传至网络层;
    分用:传输层从网络层收到的数据交付指明的应用进程。
    43 端口号长度16bit ,表示为216(65536)个端口号;
    端口号分为服务端端口号【049151】和客户端端口号【4915265535】。
    服务端端口号分为熟知端口号(系统端口号)【01023】和登记端口号【102449151】
    44 UDP的主要特点:
    a) UDP是无连接的
    b) UDP不保证可靠交付(尽最大努力交付)
    c) UDP是面向报文的(以下有解释)
    d) UDP没有拥塞控制
    e) UDP首部开销小8B(比较:TCP 20B)
    f) UDP支持交互通信

    UDP :数据字段和首部字段
    首部字段8个字节:源端口,目的端口,长度,校验和(各占2B)
    数据部分
    伪首部 既不向下传送也不向上递交,仅仅为了计算检验和
    45理解UDP面向报文的
    应用层给UDP多长的报文,UDP就照样发送,即发送的最小单元就是报文,一次发送一个报文。
    46 两个对等传输实体在通信时传送的数据单位叫做传输协议数据单元
    TCP传送的数据单位协议:TCP报文段
    UDP传送的数据单位协议:UDP报文或用户数据报
    47 TCP传输控制协议
    特点: 面向连接的传输层协议
    提供可靠交付的服务
    提供全双工服务
    面向字节流
    每个TCP连接只能有两个端点,每一条TCP连接只能点对点的

    TCP 连接到的端点叫做套接字或插口

    TCP报文段分为首部和数据两部分
    首部最小长度为20B
    源端口 2B 目的端口2B
    序号 4B
    确认号4B
    数据偏4b 保留6b 紧急URG 1b 确认ACK 1b,推送PSH 1b 复位RST 1b 终止FIN 1b 窗口2B
    检验和 2B 紧急指针 2B

    48停止等待协议优点:简单
    缺点:信道利用率太低
    49使用确认和重传机制,我们就可以在不可靠的传输网络上实现可靠的通信,使用的可靠传输协议常常称为自动重传请求ARQ
    连续ARQ协议:累计确认的优点:容易实现,即使丢失了也不必重传
    缺点:不能向发送方反映接收方已经正确收到的是所有分组
    50超时重传时间
    新的RTTS = (1-α)(旧的RTTS)+α(新的RTT样本)
    RTTS:加权平均往返时间α一般取0.125

    解决流量控制死锁问题:TCP为每一个连接设有持续计时器。
    51 流量控制和拥塞控制的区别
    拥塞控制是一个全局性的过程,涉及到所有的路由器,以及与降低网络能够承受现有的网络负载。拥塞控制的任务确保子网能够承接所到达的流量。
    相反,流量控制指点对点通信量的控制,是个端到端的问题,其抑制发送端发送的数据的速率,以便接收端能够来得及接收。流量控制只控制一个发送端。

    52发送方的发送窗口一定不超过对方给出的接收方窗口值
    发送方窗口的上限值 =min[rwnd,cwnd] 【接收方窗口,拥塞窗口】

    53 TCP 传输连接的三个阶段:连接建立、数据传送、连接释放。
    建立连接:客户服务器方式
    三次握手:(1)SYN=1 seq=x (2)SYN=1,ACK=1,seq=y ack=x+1 (3)ACK=1,seq = x+1;ack = y+1。
    54 TCP拥塞控制采用慢开始,拥塞避免,快重传,快恢复。
    55 流量控制就是发送方的发送速率不要太快,要让接收方来得及接收。
    56 应用层的很多协议都是基于客户服务器方式,应用层协议都是为了解决某一类应用进程,这就需要通过位于不同主机的多个应用进程之间的通信和协作工作完成。
    57 应用层协议
    依赖TCP协议:Telnet(远程终端协议),SMTP(简单邮件传送协议),FTP(文件传送协议),HTTP(超文本传送协议)。
    依赖UDP协议:TFTP(简单文件传送协议),SNMP(简单网络管理协议)
    TCP和UDP都依赖:DNS(域名系统)
    58 万维网是分布式超媒体系统,它是超文本系统的扩充。
    为一个客户程序主窗口显示出万维网文档称为页面。
    59 怎么标志分布在整个因特网上的万维网文档?
    使用URL(统一资源定位符)来标志万维网上的各种文档。,每个文档在整个因特网内具有唯一标识符URL。
    注:URL:一般格式:<协议>://<主机><端口>/<路径>
    60 使用超文本传送协议HTTP实现万维网上各种超链接,HTTP是使用TCP连接进行可靠传送的应用层协议。从层次角度看,HTTP是面向事务的应用层协议。
    61 超文本标记语言HTML使得万维网文档都能在因特网上的各种计算机显示出来。
    在万维网用来搜索的工具叫搜索引擎,分为全文检索和分类目录搜索引擎两大类。
    62 文件传输协议FTP使用客户服务器方式,服务器进程可分为一个主进程,一个从属进程。数知端口号:21;
    两个连接:控制连接,数据连接(实际传输文件的)
    63 电子邮件(信封和内容组成)
    发送邮件的协议:SMTP(简单邮件传送协议)
    读取邮件的协议:POP3(邮件读取协议) ,IMAP(网际报文存取协议)
    电子邮件主要构件:
    发件人用户代理:SMTP
    发送邮件SMTP/TCP
    发送方邮件服务器(SMTP服务器,SMTP客户)
    发送邮件SMTP /TCP连接
    接收方邮件服务器(SMTP服务器,POP3服务器)
    读取邮件POP3/TCP连接
    收件人用户代理POP3客户

    64电子邮件的地址格式:收件人邮箱名@主机域名。
    65动态主机配置协议(DHCP)提供一种机制,即插即用连网
    66 DNS域名系统
    从域名到IP使用的是DNS,IP到物理地址是ARP,物理地址到IP使用的是RARP。
    67域名服务器:根域名服务器,顶级域名服务器,权限域名服务器,本地域名服务器,
    国家顶级域名:.cn .us .uk
    通用顶级域名:.com .org .edu
    68 域名的解析过程
    主机向本地域名服务器的查询 采用递归查询(靠别人的方法)
    本地域名服务器向根域名服务器的查询采用迭代查询(靠自己干)
    69 计算机网络面临的两大威胁
    被动攻击:截获 主动攻击:篡改,恶意程序,拒绝服务。
    70 密码编程学 是密码体制的设计学
    密码分析学是在未知密钥的情况下从密文到明文或密钥的技术
    理论上是不可破的(不能确定唯一明文);计算上是安全的(不可能被攻破)。
    71 对称密钥系统 :加密密钥与解密密钥相同的密码体制。
    72 数字加密标准DES 保密性
    73 公钥密码体制 不同的加密密钥与解密密钥
    74 数字签名必须保证以下三点 :报文鉴别,报文的完整性,不可否认
    具有保密性的数字签名
    明文X 经过A的私钥签名 ,B的公钥加密,通过因特网,B的私钥解密,A的公钥核实签名,最后确定明文X。
    75 接收者能够确信报文的确是发送者发的,其他人无法伪造对报文的签名叫做报文鉴别
    报文的完整性(确信没有被篡改)。不可否认(不能抵赖签名)。
    报文摘要和鉴别报文合在一起是不可伪造的,是可检验的不可否认的。
    76 防火墙 可信网络 不可信网络
    功能:阻止允许
    网络级防火墙,应用级防火墙。
    77 为什么说UDP是面向报文,TCP是面向字节流的
    应用层交给UDP多长的报文,UDP就照常转发,即一次发送一个报文
    不论应用层发多长的报文,TCP总是把收到的报文看成一串字节流

    常用缩写
    ADSL 非对称数字用户线
    ARP地址解析协议
    BGP 边界网关协议
    CRC循环冗余检验
    CSMA/CD 载波监听多点接入/冲突检测
    CSMA/CA载波监听多点接入/冲突避免
    DDoS 分布式拒绝服务
    DES 数据加密标准DNS域名系统
    EGP 外部网关协议
    FCS 帧检验序列
    FTP文件传输协议
    HFC 光纤同轴混合网
    HTTP 超文本传送协议
    IDS入侵检测系统
    IGMP 网际组管理协议
    IGP内部网关协议
    NAT 网络地址转换
    OSPF 开放最短路径优先
    POP 邮局协议
    RIP 路由信息协议
    SMTP简单邮件传送协议
    SNMP简单网络管理协议
    TCP传输控制协议
    UDP用户数据报协议
    URL统一资源定位符
    UTP无屏蔽双绞线
    VLAN虚拟局域网
    WLAN无线局域网

    寄语
    由于上面有些总结写的略微抽象,简单。
    比如一些图之类的,博主将理解写下来,并没有附带图片
    所以如果看不懂的话,
    可以私信博主
    可以在下面评论区讨论,由博主和广大博友解答。

    更多相关内容
  • ALGO = fast normal:38(D) fast:38-48(RMM) all:58 damped:53 !IMIX = 4 !AMIX = 0.1 !BMIX = 0.0001 !WC = 1000 !INIMIX = 1 !MIXPRE = 1 !MAXMIX = -45 !Ionic relaxation EDIFFG = -0.0005 stopping-...

    以Ammonia为例,基本翻译自:https://atztogo.github.io/phonopy/procedure.html#tutorial.

     

    1. 结构优化. 输入文件如下:

    INCAR
    !System settings
       SYSTEM = Ammonia
       PREC   =  accurate    low, normal, accurate
       ISTART =      0     job   : 0-new  1-cont  2-samecut
       ICHARG =      2     charge: 0-INIWAV 1-CHGCAR 2-atom 10-nonself
       ISPIN  =      1     spin polarized? 1:no 2:yes
       INIWAV =      1     0-jellium 1-rand
    
    !Electronic Relaxation
       ENCUT  =   200.0 eV
       NELM   =   1000     max e SC
       NELMIN =      2     min e SC
       NELMDL =     -5     non-SC +:every -:first
       EDIFF  = 1.0E-6     stopping-criterion for ELM
       LREAL  =   Auto     real-space projection
       ALGO   =   fast     normal:38(D) fast:38-48(RMM) all:58 damped:53
    
       !IMIX = 4
       !AMIX = 0.1
       !BMIX = 0.0001
       !WC = 1000
       !INIMIX = 1
       !MIXPRE = 1
       !MAXMIX = -45
    
    !Ionic relaxation
       EDIFFG = -0.0005    stopping-criterion for IOM +:energy -:force
       NSW    =     500    number of steps for IOM
       !NBLOCK =      1     inner block ionic cfg-XDATCAR, scale T
       !KBLOCK =   1000     outer block PCF-PCDAT,DOS-DOSCAR
       IBRION =      2     ionic relax: 0-MD 1-static 2-CG 3-dampedMD
       ISIF   =      2
       POTIM  =   1.0     time-step for ionic-motion
       !TEBEG  =  600.0
       !TEEND  =  600.0     temperature during run
       SMASS  =     -1     -3:micro -2:const -1:scaled >=0:Nose mass
    
    !DOS related values:
       !EMIN   =  10.00
       !EMAX   = -10.00     energy-range for DOS
       !NEDOS = 300
       ISMEAR =      0     1,2:metal -5,0:sem/ins
       SIGMA  =   0.05     broadening in eV
       !RWIGS  = -1.0 -1.0 -1.0
       !NBANDS = 10       actual number of bands in calculation
    
    !Write flags
       !NWRITE =      2     long runs use 0 or 1
       LWAVE  = .FALSE.     write WAVECAR
       LCHARG = .FALSE.     write CHGCAR
       LVTOT  = .FALSE.    write LOCPOT, local potential
       LELF   = .FALSE.    write electronic localiz. function (ELF)
       !LORBIT = 11
       !LAECHG = .TRUE.
       !LADDGRID = .TRUE.
    
    !Parallel flags
       NPAR   =      8     # of nodes
       LPLANE =  .FALSE.
       LSCALU = .FALSE.
       LSCALAPACK = .FALSE.
    
    
    
    POSCAR
    Ammonia_rlx
    1.0
        5.1305  0.0  0.0
        0.0 5.1305 0.0
        0.0 0.0 5.1305
        N H
    4 12
    Cart
           1.0789441   1.0789441   1.0789441
           1.4863058   4.0515558   3.6441941
           3.6441941   1.4863058   4.0515558
           4.0515558   3.6441941   1.4863058
           1.9095721   1.3477823   0.5710246
           1.9942253   3.2209279   3.9130323
           3.1362746   0.6556779   3.7827176
           4.5594753   4.4748221   1.2174676
           1.3477823   0.5710246   1.9095721
           1.2174676   4.5594753   4.4748221
           3.2209279   3.9130323   1.9942253
           0.5710246   1.9095721   1.3477823
           0.6556779   3.7827176   3.1362746
           4.4748221   1.2174676   4.5594753
           3.9130323   1.9942253   3.2209279
           3.7827176   3.1362746   0.6556779
    
    KPOINTS
    Automatic mesh
    0
    MP
     5  5  5
     0  0  0
    
    --------------------------------------------------------------------------------

    由于声子对结构优化比较敏感,这儿的 PREC=accurate.

     

     

    2. 构建优化过的单胞

    1 cp CONTCAR POSCAR
    Ammonia_rlx                             
       1.00000000000000     
         5.1304999999999996    0.0000000000000000    0.0000000000000000
         0.0000000000000000    5.1304999999999996    0.0000000000000000
         0.0000000000000000    0.0000000000000000    5.1304999999999996
       N    H 
         4    12
    Direct
      0.2173355638189437  0.2173355638189437  0.2173355638189437
      0.2826644166897822  0.7826644166897819  0.7173355638189437
      0.7173355638189437  0.2826644166897822  0.7826644166897819
      0.7826644166897819  0.7173355638189437  0.2826644166897822
      0.3844041525928144  0.2739307062557181  0.1256929444364981
      0.3743070360722207  0.6155958474071853  0.7739307062557181
      0.6256929444364983  0.1155958474071856  0.7260692742530075
      0.8743070360722203  0.8844041525928147  0.2260692742530077
      0.2739307062557181  0.1256929444364981  0.3844041525928144
      0.2260692742530077  0.8743070360722203  0.8844041525928147
      0.6155958474071853  0.7739307062557181  0.3743070360722207
      0.1256929444364981  0.3844041525928144  0.2739307062557181
      0.1155958474071856  0.7260692742530075  0.6256929444364983
      0.8844041525928147  0.2260692742530077  0.8743070360722203
      0.7739307062557181  0.3743070360722207  0.6155958474071853
      0.7260692742530075  0.6256929444364983  0.1155958474071856
     
      0.00000000E+00  0.00000000E+00  0.00000000E+00
      0.00000000E+00  0.00000000E+00  0.00000000E+00
      0.00000000E+00  0.00000000E+00  0.00000000E+00
      0.00000000E+00  0.00000000E+00  0.00000000E+00
      0.00000000E+00  0.00000000E+00  0.00000000E+00
      0.00000000E+00  0.00000000E+00  0.00000000E+00
      0.00000000E+00  0.00000000E+00  0.00000000E+00
      0.00000000E+00  0.00000000E+00  0.00000000E+00
      0.00000000E+00  0.00000000E+00  0.00000000E+00
      0.00000000E+00  0.00000000E+00  0.00000000E+00
      0.00000000E+00  0.00000000E+00  0.00000000E+00
      0.00000000E+00  0.00000000E+00  0.00000000E+00
      0.00000000E+00  0.00000000E+00  0.00000000E+00
      0.00000000E+00  0.00000000E+00  0.00000000E+00
      0.00000000E+00  0.00000000E+00  0.00000000E+00
      0.00000000E+00  0.00000000E+00  0.00000000E+00

     

    3. 构建超胞

    1 python /home/zjyx/softwares/phonopy-1.10.10/bin/phonopy --vasp -c POSCAR-unitcell -d --dim="4 4 4"

     在这一步后,将会产生若干个POSCAR-??? 文件,可以用以下script将其移动到对应的文件夹内以方便后续计算。同时,也需在当前文件夹内准备好待用的其他输入文件。需要改的参数有INCAR里的IBRION, NSW和KPOINTS里的mesh points.

    script:

     1 #! /usr/bin/env python
     2 
     3 '''
     4     mv all POSCAR-??? files to a new created disps directories, and
     5     copy other inputs files to the all subdirectries
     6 '''
     7 
     8 import os
     9 import sys
    10 from shutil import copy, move
    11 
    12 other_inp = ['INCAR', 'KPOINTS', 'POTCAR']
    13 
    14 n_disp = 1
    15 while True:
    16     if os.path.isfile('POSCAR-%03d'% n_disp):
    17         n_disp += 1
    18     else:
    19         break
    20 
    21 if not os.path.isdir('disps'):
    22     os.mkdir('disps')
    23 
    24 for i in range(n_disp):
    25     ''' disps-000 to store perfect supercell without perturbations'''
    26     crt_dir = 'disps'+'/'+'disp-%03d'%i
    27     if not os.path.isdir(crt_dir):
    28         os.mkdir(crt_dir)
    29     for _file in other_inp:
    30         copy(_file, crt_dir)
    31     if i != 0:
    32         copy('POSCAR-%03d'%i, crt_dir+'/'+'POSCAR')
    33     else:
    34         copy('SPOSCAR', crt_dir+'/'+'POSCAR')

    INCAR:

    !System settings
       SYSTEM = Ammonia
       PREC   =  normal    low, normal, accurate
       ISTART =      0     job   : 0-new  1-cont  2-samecut
       ICHARG =      2     charge: 0-INIWAV 1-CHGCAR 2-atom 10-nonself
       ISPIN  =      1     spin polarized? 1:no 2:yes
       INIWAV =      1     0-jellium 1-rand
    
    !Electronic Relaxation
       ENCUT  =   200.0 eV
       NELM   =   1000     max e SC
       NELMIN =      2     min e SC
       NELMDL =     -5     non-SC +:every -:first
       EDIFF  = 1.0E-6     stopping-criterion for ELM
       LREAL  =   Auto     real-space projection
       ALGO   =   fast     normal:38(D) fast:38-48(RMM) all:58 damped:53
    
       !IMIX = 4
       !AMIX = 0.1
       !BMIX = 0.0001
       !WC = 1000
       !INIMIX = 1
       !MIXPRE = 1
       !MAXMIX = -45
    
    !Ionic relaxation
       EDIFFG = -0.0005    stopping-criterion for IOM +:energy -:force
       !NSW    =       1    number of steps for IOM
       !NBLOCK =      1     inner block ionic cfg-XDATCAR, scale T
       !KBLOCK =   1000     outer block PCF-PCDAT,DOS-DOSCAR
       IBRION =      -1     ionic relax: 0-MD 1-static 2-CG 3-dampedMD
       ISIF   =      2
       POTIM  =   1.0     time-step for ionic-motion
       !TEBEG  =  600.0
       !TEEND  =  600.0     temperature during run
       SMASS  =     -1     -3:micro -2:const -1:scaled >=0:Nose mass
    
    !DOS related values:
       !EMIN   =  10.00
       !EMAX   = -10.00     energy-range for DOS
       !NEDOS = 300
       ISMEAR =      0     1,2:metal -5,0:sem/ins
       SIGMA  =   0.05     broadening in eV
       !RWIGS  = -1.0 -1.0 -1.0
       !NBANDS = 10       actual number of bands in calculation
    
    !Write flags
       !NWRITE =      2     long runs use 0 or 1
       LWAVE  = .FALSE.     write WAVECAR
       LCHARG = .FALSE.     write CHGCAR
       LVTOT  = .FALSE.    write LOCPOT, local potential
       LELF   = .FALSE.    write electronic localiz. function (ELF)
       !LORBIT = 11
       !LAECHG = .TRUE.
       !LADDGRID = .TRUE.
    
    !Parallel flags
       !NPAR   =      8     # of nodes
       LPLANE =  .FALSE.
       LSCALU = .FALSE.
       LSCALAPACK = .FALSE.

    KPOINTS:

    Automatic mesh
    0
    MP
     1  1  1
     0  0  0

     

    4. 用VASP做超胞计算.

     

    5. 计算Force Sets

     1 #! /usr/bin/env python
     2 
     3 # calculate force costant matrix
     4 
     5 import os
     6 import sys
     7 
     8 i = 1
     9 width = 3
    10 
    11 if os.path.isfile('qe.in'):
    12     mode = 'pwscf'
    13     post_filename = '.00.out'
    14     pre_pathname = "supercell"
    15     supercell_dir = "supercells"
    16 elif os.path.isfile('rmg.in'):
    17     mode = 'rmg'
    18     post_filename = '.in.00.log'
    19     pre_pathname = "supercell"
    20     supercell_dir = "supercells"
    21 elif os.path.isfile('SPOSCAR'):
    22     mode  = 'vasp'
    23     post_filename = 'vasprun.xml'
    24     pre_pathname = "disp"
    25     supercell_dir = "disps"
    26 else:
    27     print "Error: unitcell not found, exit."
    28     sys.exit(1)
    29 
    30 force_cmd = 'python /home/zjyx/softwares/phonopy-1.10.10/bin/phonopy --%s -f'% mode
    31 
    32 while True:
    33     path_tmp = '{pre_pathname}-{0:0{width}}'.format(i,
    34                                              pre_pathname=pre_pathname,
    35                                              width=width)
    36     pathname = supercell_dir + ('/%s'% path_tmp)
    37     if os.path.exists(pathname):
    38             i += 1
    39             force_cmd += ' %s/%s'%(pathname, post_filename)
    40     else:
    41         break
    42 
    43 try:
    44     os.system('%s'% force_cmd)
    45 except:
    46     print "Error: cannot operate command, exit."
    47     sys.exit(1)
    48 else:
    49     print ('Force sets done!\n')
    50     print ('    total files: %d\n'%(i-1))

    这样当前目录下会出现FORCE_SETS文件。

     

    6. 计算Band structure

     1 #!/bin/bash
     2 
     3 # plot band structure 
     4 
     5 if [ -e rmg.in ]; then
     6     mode=rmg
     7     input=rmg.in
     8 elif [ -e qe.in ]; then
     9     mode=pwscf
    10     input=qe.in
    11 elif [ -e POSCAR-unitcell ]; then
    12     mode=vasp
    13     input=POSCAR-unitcell
    14 else
    15     echo -e "No default unitcell file found.\n"
    16     exit 1
    17 fi
    18 
    19 python /home/zjyx/softwares/phonopy-1.10.10/bin/phonopy --$mode -c $input -s -p band.conf
    20 
    21 exit 0

     

    其中band.conf 文件如下:

    DIM = 4 4 4
    PRIMITIVE_AXIS = 1.0 0.0 0.0  0.0 1.0 0.0  0.0 0.0 1.0
    BAND = 0.0 0.0 0.0  0.0 0.5 0.0  0.5 0.5 0.0  0.5 0.5 0.5
    BAND_LABELS = \Gamma X M R
    

     

    转载于:https://www.cnblogs.com/zjyx/p/6614383.html

    展开全文
  • 集成DEMT智能功耗管理、FDM智能故障管理等专利技术,可选配华为eSight全生命周期管理软件,能够有效降低运营成本、提升投资回报。 关键特性 高效稳定,可扩展性强 采用新一代全系列英特尔®至强®可扩展处理器,单颗...

    ff08309dfdd48c0dc412f700636ab2e1.gif 华为5885H V5服务器(8*2.5"盘位机型)(2*5218 CPU,64GB内存,无硬盘,Smart RAID3152-8i(2G缓存)阵列卡,2*900W电源,滑轨)

    FusionServer Pro 5885H V5机架服务器

    华为5885H V5服务器(8*2.5"盘位机型)(2*5218 CPU,64GB内存,无硬盘,Smart RAID3152-8i(2G缓存)阵列卡,2*900W电源,滑轨)

    标配2颗Intel Cascade Lake 5218(16核-2.3GHz-125W);可支持4颗Intel Xeon Gold、Platinum全系列处理器;标配2条32GB DDR4 2933MHz;标配可支持48个内存插槽;标配2*GE+2*10GE以太网卡(含2个光模块);SmartRAID3152-8i (SAS/SATA RAID0,1,10,5,50,6,60, 2Gb Cache,带掉电保护)智能阵列控制器;无硬盘;可支持8块2.5inch SAS/SATA热插拔硬盘;标配9个PCI-E插槽,还可1个PCIE Riser扩展卡;N+1个冗余系统风扇;集成BMC管理模块,支持华为iMana,支持IPMI、SOL、KVM Over IP、虚拟媒体等管理特性,对外提供1个10/100/1000Mbps RJ45管理网口;标配2个900W交流电源, 可选冗余;导轨;4U机架式

    华为FusionServer Pro 5885H V5是一款4U4路机架服务器,适用于关键业务的高可靠高性能要求,以及虚拟化、高性能计算(HPC)、数据库等计算密集型业务需求。5885H V5在4U空间里可配置4路处理器、48条DDR4内存及最多25*2.5”的本地存储资源(可配置8个NVMe SSD)。集成DEMT智能功耗管理、FDM智能故障管理等专利技术,可选配华为eSight全生命周期管理软件,能够有效降低运营成本、提升投资回报。

    关键特性

    高效稳定,可扩展性强

    采用新一代全系列英特尔®至强®可扩展处理器,单颗处理器计算性能较上一代提升最高达65%;支持48条DDR4内存;支持最大25*2.5"本地硬盘配置;支持15个PCIe扩展槽位;支持2*GE+2*10GE的板载网络,满足98%应用场景的网络需求。

    智慧节能,优化能效

    专利的DEMT智能功耗管理技术,采用部件休眠、PID节能调速、电源主备供电等多维度节能措施,在不影响负载性能的前提下节省整机功耗高达16%;采用1500W白金交流电源模块,采用直流及高压直流HVDC技术,提高能源利用率。

    智能管理,开放集成

    全生命周期智能运维,FDM深度故障诊断技术,核心部件故障诊断准确率达93%;板载网卡满足网络高IO业务所需,配置简洁;标准化开放接口及开发指南,易于第三方管理软件无缝集成。

    技术规格

    型号

    FusionServer 5885H V5

    形态

    4U机架服务器

    处理器

    2/4个英特尔® 至强® 可扩展处理器,最高支持205W

    内存

    48个DDR4内存插槽,最高2666MT/s

    本地存储

    支持多种硬盘配置,硬盘支持热插拔:

    • 可配置8个前置的2.5英寸SAS/SATA硬盘

    • 可配置24个前置的2.5英寸SAS/SATA硬盘

    • 可配置25个前置的2.5英寸SAS/SATA硬盘

    • 可配置16个前置的2.5英寸SAS/SATA硬盘和8个前置的2.5英寸NVMe SSD硬盘支持Flash存储:

    • 双M.2 SSDs

    RAID支持

    可选配支持RAID0、1、5、50、6、60等,支持Cache超级电容保护,提供RAID级别迁移、磁盘漫游、自诊断、Web远程设置等功能

    板载网络

    2个10GE接口与2个GE接口

    PCIe扩展

    • 最多15个PCIe 3.0扩展槽位

    • 支持2个双宽全高全长GPU卡(x16)

    风扇

    5个热拔插对旋风扇,支持N+1冗余

    电源

    可配置4个冗余热插拔电源,支持2+2冗余,可选配的电源模块如下:

    • 1500W AC白金电源

    • 900W AC电源

    • 1200W DC电源(Note1)

    管理

    • 基于华为iBMC芯片,提供故障诊断、支持动态能耗管理技术和硬件安全加固等管理特性;支持主流接口例如Redfish等,易于被集成。

    • 可选配华为eSight管理软件,提供OS批量部署、固件自动升级等高级管理特性,实现自动化运维。

    工作温度

    5ºC - 45ºC(符合ASHRAE A3和A4标准)

    产品认证

    CE、UL、FCC、CCC、RoHS等

    安装套件

    L型滑道、可伸缩滑道、抱轨

    尺寸(高x宽x深)

    机箱尺寸:175 mm×447 mm×790 mm

    特别声明:

    Note1:1200W电源预计2018年Q3发布

    展开全文
  • Hive中压缩使用详解与性能分析

    千次阅读 多人点赞 2019-01-05 22:16:50
    Total MapReduce CPU Time Spent: 58 seconds 700 msec OK Time taken: 42.45 seconds 总结:上面数据看,使用默认的的lzo压缩算法,数据存储文件后缀名为.lzo_deflate.文件存储的大小是:121.9+121.9+2.1=245.9...

         HIVE底层是hdfs和mapreduce实现存储和计算的。所以HIVE可以使用hadoop自带的InputFormat和Outputformat实现从不同的数据源读取文件和写出不同格式的文件到文件系统中。同理,HIVE也可以使用hadoop配置的压缩方法对中间结果或最终数据进行压缩。

    1.什么是压缩及优劣?

           hive中数据做压缩和解压缩跟windows下的数据压缩差不错,同样有很多中压缩算法,结果是以不同的后缀名区别。使用数据压缩好处是可以最大程度的减少文件所需的磁盘空间和网络I/O的开销,尤其文本文件一般压缩率可以高达40%左右,对于集群来说带宽是稀有资源,所有网络传输性能的提升很重要 。但是使用压缩和解压缩会增加CPU的开销。

         所以具体使不使用数据压缩,具体取决于job类型:对那些I/O密集型的作业使用数据压缩,cpu密集型,使用压缩反而会降低性能。不过对于作业的类型的判断,只能通过实际测量对比执行结果去分析。

    2.HIVE中常见的压缩算法

          注意,注意,注意,hive中的压缩算法主要取决于hadoop版本。不同的版本会系统不同的压缩编码和解码器。比如我们公司目前使用的hadoop2.9版本已经支持了很多种压缩方式,版本越高支持的压缩方式越多。可以在hadoop下的core-site.xm文件中配置压缩方式,hive使用的也是这个配置文件。如下是我集群中配置的的压缩方式,实际开发中可以根据自己需求配置压缩方式。当然如果不配置的话,默认则不会使用压缩。比如我们公司就没有配置使用snappy压缩方法。

    <property>  
            <name>io.compression.codecs</name>  
            <value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.BZip2Codec</value>  
    </property>  

    可以通过如下命令查看hive中已经配置好的压缩算法。使用set命令可以查看所有hive配置文件中的属性值以及hive安装环境的hadoop文件的属性值。hive中默认压缩是关闭的,可以通过set hive.exec.compress.output来查看

    hive (fdm_sor)> set io.compression.codecs;
    io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec,
    org.apache.hadoop.io.compress.DefaultCodec,
    com.hadoop.compression.lzo.LzoCodec,
    com.hadoop.compression.lzo.LzopCodec,
    org.apache.hadoop.io.compress.BZip2Codec
    

         如上查询的结果是对应的算法在hadoop底层的类,为什么要有不同压缩算法呢?主要是因为不同的压缩算法在压缩率和压缩时间,压缩的文件是否可切分等方面都不同,实际开发中需要根据实际情况权衡使用。   

     压缩格式             对应的类 文件扩展名 是否支持多文件 文件可分割性

     DEFLATE

    (默认)

     org.apache.hadoop.io.compress.DefaultCodec .deflate 不 不
     gziporg.apache.hadoop.io.compress.GzipCodec .gz 不 不
     bzip2org.apache.hadoop.io.compress.BZip2Codec .bz2 不 是
     LZO com.hadoop.compression.lzo.LzopCodec .lzo_deflate 不 是
    Lzopcom.hadoop.compression.lzo.LzopCodec;.lzo 不 是

    三.HIVE中压缩算法性能分析

           这里测试的表中文件是516.4MB,hadoop环境的块设置大小是256Mb,正好这样数据存储是分块存储,计算有IO的开销。可以测算不同压缩算法下数据传输计算的时间,以及压缩率等因子。

    [robot~]hadoop fs -du h  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201901
    516.4 M  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201901/201901.txt
    这是直接从linux本地load的文件到hdfs上,文件实际数据大小是516.4Mb

    1.hive中不使用压缩,进行计算与存储

    --1.无压缩算法下进行数据存储计算。
    set hive.exec.compress.output=false; --默认就是false的
    insert overwrite table t_fin_demo partition(staits_date ='201900') 
    select 
    name,
    id_type,
    idcard,
    org,
    loan_no,
    busi_type,
    busi_category,
    open_date,
    dure_date,
    loan_amount,
    happen_time,
    amout,
    due_amt,
    stat
    from t_fin_demo where staits_date ='201901';
    
    2.使用du -h命令查看hdfs上文件存储情况
    [finance@master2-dev software]$ hadoop fs -du -h /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201900
    
    271.0 M  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201900/000000_0
    271.0 M  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201900/000001_0
    4.7 M    /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201900/000002_0
    3.程序运行时间
    Total MapReduce CPU Time Spent: 54 seconds 200 msec
    Time taken: 36.445 seconds
    
    

     总结:从上面数据看出,无压缩模式下,数据存储的格式就是文本格式,无后缀名,可以直接从-cat查看。文件存储大小是原本文件的大小271+271+4.7=546.7Mb,运行时间是36.445。

    2.使用hive默认的压缩方式,hive存储的文件后缀是.deflate

    1.使用deflate进行压缩
    set hive.exec.compress.output=true; 
    --true是开启压缩,默认是关闭的,如果开启后不指定压缩方式,默认使用defalte。
    set  mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.DefaultCodec;
    insert overwrite  table t_fin_demo partition(staits_date ='201904') 
    select 
    name,
    id_type,
    idcard,
    org,
    loan_no,
    busi_type,
    busi_category,
    open_date,
    dure_date,
    loan_amount,
    happen_time,
    amout,
    due_amt,
    stat
    from t_fin_demo where staits_date ='201901';
    
    2.查看数据存储和计算情况
    [finance@master2-dev hadoop]$ hadoop fs -du -h  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201903
    75.9 M  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201903/000000_0.deflate
    75.9 M  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201903/000001_0.deflate
    1.3 M   /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201903/000002_0.deflate
    
    3.程序耗时时间:
    Time taken: 54.659 seconds
    
    

    总结:上面数据看,使用默认的的deflate压缩算法,数据存储文件后缀名为.deflate.文件存储的大小是:75.9+75.9+1.3=153.1。程序耗时是54.659s.可以看出deflate压缩的压缩率很高,但是程序耗时相比不压缩有所上升。

    3.使用gzip进行压缩,hive中文件后缀是.gz

    1.使用Gzip进行压缩存储
    set hive.exec.compress.output=true;
    set  mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.GzipCodec;
    insert overwrite  table t_fin_demo partition(staits_date ='201904') 
    select 
    name,
    id_type,
    idcard,
    org,
    loan_no,
    busi_type,
    busi_category,
    open_date,
    dure_date,
    loan_amount,
    happen_time,
    amout,
    due_amt,
    stat
    from t_fin_demo where staits_date ='201901';
    
    2.使用du -h命令查看hdfs上文件存储情况
    [finance@master2-dev hadoop]$ hadoop fs -du -h  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201904
    75.9 M  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201904/000000_0.gz
    75.9 M  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201904/000001_0.gz
    1.3 M   /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201904/000002_0.gz
    
    3.程序运行时间
    Total MapReduce CPU Time Spent: 1 minutes 33 seconds 430 msec
    OK
    Time taken: 62.436 seconds

    总结:上面数据看,使用默认的的gzip压缩算法,数据存储文件后缀名为.gz文件存储的大小是:75.9+75.9+1.3=153.1。程序耗时是62.436.如果下载到windows本地解压后可读

    4.使用lzo压缩算法进行压缩,文件后缀是.lzo_deflate

    1.使用lzo进行压缩存储
    set hive.exec.compress.output=true;
    set  mapreduce.output.fileoutputformat.compress.codec=com.hadoop.compression.lzo.LzoCodec;
    insert overwrite  table t_fin_demo partition(staits_date ='201905') 
    select 
    name,
    id_type,
    idcard,
    org,
    loan_no,
    busi_type,
    busi_category,
    open_date,
    dure_date,
    loan_amount,
    happen_time,
    amout,
    due_amt,
    stat
    from t_fin_demo where staits_date ='201901';
    
    2.使用du -h命令查看hdfs上文件存储情况
    [finance@master2-dev hadoop]$ hadoop fs -du -h  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201905
    121.9 M  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201905/000000_0.lzo_deflate
    121.9 M  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201905/000001_0.lzo_deflate
    2.1 M    /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201905/000002_0.lzo_deflate
    
    3.程序运行时间
    Total MapReduce CPU Time Spent: 58 seconds 700 msec
    OK
    Time taken: 42.45 seconds
    

    总结:上面数据看,使用默认的的lzo压缩算法,数据存储文件后缀名为.lzo_deflate.文件存储的大小是:121.9+121.9+2.1=245.9。程序耗时是42.45s。

    5.使用Lzop压缩方式,hive存储的文件后缀是.lzo

    1.使用lzop进行压缩存储
    set hive.exec.compress.output=true;
    set  mapreduce.output.fileoutputformat.compress.codec=com.hadoop.compression.lzo.LzopCodec;
    insert overwrite  table t_fin_demo partition(staits_date ='201906') 
    select 
    name,
    id_type,
    idcard,
    org,
    loan_no,
    busi_type,
    busi_category,
    open_date,
    dure_date,
    loan_amount,
    happen_time,
    amout,
    due_amt,
    stat
    from t_fin_demo where staits_date ='201901';
    
    2.使用du -h命令查看hdfs上文件存储情况
    [finance@master2-dev hadoop]$ hadoop fs -du -h  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201906
    121.9 M  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201906/000000_0.lzo
    121.9 M  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201906/000001_0.lzo
    2.1 M    /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201906/000002_0.lzo
    
    3.程序运行时间
    Total MapReduce CPU Time Spent: 47 seconds 280 msec
    OK
    Time taken: 34.439 seconds
    

    总结:上面数据看,使用默认的的Lzop压缩算法,数据存储文件后缀名为.lzo。文件存储的大小是:121.9+121.9+2.1=245.9。程序耗时是34.439s。

    6.使用BZip2压缩方式,hive存储的文件后缀是.bz2

    1.使用Bzip2进行压缩存储
    set hive.exec.compress.output=true;
    set  mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.BZip2Codec;
    insert overwrite  table t_fin_demo partition(staits_date ='201907') 
    select 
    name,
    id_type,
    idcard,
    org,
    loan_no,
    busi_type,
    busi_category,
    open_date,
    dure_date,
    loan_amount,
    happen_time,
    amout,
    due_amt,
    stat
    from t_fin_demo where staits_date ='201901';
    
    2.使用du -h命令查看hdfs上文件存储情况
    [finance@master2-dev hadoop]$ hadoop fs -du -h  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201907
    52.5 M   /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201907/000000_0.bz2
    52.5 M   /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201907/000001_0.bz2
    935.2 K  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201907/000002_0.bz2
    
    3.程序运行时间
    Total MapReduce CPU Time Spent: 2 minutes 47 seconds 530 msec
    OK
    Time taken: 96.42 seconds
    

    总结:上面数据看,使用默认的的Bzip2压缩算法,数据存储文件后缀名为.bz2。文件存储的大小是:52.5+52.5+0.934=106Mb。程序耗时是96.42s

    各种压缩算法综合分析

    压缩方式原文件大小压缩后文件运行时间备注
    不使用压缩516.4Mb546.70Mb36.445s 
    defalte(默认压缩)516.4Mb153.16Mb54.659s压缩率高
    lzo压缩516.4Mb245.90Mb42.45sLZO压缩和解压缩很快,但是压缩的文件较大
    Lzop压缩516.4Mb249.90Mb34.439sLZOP压缩和解压缩很快,但是压缩的文件较大
    gzip压缩516.4Mb153.16Mb62.436sGZip 和 BZip2压缩可以保证最小的压缩文件,但是过于消耗时间,非常不适合CPU型运算。
    Bzip2压缩516.4Mb106.00Mb96.42s GZip 和 BZip2压缩可以保证最小的压缩文件,但是过于消耗时间,不适合CPU型运算。

    综合上表可以看出,每种压缩算法都有自己的优缺点。具体使用哪种压缩取决于具体存储的数据格式与计算模式有关。具体压缩使用与原理参考后续博客。

    1.就压缩比来说:bzip2>gzip>deflate>lzo,故bzip2最节省存储空间,但是耗时高哇。

    2.解压速度和耗时:lzo>deflate>gzip>bzip2   lzo解压速度是最快的

    展开全文
  • total 1 -r–r--r-- 1 root other 1604896973 Feb 22 02:58 p5337014_10203_AIX64-5L.zip -r–r--r-- 1 root other 1424057924 Feb 22 02:37 p5337014_10203_HP64.zip -r–r--r-- 1 root other 1443790237 Mar 15 ...
  • 渗透之——Metasploit命令及模块

    万次阅读 2019-01-26 10:26:29
    show exploits 列出metasploit框架中的所有渗透攻击模块。 show payloads 列出metasploit框架中的所有攻击载荷。 show auxiliary 列出metasploit框架中的所有辅助攻击载荷。 search name 查找metasploit框架中所有的...
  • 1.3-----Simplify 3D切片软件简单设置

    千次阅读 2021-06-03 09:53:56
    现在家用级别的3D打印机的使用主要步骤有三个(针对FDM类型):建模——》切片——》打印。 Simplify 3D切片软件(4.0.1)下载:https://www.cxsw3d.com/qitagongju/64-365.html 1.建模:这个其实机械专业的同学应该...
  • 程序员的Win10必备软件

    千次阅读 2020-08-11 14:38:08
    1. Win10 LTSC Windows 10 2019 LTSC:企业长期服务精简版 系统自带的输入法非常好用,没有应用商店,UWP... 非常好看的界面,支持集群,安装包58M,免费无广告。直接去github搜QuickRedis 官网:https://quick123.net/
  • 龙源期刊网 http://www.doczj.com/doc/7d04774eae45b307e87101f69e3143323968f58a.html基于MATLAB 的信号时域采样及频率混叠现象分析作者:唐敏敏张静来源:《电脑知识与技术》2016年第13期摘要:频率混叠是数字信号...
  • 【解决】Invalid hash given

    千次阅读 2020-05-12 19:08:05
    前言开始1. 查询IP2. 将IP加入/etc/hosts3. 完成 前言 今天在下载东西的时候出现了Invalid hash given的错误 上网一查,发现这有人也在讨论该话题,并有人指出可能的一个问题所在 ??...即Pi-hole 这个广告拦截软件把...
  • Linux 伪终端

    2021-05-12 17:51:01
    57 } 58 #endif 59 60 #ifndef _HAS_GRANTPT 61 int grantpt(int fdm) 62 { 63 struct group *grptr; 64 int gid; 65 char *pts_name; 66 67 pts_name = ptsname(fdm); 68 if((grptr = getgrnam("tty")) != NULL) ...
  • FDM requires sophisticated analog hardware to shift signal into appropriate frequency bands. 13. a) 2 users can be supported because each user requires half of the link bandwidth. b) Since each ...
  • Understanding LTE with MATLAB

    热门讨论 2014-06-24 19:37:33
    3.11.3 Functions with System Objects 58 3.11.4 Bit Error Rate Simulation 60 3.12 MATLAB Channel Coding Examples 60 3.12.1 Error Correction and Detection 61 3.12.2 Convolutional Coding 62 3.12.3 Hard-...
  • 信用卡评分模型构建 背景描述 目前拥有用户年龄,信用卡和个人信贷额度的总余额,过去2年借款人逾期,预测借款人是否会预期次数,月收入,负债比率,家属等信息,通过这些信息建立风控,信用评分模型,预测预测借款...
  • User-Agent 汇总

    万次阅读 多人点赞 2016-09-09 00:43:54
    前言:近半年没有写博客了,一打开Markdown竟然不知道从何开始。半年时间,要分享的东西比较多,今天第一篇,分享一个我整理后的 User-Agent 集合。 对于爬虫开发者而言,我们经常修改浏览器的 User-Agent 伪装成...
  • 实 验 一 数字信号源实验………………………………………………………...实验二十二 FDM频分复用通信系统实验………………………….…………127 实验二十三 话音信号多编码通信系统实验…………………….………….…130
  • pgsql_sql查询效率优化

    2021-01-28 08:34:10
    trans_action)-> Foreign Scan on hdmp_pri5_fdm_d_trans_action d3 (cost=0.00..194.28 rows=27 width=32) Filter: (eff_flg= 'Y'::text)ForeignNamespace: hdmp_pri5_fdm.d_trans_action-> Hash (cost=208.58..208...
  • 《计算机网络》谢希仁第七版课后答案完整版

    万次阅读 多人点赞 2020-07-07 15:16:35
    FDM,TDM,STDM,WDM,DWDM,CDMA,SONET,SDH,STM-1 ,OC-48. 2-15 码分多址CDMA为什么可以使所有用户在同样的时间使用同样的频带进行通信而不会互相干扰?这种复用方法有何优缺点? 2-16 共有4个站进行码分多址通信。4个站...
  • Module-Apache使用说明

    千次阅读 2020-02-01 21:45:10
    DocumentRoot /home/fdm/web/fdm < Directory /home/fdm/web/fdm > options Indexes MultiViews AllowOverride all Allow from all < /Directory > < /VirtualHost > Forbidden You don’t have ...
  • eDrawings

    2021-04-23 20:01:24
    OzsgSFNGIFYxMi4wMCAKSQAAAABCAGhGzL3wp8a9j8J1vrHduT0WZAM+y6GFPlp42uy9CVwUR9Mw3rs7...FDM0dkjc0iYlDBxl6AwSxr4PiAgZljhmQNtDD9xxSquLjYN4fBEtEgWMIbBEtYtViCNTXHElotltBatCWkWixhoTXHElwtFk1ESFjIv2MRAxZ1aH3Fy6...
  • 介绍几个好用的android自定义控件

    千次阅读 2015-08-22 01:33:26
    58 super .setOnHierarchyChangeListener(mPassThroughListener); 59 radioButtons = new ArrayList (); 60 } 61 62 @Override 63 public void setOnHierarchyChangeListener...
  • 将提供给整个信道传输信息的时间划分成若干时间片(简称时隙),并将这些时隙分配给每一个信号源使用 34.FDM 频分复用:一种将多路基带信号调制到不同频率载波上再进行叠加形成一个复合信号的多路复用技术 35.CDM ...
  • 小表的文件2个,合计58Mb. [finance]$ hadoop fs -count hdfs://suninghadoop2/user/finance/hive/warehouse/fdm_tmp.db/company_liquidation_fgeics_company_ar_d 1 22 25154158871 hdfs://suninghadoop2/user...
  • http://blog.csdn.net/tianshuai1111/article/details/8122043 31 、电信网络分类 电信网络 电路交换网络 ...FDM TDM
  • 47 fdm = ptym_open(slave_name,sizeof(slave_name)); 48 if(fdm) 49 { 50 perror("ptym_open() error"); 51 exit(-1); 52 } 53 printf("open master device successfully.\n"); 54 printf("slave device name is:%s...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 514
精华内容 205
关键字:

fdm58