精华内容
下载资源
问答
  • Mongodb理论点

    2020-09-14 11:37:25
    通过理论会去发现它有哪些功能,并且去搜索对应的问题,可以事半功倍.在分析问题的时候也能很好的帮助你. 参考地址: https://blog.csdn.net/justlpf/article/details/80338904 ...

    序言

          有些鸟,觉得理论没用.我觉得有用.通过理论会去发现它有哪些功能点,并且去搜索对应的问题点,可以事半功倍.在分析问题的时候也能很好的帮助你.

    参考地址:

     

    MongoDB的概念

    MongoDB与传统数据库的概念对比

    SQL术语/概念 MongoDB术语/概念 解释/说明
    database database 数据库
    table collection 数据库表/集合
    row document 数据记录行/文档
    column field 数据字段/域
    index index 索引
    table joins  

    表连接,MongoDB不支持

    (使用文档的字段内嵌一个文档的形式,

    但是复杂查询不好使)

    primary key primary key 主键,MongoDB自动将_id字段设置为主键
    RDBMS MongoDB
    数据库 数据库
    表格 集合
    文档
    字段
    表联合 嵌入文档
    主键 主键 (MongoDB 提供了 key 为 _id )
    数据库服务和客户端
    Mysqld/Oracle mongod
    mysql/sqlplus mongo

     

    文档(Document)

    文档是一组键值(key-value)对(即 BSON)。MongoDB 的文档不需要设置相同的字段(每个文档的字段数量可以不一样),并且相同的字段不需要相同的数据类型,这与关系型数据库有很大的区别,也是 MongoDB 非常突出的特点。

    需要注意的是:

    1. 文档中的键/值对是有序的。
    2. 文档中的值不仅可以是在双引号里面的字符串,还可以是其他几种数据类型(甚至可以是整个嵌入的文档)。
    3. MongoDB区分类型和大小写。
    4. MongoDB的文档不能有重复的键。
    5. 文档的键是字符串。除了少数例外情况,键可以使用任意UTF-8字符。

    文档键命名规范:

    • 键不能含有\0 (空字符)。这个字符用来表示键的结尾。
    • .和$有特别的意义,只有在特定环境下才能使用。
    • 以下划线"_"开头的键是保留的(不是严格要求的)
    • MongoDB 中存储的文档必须有一个 _id 键。这个键的值可以是任何类型的,默认是个 ObjectId 对象由于 ObjectId 中保存了创建的时间戳,所以你不需要为你的文档保存时间戳字段,你可以通过 getTimestamp 函数来获取文档的创建时间

    MongoDB的数据类型

    数据类型 描述
    String 字符串。存储数据常用的数据类型。在 MongoDB 中,UTF-8 编码的字符串才是合法的。
    Integer 整型数值。用于存储数值。根据你所采用的服务器,可分为 32 位或 64 位。
    Boolean 布尔值。用于存储布尔值(真/假)。
    Double 双精度浮点值。用于存储浮点值。
    Min/Max keys 将一个值与 BSON(二进制的 JSON)元素的最低值和最高值相对比。
    Array 用于将数组或列表或多个值存储为一个键。
    Timestamp 时间戳。记录文档修改或添加的具体时间。
    Object 用于内嵌文档。
    Null 用于创建空值。
    Symbol 符号。该数据类型基本上等同于字符串类型,但不同的是,它一般用于采用特殊符号类型的语言。
    Date 日期时间。用 UNIX 时间格式来存储当前日期或时间。你可以指定自己的日期时间:创建 Date 对象,传入年月日信息。
    Object ID 对象 ID。用于创建文档的 ID。
    Binary Data 二进制数据。用于存储二进制数据。
    Code 代码类型。用于在文档中存储 JavaScript 代码。
    Regular expression 正则表达式类型。用于存储正则表达式。

    ObjectId

    ObjectId 类似唯一主键,可以很快的去生成和排序,包含 12 bytes,含义是:

    • 前 4 个字节表示创建 unix 时间戳,格林尼治时间 UTC 时间,比北京时间晚了 8 个小时
    • 接下来的 3 个字节是机器标识码
    • 紧接的两个字节由进程 id 组成 PID
    • 最后三个字节是随机数

     

    mongodb的事务与隔离级别

    下面说一说MongoDB的事务支持,这里可能会有疑惑,前面我们在介绍MongoDB时,说MongoDB是一个NoSQL数据库,不支持事务。这里又介绍MongoDB的事务。这里要说明一下MongoDB的事务支持跟关系型数据库的事务支持是两码事,如果你已经非常了解关系型数据库的事务,通过下面一副图对比MongoDB事务跟MySQL事务的不同之处。

    MongoDB是如何实现事务的ACID?

    MongoDB对原子性(Atomicity)的支持

    Mongodb的原子性是单行/文档级原子性,即仅仅支持一个文档的所有字段的全部更新,如果其中一个字段更新失败了,就会回滚.

    如果是一次批量更新10条数据,如果第5条失败了,则前4个文档都不会回滚,仅仅第五个文档会回滚.

     

    MongoDB对一致性(consistency)的支持

    最终一致性,如果传统数据库也是集群的也是最终一致性.这个参考CAP理论没什么好说的.

    MongoDB对隔离性(isolation)的支持(这个很重要)

    在关系型数据库中,SQL2定义了四种隔离级别,分别是READ UNCOMMITTED、READ COMMITTED、REPEATABLE READ和SERIALIZABLE。

    但是很少有数据库厂商遵循这些标准,比如Oracle数据库就不支持READ UNCOMMITTED和REPEATABLE READ隔离级别。而MySQL支持这全部4种隔离级别。每一种级别都规定了一个事务中所做的修改,哪些在事务内核事务外是可见的,哪些是不可见的

    为了尽可能减少事务间的影响,事务隔离级别越高安全性越好但是并发就越差;事务隔离级别越低,事务请求的锁越少,或者保持锁的时间就越短,这也就是为什么绝大多数数据库系统默认的事务隔离级别是RC。

    下图展示了几家不同的数据库厂商的不同事物隔离级别

    MongoDB在3.2之前使用的是“读未提交”,这种情况下会出现“脏读”。但在MongoDB 3.2开始已经调整为“读已提交”。

    • READ-UNCOMMITTED(读尚未提交的数据):在这个级别,一个事务的修改,即使没有提交,对其他事务也都是可见的。事务可以读取未提交的数据,这也被称为“脏读(dirty read)”。这个级别会导致很多问题,从性能上来说,READ UNCOMMITTED不会比其他的级别好太多,但却缺乏其他级别的很多好处,除非真的有非常必要的理由,在实际应用中一般很少使用。
    • READ-COMMITTED(读已提交的数据):在这个级别,能满足前面提到的隔离性的简单定义:一个事务开始时,只能“看见”已经提交的事务所做的修改。换句话说,一个事务从开始直到提交之前,所做的任何修改对其他事务都是不可见的。这个级别有时候也叫“不可重复读(non-repeatable read)”,因为两次执行同样的查询,可能会得到不一样的结果。
    • REPEATABLE-READ(可重复读):在这个级别,保证了在同一个事务中多次读取统一记录的结果是一致的。MySQL默认使用这个级别。InnoDB和XtraDB存储引擎通过多版本并发控制MVCC(multiversion concurrency control)解决了“幻读”和“不可重复读”的问题。通过前面的学习我们知道RR级别总是读取事务开始那一刻的快照信息,也就是说这些数据数据库当前状态,这在一些对于数据的时效特别敏感的业务中,就很可能会出问题。
    • SERIALIZABLE(串行化):在这个级别,它通过强制事务串行执行,避免了前面说的一系列问题。简单来说,SERIALIZABLE会在读取的每一行数据上都加锁,所以可能导致大量的超时和锁争用的问题。实际应用中也很少在本地事务中使用SERIALIABLE隔离级别,主要应用在InnoDB存储引擎的分布式事务中。

    MongoDB对持久性(durability)的支持

    MongoDB同样是使用数据进来先写日志(日志刷盘的速度是非常快)然后在写入到数据库中的这种方式来保证数据的持久性,(说明关系型数据库和MongoDb都是先写入日志,然后在同步到数据库文件中的.)

    如果出现服务器宕机,当启动服务器时会从日志中读取数据。不同的是传统数据库这种方式叫做“WAL” Write-Ahead Logging(预写日志系统),而MongoDB叫做“journal”。此外MongoDB在数据持久性上这点可能做的更好,MongoDB的复制默认节点就是三节点以上的复制集群,当数据到达主节点之后会马上同步到从节点上去。

     

    MongoDB的索引(Hbase只有有主键索引,Mongodb则可以有多个,还挺丰富)

     

    网络上的一些描述

    实用性

    MongoDB是一个面向文档的数据库,它并不是关系型数据库,直接存取BSON,这意味着MongoDB更加灵活,因为可以在文档中直接插入数组之类的复杂数据类型,并且文档的key和value不是固定的数据类型和大小,所以开发者在使用MongoDB时无须预定义关系型数据库中的”表”等数据库对象,设计数据库将变得非常方便,可以大大地提升开发进度(不是说不用设计表,而变的方便.而是其灵活的结构)。

    可用性和负载均衡(副本集的部署方式实现)

    MongoDB在高可用和读负载均衡上的实现非常简洁和友好,MongoDB自带了副本集的概念,通过设计适合自己业务的副本集和驱动程序,可以非常有效和方便地实现高可用,读负载均衡。而在其他数据库产品中想实现以上功能,往往需要额外安装复杂的中间件,大大提升了系统复杂度,故障排查难度和运维成本。(高可用性使用它的副本集的部署方式,具体参考:https://blog.csdn.net/cuiyaonan2000/article/details/108246447)

    扩展性(分片部署的方式实现)

    在扩展性方面,假设应用数据增长非常迅猛的话,通过不断地添加磁盘容量和内存容量往往是不现实的,而手工的分库分表又会带来非常繁重的工作量和技术复杂度。在扩展性上,MongoDB有非常有效的,现成的解决方案。通过自带的Mongos集群,只需要在适当的时候继续添加Mongo分片,就可以实现程序段自动水平扩展和路由,一方面缓解单个节点的读写压力,另外一方面可有效地均衡磁盘容量的使用情况。整个mongos集群对应用层完全透明,并可完美地做到各个Mongos集群组件的高可用性。

    数据压缩(压缩后造成的问题显而易见,查询速度慢)

    自从MongoDB 3.0推出以后,MongoDB引入了一个高性能的存储引擎WiredTiger,并且它在数据压缩性能上得到了极大的提升,跟之前的MMAP引擎相比,压缩比至少可增加5倍以上,可以极大地改善磁盘空间使用率。

    其他特性(适合做日志数据库,可以重点关注下)

    相比其他关系型数据库,MongoDB引入了”固定集合”的概念。所谓固定集合,就是指整个集合的大小是预先定义并固定的,内部就是一个循环队列,假如集合满了,MongoDB后台会自动去清理旧数据,并且由于每次都是写入固定空间,可大大地提升写入速度。这个特性就非常适用于日志型应用,不用再去纠结日志疯狂增长的清理措施和写入效率问题。另外需要更加精细的淘汰策略设置,还可以使用TTL索引(time-to-liveindex),即具有生命周期的索引,它允许为每条记录设置一个过期时间,当某条记录达到它的设置条件时可被自动删除。

    MongoDB不适用的应用场景

    • MongoDB不支持事务操作,所以需要用到事务的应用建议不用MongoDB,另外
    • MongoDB目前不支持join操作,需要复杂查询的应用也不建议使用MongoDB。

     

     

     

     

     

     

    展开全文
  • 1.先作好数摸对齐实际工件 2.切换到测点图标,将CAD标签名拖放到"找到理论"窗口. 3.手动去实际工件上测点 这时,软件会自动找到所测实际在数摸上对应理论值.

    1.先作好数摸对齐实际工件

    2.切换到测点图标,将CAD标签名拖放到"找到理论"窗口.

    3.手动去实际工件上测点

    这时,软件会自动找到所测实际点在数摸上对应的理论值.

    在这里插入图片描述

    展开全文
  • 西北工业大学,纳米结构理论讲稿,对纳米电子学和光电子学有系统...以PbS量子为分析对象,目的是解释高量子效率问题,但同时提供了量子器件共性的数据,如PL光谱与带隙图的对应,带隙展宽与量子尺寸,量子效率随

    1.西北工业大学,纳米结构理论讲稿,对纳米电子学和光电子学有系统阐释,是优秀的综述ppt。
    2.Highly Efficient Multiple Exciton Generation in Colloidal PbSe and PbS Quantum Dots,以PbS量子点为分析对象,目的是解释高量子效率问题,但同时提供了量子点器件共性的数据,如PL光谱与带隙图的对应,带隙展宽与量子点尺寸,量子效率随入射光子能量增长的变大,值得参考。
      对于量子效率问题,文中给出解释,当大于带隙两倍的能量的光子入射到原子上,除了会撞出一个电子,剩下的能量通过俄歇效应或者是电子声子散射耗散掉。这两种机制恰恰是竞争的,比速度。在体材料中,电子声子能量交换很快,所以只有当入射的光子能量足够高(紫外),俄歇电子足够快,才能在竞争中取得优势。而量子点中,电子声子散射受限,这个阈值能量也就不需要那么高了。
    3.Band Gap Variation of Size- and Shape- Controlled Colloidal CdSe Quantum Rods,一篇实验文章,CdSe量子点尺寸会影响到PL光谱数据,也就是带隙。
    4.Theory of the quantum confinement effect on excitons in quantum dots of indirect-gap materials,写出了用于计算量子点激子和激子束缚能级的哈密顿量,并且给出了计算结果。从公式和计算数据中能够清楚地看到,量子点尺寸减小,能带间隙增大的规律。但是文章中推导过程简略,还有不明之处。
    5.Quantum size eSects on the exciton energy of CdS clusters,1990,文中对比了两种方法计算激子能级的优劣,一种是基于有效质量近似,另一种是更为准确的从紧束缚近似出发的。
    6.PbS in polymers. From molecules to bulk solids,紧束缚近似的全过程,从公式到结果。分子轨道线性耦合,或者说是紧束缚近似本质上还是微扰法。已知的原子波函数作为零级,相应的能量作为零级本征值。分子轨道直接取两个原子轨道的线性组合
    7.硒化铅胶质量子点表面电学性质改性及霍尔仿真研究,介绍了量子点的电学模型,量子点被处理为一个小球,它与周围的介质分别具有不同的介电常数。载流子在量子点内外的势场都可以用材料(量子点和周围介质)和几何结构参数来表示。电子和空穴势场的差异造成极化,极化势场对波函数的积分能够得到极化能。激子在介电受限的情况下,产生的极化能是会受到QDs材料和周围溶剂材料的介电常数的影响。
    8.激子效应及其在光电子器件中的应用
    体材料中激子的能量,激子类氢原子谱线,激子约化质量μ是电子空穴有效质量的并联。E=(μ/ϵ2)×13.6eV,考虑到半导体中电子空穴有效质量,一般比真空质量小,又存在较大的介电常数,所以半导体总激子的电离能一般远小于氢原子的电离能。激子的空间扩展范围可以用激子的等效波尔半径描述:α=(m0/μ)ϵαH,其中αH为氢原子的波尔半径。总的来说,宽禁带半导体材料,激子束缚能较大,而激子波尔半径则比较小。以GaAs为例,激子电离能不大(4meV),而激子波尔半径与晶格常数a相比则大得多,约为13nm。
    激子电离能也就是激子束缚能,激子的稳定性取决于温度、电场、载流子浓度等因素。温度高了,声子散射强,激子分解;电场强了,电子空穴被拉开,激子分解;载流子浓度打了,由于自由电荷对库伦场有屏蔽作用,激子由于电场离化失效。
    9.Building devices from colloidal quantum dots量子点胶体综述。

    展开全文
  • 我们研究了D3 / D5相交对偶的全息量规理论... 在零温度下,该理论是超对称的,而在有限温度下,则存在二阶相变的临界。 我们研究了相应的临界指数,发现相对于裸质量和磁场,自由能的二阶导数以-2/3的临界指数发散。
  • 可利用峰值点对应的特征量——弛豫频率和弛豫吸收最大值与气体成分的关系, 从两个维度同时定量检测天然气成分.该理论避免了传统上测量声吸收谱峰值方法需要不断改变气体腔体压强的问题, 还具有无需测量气体密度的...
  • 总结来说:分布式就是计算机之间的分工与合作,例如:对应现实世界中,针对某项任务,我分给一个人干还是一群人干产生的效果也是不同的,一群人干肯定要比一个人干要快的;分布式系统就是一群人一起干活,人多力量大...

    目录

     

    一、什么是分布式

    1.分布式系统定义:

    2.分布式系统的演变

    3.分布式环境面临的问题

    4.分布式系统设计理念

    二、分布式理论:一致性

    1.什么是分布式一致性

    2.分布式一致性的提出

    3.一致性分类

    4.分布式事务

    三、分布式理论:CAP定理

    1.什么是CAP定理

    四、分布式理论:BASE理论

    1.BASE理论的核心思想

    2.BASE理论三要素

    五、分布式理论协议:一致性协议2PC

    1.什么是2PC

    2.2PC执行流程

    (1)请求阶段

    (2)执行事务

    3、2PC优缺点

    六、分布式理论协议:一致性协议3PC

    1.什么是3PC

    2.3PC执行流程

    (1)阶段一CanCommit

    (2)阶段二PreCommit

    (3)阶段二Do Commit

    3.3PC优缺点

    七、分布式理论算法:一致性算法Paxos

    八、分布式理论算法:一致性算法Raft

    精选面试题

    1.分布式与集群的区别是什么?


    一、什么是分布式

    1.分布式系统定义:

    分布式系统是一个硬件或者软件组件分布在不同的计算机上,彼此之间仅仅通过消息传递进行通信和协调的系统

    总结来说:分布式就是计算机之间的分工与合作,例如:对应现实世界中,针对某项任务,我分给一个人干还是一群人干产生的效果也是不同的,一群人干肯定要比一个人干要快的;分布式系统就是一群人一起干活,人多力量大,每个服务器的算力是有限的,但是通过分布式系统,有n个服务器组成起来的集群,算力是无限扩张的

    2.分布式系统的演变

    3.分布式环境面临的问题

    (1)通信异常

    (2)网络分区

    由于网络发生异常情况,导致分布式系统中部分节点之间的网络延迟不断增大,最终导致组成分布式系统中只有部分节点之间能够正常通信,而另外一些节点则不能,这种情况称为网络分区。俗称“脑裂”。当出现网络分区时,网络之间出现了网络不通,但是各个子网的内部网络时正常的,从而导致整个系统的网络环境被分成了若干个独立的区域,分布式系统就会出现局部小集群,在极端的情况下,这些小集群会独立的完成原本需要整个分布式系统才能完成的功能,包括数据的事务处理,这就对分布式一致性提出非常大的挑战。

    (3)三态

    从上面的介绍,已经了解了在分布式环境下,网络是不可靠的。因此分布式系统每一次请求与响应存在特有的三态的概念:成功、失败和超时。单机系统中,应用程序调用一个函数,能够得到发出明确的响应,成功或失败。在分布式系统中由于网络时不可靠的会出现以下情况

    1.由于网络原因,该请求没有被成功的发送到接收方,而是在发送过程中就发生了丢失现象

    2.该请求成功的被接收方接收后,并进行了处理,但在响应反馈给发送方过程中,发生了消息丢失现象

    (4)节点故障

     节点故障是分布式系统下另一个比较常见的问题,指的是组成分布式系统的服务器节点出现的宕机或“僵死”的现象。

    4.分布式系统设计理念

    分布式系统架构的第一原则是不要分布!这句话看似矛盾实则揭露了分布式系统的很多特征。

    (1)分布式系统的目标与要素

    分布式系统的目标是提升系统的整体性能和吞吐量另外还要尽量保证分布式系统的容错性(假如增加10台服务器才达到单机运行效果2倍左右的性能,那么这个分布式系统就根本没有存在的意义)。

    即使采用了分布式系统,我们也要尽力运用并发编程、高性能网络框架等等手段提升单机上的程序性能。

    (2)分布式系统设计两大思路:中心化和去中心化

    1)中心化设计:

    • 两个角色: 中心化的设计思想很简单,分布式集群中的节点机器按照角色分工,大体上氛围两种角色: “领导” 和 “干活的”
    • 角色职责: “领导”通常负责分发任务并监督“干活的”,发现谁太闲了,就想发设法地给其安排新任务,确保没有一个“干活的”能够偷懒,如果“领导”发现某个“干活的”因为劳累过度而病倒了,则是不会考虑先尝试“医治”他的,而是一脚踢出去,然后把他的任务分给其他人。其中微服务架构 Kubernetes 就恰好采用了这一设计思路。
    • 中心化设计的问题
      1. 中心化的设计存在的最大问题是“领导”的安危问题,如果“领导”出了问题,则群龙无首,整个集群就奔溃了。但我们难以同时安排两个“领导”以避免单点问题。
      2. 中心化设计还存在另外一个潜在的问题,既“领导”的能力问题:可以领导10个人高效工作并不意味着可以领导100个人高效工作,所以如果系统设计和实现得不好,问题就会卡在“领导”身上。
    • 领导安危问题的解决办法: 大多数中心化系统都采用了主备两个“领导”的设计方案,可以是热备或者冷备,也可以是自动切换或者手动切换,而且越来越多的新系统都开始具备自动选举切换“领导”的能力,以提升系统的可用性。

    2)去中心化设计

    • 终生地位平等: 在去中心化的设计里,通常没有“领导”和“干活的”这两种角色的区分,大家的角色都是一样的,地位是平等的,全球互联网就是一个典型的去中心化的分布式系统,联网的任意节点设备宕机,都只会影响很小范围的功能。
    • “去中心化”不是不要中心,而是由节点来自由选择中心。 (集群的成员会自发的举行“会议”选举新的“领导”主持工作。最典型的案例就是ZooKeeper及Go语言实现的Etcd)
    • 去中心化设计的问题: 去中心化设计里最难解决的一个问题是 “脑裂”问题 ,这种情况的发声概率很低,但影响很大。脑裂问题,这种情况的发生概率很低,但影响很大。脑裂指一个集群犹豫网络的故障,被分为至少两个彼此无法通信的单独集群,此时如果两个集群都各自工作,则可能会产生眼中的数据冲突何错误。一般的设计思路是,当集群半段发声了脑裂问题是,规模较小的集群就“自杀”或者拒绝服务。

    二、分布式理论:一致性

    1.什么是分布式一致性

    分布式数据一致性,指的是数据在多份副本中存储时,各副本中的数据是一致的。

    2.分布式一致性的提出

    分布式系统当中,数据往往会有多个副本。如果是一台数据库处理所有的数据请求,那么通过ACID四原则,基本可以保证数据的一致性。而多个副本就需要保证数据会有多份拷贝。这就带来了同步的问题,因为我们几乎没有办法保证可以同时更新所有机器当中的包括备份所有数据。 网络延迟,即使我在同一时间给所有机器发送了更新数据的请求,也不能保证这些请求被响应的时间保持一致存在时间差,就会存在某些机器之间的数据不一致的情况。

    总得来说,我们无法找到一种能够满足分布式系统所有系统属性的分布式一致性解决方案。因此,如何既保证数据的一致性,同时又不影响系统运行的性能,是每一个分布式系统都需要重点考虑和权衡的。于是,一致性级别由此诞生。

    3.一致性分类

    强一致性:

    这种一致性级别是最符合用户直觉的,它要求系统写入什么,读出来的也会是什么,用户体验好,但实现起来往往对系统的性能影响大。但是强一致性很难实现。

    弱一致性

    这种一致性级别约束了系统在写入成功后,不承诺立即可以读到写入的值,也不承诺多久之后数据能够达到一致,但会尽可能地保证到某个时间级别(比如秒级别)后,数据能够达到一致状态。

    最终一致性

    最终一致性是所有分布式一致性模型当中最弱的。可以认为是没有任何优化的“最”弱一致性,弱一致性中的一个特例。它的意思是说,我不考虑所有的中间状态的影响,只保证当没有新的更新之后,经过一段时间之后,最终系统内所有副本的数据是正确的。它最大程度上保证了系统的并发能力,也因此,在高并发的场景下,它也是使用最广的一致性模型。

           读写一致性

    用户读取自己写入结果的一致性,保证用户永远能够第一时间看到自己更新的内容。 比如我们发一条朋友圈,朋友圈的内容是不是第一时间被朋友看见不重要,但是一定要显示在自己的列表上。

    解决方案:
    方案1:一种方案是对于一些特定的内容我们每次都去主库读取。 (问题主库压力大)
    方案2:我们设置一个更新时间窗口,在刚刚更新的一段时间内,我们默认都从主库读取,过了这个窗口之后,我们会挑
    选最近有过更新的从库进行读取
    方案3:我们直接记录用户更新的时间戳,在请求的时候把这个时间戳带上,凡是最后更新时间小于这个时间戳的从库都
    不予以响应。

    单调读一致性

    本次读到的数据不能比上次读到的旧。 由于主从节点更新数据的时间不一致,导致用户在不停地刷新的时候,有时候能刷出来,再次刷新之后会发现数据不见 了,再刷新又可能再刷出来,就好像遇见灵异事件一样 。

    解决方案:
    就是根据用户ID计算一个hash值,再通过hash值映射到机器。同一个用户不管怎么刷新,都只会被映射到同 一台机器上。这样就保证了不会读到其他从库的内容,带来用户体验不好的影响

    因果一致性

    如果节点 A 在更新完某个数据后通知了节点 B,那么节点 B 之后对该数据的访问和修改都是基于 A 更新后 的值。于此同时,和节点 A 无因果关系的节点 C 的数据访问则没有这样的限制。

    4.分布式事务

    在单机数据库中,我们很容易能够实现一套满足 ACID特性的事务处理系统,但在分布式数据库中,数据分散在各台不同的机器上,如何对这些数据进行分布式的事务处理具有非常大的挑战。

    分布式事务是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于分布式系统的不同节点上,通常一个分布式事务中会涉及对多个数据源或业务系统的操作。

    可以设想一个.典型的分布式事务场景:一个跨银行的转账操作涉及调用两个异地的银行服务,其中一个是本地银行提供的取款服务,另一个则是目标银行提供的存款服务,这两个服务本身是无状态并且相互独立的,共同构成了一个完整的分布式事务。如果从本地银行取款成功,但是因为某种原因存款服务失败了,那么就必须回滚到取款之前的状态,否则用户可能会发现自己的钱不冀而飞了。

    从这个例子可以行到,一个分布式事务可以,做是多个分布式的操作序列组成的,例如上面例子的取款服务和存款服务,通常可以把这一系列分布式的操作序列称为子事务。因此,分布式事务也可以被定义为一种嵌套型的事务,同时也就具有了 ACID 事务特性。但由于在分布式事务中,各个子事务的执行是分布式的,因此要实现一种能够保证 ACID特性的分布式事务处理系统就显得格外复杂,尤其是对于一个高访问量,高并发的互联网分布式系统来说,如果我们期望实现一套严格满足 ACID特性的分布式事务,很可能出现的情况就是在系统的可用性和严格一致性之间出现冲突-----因为当我们要求分布式系统具有严格一致性时,很可能就需要牺牲掉系统的可用性。但毋庸置疑的一点是,可用性又是一个消费者不允许我们讨价还价的系统属性,比如像淘宝这样的在线购物网站,就要求 7x24 小时不间断地对外提供服务,而对于一致性,则更加是所有消费者对于一个软件的刚需。因此,在可用性和一致性之间永远无法存在一个两全其美的方案,于是如何构建一个兼顾可用性和一致性的分布式系统成为了无数开发人员探讨的难题,于是就出现了以 CAP 和 BASE这样的分布式系统经典理论。

    三、分布式理论:CAP定理

    1.什么是CAP定理

    在理论计算机科学中,CAP定理(CAP theorem),又被称作布鲁尔定理(Brewer’s theorem),它指出对于一个分布式计算系统来说,不可能同时满足以下三点:
    一致性(Consistence) :所有节点访问同一份最新的数据副本
    可用性(Availability):每次请求都能获取到非错的响应——但是不保证获取的数据为最新数据
    分区容错性(Partition tolerance) : 分布式系统在遇到某节点或网络分区故障的时候,仍然能够对外提供满足一致性和可用性的服务。

    CAP仅适用于原子读写的NOSQL场景中,并不适合数据库系统。

    从CAP定理可以看出,一个分布式系统不可能同时满足一致性,可用性和分区容错性这三个基本需求,最多只能同时满足其中的两个,还需要说明的一点:对于一个分布式系统而言,分区容错性可以说是一个最基本的需求。所以架构师只能在C和A之间寻求平衡

    注意:不是所谓的3选2:

    现实生活中,大部分人解释这一定律时,常常简单的表述为:“一致性、可用性、分区容忍性三者你只能同时达到其中两个,不可能同时达到”。实际上这是一个非常具有误导性质的说法,而且在CAP理论诞生12年之后,CAP之父也在2012年重写了之前的论文。

    当发生网络分区的时候,如果我们要继续服务,那么强一致性和可用性只能2选1。也就是说当网络分区之后P是前提,决定了P之后才有C和A的选择。也就是说分区容错性(Partition tolerance)我们是必须要实现的。

    四、分布式理论:BASE理论

    BASE 是 Basically Available(基本可用) 、Soft-state(软状态) 和 Eventually Consistent(最终一致性)三个短语的缩写,由eBay架构师Dan Pritchett提出。BASE理论是对CAP中一致性和可用性权衡的结果,其来源于对大规模互联网系统分布式实践的总结,是基于CAP定理逐步演化而来的,它大大降低了我们对系统的要求。

    1.BASE理论的核心思想

    即使无法做到强一致性(Strong consistency),但每个应用都可以根据自身业务特点,采用适当的方式来使系统达到最终一致性。也就是牺牲数据的一致性来满足系统的高可用性,系统中一部分数据不可用或者不一致时,仍需要保持系统整体“主要可用”。

    针对数据库领域,BASE思想的主要实现是对业务数据进行拆分,让不同的数据分布在不同的机器上,以提升系统的可用性,当前主要有以下两种做法:

    • 按功能划分数据库

    • 分片(如开源的Mycat、Amoeba等)。

    由于拆分后会涉及分布式事务问题,所以eBay在该BASE论文中提到了如何用最终一致性的思路来实现高性能的分布式事务。

    2.BASE理论三要素

    (1)Basically Available(基本可用)

    基本可用是指分布式系统在出现不可预知故障的时候,允许损失部分可用性。但是,这绝不等价于系统不可用。

    比如:

    • 响应时间上的损失:正常情况下,一个在线搜索引擎需要在0.5秒之内返回给用户相应的查询结果,但由于出现故障,查询结果的响应时间增加了1~2秒
    • 系统功能上的损失:正常情况下,在一个电子商务网站上进行购物的时候,消费者几乎能够顺利完成每一笔订单,但是在一些节日大促购物高峰的时候,由于消费者的购物行为激增,为了保护购物系统的稳定性,部分消费者可能会被引导到一个降级页面

    (2)Soft State(软状态)

    什么是软状态呢?相对于一致性,要求多个节点的数据副本都是一致的,这是一种“硬状态”。

    软状态指允许系统中的数据存在中间状态,并认为该中间状态的存在不会影响系统的整体可用性,即允许系统在不同节点的数据副本之间进行数据同步的过程存在延时

    (3)Eventually consistent(最终一致性)

    最终一致性强调的是系统中所有的数据副本,在经过一段时间的同步后,最终能够达到一个一致的状态。因此,最终一致性的本质是需要系统保证最终数据能够达到一致,而不需要实时保证系统数据的强一致性

    在实际工程中最终一致性存在以下五类变种:

    1.因果一致性(Causal consistency)

    指的是:如果节点A在更新完某个数据后通知了节点B,那么节点B之后对改数据的访问和修改都是基于A更新后的值。与此同时,和节点A无因果关系的节点C的数据访问则没有这样的限制

    2.读己一致性(Read your writes)

    这就简单了,节点A更新一个数据后,它自身总是能访问到自身更新过的值,而不会看到旧值。也就是说,对于单个数据获取者来说,其读取到的数据,一定不会比上次写入的旧,因此,读己之所写也可以看成一种特殊的因果一致性

    3.会话一致性(Session consistency)

    会话一致性将对系统数据的访问过程框定在了一个会话当中:系统能保证同一个有一个有效的会话中实现“读己之所写”的一致性,也就是说,执行完更新操作后,客户端能够在同一个会话中始终读取到该数据项的最新值。

    4.单调读一致性(Monotonic read consistency)

    如果一个节点从系统中读取一个数据项的某个值后,那么系统对于该节点后续的任何数据访问都不应该返回更旧的值

    5.单调写一致性(Monotonic write consistency)

    指一个系统要能够保证来自同一个节点的写操作被顺序执行。

    总结:BASE理论面向的是大型高可用可拓展的分布式系统,和传统的ACID是相反的,它完全不同于ACID的强一致性模型,而是通过牺牲强一致性来获得可用性,并允许数据在一段时间是不一致的,但最终要保证数据一致。

    五、分布式理论协议:一致性协议2PC

    1.什么是2PC

    2PC是Two-Phase Commit缩写,即两阶段提交,顾名思义,二阶段提交就是将事务的提交过程分成两个阶段来处理。是计算机网络,尤其是数据库领域,为了是基于分布式系统架构下的所有节点在进行事务处理过程中能够保持原子性和一致性而设计的一种算法,通常2PC也被认为是一种协议,用来保证分布式系统的数据一致性。目前绝大部分的关系型数据库都是采用二阶段提交协议来完成分布式事务。

    2.2PC执行流程

    (1)请求阶段

    ①.事务询问

    协调者向所有参与者发送事务内容,询问是否可以执行事务提交,并开始等待参与者的响应

    ②.执行事务

    各参与者节点执行事务操作,并将Undo和Redo信息记入事务日志中(Redo用来保证事务的原子性和持久性,Undo能保证事务的一致性,两者也是系统恢复的前提基础)

    ③.各参与者向协调者反馈事务询问的响应

    如果参与者成功的执行了事务操作,那么就反馈给协调者Yes响应,表示事务可以执行;反之返回No,表示事务不可执行

    (2)执行事务

    提交事务步骤

    假如协调者从所有参与者获取的反馈都是yes,那就执行事务提交

    ①发送提交请求

    协调者向所有参与者发出commit请求

    ②事务提交

    参与者收到commit请求后,会正式执行事务提交操作,并在完成提交之后释放整个事务执行期间占用的事务资源

    ③反馈事务提交结果

    参与者在完成事务提交之后,向协调者发ACK信息

    ④完成事务

    协调者收到所有参与者反馈的ACK信息后完成事务

    中断事务步骤

    如果任何一个参与者反馈给协调者反馈No,或者在等待超时之后,协调者尚无法接收到所有参与者的反馈响应,那么就会中断事务

    ①发送回滚请求

    ②事务回滚

    ③反馈事务回滚结果

    ④中断事务

    总结

    从上面逻辑可以看出二阶段就做了两个事情:投票、执行

    1. 协调者通知事务参与者准备提交或者取消事务,然后进入表决阶段
    2. 在表决过程中,参与者将告知协调者自己决策:
      同意(事务参与者本地执行成功)
      取消(事务参与者本地执行失败)

    3、2PC优缺点

    优点:原理简单,实现方便

    缺点:同步阻塞,单点问题,数据不一致,过于保守

     

    ●同步阻塞二阶段提交协议存在最明显也是最大的一个问题就是同步阻塞,在二阶段提交的执行过程中,所有参与该事务操作的逻辑都处于阻塞状态,也就是说,各个参与者在等待其他参与者响应的过程中,无法进行其他操作。这种同步阻塞极大的限制了分布式系统的性能。
    ●单点问题:协调者在整个二阶段提交过程中很重要,如果协调者在提交阶段出现问题,那么整个流程将无法运转,更重要的是:其他参与者将会处于-直锁定事务资源的状态中,而无法继续完成事务操作。
    ●数据不一致:假设当协调者向所有的参与者发送commit请求之后,发生了局部网络异常或者是协调者在尚未发送完所有commit请求之前自身发生了崩溃,导致最终只有部分参与者收到了commit请求。这将导致严重的数据不-致问题。
    ●过于保守:如果在二阶段提交的提交询问阶段中,参与者出现故障而导致协调者始终无法获取到所有参与者的响应信息的话,这时协调者只能依靠其自身的超时机制来判断是否需要中断事务,显然,这种策略过于保守。换句话说,二阶段提交协议没有设计较为完善的容错机制,任意-个节点失败都会导致整个事务的失败。

     

    六、分布式理论协议:一致性协议3PC

    1.什么是3PC

    3PC全称“three phase commit”,是2PC改进版,将2PC的“提交事务请求”过程一分为二。共形成了CanCommit̵、PreCommit和doCommit三个阶段组成的事务处理协议

    2.3PC执行流程

    (1)阶段一CanCommit

    ①事务询问

    ②各参与者向协调者反馈事务询问的响应

    (2)阶段二PreCommit

    假如收到所有参与者反馈yes,执行事务预提交,执行事务预提交3个步骤为

    ①发送预提交请求

    ②事务预提交

    ③各个参与者向协调者反馈事务执行结果

    假如任一参与者反馈no,或者等待超时,则中断事务,中断事务步骤为

    ①发送中断请求

    ②中断事务

    (3)阶段二Do Commit

    执行事务提交

    ①发送提交请求

    ②事务提交

    ③反馈事务提交结果

    ④完成事务

    中断事务

    ①发送中断请求

    ②事务回滚

    ③反馈事务回滚请求

    ④中断事务

     

    注意:一旦进入阶段三,可能会出现2种故障:

    1.协调者出现问题

    2.协调者和参与者之间的网络故障

    如果出现了任一一 种情况,最终都会导致参与者无法收到doCommit请求或者abort请求,针对这种情况,参与者都会在等待超时之后,继续进行事务提交

    3.3PC优缺点

     

    优点:相比较2PC,最大的优点就是降低了参与者的阻塞范围(第一 个阶段是不阻塞的),其次能够在单点故障后继续达成一致(2PC 在提交阶段会出现此问题,而3PC会根据协调者的状态进行回滚或者提交)。
    缺点:如果参与者收到了preCommit消息后,出现了网络分区,此时协调者所在的节点和参与者所在的节点无法进行正常的网络通信,那么参与者等待超时后,会进行事务的提交,这必然会出现分布式数据不一致的问题。
    2PC对比3PC
    首先对于协调者和参与者都设置了超时机制(在2PC中, 只有协调者拥有超时机制,即如果在-定时间内没有收到参与者的消息则默认失败)。其次在2PC的准备阶段和提交阶段之间,插入预提交阶段,使3PC拥有CanCommit、PreCommit、 DoCommit三个阶段。PreCommit是一 个缓冲,保证了在最后提交阶段之前各参与节点的状态是一致的。

    七、分布式理论算法:一致性算法Paxos

    TODO

    八、分布式理论算法:一致性算法Raft

    TODO

    精选面试题

    1.分布式与集群的区别是什么?

    • 分布式: 一个业务分拆多个子业务,部署在不同的服务器上
    • 集群: 同一个业务,部署在多个服务器上。比如之前做电商网站搭的redis集群以及solr集群都是属于将redis服务器提供的缓存服务以及solr服务器提供的搜索服务部署在多个服务器上以提高系统性能、并发量解决海量存储问题。
    展开全文
  • 2种情况对应于已知的应力张量多重峰的四函数,而其他两种情况是新的。 我们还将问题转化为梅林空间,其中超共形病房身份的解决方案采用令人惊讶的简单形式。 我们提出一个代数问题,该问题的(猜想唯一)解对应于...
  • 1.简述cookie和session的原理? Cookie:用户请求浏览器的... Session:用户请求浏览器的时候如果通过用户名密码的验证则将用户信息加密之后保存在服务器,仅返回此用户信息对应的session_id给客户端,客户端会将se...
  • 这里的dot值存储了当前浏览器屏幕中心点对应在场景坐标,参数x,y即为要定位的,也就是屏幕中心会移动到的地方。 等会说下getScreenOriginal()这个函数是怎么实现的。 得到后,把dot.x-x及dot.y-y乘以对应的....
  • 1、概念TCC又称补偿事务。其核心思想是:"针对每个操作都要注册一个与其对应的确认和补偿...TCC对应 Try、Confirm、Cancel 三种操作可以理解成关系型数据库事务的三种操作:DML、Commit、Rollback。在一个跨应用...
  • 经典的VINS-Mono程序,对应系统的4大部分:图像和IMU预处理、初始化、后端滑动窗口优化、闭环检测和优化。 一、 图像和IMU预处理 图像: 提取图像Harris角,金字塔光流跟踪相邻帧,RANSAC去除异常,最后...
  • 七、磁跃迁率,点击磁跃迁率,在弹出的对话框中输入跃迁的初末态量子,确定,在右边的文本框中输出对应的磁偶极跃迁概率。 八、刷新参数,点击刷新参数按钮,可随时查看参数的设置值。 九、保存参数,点击菜单...
  • 我们研究了在超对称规范理论的Ω形变框架中,四维N $$ \... 我们还讨论了N $$ \ mathcal {N} $$ = 2超保形理论的Schur指数的确定以及在其路径积分表示水平上的顶点算子代数的真空特征,使用的Ω变形为 查看对应关系。
  • 是地图最基本的一条,地图的每一个要素展现的都是跟现实实体对应的,尽管有时候为了突出地理要素的特性而在图面上进行适度的夸张,但总体来说,不能偏离现实世界,与现实不符。这就好像东西方绘画风格一样,东方...
  • Tinkertoys的E 6理论

    2020-03-31 03:22:14
    在Riemann曲面C上用Codimension-2缺陷算子在C上的处压缩ADE类型的6维(2,0)超共形场理论,得到4维N = 2 $$ \ mathcal {N } = 2 $$超共形场理论。 一个悬而未决的问题是,以这种方式对自己获得的4D理论进行分类,...
  • 贝叶斯决策理论

    2020-12-09 12:25:33
    我们现在用p1(x,y)表示数据(x,y)属于类别1(即图中用圆点表示的类别)的...也就表示我们会选择高概率对应的类别,这就是贝叶斯决策理论的核心思想,即具有最高概率的决策,所以我们该学习的就是计算p1和p2的方法。 .
  • 我们通过运动空间方法从所有体积的重建中建立了Lorentzian AdS $ _ {2} $ / CFT $ _ {1} $对应关系。 OPE块恰好是一个本地本地操作员。 我们在非相互作用标量场理论中公式化了散装传播子与CFT $ _ {1} $中的保形块...
  • 在图像测量过程以及机器视觉应用中,为确定空间物体表面某点的三维几何位置与其在图像(照片)中对应点之间的相互关系,必须建立相机成像的几何模型,这些几何模型参数就是相机参数。在大多数条件下这些...
  • 线性回归是找到y与x之间的关系,以2个自变量x与y为例,自变量与因变量之间的图形是三维空间中的一个平面,但并不是所有数据都整齐地排列成一条线,都落在这个平面上。如下图所示: 这些x与y的关系,可以用下式来...
  • 基于DFPS(Dijkstra Farthest Point Sampling)算法,得到三维模型簇的初始采样;利用函数映射理论,计算得到两个模型间的映射关系;利用循环一致性约束,将两两模型的映射关系转化为三维模型簇的多路对应关系。...
  • 双目视觉——立体匹配基本理论

    万次阅读 2018-06-19 17:35:22
    转载自:https://blog.csdn.net/tanmengwen/article/details/7423067如果空间景物...求取左右像平面之间对应点的过程就是立体匹配。1.视差理论 在计算三维信息坐标时,视差d 的计算具有重要的意义。视差估计在立体...
  • 论病证结合方证对应是把握辨证论治的基石,彭立,张军平,通过对中医理论的特色之一的辨证论治的评述,指出病证结合、方证对应是辨证论治的最基本要求,也是把握辨证论治精髓的切入,认
  • 简单的二阶理论

    2018-02-27 11:19:47
    记录一下简单的二阶理论:1.标准型:分母是s^2+2ξωs+ω^2。...其中ξ=0对应虚轴上两(正负jωn),ξ=1对应左半轴-ωn。4.对于稳定系统,要求ξ>0,此时根轨迹全部落在左半平面。5.在4的条件...
  • 通过超重力分析表明,规范理论中某些算符的两函数服从幂定律,其幂不同于的自由场值。 在这项工作中,我们首次展示了超场理论可以在强烈弯曲的背景上重现自由场的结果。 我们考虑的运算符的形式为,其中是两个...
  • 修图理论

    2020-02-21 16:06:09
    目录 商业修图的基本理解 商业修图的理念 商业修图可以干什么 ...固定的layout及设计稿,对应的完美执行 一定的创意,发挥创意的去修图 创意 美指 设计 拍摄(素材整合) 修图执行 3.学好修图的条件...
  • IOS 屏幕适配理论

    2020-08-25 11:06:58
    @[TOC](IOS 屏幕适配(一)理论篇) 1. IOS 屏幕适配基本概念 1.1 IOS 设备的尺寸和分辨率 1.1.1 分辨率相关概念 (Points): 是iOS开发中引入的抽象单位,称作。开发过程中所有基于坐标系的绘制都是以 ...
  • 理论上讲,该方法从三行对应关系中丰富了姿态估计方法。 另外,它为实际应用提供了指导。 此外,我们提出了一种解决多解现象的方法和一种新的迭代方法。 仿真结果表明,该算法能够快速,稳定地运行。
  • 发现所产生的理论对应于质量变化的质量引力和准扩散质量的组合描述。 通过分析宇宙学解,我们发现由于引力子质量,有可能获得宇宙的后期膨胀。 通过使用动力学系统方法,我们发现了模型参数的区域,对于这些区域,...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,254
精华内容 501
关键字:

对应点理论