数据仓库 度量的可加性
 

  
 

  
 
 
 
 
     
 
      
可加性是指按照各个纬度都可以相加的度量值。 
 半可加性是指只能按照特定纬度相加才有意义的度量值。 
 不可加性是指无论按照那个纬度都不可以相加，或者相加后没有任意的度量值。 
 
      
舉例: 
 不可加性:温度、利率等 
 半可加性:库存、结余等（按时间加无意义，按地区加有意义） 
 可加性:销售金额、销售量等
 
     
 
 

1.软件的维护与演化
我们一直说软件维护，那么什么是软件维护呢？其实就是修改错误、改善性能的过程。运维是软件开发中最困难的工作之一，他需要处理各种来自用户报告的问题与故障。
软件维护主要针对一下几种（数据来源未知2333）：

纠错性25%
适应性21%
完善性50%
预防性4%
“变化”在软件生命周期中是不可避免的！那么如何在最初的设计中充分考虑到未来的变化，避免因为频繁的变化导致软件复杂度增加和质量的下降呢？这就是我们这章要说的事情——提高软件的适应性，延续软件生命。注意软件维护不仅仅是运维工程师的工作，而是从设计和开发阶段就开始了。所以在设计开发的过程中就要考虑到将来的可维护性，使设计方案容易改变。
这张将会着重讲解几个基于可维护性建设的例子：

模块化
OO设计原则
OO设计模式
基于状态的构造技术
表驱动的构造技术
基于语法的构造技术


2.可维护性的度量
首先来说几个常用的可维护性度量指标：

圈复杂度（Cyclomatic Complexity）：度量代码的结构复杂度。
代码行数：……
可维护性指数（Maintainnbility Index）MI：计算0到100之间的索引值。表示维护代码的相对容易性，高价值意味着更好地可维护性。
继承的层次数（Depth of Inheritance）：就是继承深度，英文更通俗些。
类之间的耦合度（Class Coupling）：通过参数，局部变量，返回类型，方法调用，泛型或模板实例化，基类，接口实现，在外部类型上定义的字段和属性修饰来测量耦合到唯一类。
单元测试覆盖率（Unit test coverage）：只是代码库的那些部分被自动化单元测试覆盖。

3. 模块化设计和模块化原则
其设计目的只有两点：

模块内高内聚
模块间低耦合
至于如何评估模块化也有五个标准：

可分解性（Decomposability）
可组合性（Composability）
可理解性（Understandability）
可持续性（Continulity）
出现异常之后的保护（protection）
模块化设计的五个规则：

直接映射
尽可能少的接口
尽可能小的接口
显示接口
信息隐藏
然后我们来说一下耦合与内聚的概念（Coupling and Cohension）
耦合是模块之间的依赖关系的度量。
对“依赖关系”解释：如果两个模块之间的变化可能需要另一个模块的变更，这两个模块之间存在依赖关系。
模块之间的耦合主要取决于：

模块之间接口的数量（质量）
每个接口的复杂度


而聚合是指衡量一个模块的功能或责任的强烈程度的一个指标。如果一个模块的一切的结构都朝着相同的目标努力，那么他就具有很高的聚合度。


模块化设计所追求的目标就是高内聚低耦合！


4.OO设计原则：SOLID
不不不！这可并不是固态原则……他是五个类设计原则的缩写：

（SRP）单一责任原则The Single Responsibility Principle
（OCP）开放-封闭原则The Open-Closed Principe
（LSP）Liskov替换原则The Liskov Substitution Principe
（ISP）接口聚合原则The Interface Segregation Principe
（DIP）依赖转置原则The Dependency Inversion Principe
SOLID原则！剩下的将主要围绕这五个原则分别说明：


A. 单一责任原则（SRP）：
原则内容很简单，总结就是做好自己的事，不要插手别人的事。
什么意思？假设一个软件有一段代码，如果有维护软件的需求需要改动这段代码，那么也就可以理解为这段代码对这次改动负有责任。形象点说，如果软件如果出现了问题，通过改动这段代码修复了，那么这段代码就是要对这个问题负责。所以代码变化的根本原因是责任，代码负责的功能出现了问题才会变化。
所以为了减少代码变化，最好让一个类有一个责任而不是多个，也就是说做好自己的事。
反过来说如果一个类承担了多个责任，那么会引入额外的包，占据资源。同时会导致频繁的重新配置部署等。




2. 开放-封闭原则（OCP）
开放：指的是对拓展性开放，模块的行为应该是可拓展的，从而该模块可表现出新的行为以满足需求的变化。
封闭：指的是对修改封闭，模块自身的代码是不应被修改的，拓展模块的行为的一般途径是通过修改模块内部实现实现的。如果一个模块不能被修改，那么它通常被认为是具有固定的行为。
其核心思想就是抽象技术。

但运用的时候也会有一些情况，我们来看一下的栗子：


问题：


修改后：




3. Liskov替换原则（LSP）
其原则主要是：子类型必须能够替换其基类型。而且派生类必须能够通过其基类的接口使用，客户端无需了解二者之间的差异。
这个原则已经在第五章中的复用性结构中详细说明了，不了解的可以看这里。


4. 接口聚合原则（ISP）
其原则内容是：客户端不应依赖于他们不需要的方法。也就是说要吝啬你的接口方法，除去无用的。
如果接口过于庞大可以分解为多个小接口，不同的接口向不同的客户端提供服务，客户端只需要访问自己所需要的接口。




5.依赖转置原则（DIP）
其原则内容是：抽象的模块不应依赖于具体的模块，而是具体的模块应该依赖于抽象。
觉得课程中的栗子不是很恰当，所以就不截图了，这篇博客讲解的很详细，感兴趣的大家可以看一下。




5. OO设计原则GRASP
General Responsibility Assignment Software Patterns（Principes）通用责任分配软件模式
其是关于如何为“类”和“对象”指派“职责”的一系列原则。
对象的职责与对象的义务是有关联的。
大栗子：


责任是使用方法来实现的，makepayment代表sale对象有责任创建payment对象。


GRASP通常由以下几部分组成：

控制器（Controller）
信息专家（Information expert）
创建者（Creators）
低耦合（Low coupling）
高内聚（High cohension）
间接（Indirection）
多态（polymorphism）
受保护的变体（Protected variations）
纯制造（Pure fabrication）

可维护性的常见度量指标
 
***圈复杂度：衡量代码的结构复杂性，通过计算程序流程中不同代码路径的数量。具有复杂控制流程的程序将需要更多的测试来实现良好的代码覆盖率，并且将不易维护。
 
***代码行数：指代码中的行数。非常高的数值可能表明某种类型或方法试图做太多工作，应该将其分解为几个部分分别实现。同时，也表明类型或方法可能难以维护。
 
***可维护性指数：通过计算，得到一个0~100的索引值，用以表示维护代码的相对容易性，该索引值越大，表明程序越容易维护。该指数基于以下几点进行计算：Halstead卷（HC） + 环复杂性（CC） + 每个模块的平均代码行数（LOC）+ 每个模块注释行的百分比（COM）
 
计算公式：
 
***继承的层次数：指扩展到类层次结构根目录的类定义的数量。等级越深，就越难理解待定方法和字段在何处被定义或重新定义
 
***类之间的耦合度：通过参数、局部变量、返回类型、方法调用、泛型或模板实例化、基类、接口实现，在外部类型上定义的字段以及属性修饰来测量队唯一类的耦合
 
良好的软件设计应该具有高内聚性和低耦合度
 
高耦合度表明难以重用和维护（表明其与其他类型指尖存在很多相互依赖关系）
 
聚合度与耦合度
 
***耦合度：耦合指对模块之间的依赖关系的度量，如果两个模块之间的变化可能需要另一个模块的变更，则两个模块之间存在依赖关系。其基于以下两个因素：
 
①模块之间的接口数量（数量）②每个接口的复杂性（质量）
 
***聚合度：是衡量一个模块的功能或责任的强烈程度的一个指标。若一个模块内的所有元素都朝着相同的目标努力，那么它就具有很强的内聚力。
 
***最好的软件设计应该是具有高聚合度和低耦合度。
 
SOLID
 
*** (SRP) The Single Responsibility Principle 单一责任原则
 
不应有多于1个的原因使得一个类发生变化；一个类，一个责任
 
最简单的原则，却是最难做好的原则
 
*** (OCP) The Open-Closed Principle 开放-封闭原则
 
对扩展性的开放 + 对修改的封闭
 
模块的行为应是可扩展的，从而该模块可表现出新的行为以满足需求的变化。
 
但模块自身的代码是不应被修改的；扩展模块行为的一般途径是修改模块的
 
内部实现
 
如果一个模块不能被修改，那么它通常被认为是具有固定的行为
 
关键的解决方案：抽象技术（inheritance和composition）
 
*** (LSP) The Liskov Substitution Principle Liskov替换原则
 
子类型必须能够替换其基类型，派生类必须能够通过其基类的接口使用，客户端无需了解二者之间的差异
 
*** (DIP) The Dependency Inversion Principle 依赖转置原则
 
高级模块不应该依赖于低级模块，两者都应该取决于抽象
 
抽象的模块不应依赖于具体的模块；具体应依赖于抽象
 
优点：将类合同正式化；根据前后置条件定义例行服务
 
*** (ISP) The Interface Segregation Principle 接口聚合原则
 
客户端不应依赖于它们不需要的方法，最主要的是解决“胖”接口，这是由于“胖”接口不够聚合。

方法：“胖”接口可分解为多个小的接口；不同的接口向不同的客户端提供服务；客户端只访问自己所需要的端口

转自：http://blog.csdn.net/zxia1/article/details/8624444
 
 
 在模式识别、计算机视觉等多个领域，都会涉及到相似性的度量这一问题，用来衡量不同对象间的差异性（距离）或相似性（相似度）。这里的对象可以是网页，图像，也可以是文本，集合，但最终在数学上都可以表示为向量或者向量的集合。对于不同大小的向量集合的相似性度量问题，这里先不展开讨论。对于相同长度的向量大小的度量，这里假设两个向量为x，y，他们分别为n维的向量X=(x1,...,xn)，Y=(y1,...,yn)。一般而言，对于一个距离函数d(x,y)或相似度函数s(x,y)，需要满足的条件为：
 
 1. d(x,x) = 0 ;//到自己的距离为0 
 2.  d(x,y)>=0 // 距离要非负 
 3.  对称性，d(x,y) =d(y,x) //如果A到B距离是a，那么B到A的距离也应该是a 
 4.  三角形法则(两个之和大于第三边）d(x,k)+d(k,y) >=d(x,y)
 
 
 满足这几个条件的度量函数很多，如欧式距离。但最新提出的一些函数，不满足第四个特性，如Google距离。下面简单介绍下几种常用的度量函数。
 
 
 
 
 (1) 欧几里得距离(Euclidean Distance)
 
 欧氏距离是最常见的距离度量，衡量的是多维空间中各个点之间的绝对距离。公式如下：
 
 
 
 
 因为计算是基于各维度特征的绝对数值，所以欧氏度量需要保证各维度指标在相同的刻度级别，比如对身高（cm）和体重（kg）两个单位不同的指标使用欧式距离可能使结果失效。虽然欧式距离是下面介绍的明式距离的一种特例，但是应用极为广泛，很多度量函数都是由欧式距离演化而来，如马哈拉诺比斯距离(Mahalanobis Distance)。
 
 
 
 
 (2) 明可夫斯基距离(Minkowski Distance)
 
 明氏距离是欧氏距离的推广，是对多个距离度量公式的概括性的表述。公式如下：
 
 
 
 
 这里的p值是一个变量，取值范围为(0,infinite)。明式距离其实是就是数学上的范数。
 
 当p=1时，就是表示的曼哈顿距离（Manhattan Distance），数学上为L1范数。曼哈顿距离来源于城市区块距离，是将多个维度上的距离进行求和后的结果：
 
 
 
 
 当p=2的时候就得到了上面的欧氏距离，也就是L2范数；
 
 当p趋于无穷时，明式距离就变成了切比雪夫距离(Chebyshev Distance)，即数学上的无穷范数。切比雪夫距离起源于国际象棋中国王的走法，我们知道国际象棋国王每次只能往周围的8格中走一步，那么如果要从棋盘中A格(x1, y1)走到B格(x2, y2)最少需要走几步？扩展到多维空间，其实切比雪夫距离就是当p趋向于无穷大时的明氏距离：：
 
 
 
 
 
 因此，曼哈顿距离、欧氏距离和切比雪夫距离都是明可夫斯基距离在特殊条件下的应用。
 
 
 
 
 (3) 编辑距离(Levenshtein distance)
 
 编辑距离，是指两个字串之间，由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。
 例如将kitten一字转成sitting：
 1. sitten （k→s）
 2. sittin （e→i）
 3. sitting （→g）
 俄罗斯科学家Vladimir Levenshtein在1965年提出这个概念，与之相关的字符串相似性方法还有Jaro-Winkler distance。
 
 
 
 
 (4) 向量空间余弦相似度(Cosine Similarity)
 
 余弦相似度用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小。相比距离度量，余弦相似度更加注重两个向量在方向上的差异，而非距离或长度上。因此有学者对余弦相似度进行修正，以衡量不同维度上的差异，如调整余弦相似度(Adjusted Cosine Similarity)。余弦相似度的就算公式如下：
 
 
 
 
 分子是两个向量的点积，||A||是向量的长度，随着角度的变化的，函数是从-1到1变化的。向量夹角的余弦就是两个向量的相似度。根据cosine similarity的定义 ，如果两个向量的夹角定了，那么无论一个向量伸长多少倍，他们的相似性都是不变的。所以，应用cosine 相似性之前，要把对象的每一个维度归一化。在搜索引擎技术中，cosine 相似性在计算查询和文档的相似性的时得到了很好的应用。对查询语句而言（如：“明天天气如何”），它的每一个维度是对应词的tf-idf.
 
 
 Cosine Similarity应用方向相当广泛，尤其是在文本相似度的度量方面。对于余弦相似度与欧式距离之间的差别，这里借助三维坐标系来看下两者的不同：
 
 
 
 
 
 
 
　　从图上可以看出距离度量衡量的是空间各点间的绝对距离，跟各个点所在的位置坐标（即个体特征维度的数值）直接相关；而余弦相似度衡量的是空间向量的夹角，更加的是体现在方向上的差异，而不是位置。如果保持A点的位置不变，B点朝原方向远离坐标轴原点，那么这个时候余弦相似度cosθ是保持不变的，因为夹角不变，而A、B两点的距离显然在发生改变，这就是欧氏距离和余弦相似度的不同之处。
 
 
 　　根据欧氏距离和余弦相似度各自的计算方式和衡量特征，分别适用于不同的数据分析模型：欧氏距离能够体现个体数值特征的绝对差异，所以更多的用于需要从维度的数值大小中体现差异的分析，如使用用户行为指标分析用户价值的相似度或差异；而余弦相似度更多的是从方向上区分差异，而对绝对的数值不敏感，更多的用于使用用户对内容评分来区分用户兴趣的相似度和差异，同时修正了用户间可能存在的度量标准不统一的问题（因为余弦相似度对绝对数值不敏感）。
 
 
 
 
 
 
 (5) Jaccard相似系数(Jaccard Coefficient)
 　　Jaccard系数主要用于计算符号度量或布尔值度量的个体间的相似度，因为个体的特征属性都是由符号度量或者布尔值标识，因此无法衡量差异具体值的大小，只能获得“是否相同”这个结果，所以Jaccard系数只关心个体间共同具有的特征是否一致这个问题。如果比较X与Y的Jaccard相似系数，只比较xn和yn中相同的个数，公式如下：
 
 
 
 
 
 
 
 
 (6) 皮尔森相关系数(Pearson Correlation Coefficient)
 
 即相关分析中的相关系数r，分别对X和Y基于自身总体标准化后计算空间向量的余弦夹角。公式如下：
 
 
 
 
 
 
 
 (7) SimRank 相似度
 SimRank来自图论，说两个变量相似，因为他们链接了同一个或相似的节点。