e-人事管理系统-组织管理-版本管理

 

e-人事管理系统-组织管理-将来组织结构编辑

 

电子政务信息安全的组织管理
电子政务信息系统的安全组织管理必须与现有的组织结构特点和信息系统特点相适应。
以层级和纵向级的组织结构于信息化结合的结构


企业信息化信息安全的组织管理
以层级组织结构与信息化结合的结构


安全管理制度
安全管理制度是信息系统安全的制度化保证，是信息安全管理的重要内容。以下11个方面可以作为制定安全管理制度的参考方向：
1.人员安全管理
2.技术文档管理
3.密钥管理
4.公钥证书管理
5.涉密信息管理
6.软件管理
7.设备管理
8.介质管理
9.系统运行环境安全管理
10.安全审计跟踪
11.应急安全管理


教育和培训
培训分为四个等级：知识级培训、政策级培训、实施级培训、执行级培训
知识级培训：了解信息系统的威胁、脆弱性
政策级培训：了解信息系统安全原则
实施级培训：认识和评估信息系统资源承受的风险和攻击
执行级培训：给信息系统各类人员提供安全规程的方法和技能


信息安全管理标准
标准：包含一致的技术规格或被其他被用作原则和指南的规范，确保产品、过程、服务都能满足规定的目标。
标准为IT提供了互通性、安全性和完整性。
ISO/IEC 17799是由ISO颁布的一套全面和复杂的信息安全管理标准，旨在帮助各种类型和规模的组织实施并运行有效的信息安全管理体系，增强组织识别、防止、减少、控制组织信息安全风险的能力。该体系标准内容涉及10个主要领域：
1.信息安全政策
2.安全组织
3.资产分类与管理
4.个人信息安全守则
5.设备及使用环境的信息安全管理
6.沟通和操作管理
7.系统访问控制
8.系统开发和维护
9.业务持续经营计划
10.合规性
信息安全管理体系实施的时候，需要注意：1.评估信息安全风险；2.设定对信息安全的要求；3.选择管制手段


选择性考察

Hive 中的数据组织管理方式
Database和 Table
这两个概念其实很常见，Database 又叫命名空间，其实主要是为了组织管理和命名冲突，例如表名冲突，视图冲突，组织管理含义就很多了

这里我们有两个Database其实可以看到Database 在hive(HDFS) 上的物理存储就是两个文件夹，只不过这两个文件夹都有了自己的后缀 .db，如果你去命令行里查看的话是没有这个后缀的

我们随便选一个文件夹进行，发现表的物理存储或者是组织管理方式也是文件夹，其实到这里我们就差不多理解了，Database和 Table 都是数据组织的方式，而且都是文件夹，后面当你学习到分区的时候，你还会看到分区也是这样的
注意这里的文件夹名字就是表名字，没有了后缀

分区和分桶
我们知道传统的DBMS系统一般都具有表分区的功能，通过表分区能够在特定的区域检索数据，减少扫描成本，在一定程度上提高查询效率，当然我们还可以通过进一步在分区上建立索引进一步提升查询效率。在此就不赘述了。例如mysql 中也是有分区表的，但是我们用的比较少，所以很多了忽略了这个东西。
在Hive数仓中也有分区分桶的概念，在逻辑上分区表与未分区表没有区别，在物理上分区表会将数据按照分区键的列值存储在表目录的子目录中，目录名=“分区键=键值”。其中需要注意的是分区键的值不一定要基于表的某一列（字段），它可以指定任意值，只要查询的时候指定相应的分区键来查询即可。我们可以对分区进行添加、删除、重命名、清空等操作。因为分区在特定的区域（子目录）下检索数据，它作用同DNMS分区一样，都是为了减少扫描成本。
分桶则是指定分桶表的某一列，让该列数据按照哈希取模的方式随机、均匀地分发到各个桶文件中。因为分桶操作需要根据某一列具体数据来进行哈希取模操作，故指定的分桶列必须基于表中的某一列（字段）。因为分桶改变了数据的存储方式，它会把哈希取模相同或者在某一区间的数据行放在同一个桶文件中。如此一来便可提高查询效率，如：我们要对两张在同一列上进行了分桶操作的表进行JOIN操作的时候，只需要对保存相同列值的桶进行JOIN操作即可。同时分桶也能让取样（Sampling）更高效。
其实一句话，分区分桶就是为了提高查询效率的，而原理就是减少数据的扫描
分区
是指按照数据表的某列或某些列分为多个区，区从形式上可以理解为文件夹，比如我们要收集某个大型网站的日志数据，一个网站每天的日志数据存在同一张表上，由于每天会生成大量的日志，导致数据表的内容巨大，在查询时进行全表扫描耗费的资源非常多。那其实这个情况下，我们可以按照日期对数据表进行分区，不同日期的数据存放在不同的分区，在查询时只要指定分区字段的值就可以直接从该分区查找。
创建分区表的时候，通过关键字 partitioned by (name string)声明该表是分区表，并且是按照字段name进行分区，name值相同的所有记录存放在一个分区中，分区属性name的类型是string类型。当然，可以依据多个列进行分区，即对某个分区的数据按照某些列继续分区。
其次，向分区表导入数据的时候，要通过关键字partition（name=“jack”）显示声明数据要导入到表的哪个分区，这里表示要将数据导入到分区为name=jack的分区。
所谓分区，这是将满足某些条件的记录打包，放在同一个文件夹里，在查询时提高效率，相当于按文件夹对文件进行分类，文件夹名可类比分区字段。
这个分区字段形式上存在于数据表中，在查询时会显示到客户端上，但并不真正在存储在数据表文件中，是所谓伪列。但是这里有另外一个概念有点与之相悖，那就是动态分区，动态分区分分区列往往是表中的一列或者是多列
CREATE TABLE ods.u_data (
  userid INT,
  movieid INT,
  rating INT,
  unixtime STRING)
 partitioned by(year string,month string ,day string) 
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE;

下面我多load 几次看一下效果
LOAD DATA LOCAL INPATH '/Users/liuwenqiang/ml-100k/u.data' OVERWRITE INTO TABLE ods.u_data partition(year='2020',month='2020-12',day='2020-12-21');
LOAD DATA LOCAL INPATH '/Users/liuwenqiang/ml-100k/u.data' OVERWRITE INTO TABLE ods.u_data partition(year='2020',month='2020-12',day='2020-12-22');
LOAD DATA LOCAL INPATH '/Users/liuwenqiang/ml-100k/u.data' OVERWRITE INTO TABLE ods.u_data partition(year='2020',month='2020-12',day='2020-12-23');
LOAD DATA LOCAL INPATH '/Users/liuwenqiang/ml-100k/u.data' OVERWRITE INTO TABLE ods.u_data partition(year='2021',month='2020-01',day='2021-01-01');

首先我们看到分区的物理实现方式就是文件夹，分区的名字分区名称='分区值'

多字段分区的管理方式就是文件嵌套，直到最小分区

其实上面按照时间分区的方式是我们最常见的，大家注意和下面这种方式进行区别一下，可以考虑一下为什么,又不懂的评论区留言

分区的意义
分区的意义是为了更好的组织管理数据，在查询的时候可以通过加上分区条件，减少需要扫描检索的数据量，从而提高查询的效率。
注意事项

不要创建过多的分区，影响了数据加载和数据检索的能力
避免分区小于1GB，分区数量较多时，调整HiveServer2 和 MetaStore 的内存大小
分区不要嵌套太深——分区数目多
如果要将数据插入多个分区，就需要开启动态分区
要求你的分区键不会出现大量小分区，且按键分区最好均匀

分桶
分桶是相对分区进行更细粒度的划分。分桶将整个数据内容按照某列属性值的hash值进行区分，如要安装name属性分为3个桶，就是对name属性值的hash值对3取摸，按照取模结果对数据分桶。如取模结果为0的数据记录存放到一个文件，取模为1的数据存放到一个文件，取模为2的数据存放到一个文件。
其实关于这个粒度更细，说实话我一直不敢苟同，为什么呢？说之前我先说一下，大家为什么说分桶是更细的组织方式啊，因为我们很多时候分桶都是配合分区使用的，也就是说我们一般是分区完了，在某一个分区里面进行分桶的，所以我们说是更细的粒度，但是呢，你从另外一个角度去看问题，如果我按照表的某个字段做动态分区，那进入同一个分区的是不是这个字段值相同的数据呢，那你要是对这个字段做分桶呢，这个时候取决于你的桶多少，如果你的桶比较少，那么同一个桶里的数据分桶字段值不一定相等，只是对桶的个数取余是相等的。
分桶对查询的性能提高体现在join 的时候以及方便我们对数据进行抽样
所以这里引出了一个问题那就是你如果在没有分区的情况下，去使用分桶倒不先考虑使用分桶
CREATE TABLE ods.u_data (
  userid INT,
  movieid INT,
  rating INT,
  unixtime STRING)
 partitioned by(year string,month string ,day string) 
 CLUSTERED BY (`movieid` ) INTO 3 BUCKETS      
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE;
LOAD DATA LOCAL INPATH '/Users/liuwenqiang/ml-100k/u.data' OVERWRITE INTO TABLE ods.u_data partition(year='2020',month='2020-12',day='2020-12-21');

下面是数据的组织管理方式，我们看到数据按照movieid字段分到了三个文件里面

分桶的意义

获得更高的查询处理效率。桶为表加上了额外的结构，Hive在处理有些查询时能利用这个结构。具体而言，连接两个在（包含连接列的）相同列上划分了桶的表，可以使用Map端连接（Map-sidejoin）高效的实现。比如JOIN操作。对于JOIN操作两个表有一个相同的列，如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以，可以大大较少JOIN的数据量。
使取样（sampling）更高效。在处理大规模数据集时，在开发和修改查询的阶段，如果能在数据集的一小部分数据上试运行查询，会带来很多方便
对于map端连接的情况，两个表以相同方式划分桶。处理左边表内某个桶的mapper知道右边表内相匹配的行在对应的桶内。因此，mapper只需要获取那个桶 (这只是右边表内存储数据的一小部分)即可进行连接。这一优化方法并不一定要求两个表必须桶的个数相同，两个表的桶个数是倍数关系也可以。
可以看出如果分桶在抽样、join中使用得好的话，可以大大提高我们的效率

注意事项
注意数据倾斜

选择唯一值个数较多的列作为分桶的键
为倾斜的值，单独创建分桶，可以采用列表分桶

桶的个数

一般情况 1 个 CPU 只会对一个桶的数据进行写入，所以要保证桶的个数比较多
对于 join 而言，要保证分桶键相同

总结

不论是Database和 Table还是分区分桶都是数据组织管理的方式，目的都是为了提高效率
分区不一定基于列，是可以指定的任意值，也可以基于列做动态分区，保存为Hdfs里面就是一个目录
分桶是要基于列的值做hash的，桶的数据就是hdfs文件的数量，两张分桶相同的表，可以直接在map端做join，并且这个笛卡尔积也是大大减小的。如果分桶字段不存在你会得到SemanticException [Error 10002]: Invalid column reference 'XXX' 的异常
分区是以文件夹形式管理的，分桶是以文件形式管理的