热门好课推荐
猜你喜欢
相关培训 相关博客
  • 自己总结的这些知识点都是从赵勇编写的架构大数据-大数据技术及算法分析这本书上总结的。在接触这本书之前,自己对于大数据的概念还很模糊,对于大数据和云计算的差别还是很不清楚,看完书之后,总结一下几点:1)大数据主要侧重于数据的处理,流数据、批量数据、图计算等。在数据处理过程中,批量的数据处理的代表工具是Hadoop,流数据的数据处理代表的是Storm技术,而图计算这种密集型的代表是Spark,
    2017-03-09 20:12:15
    阅读量:5124
    评论:0
  • Spark的运行模式local,standalone,yarn,mesos。yarn还分为yarn-client和yarn-master.Spark名词Standalone模式下:Master:集群中含有Master进程的节点。Master是整个集群的控制器,负责整个集群的正常运行。Worker:Worker是工作节点,接收主节点的命令并进行状态汇报。Yarn模式下:Resour...
    2018-11-13 13:58:40
    阅读量:98
    评论:0
  • 笔记汇总1.Zookeeper用于集群主备切换。2.YARN让集群具备更好的扩展性。3.Spark没有存储能力。4.Spark的Master负责集群的资源管理,Slave用于执行计算任务。5.Hadoop从2.x开始,把存储和计算分离开来,形成两个相对独立的子集群:HDFS和YARN,MapReduce依附于YARN来运行。6.YARN可
    2017-10-13 09:53:41
    阅读量:2364
    评论:0
  • 数据质量定义先搜索了一把,发现当前对于数据质量的定义没有一个共识的定义,通过阅读一些资料,做了些总结,可以从以下几个方面来定义数据质量:从用户层级定义数据质量:即满足特定用户预期需要的程度从数据本身定义数据质量:即从数据质量的指示器和参数指标等方面来衡量(真实性、完备性、自治性等)从数据约束关系定义数据质量:即从数据的原子性、数据的关联性及对数据的约束规则来度量数据质量从数据过程定义数据质量:即从...
    2018-03-10 08:45:53
    阅读量:2308
    评论:0
  • Java数据库语法总结:      没错,我在还没有总结IO流的时候就先总结了数据库的语法。昨天花了一个晚上完成了这个学期的第一个程序,学到了apache的HSSF的基本用法,即对.xls文件的基本的读入写出和风格设置,这些东西明天抽时间再进行总结。PS:(最近很忙,所以这些笔记也许会有不完善的地方,未来继续学习的过程中如果有新的领悟,我会及时更新这个文档)。数据库的概述概念数据库(DataBa
    2017-05-03 22:57:49
    阅读量:18510
    评论:0
  • 小白的数据可视化学习笔记数据可视化·统计图可视化思维导图一、数据变换目的线性变换对数变换可以自定义变换函数二、统计图表三、统计图表工具四、总结数据可视化·统计图可视化在下本次对于数据可视化的学习主要依据浙江大学的数据可视化13年发表的相关ppt作为主要学习资料,并做此博客和相关思维导图。思维导图链接:数据可视化·统计图可视化.(ProcessOn)一、数据变换目的更好地解决特定问题...
    2019-02-19 21:52:32
    阅读量:135
    评论:0
  • 在平常的编程开发中,数据库是我们经常要打交道的内容。本文主要是自己在数据库方面的学习笔记,先对数据库的一些基本理论作介绍,之后详细介绍Java中与数据库相关的JDBC编程的方法、最后简单介绍下Hibernate和MyBatis框架。一、数据库相关理论二、MySQL基本使用三、JDBC编程四、Hibernate框架五、MyBatis框架六、总结20世纪60年代后期以来,计算...
    2018-03-09 09:10:02
    阅读量:483
    评论:0
  • IO流:输入流:输出流:字节流:字符流:为了处理文字数据方便而出现的对象。其实这些对象的内部使用的还是字节流(因为文字最终也是字节数据)只不过,通过字节流读取了相对应的字节数,没有对这些字节直接操作。而是去查了指定的(本机默认的)编码表,获取到了对应的文字。简单说:字符流就是:字节流+编码表。-----...
    2018-04-21 16:13:14
    阅读量:74
    评论:0
  • 1项目开始,外包公司作为乙方,甲方给乙方项目需求,商务阶段(公司有没有实力,)乙方派去甲方项目经理(公司的组织架构,公司的人员分配,举例:两个技术副总,一个产品总结),项目需求了解,整体架构.手机甲方公司做项目的基本信息,–>生成一个项目可行性的分析报告---->前期的需求说明书----->得到甲方的确认以后,需求才是确认的-----&a
    2018-12-04 10:31:21
    阅读量:569
    评论:0