热门好课推荐
猜你喜欢
相关培训 相关博客
  • 都说不懂数据库的程序员不是合格的程序员,正在学Python的我怎么能不懂数据库,几经思考,终于选了数据库经典入门课程MySQL开始学习。可是刚一开始学我就遇到了难题~!SQLiteExpert?这是什么?网上查了好久,才明白SQLiteExpert是一种数据库工具。想要学数据库,就得先学会使用SQLiteExpert工具,并且熟悉SQLite语句,“增删改查”这是最基本的。初学...
    2019-08-20 11:30:09
    阅读量:4968
    评论:17
  • 接下来,我们以阿里巴巴大数据架构图来介绍。   大数据系统体系分为数据采集层、数据计算层、数据服务层和数据应用层。简单介绍一下这四层的具体作用和使用到的技术(讲述的内容包含但不限于阿里巴巴的知识):  1数据采集层        数据采集的对象主要是传统数据库数据和日志数据。一般公司采用sqoop开源工具采集传统数据库数据,大公司会开发专门工具。例如,阿里的Dat
    2017-09-23 22:30:35
    阅读量:5902
    评论:2
  • 大数据之数据仓库分层1.什么是数据分层?2.数据分层的好处一种通用的数据分层设计3.举例4.各层会用到的计算引擎和存储系统5.大数据相关基础概念1.什么是数据分层?数据分层是一套行之有效的数据组织和管理方法,使得数据体系更有序。2.数据分层的好处(1)清晰数据结构每一个数据分层都有它的作用域和职责,在使用表的时候能更方便的定位和理解。(2)减少重复开发规范数据分层,开发...
    2019-06-03 10:32:18
    阅读量:491
    评论:0
  • 大数据数据仓库是基于HIVE构建的数据仓库,分布文件系统为HDFS,资源管理为Yarn,计算引擎主要包括MapReduce/Tez/Spark等,分层架构如下:1、数据来源层:日志或者关系型数据库,并通过Flume、Sqoop、Kettle等etl工具导入到HDFS,并映射到HIVE的数据仓库表中。2、事实表是数据仓库结构中的中央表,它包含联系事实与维度表的数字度量值和键。事实数据...
    2018-06-06 20:25:41
    阅读量:9045
    评论:0
  • 摘要 本人最近完成了一个封装数据库访问抽象层的项目。我们开发的数据库访问抽象层作为分布式集群基础平台的一个组件。可以支持不同数据库编程接口(OCI、mysql、ODBC、pgsql)等。本系列博客主要分享一下我在开发数据库访问抽象层组件的遇到的问题和收获。 在本文主要介绍数据库访问抽象层的概念,常见的几种数据库编程接口ODBC、JDBC、OLE-DB、ADO、OCI等。数据库访问抽象层的意
    2015-04-15 10:37:41
    阅读量:4261
    评论:0
  • 数据库抽象层理解:相信有使用过框架的都知道数据库类,其实就是属于抽象层,通常建立在pdo 和 mysqli 之上。通过模拟的方式来使你的数据库拥有一些之前不支持的功能。这种抽象是真正的数据库抽象,而不单单只是 PDO 提供的数据库连接抽象。优点:封装数据库常用的操作,并进行数据预处理方便多个数据库的连接和使用...
    2018-03-01 15:34:40
    阅读量:268
    评论:0
  •      数据仓库:数据仓库全面接收源系统数据,ETL进程对数据进行规范化、验证、清洗,并最终装载进入数据集市,通过数据集市支持系统进行数据查询、分析,整个数据仓库包含四大层次。1.数据仓库的四个操作    ETL(extractiontransformationloading)负责将分散的、异构数据源中的数据抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集...
    2018-02-12 18:11:09
    阅读量:30940
    评论:4
  • 一、数据库管理系统的层次结构之数据存取层数据存取介于语言处理层和数据存储层之间。它向上提供单元组接口,即导航式的一次一个元组的存取操作;向下则以系统缓冲区的存储器接口作为实现基础。接口关系如下:数据存储层所涉及的主要数据结构为逻辑数据记录、逻辑块、逻辑存取路径。存取层的任务主要包括:提供一次一个元组的查找、插入、删除、修改的等基本操作。提供元组查找所循的存取路径以及对存取路径的维护操...
    2018-11-06 23:35:10
    阅读量:1139
    评论:0
  • 昨天老师讲到数据库的三层模型,想把自己的一些想法写下来:      三层模型依次是概念模型、逻辑模型和物理模型。      对于概念模型,最主要的工作就是要了解客户需求做E-R图;      对于逻辑模型,就是选择用什么类型的数据库,是用层次、网状还是关系型数据库,由于现在都是用的关系型数据库,比如说是Oracle、Mysql和sqlserver都是关系型数据库,也就是说我们在为客户设
    2015-04-11 10:06:58
    阅读量:804
    评论:0
  • 最近开始研究数据库方面的东西,感觉能解决大数据的问题,感觉真的很爽,所以,可以学习了一下sql方面的优化,这个将是一系列的课程,学习的过程中,将其记录下来,以后以备备案,同样,技术是一个没有边界的东西,写出来代表我的个人理解,真心希望大神们来此围观一下,提提意见,感激不尽一、数据库优化概览           高性能的数据库依赖与几个因素,如表结构,查询语句,服务器的硬
    2013-12-03 00:24:53
    阅读量:1716
    评论:3