精华内容
下载资源
问答
  • 在OneData体系下,构建统一、规范、可共享的全域数据体系,避免数据的冗余和重复建设,规避数据烟囱和不一致性,充分发挥大数据海量、多样性方面的独特优势。借助这一统一化数据整合及管理的方法体系,构建了数据...

    1.数据采集层


        客户端日志采集方案:Web日志采集技术方案和APP端日志采集技术方案。在采集技术基础之上,不同的业务场景会有与之相适应的埋点规范,来满足通用的浏览、点击、特殊交互、APP事件、H5 APP里的H5 Native日志数据打通等多种业务场景。高性能的数据传输:既包括数据库的增量数据传输,也包括日志数据的传输;既支持实时流式计算,也支持各种时间窗口的批量计算。同步中心:同步工具DataX,直连异构数据库(备库)来抽取各种时间窗口(每天、每小时)的数据。

     

    2.数据计算层


        为了发挥出大数据的价值并最终赋能于商业和创造商业价值,必须对海量数据进行整合和计算,并从中洞察商业规律、挖掘出潜在信息。为此,从采集系统中收集到的大量原始数据,将进入数据计算层中被进一步整合与计算。这就需要一套数据存储及计算平台、数据整合及管理体系。

        数据计算层:数据存储及计算云平台(离线计算平台MaxCompute和实时计算StreamCompute);数据整合及管理体系(被称之为“OneData”)。MaxCompute离线大数据平台提供强大的存储和计算引擎;StreamCompute实时计算平台能够较好地支持流式处理需求。

        在OneData体系下,构建统一、规范、可共享的全域数据体系,避免数据的冗余和重复建设,规避数据烟囱和不一致性,充分发挥大数据海量、多样性方面的独特优势。借助这一统一化数据整合及管理的方法体系,构建了数据公共层,并可以帮助相似的大数据项目快速落地实现。

        从数据计算频率的角度,数据仓库分为离线数据仓库和实时数据仓库。离线数据仓库主要是指传统的数据仓库概念,数据计算频率主要以天(包含小时、周和月)为单位 ;比如通常在任务调度平台,每天凌晨处理上一天的数据。但是随着业务的发展特别是交易过程的缩短,用户对数据产出的实时性要求逐渐提高,逐渐有了实时数据仓库的应用需求和场景(比如双十一大屏)。

        数据仓库的数据加工链路遵循业界分层理念,包括操作数据层(Operational Data Store, ODS、明细数据层(Data Warehouse Detail , DWD)、汇总数据层(Data Warehouse Summary, DWS )和应用数据层(Application Data Store, ADS)。通过数据仓库不同层次之间的加工过程实现从【数据资产】向【信息资产】的转化,并且对整个过程进行【有效的】【元数据管理】及【数据质量处理】。

        

    元数据模型整合及应用:

    数据源元数据、数据仓库元数据、数据链路元数据、工具类元数据、数据质量类元数据等。

    元数据应用主要面向数据发现、数据管理等,如用于存储、计算和成本管理等。

     

    3.数据服务层


        数据服务层,通过接口服务化方式对外提供数据服务,以保证更好的性能和用户体验。针对不同的需求和数据应用场景,数据服务层的数据源架构在多种数据库之上,如MySQL、HBase等【RDS、表格存储( TableStore )】。

        数据服务可以使应用对底层数据存储透明,将海量数据方便高效地开放给集团内部各应用使用。现在,数据服务每天拥有几十亿的数据调用量,如何在性能、稳定性、扩展性等方面更好地服务于用户:如何满足应用各种复杂的数据服务需求:如何保证“双 11 ”媒体大屏数据服务接口的高可用……随着业务的发展,需求越来越复杂,因此数据服务也在不断地进化。

        数据服务层对外提供数据服务主要是通过统一的数据服务平台(方便阅读,简称为“OneService ”)。One Service 以数据仓库整合计算好的数据作为数据源,对外通过接口的方式提供数据服务,主要提供简单数据查询服务、复杂数据查询服务(承接集团用户识别、用户画像等复杂数据查询服务)和实时数据推送服务等特色数据服务。

     

    4. 数据应用层


        数据已经准备好,需要通过合适的应用提供给用户,让数据最大化地发挥价值。数据应用表现在各个方面,如搜索、推荐、广告、金融、信用、保险、文娱、物流等。商家 ,集团内部的搜索、推荐、广告、金融等平台 ,集团内部的运营和管理人员等,都是数据应用方;ISV研究机构和社会组织等也可以利用开放的数据能力和技术。

        两类:对内数据平台和服务于商家的对外数据产品,还有其他数据应用。对内数据平台产品主要有实时数据监控、自助式的数据网站或产品构建的数据小站、宏观决策分析支撑平台、对象分析工具、行业数据分析门户、流量分析平台等。

        我们相信,数据作为新能源,为产业注人的变革是显而易见的。我们对数据新能源的探索也不仅仅停留在狭义的技术、服务和应用上。我们正在挖掘大数据更深层次的价值,为社会经济和民生基础建设等提供创新方法。

     

    Reference:《大数据之路:阿里巴巴大数据实战》

    展开全文
  • 1. 数据库的四个基本概念

    千次阅读 2019-05-29 15:50:34
    数据库的四个基本概念 数据,数据库,数据库管理系统和数据库系统是与数据库技术密切相关的4个基本概念。 1). 数据(data) 描述事物的符号记录,譬如:数字、文字、图形、图像、音频、视频等,多种表现形式,均...

    数据库的四个基本概念

    数据数据库数据库管理系统数据库系统是与数据库技术密切相关的4个基本概念。

    1). 数据(data)

    描述事物的符号记录,譬如:数字、文字、图形、图像、音频、视频等,多种表现形式,均可以经过数字化存入计算机之中。

    数据的表现形式还不能完全表达其内容,需要经过解释,数据的解释是指数据含义的说明,数据含义称为语义,数据与其语义是密不可分的。

    2). 数据库(DataBase,DB)

    长期储存计算机内有组织的可共享的大量数据的集合称为数据库

    数据库中的数据按照一定的数据模型组织描述储存,具有较小的冗余度(redundancy)较高的数据独立性(data independency)易扩展性(Scalaility)并可为各种用户共享

    3). 数据库管理系统(DataBase Management System,DBMS)

    有了数据和数据库,就要解决:1. 如何科学性地组织和存储数据,2. 如何高效地获取和维护数据,于是有了一个系统软件——数据库管理系统

    数据库管理系统主要具备以下功能:

    1. 数据定义功能:DBMS提供数据定义语言(Data Definition Language, DDL),用户可以通过它可以方便地对数据库中的数据对象的组成与结构进行定义
    2. 数据组织、存储和管理功能:DBMS要分类组织、存储和管理各种数据,包括数据字典、用户数据、数据的存取路径等。要确定以何种文件结构和存取方式存储级上组织这些数据,如何实现数据之间的联系。数据组织和存储的基本目标是提高存储空间利用率和方便存取,提供多种存取方法(如索引查找、hash查找、顺序查找)来提高存取效率。
    3. 数据操纵功能:DBMS提供数据操纵语言(Data Manipulation Language,DML),用户可以使用它操纵数据,实现对数据库的基本操纵,如查询
    4. 数据库的事务和运行管理数据库在建立、运用和维护时由DBMS统一管理和控制,以保证事务的正确运行,保证数据的安全性、完整性、多用户对数据的并发使用及发生故障后的系统恢复。
    5. 数据库的建立和维护数据库的建立和维护功能包括数据库初始数据的输入转换功能数据库的转储恢复功能数据库的重组织功能和性能监视分析功能等。这些功能通常是由一些实用程序或管理工具完成的。
    6. 其他功能:其他功能包括数据库管理系统与网络中其他软件的通信功能,不同DBMS或文件系统的数据转换功能,异构数据库之间的互访和互操作功能等。

    4). 数据库系统(Database System , DBS)

    数据库的建立使用维护等工作仅靠一个数据库管理系统远远不够,还要有专门的人员来完成,这些人被称为数据库管理员(DBA).

    DBS由数据库数据库管理系统(及其应用开发工具)应用程序数据库管理员(DataBase Administrator,DBA)组成的存储管理处理维护数据的系统。

    数据库系统可以用下图表示:

    • 数据库提供数据的存储功能
    • 数据库管理系统提供数据的组织、存取、管理和维护等基础功能
    • 数据库应用系统根据应用需求使用数据库
    • 数据库管理员负责全面管理数据库系统

    下图是引入数据库后计算机系统的层次结构:

    引入数据库后计算机系统的层次结构

     

     

     

    展开全文
  • IFC模型体系结构由四个层次构成,从下到上依次是 资源层(Resource Layer)、核心层(Core Layer)、交互层(Interoperability Layer)、领域层(Domain Layer)。每层中都包含一系列的信息描述模块,并且遵守一个规则:每个...

    IFC数据模式架构的四个概念层详解说明

    IFC模型体系结构由四个层次构成,从下到上依次是 资源层(Resource Layer)、核心层(Core Layer)、交互层(Interoperability Layer)、领域层(Domain Layer)。每层中都包含一系列的信息描述模块,并且遵守一个规则:每个层次只能引用同层次和下层的信息资源,而不能引用上层的资源,当上层资源发生变动时,下层是不会受到影响的。

    在这里插入图片描述

    ①资源层
    IFC体系架构中的最低层,能为其他层所引用。主要是描述标准中用到的基本信息,不针对具体的行业本身,是无整体结构的分散信息,作为描述基础应用于整个信息模型。包括材料资源(Material Resource)、几何限制资源(Geometric Constraint Resource)、成本资源(Costs Resource)等。
    ②核心层
    是IFC体系架构中的第二层,能为交互层与领域层所引用。主要是提供基础的IFC对象模型结构,描述建筑工程信息的整体框架,将资源层信息组织起来,成为一个整体,来反映现实世界的结构。包括核心(The Kernel)和核心扩展(Core Extensions)两个层次的泛化。
    ③交互层
    是IFC体系架构中的第三层,主要是为领域层服务。领域层中的模型可以通过该层来达到信息交互的目的。该层主要解决了领域信息交互的问题,并且在这个层次使各个系统的组成元素细化。包括共享空间元素(SharedSpatialElements)、共享建筑元素(SharedBuildingElements)、共享管理元素(SharedManagement Elements)、共享设备元素(SharedFacilities Elements)和共享建筑服务元素(Shared Bldg Services Elements)等五大类。
    ④领域层
    是IFC体系架构中的最高层。每一个使用或是引用定义在核心和独立资源层上的类信息的模型都是独立的。其主要作用时是深入到各个应用领域的内部,形成专题信息,比如暖通领域(HVAC Domain)、T程管理领域(Construction Management Domain)等,而且还可以根据实际需要不断进行扩展。

    补充:

    1. IFC 标准资源层(IFC-Resource Layer):作为整个体系的基本层,IFC 任意层都可引用资源层中的实体。该层主要定义了工程项目的通用信息,这些信息独立于具体建筑,没有整体结构,是分散的基础信息。该层核心内容主要包括属性资源(Property Resource)、表现资源 (Representation Re-source)、结构资源(Structure Resource)。这些实体资源主要用于上层实体资源的定义,以显示上层实体的属性。

    2. IFC 标准核心层(IFC-Core Layer):该层之中主要定义了产品、过程、控制等相关信息,主要作用是将下层分散的基础信息组织起来,形成 IFC 模型的基本结构,然后用以描述现实世界中的实物以及抽象的流程。在整个体系之中起到了承上启下的作用。该层提炼定义了适用于整个建筑行业的抽象概念,比如 IFCProduct 实体可以描述建筑项目的建筑场地、建筑空间、建筑构件等。

    3. IFC 标准共享层(IFC-Interoperability Layer):共享层主要是服务于领域层,使各个领域间的信息能够交互,同时细化系统的组成元素,具体的建筑构件如板(IFCSlab)、柱(IFCColumn)、梁(IFCBeam)均在这一层被定义。

    4. IFC 标准领域层(IFC-Domain Layer):作为 IFC 体系架构的顶层,该层主要定义了面向各个专业领域的实体类型。这些实体都面向各个专业领域具有特定的概念。比如暖通领域(HVAC Domain)的锅炉、管道等。

    文章转自
    https://www.cnblogs.com/herd/p/6489206.html

    展开全文
  • linux实现共享内存同步的种方法

    万次阅读 2018-04-09 16:55:11
    本文主要对实现共享内存同步的种方法进行了介绍。共享内存是一种最为高效的进程间通信方式,进程可以直接读写内存,而不需要任何数据的拷贝。它是IPC对象的一种。为了在多进程间交换信息,内核专门留出了一块...

    本文主要对实现共享内存同步的四种方法进行了介绍。

    共享内存是一种最为高效的进程间通信方式,进程可以直接读写内存,而不需要任何数据的拷贝。它是IPC对象的一种。

    为了在多个进程间交换信息,内核专门留出了一块内存区,可以由需要访问的进程将其映射到自己的私有地址空间。进程就可以直接读写这一内存区而不需要进行数据的拷贝,从而大大提高的效率。

    同步(synchronization)指的是多个任务(线程)按照约定的顺序相互配合完成一件事情。由于多个进程共享一段内存,因此也需要依靠某种同步机制,如互斥锁和信号量等 。

    信号灯(semaphore),也叫信号量。它是不同进程间或一个给定进程内部不同线程间同步的机制。信号灯包括posix有名信号灯、 posix基于内存的信号灯(无名信号灯)和System V信号灯(IPC对象)

    方法一、利用POSIX有名信号灯实现共享内存的同步

    有名信号量既可用于线程间的同步,又可用于进程间的同步。

    两个进程,对同一个共享内存读写,可利用有名信号量来进行同步。一个进程写,另一个进程读,利用两个有名信号量semr, semw。semr信号量控制能否读,初始化为0。 semw信号量控制能否写,初始为1。

    读共享内存的程序示例代码如下

    semr = sem_open("mysem_r", O_CREAT | O_RDWR , 0666, 0);
            if (semr == SEM_FAILED)
            {
                    printf("errno=%d\n", errno);
                    return -1;
            }

            semw = sem_open("mysem_w", O_CREAT | O_RDWR, 0666, 1);
            if (semw == SEM_FAILED)
            {
                    printf("errno=%d\n", errno);
                    return -1;
            }

            if ((shmid = shmget(key, MAXSIZE, 0666 | IPC_CREAT)) == -1)
            {
                    perror("semget");
                    exit(-1);
            }

            if ((shmadd = (char *)shmat(shmid, NULL, 0)) == (char *)(-1))
            {
                    perror("shmat");
                    exit(-1);
            }

            while (1)
            {
                    em_wait(semr);
                    printf("%s\n", shmadd);
                    sem_post(semw); 
            }

    写共享内存的程序示例代码如下

    。。。。。。
            //同读的程序
            while (1)
            {
                    sem_wait(semw);
                    printf(">");
                    fgets(shmadd, MAXSIZE, stdin);
                    sem_post(semr); 
            }

    方法二、利用POSIX无名信号灯实现共享内存的同步

    POSIX无名信号量是基于内存的信号量,可以用于线程间同步也可以用于进程间同步。若实现进程间同步,需要在共享内存中来创建无名信号量。

    因此,共享内存需要定义以下的结构体。

    typedef struct
            {
                    sem_t semr;
                    sem_t semw;
                    char buf[MAXSIZE];
            }SHM;

    读、写程序流程如下图所示。

    方法三、利用System V的信号灯实现共享内存的同步

    System V的信号灯是一个或者多个信号灯的一个集合。其中的每一个都是单独的计数信号灯。而Posix信号灯指的是单个计数信号灯

    System V 信号灯由内核维护,主要函数semget,semop,semctl 。

    一个进程写,另一个进程读,信号灯集中有两个信号灯,下标0代表能否读,初始化为0。 下标1代表能否写,初始为1。

    程序流程如下:

    写的流程和前边的类似。

    方法四、利用信号实现共享内存的同步

    信号是在软件层次上对中断机制的一种模拟,是一种异步通信方式。利用信号也可以实现共享内存的同步。

    思路:

    reader和writer通过信号通信必须获取对方的进程号,可利用共享内存保存双方的进程号。

    reader和writer运行的顺序不确定,可约定先运行的进程创建共享内存并初始化。

    利用pause, kill, signal等函数可以实现该程序(流程和前边类似)。

    展开全文
  • 本章将介绍阿里巴巴共享服务中心的架构,以及在架构转变的过程中,技术团队对如何建设共享服务中心的思考,包括在过去几年建设历程中,我们沉淀出的一些建设原则。在阿里巴巴集团的中台战略中,共享服...
  • Java基础知识面试题(2020最新版)

    万次阅读 多人点赞 2020-02-19 12:11:27
    值传递 当一对象被当作参数传递到一方法后,此方法可改变这对象的属性,并可返回变化后的结果,那么这里到底是值传递还是引用传递 为什么 Java 中只有值传递 值传递和引用传递有什么区别 Java包 JDK 中常用的...
  • AHP层次分析法

    万次阅读 多人点赞 2014-02-21 01:07:12
    在比赛中,我们运用了层次分析法(AHPAnalytic Hierarchy Process)进行建模,好不容易理解了这一方法的思想,在自己的博客里记录一下,希望可以帮助初次接触层次分析法的人,更快地理解这一的整体思想,也利于...
  • 共享充电宝APP小程序开发解决方案

    千次阅读 2019-11-29 16:19:44
    往往出门逛街或者吃饭娱乐不能有效的为手机续电,而这段充电之路又会花费我们很多麻烦,共享充电宝就为我们解决了这问题。共享充电宝APP小程序开发结合现在的线下的共享充电宝硬件设备使用...
  • 共享充电宝PCBA方案开发设计

    千次阅读 2019-09-05 16:12:25
    共享充电宝PCBA是指企业提供的充电租赁设备,用户只需扫描设备屏幕上的二维码,凭借芝麻信用分600分以上即可“免押金”借用一充电宝,信用分不足600亦可支付100元押金,充电宝成功归还后,押金可随时提现并退回...
  • 阿里数据中台演进四个阶段

    万次阅读 2020-10-21 10:50:23
    「数据中台」已经从一技术词汇,慢慢转变成为企业界的共识:如果想要在信息商业中拥有一席之地,就必须要借助云计算和数据的力量,完成企业的数字化转型。 只是,数据到底在转型中扮演什么样的角色,要如何利用好...
  • 共享汽车行业分析

    万次阅读 2018-06-10 11:35:29
    2017年共享单车方兴未艾,共享汽车已是风起云涌。各个分时租赁厂家纷纷在各大城市布局,市场也受到各大巨头的关注,共享汽车能否承担起城市公共出行的结构调整,以及汽车行业供给侧的产能优化,成为社会关注的焦点。...
  • 实现共享内存同步的种方法

    万次阅读 2014-11-26 15:14:33
    本文主要对实现共享内存同步的种方法进行了介绍。 共享内存是一种最为高效的进程间通信方式,进程可以直接读写内存,而不需要任何数据的拷贝。它是IPC对象的一种。 为了在多进程间交换信息,内核专门留出了一...
  • 共享经济-共享汽车市场调研报告

    万次阅读 2018-08-17 16:00:23
    共享经济市场调研报告 ...第节 行业市场竞争程度. 7 第二章 共享汽车行业调查. 8 第一节 国内产量统计. 8 一、产品构成及成本 8 二、产量统计数据. 9 第二节 近期项目投资建设情况. 10 第三章 产品消费...
  • 2018总结----对共享单车的思考

    千次阅读 2019-01-02 11:11:14
    回顾2018年,这其实是一哭笑不得的一年,刚过完春节没多久,就看到小黄车又拿到了新一轮的融资,但与以往不同的是,这次ofo还向阿里巴巴借了大约2.8亿美元的贷款,用其所有的单车作为抵押。其实在那个时间,大家就...
  • IEEE 802.11i-次握手获取共享密钥

    千次阅读 2018-02-09 11:10:27
    次握手获取共享密钥1、密钥推导 从上图可以看出,成对主钥PMK,使用申请者和认证者的MAC地址和nonce随机产生一数值,并拆分为不同的密钥。成对密钥层次结构中,各密钥的推导方法如下:(1) PMK:PMK由预先...
  • 而政府部门信息资源共享作为一种先进的管理模式, 在大数据时代背景下对政府部门信息的资源管理就变得特别重要。本文就大数据时代下政府部门信息资源共享问题进行分析, 寻求解决途径。   近几年来, 政府部门信息...
  • Cloudsim支持两个层次的vm分配:第一个层次是主机级别,即指定将为每个vm分配每个核的总处理能力;第二个层次是虚拟机级别,即虚拟机将固定数量的可用处理能力分配给在其执行引擎内托管的每个任务单元。 为此,...
  • OOP(面向对象)的四个基本特征

    千次阅读 2018-05-28 10:30:00
     面向对象的编程方法具有四个基本特征:1.抽象: 抽象就是忽略一个主题中与当前目标无关的那些方面,以便更充分地注意与当前目标有关的方面。抽象并不打算了解全部问题,而只是选择其中的一部...
  • 为什么要引入锁多用户同时对数据库的并发操作时会带来以下数据不一致的问题:丢失更新A,B两用户读同一数据并进行修改,其中一用户的修改结果破坏了另一修改的结果,比如订票系统脏读A用户修改了数据,随后B用户...
  • 如何实现Excel多人共享与协作

    千次阅读 2019-07-28 11:02:58
    本人从事信息化工作多年,对Excel等电子表格的多人共享与协作接触较早,帮助客户实施的方案也较多,因此有些体会和认识。正好看到网上这方面的讨论较多,但都不完整,我就进一步做了专题调研,整理出来供大家参考,...
  • 030-JVM-Cache Line、缓存对齐、伪共享

    千次阅读 2021-01-02 16:24:14
    1.存储器的层次就结构 由于寄存器的速度是非常快的,是内存的100被,是硬盘的10的六次方倍。 下图是硬件的速度指标,可以使我们对其有更为直观的认识: 从cpu到 大约需要cpu周期 大约小的时间 主存(内存...
  • 不得不说,从新马泰,再到欧洲各国,都是一非常大的市场。共享充电宝主要是先扫码后充电,存在于各种公共场所,主要是为人们带来便利。对智能手机重度依赖的今天,“低电量焦虑症”似乎成为人们的一种新型流行病,...
  • AQS之独占模式和共享模式

    千次阅读 2021-03-01 11:40:26
    由于ReentrantLock是一独占锁,独占锁的知识可以参考AQS之理论知识(一)和AQS之公平锁和非公平锁(二) 两篇文章,本文重点讲解共享模式。并且本文共享模式的讲解以CountDownLatch为主。 一、概念 ​ AQS提供了两...
  • 面向对象的四个基本特征

    千次阅读 2015-10-03 09:36:54
    面向对象程序设计具有4共同特征:抽象性、封装性、继承性和多态性。 1.抽象 抽象是人们认识事物的常用方法,比如地图的绘制。抽象的过程就是如何简化、概括所观察到的现实世界,并为人们所用的过程。 ...
  • 数据治理、共享和应用

    千次阅读 2019-07-23 11:47:31
    如何让数据资产工具更好的用户体验,实现数据“好找、好用、好看、实时和共享”,需借助大数据、云搜索、微应用等先进...主数据管理是数据资产管理最重要和核心的内容,本文通过“一平台、两体系、三性特征、四个...
  • 共享

    千次阅读 多人点赞 2018-11-26 19:24:31
    共享的非标准定义为:缓存系统中是以缓存行(cache line)为单位存储的,当多线程修改互相独立的变量时,如果这些变量共享同一缓存行,就会无意中影响彼此的性能,这就是伪共享。 二、CPU缓存机制 CPU 缓存的...
  • 什么是伪共享 为了理解“伪共享”,在上一文CPU高速缓存那些... 在这里,我们在来回顾一下CPU高速缓存的知识,在现代计算机中,CPU缓存是分层次结构的,例如:L1,L2,L3,当CPU发起一读取内存指令的时候,首先...
  • 不得不说,从新马泰,再到欧洲各国,都是一非常大的市场。海外共享充电宝主要是先扫码后充电,存在于各种公共场所,主要是为人们带来便利。对智能手机重度依赖的今天,“低电量焦虑症”似乎成为人们的一种新型流行...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 167,343
精华内容 66,937
关键字:

共享的四个层次