精华内容
下载资源
问答
  • 数仓维度建模

    2020-09-13 22:28:07
    20世纪80年代末期,数据...Kimball提出了数据仓库的建模技术--维度建模(dimensional modelling),该方法是在实践观察的基础上开发的。虽然它不基于任何理论,但是在实践中却非常成功。维度建模被视为设计数据仓库和数据

    20世纪80年代末期,数据仓库技术兴起。自Ralph Kimball 于1996 年首次出版The Data Warehouse Toolkit(Wiley)一书以来,数据仓库和商业智能(Data Warehousing and Business Intelligence, DW/BI)行业渐趋成熟。Kimball提出了数据仓库的建模技术--维度建模(dimensional modelling),该方法是在实践观察的基础上开发的。虽然它不基于任何理论,但是在实践中却非常成功。维度建模被视为设计数据仓库和数据集市的主要方法,对数据建模和数据库设计学科有着重要的影响。时至今日,维度建模依然是构建数仓首选的数据建模方法,但是随着技术的发展,获取超强的存储与计算能力的成本会变得很廉价。这在无形之中对传统的维度建模方法产生了一定的影响。本文将讨论以下内容:

    • 维度建模的概念
    • 维度建模的优缺点
    • 为什么星型模型依然有用
    • 数据建模发生了哪些变化

    规则是用来被打破的

    First learn the rules, then break them

    维度建模的概念

    事实表

    事实表作为数据仓库维度建模的核心,紧紧围绕着业务过程来设计,通过获取描述业务过程的度量来表达业务过程,包含了引用的维度和与业务过程有关的度量。

    事实表中一条记录所表达的业务细节程度被称为粒度。通常粒度可以通过两种方式来表述:一种是维度属性组合所表示的细节程度;一种是所表示的具体业务含义。

    作为度量业务过程的事实,一般为整型或浮点型的十进制数值,有可加性、半可加性和不可加性三种类型。可加性事实是指可以按照与事实表关联的任意维度进行汇总。半可加性事实只能按照特定维度汇总,不能对所有维度汇总,比如库存可以按照地点和商品进行汇总,而按时间维度把一年中每个月的库存累加起来则毫无意义。还有一种度量完全不具备可加性,比如比率型事实。对于不可加性事实可分解为可加的组件来实现聚集。

    事实表通常只有很少的列和很多行,是一种"瘦高"型的表。事实表定义为以下三种类型之一:

    • 事务事实表:记录有关特定事件的事实(例如,销售事件,保存在原子的粒度,也称为原子事实表)
    • 周期快照事实表记录给定时间点的事实(例如,月末的帐户详细信息)
    • 累积快照事实表记录了给定时间点的汇总事实(例如,某产品的当月迄今总销售额)

    维表

    维度是维度建模的基础和灵魂。在维度建模中,将度量称为事实,将环境描述为维度,维度是用于分析事实所需要的多样环境。例如,在分析交易过程时,可以通过买家、卖家、商品和时间等维度描述交易发生的环境。维度所包含的表示维度的列,称为维度属性。维度属性是查询约束条件、分组和报表标签生成的基本来源,是数据易用性的关键。

    维度通常是限定事实的描述性信息。例如,产品维度中的每个记录代表一个特定的产品。与事实表相比,维表通常具有相对较少的记录,但是每个记录可能具有大量的属性来描述事实数据。维度可以定义各种各样的特征,一些常见的维表:

    • 时间维度表:以最低时间粒度级别描述时间
    • 地理维度表:描述了位置数据,例如国家/地区/城市
    • 产品维度表:表描述了产品的详细信息
    • 员工维度表:描述了员工,例如销售人员

    星型模型

    大多数的数据仓库都采用星型模型。星型模型是由事实表和多个维表组成。事实表中存放大量关于企业的事实数据,元祖个数通常很大,而且非规范化程度很高。例如,多个时期的数据可能会出现在同一个表中。维表中通常存放描述性数据,维表是围绕事实表建立的,通常来说具有较少的行。如下图所示:

    星型模型存取数据速度快,主要是针对各个维做了大量预处理,如按照维度进行预先的统计、分组合排序等。与规范化的关系型数据库设计相比,星型模型是非规范化的,通过数据冗余提升多维数据的查询速度,增加了存储空间的代价。当业务问题发生变化、原来的维度不能满足需求时,需要增加新的维度。由于事实表的主键由所有维表的主键组成,这种维的变化带来的数据变化将是非常复杂和耗时的。一个星型模型的示例:

    雪花模型

    雪花模型是对星型模型的扩展,它将星型模型的维表进一步层次化,原来的各个维表可能被扩展为小的事实表,形成一些局部的层次区域。在雪花模型中能够定义多重父类维来描述某些特殊的维表,如在时间维上增加月维表和年维表,通过查看与时间有关的父类维,能够定义特殊的时间统计信息,如月统计和年统计等。

    雪花模式通过更多的连接引入了更多的复杂性。随着存储变得越来越廉价,大多数情况,一般不采用雪花模型方法。

    雪花模型的有点是最大限度地减少数据存储量,以及把较小的维表联合在一起来改善查询性能。但是它增加了用户必须处理的表的数量,增加了某些查询的复杂性。如下所示:

    维度建模的优缺点

    优点

    • 每次需要从数据库中获取一些信息时,可以不用编写冗长的查询
    • 针对读取进行了优化,可以写更少的JOIN,更快地返回结果

    缺点

    • 对数据进行非规范化意味着一次性插入或更新会导致数据异常。在实践中,星型模型是通过批处理实来弥补这一问题
    • 分析灵活性有限。星型模型通常是为特定目的而设计的。在分析需求方面,它不像规范化数据模型那样灵活

    为什么星型模型依然有用

    多种数据源

    公司从各种数据源中收集越来越多的数据,因此需要对结果数据集进行整理以进行分析,从而减少异构数据源带来的分析复杂性。

    标准

    由Ralph Kimball编写的Data Warehouse Toolkit定义了业界广泛理解的概念。新员工可以快速掌握数据仓库的结构,而无需熟悉具体的业务系统数据。数据工程师和分析师通常对事实、维度、粒度这些概念比较了解,从而可以促进协作。

    可扩展性

    新添加的事实表可以重用现有的维度。通过向事实表添加更多外键,实现向事实表添加新维度。另外,对于集成新的数据集,无需对模型进行重大调整。

    数据建模发生了哪些变化

    大数据时代,日新月异的技术发展促使存储和计算发生了天翻地覆的变化(存储和计算比以往任何时候都便宜),因此数据模型也相应地发生了一些变化。

    缓慢变化维(SCD)

    对于随时间而变化的维度,比如:用户可以更改其家庭住址,产品可以更改名称。所以需要一种策略保存历史某个时间点对应的维度信息。

    Kimball书中介绍了许多类型的SCD策略,大多数使用UPDATE就地添加或修改信息。在保留历史记录的维度中,当记录中的任何属性发生更改时,都需要复制整行数据,当属性经常更改时,同样会使用更多存储空间。值得注意的是,这些技术很复杂,因为它们是在严格的存储约束下设计的。

    其实,可以使用维度快照来解决SCD的问题,虽然需要更多的存储空间,但创建和查询更简单。

    维度快照

    维度应比事实小得多。电子商务的交易,订单可能数以百万/千万计,但是客户(维度)的数量会少得多。

    每天我们都会在版本快照中重新写入整个维度表

     

    /data_warehouse/dim_users/ds = 2020-01-01
    /data_warehouse/dim_users/ds = 2020-01-02 
    ...
    

    由于每天有一个快照数据,因此不管发生多少变化都没有影响。这种方式非常简单粗暴,但与复杂的不同类型的缓慢变化维策略相比,不失为一种可选的方案。

    使用此种方式,可以通过JOIN特定日期的维度快照来获取历史某个时间点的维度信息。另外,这种方式不会对查询速度产生影响,因为通过分区日期可以直接定位选择的日期,而不是加载所有的数据。

    系统地对维度进行快照(为每个ETL计划周期存储维度的完整副本,通常在不同的表分区中),作为处理缓慢变化的维度(SCD)的通用方法,是一种简单的通用方法,不需要太多的工程工作,并且与经典方法相比,在编写ETL和查询时很容易掌握。 复杂的SCD建模技术并不直观,并且会降低可访问性。

    分区

    为了避免上游数据处理错误导致事实表装载错误,需要从数据源系统中提取日期作为分区字段,这样可以实现数据装载的幂等性。此外,建议按 事件日期 进行分区,因为查询通常会将其用作过滤器(WHERE子句)。

    代理键与冗余维度

    在维表中维护代理键是非常复杂的,除此之外,还会使事实表的可读性变差。在事实表中使用自然键和维度冗余的方式越来越普遍,这样可以减少JOIN带来的性能开销。值得注意的是,支持编码和压缩的序列化格式(如Parquet、ORC)解决了非规范化相关的大多数性能损失。

    总结

    本文主要介绍了维度建模的基本概念,包括维表、事实表、星型模型和雪花模型。其次对星型模型的优缺点进行了阐述。最后指出了维度建模正在发生的一些变化。

     

    展开全文
  • 2、数据模型架构3、维度和指标(度量)4、事实表和维度表七、数据模型建立过程八、建模方法1、范式建模法2、维度建模法∗\color{red}{*}∗3、实体建模法九、星型模型架构 VS 雪花模型架构 前言   传统的数据库中,...

    前言

      传统的数据库中,存放的数据都是一些定制性数据较多,表是二维的,一张表可以有很多字段,字段一字排开,对应的数据就一行一行写入表中,特点就是利用二维表表现多维关系

      但这种表现关系的上限和下限就定死了,比如QQ的用户信息,直接通过查询info表,对应的username、introduce等信息即可,而此时我想知道这个用户在哪个时间段购买了什么?修改信息的次数?诸如此类的指标时,就要重新设计数据库的表结构,因此无法满足我们的分析需求。

      在产品脑图中可以很清晰的看到根据业务需求设计所需的字段,因此也导致数据库是根据业务需求进行设计。

      那么有的会问,为什么一开始就不考虑好这个扩展性呢?为什么数据库一开始就不以数据仓库的形式设计?

      数据仓库,从字面上理解就可以感受到这是一个很大的空间,而且存储的物品很杂,里面会存放酱油、沐浴露、洗发精等物品,而数据库是存放酱油、盐等厨房用品,洗浴又是一个数据库。另外一个就是,国内互联网的发展,一开始大家都是做个软件出来,大家一起用,这个时候只要满足的了需求即可,现今不止是需求还有用户的体验等各种方面,需要根据这些分析指标做调整。

    所以:

    • 数据库是跟业务挂钩的,而数据库不可能装下一个公司的所有数据,因此数据库的设计通常是针对一个应用进行设计的。
    • 而数据仓库是依照分析需求、分析维度、分析指标进行设计的。

    一、数据仓库简介

      数据仓库(Data Warehouse)简称DW或DWH,是数据库的一种概念上的升级,可以说是为满足新需求设计的一种新数据库,而这个数据库是需容纳更多的数据,更加庞大的数据集,从逻辑上讲数据仓库和数据库是没有什么区别的。

      为企业所有级别的决策制定过程,提供所有类型数据支撑的战略集合,主要是用于数据挖掘和数据分析,以建立数据沙盘为基础,为消灭消息孤岛和支持决策为目的而创建的。

    二、数据仓库特点

    1、面向主题

      是企业系统信息中的数据综合、归类并进行分析的一个抽象,对应企业中某一个宏观分析领域所涉及的分析对象。

      比如购物是一个主题,那么购物里面包含用户、订单、支付、物流等数据综合,对这些数据要进行归类并分析,分析这个对象数据的一个完整性、一致性的描述,能完整、统一的划分对象所设计的各项数据。

      如果此时要统计一个用户从浏览到支付完成的时间时,在购物主题中缺少了支付数据或订单数据,那么这个对象数据的完整性和一致性就可能无法保证了。

    2、不可更新

      数据仓库的数据主要是提供决策分析用,设计的数据主要是数据查询,一般情况下不做修改,这些数据反映的是一段较长时间内历史数据的内容,有一块修改了影响的是整个历史数据的过程数据。

      数据仓库的查询量往往很大,所以对数据查询提出了更高的要求,要求采用各种复杂的索引技术,并对数据查询的界面友好性和数据凸显性提出更高的要求。

    3、随时间不断变化

      数据仓库中的数据不可更新是针对应用来说,从数据的进入到删除的整个生命周期中,数据仓库的数据是永远不变的。

      数据仓库的数据是随着时间变化而不断增加新的数据。

      数据仓库随着时间变化不断删去久的数据内容,数据仓库的数据也有时限的,数据库的数据时限一般是60 ~ 90天,而数据仓库的数据一般是5年~10年。

      数据仓库中包含大量的综合性数据,这些数据很多是跟时间有关的,这些数据特征都包含时间项,以标明数据的历史时期。

    三、数据仓库和数据库的区别

      数据库的操作:一般称为联机事务处理OLTP(On-Line Transaction Processing),是针对具体的业务在数据库中的联机操作,具有数据量较少的特点,通常对少量的数据记录进行查询、修改。

      数据仓库的操作:一般称为联机分析处理OLAP(On-Line Analytical Processing)是针对某些主题(综合数据)的历史数据进行分析,支持管理决策。

    比较项操作型(OLTP)分析性(OLAP)
    关注细节综合或提炼
    模型实体 – 关系(E-R)星型或雪花
    操作可更新只读,只追加
    操作粒度操作一个单元操作一个集合
    场景面向事务面向分析
    数据量
    需求日常操作决策需求
    业务方向客户信息、订单等查询客户登录间隔时间,市场细分等

    四、数据仓库常用系统架构

    在这里插入图片描述
      ODS层(临时存储层):这一层做的工作是贴源,而这些数据和源系统的数据是同构,一般对这些数据分为全量更新和增量更新,通常在贴源的过程中会做一些简单的清洗,

      DW层(数据仓库层):将一些数据关联的日期进行拆分,使得其更具体的分类,一般拆分成年、月、日,而ODS层到DW层的ETL脚本会根据业务需求对数据进行清洗、设计,如果没有业务需求,则根据源系统的数据结构和未来的规划去做处理,对这层的数据要求是一致、准确、尽量建立数据的完整性。

      APP层(引用层):提供报表和数据沙盘展示所需的数据。

    1、为什么要分层?

      在未分层的情况下,数据之间的耦合性与业务耦合性是不可避免的,当源业务系统的业务规则发生变化时,可能影响整个数据的清洗过程。

      数据分层简化了数据清洗的过程,每一层的逻辑变得更加简单和易于理解,当发生错误或规则变化时,只需要进行局部调整。

      通过大量的预处理来提升应用系统查询速度,进而提升的用户体验,因此数据仓库会冗余大量的数据,是典型的空间换时间的策略。

    五、元数据

      在操作数据仓库时,操作的都是元数据,而元数据分为技术元数据和业务元数据。

      技术元数据:是指数据仓库开发、管理、维护相关的数据,描述了数据的原信息,转换描述、数据映射、访问权限等。

      业务元数据:为管理层和业务分析人员服务,从业务的角度描述数据,包括行业术语、数据的可用性、数据的意义等。

      元数据的存储有常用的两种,一种是以数据集为基础,每一个数据集有对应的元数据文件,每一个元数据文件对应数据集的元数据内容,另一种是以数据库为基础,由若干项组成,每一项标识元数据的一个元素。
    在这里插入图片描述

    六、数据仓库建模

      进行全面的业务梳理时,我们可以通过业务模型,全面了解业务结构及运行情况,按照业务特定的规律分门别类和程序化,改进业务的流程

      通过模型的建设,我们可以很清晰的看到数据之间内在的关联关系,从而建立起全方位的数据视角,并消灭信息孤岛和数据差异化的问题,进而保证数据的一致性。

      模型可以很好的帮助我们分离出底层技术的实现和上层业务的展现,当上层业务发生变化时,通过数据模型,底层的技术实现可以适应的了业务的变动,进而解决数据库的灵活性

      在模型中可以很好的看出开发人员和业务人员之间的系统建设范围的界定,及未来的规划

    1、什么是数据模型?

      数据模型是数据关系的一种映射, 就是将业务之间的关系,用模型图形化的描绘出来,而不再是脑海的一个模糊的关系。

      在设计数据仓库模型和架构时,我们需要懂具体的技术,也需要了解行业的知识和经验来帮助我们对业务进行抽象、处理,进而生成各个阶段的模型。

    2、数据模型架构

    在这里插入图片描述

    在大体上,我们将数据模型分为5大块:

    • 系统记录域:数据仓库业务数据存储区,保证数据的一致性。

    • 内部管理域:用于内部管理的元数据,统一的元数据管理。

    • 汇总域:这里的数据来自系统记录域的汇总,保证分析域的主题分析性能,满足部分报表查询。

    • 分析域:各个业务部分的具体主题业务分析,可以单独存储在相应的数据集市中。

    • 反馈域:用于相应的前端的反馈数据,视业务的需要设置这个域。

    3、维度和指标(度量)

      维度和指标时数据分析领域常用的概念,亦是在设计数据仓库过程中需要考虑的。

      维度就是数据的观察角度,即从哪个角度去分析问题,看待问题。

      指标,即度量,就是从维度的基础上去衡算这个结果的值。

      维度一般是一个离散的值,比如时间维度上每一个独立的日期或地域,因此统计时,可以把维度相同记录的聚合在一起,应用聚合函数做累加、均值、最大值、最小值等聚合计算。

      指标就是被聚合的通计算,即聚合运算的结果,一般是一个连续的值。

      比如我们可以从银行的存款额和企业的贷款额之间的计算,推算出目前的市场状况是如何,如果企业的贷款额高,银行的存款额也高,说明人们不愿意消费了,都把钱存起来,企业产品卖不出去,要发工资,那么自然要贷款了,这只是一个例子,具体还需要结合很多数据做分析。

    4、事实表和维度表

      事实表和维度表是在设计数据仓库过程中需要考虑的。

      事实表是指存储有事实记录的表,如系统的日志、销售记录、用户访问日志等信息,事实表的记录是动态的增长的,所以体积是大于维度表。

       用 户 访 问 日 志 ( 事 实 表 ) : 用 户 名 、 u r l 、 时 间 … \color{green}{用户访问日志(事实表):用户名、url、时间…} 访url

      维度表也称为查找表,是与事实表相对应的表,这个表保存了维度的属性值,可以跟事实表做关联,相当于是将事实表中经常重复的数据抽取、规范出来用一张表管理,常见的有日期(日、周、月、季度等属性)、地区表等,所以维度表的变化通常不会太大。

      维度表的存在缩小了事实表的大小,便于维度的管理和CURD维度的属性,不必对事实表的大量记录进行改动,并且可以给多个事实表重用。

       省 份 表 ( 维 度 表 ) : 北 京 市 、 广 东 省 、 上 海 市 … \color{green}{省份表(维度表):北京市、广东省、上海市…} 广

    七、数据模型建立过程

    在这里插入图片描述

      业务模型:业务分解和程序化,确定好业务的边界及业务流程,如订单、支付都是一个单独的业务模块

      领域模型:业务概念的抽象、分组,整理分组之间的关联,比如用户购物的业务,抽成一个更大的模型,这个模型一般相对于行业。

      逻辑建模:领域模型中的业务概念实体化,并考虑实体的具体属性及实体与实体之间的关系,比如订单(订单号、付款人…)和支付(金额、支付时间…)的关系。

      物理模型:解决实际应用的落地开发、上线等问题,及性能等一些具体的技术问题。

    八、建模方法

    1、范式建模法

    在这里插入图片描述
      数据仓库的概念模型(域模型)应该包含企业数据模型的概念模型(域模型)之间的关系,以及各主题域的定义。

      数据仓库的概念模型(域模型)应该比业务系统的主题域模型范围更加广。

      在数据仓库的逻辑模型需要从业务系统的数据模型中的逻辑模型中抽象实体,实体的属性,实体的子类、关系等,在某些时候反而限制了数据仓库模型的灵活性,在底层数据向数据集市汇总时,需要进行一定的变通。

    2、维度建模法 ∗ \color{red}{*}

    在这里插入图片描述
      维度建模法的特点在于需要进行大量的数据预处理、预计算,因此会导致大量的数据处理工作,而且业务发生变化,需要重新进行维度的定义时,往往需要重新进行维度数据的预处理、预计算,使用时直接调用计算好的结果,进而导致大量的数据冗余,最大的作用就是解决了性能的问题。

    3、实体建模法

    在这里插入图片描述
      实体建模法是一种抽象客观世界的方法,细分为一个个实体,以及实体之间的关系,将一个业务划分为3个过程,因此只能局限在业务建模和领域建模的阶段,因此到了逻辑建模阶段和物理建模阶段,则是范式和维度建模的发挥了。

    九、星型模型架构 VS 雪花模型架构

      当设计好概念模型时,就要根据概念模型设计逻辑模型,而在设计逻辑模型是,通常根据事实表和维度表的关系,将常见的模型架构分为星型模型和雪花型模型。

      星型模型架构是一种非正规化的结构,特点是有一张事实表,多张维度表,是不存在渐变维度的,事实表和维度表通过主外键相关联,维度表之间是没有关联,因为维度表的数据冗余,所以统计查询时不需要做过多外部连接。

      雪花模型架构就是将星型模型中的某些维度表抽取成更细粒度的维度表,然后让维度表之间也进行关联,通过最大限度的减少数据存储量以及联合较小的维度表来改善查询性能。

    在这里插入图片描述
    原文链接:https://blog.csdn.net/Su_Levi_Wei/article/details/89501304

    展开全文
  • 转化率分析的四个维度

    千次阅读 2017-04-13 17:20:25
    转化率分析的四个维度  (2012-03-10 15:37:31) 转载▼ 标签:  转化率   四个维度   流量转化率   成交转化率   订单转化率   付款转化率   it 分类: ...

    转化率分析的四个维度

      (2012-03-10 15:37:31)

      店铺转化率是衡量一个店铺健康的重要指标,它通过四个维度的数据来判断店铺是否正常。此处我们通过对店铺以岗位划分的维度来进行分析影响店铺转化率的因素,以店铺数据结合行业平均数据让商家对店铺进行自行检测。

    四个维度分别为推广的流量转化率、运营的成交转化率、客服的订单转化率和付款转化率

     

    1、流量转化率

    公式:UV/PV  

      
        流量转化率简言即由推广通过一切的推广方式来为店铺引流而计算其UV/PV得来,此处仅仅只谈谈拍拍应用最为广泛的付费广告的引流。


    1)直通车
        直通车为目前拍拍应用最为广泛的推广方式之一,其是以关键词出价的方式靠用户点击付费获取流量。关键词优化、宝贝图片展示是影响流量转化率的重要因素所在,而精准关键词的选取有很多种的方法,我们可以通过卖家经营中心里面的搜索优化查看本类目里面前10的关键词、拍拍首页类目标红关键词、拍拍首页搜索自动检索推荐关键词以及相关属性关键词和热点关键词等。关键词的优化选取是为了给宝贝提供一个优先的排名展示机会,熟悉用户搜索习惯及需求是决定宝贝是否精准展现,所以此处需要商家多多考虑针对店铺客户群的搜索需求习惯;宝贝图片展示越通于客户心理点击越高,但也不一定是有质量性的点击了,首先对直通车的关键词主要进行优化,然后协同主要关键词进行图文的结合展示,要突出重点。


    影响直通车的流量转化,

    第一、关键词要选择针对产品的目标客户群搜索行为习惯;

    第二、对产品关键词要精准的优化;

    第三、宝贝图片要清晰,拍摄角度符合了视觉营销的要求;

    第四、产品如有折扣信息,宝贝图片最好能通过数字来展示出来;

    第五、店铺质量评分要高。

     

    2、成交转化率  
    公式:成交订单/UV

     

       如前提到,店铺通过推广人员以付费广告对店铺引来流量,而此处我们只当成质量性的流量进行自测。当有很高的质量性流量进店的时候,这时就需要店铺运营人员对店铺进行一系列的活动、促销方式来提升质量性的成交订单转化。


        此处的计算公式为订单/UV,也就是最后成交订单数除以进店总人数而来,那么影响此处数据的决定性因素也在于店铺运营的功底是否厉害。


    1)视觉规划
        顾客进入店铺吸引眼球的第一步应是视觉,好的视觉友好界面大大促进顾客观赏欲,视觉营销分为如下几块:VI设计、界面架构、UI设计。

        目前我们主要来讲讲商家应用最多的界面架构,它包括了店铺首页模板、宝贝页面模板、店铺专题页面模板、促销模板。

        店铺首页模板的分布我们采用针对客户的“一屏论”为设计重点,把店铺最重要的信息通过图片展现在第一屏的位置,界面颜色简洁大方,分流合理,亚洲人不同于欧美人,欧美用户更愿意使用搜索功能,因为他们民族更强调个性化,有冒险精神;而亚洲用户则更偏好于使用类目导航的固定路径,相对求同存异,对已知的更有依赖性。所以纵然店铺有左侧的分类划分,但对于用户的购买习惯还是需要多增加一些分类性质的模块在首页,此处可以参见韩都或麦包包。

     

       另外在摆放宝贝的时候以清晰合理的关键词来区分,摆放风格要统一而不杂乱;宝贝页面模板则更趋于用户购买心理分析,根据产品不同而不同,但无外乎要出现推荐促销、模特图、品牌介绍、产品图、细节图、流行趋势、功能、材质、尺寸、品质及承诺、公司实力以及搭配套餐等,这个优先顺序也有待考证;

      

       店铺专题页面模板俗称为“落地页面”,一般主题性活动或节日促销性活动应用比较多,这样设计的风格则更应该倾向于专题的风格;促销模板要以吸引顾客眼球为设计重点,重点得突出亮点以及展示产品的醒目。


    2)活动
        顾客进入店铺后吸引顾客多停留时间的是靠店铺内的活动是否吸引人,目前流传最广的要数常规营销活动(包邮、满送)、主题系列活动(周未疯狂购、周二上新)、节日促销活动(情人节、感恩节)、噱头促销活动(老板不在家、冲冠特价)等,而目前活动大多数以促销为主,但随着SNS的兴起,也出现了更多的商家开始利用更加新颖的活动促使客户参与促进成交,所以此处也给商家一些建议,要重点关注SNS进行营销活动

        在中国人的思维里,买东西不是为了买便宜,而是为了占便宜。因此店铺经常策划一些活动就是为了让消费者觉得在你这里买东西占到了便宜。

    3)价格
       顾客购买的心理可能第一印象就是因为产品的价格因素,除非是传统品牌溢价空间有限,否则产品的定价一定要合理化,互联网是个开放的平台,任何信息都可以查得到,所以商家一定要清楚意识到价格是一个致关重要的影响转化率的因素。


    4)宝贝描述
        顾客进入店铺从流量上来分析大多是从单品宝贝搜索进来,如前在视觉营销里提到,页面的视觉规则是顾客进店的第一印象,因此一定要规划合理一些。


        然后再参照顾客的购买习惯,此处我也建议商家多去看《卖家》杂志,里面有很多介绍关于宝贝描述排版顺序。


        宝贝描述做得比较好的可以去参照羊皮堂、麦包包等网店,如果真找不到一个,可以去看那些做拍拍活动的,如团购这样的宝贝,里面是做得很丰富的。趋于顾客心理所需,出现的无非是品牌、模特图、产品图、促销信息和套餐搭配等。

    3、订单转化率
    公式:订单/咨询数

     

        客户对店铺活动的参与而吸引,此处就需要咨询客服来解决其疑问,那么就是由顾客在咨询途中所涉及到的客服服务态度影响程度。此处的计算方式是订单/咨询数,咨询数是从多客服后台得出的。


        一个客服的好坏在于她的服务意识以及主动销售,让每一位来咨询的顾客均下单来购买产品,并且不仅仅是购买顾客所选择的当前产品,更包括了连带推荐的一系列产品,我们可以从客服聊天记录里面看出客服的主动销售技能。


    影响订单转化率:

    第一、客服服务意识;

    第二、专业技能(拍拍技能及产品知识了解);

    第三、主动销售;

    第四、服务态度;

    第五、响应速度

    4、付款转化率
    公式:付款数/订单数

     

        顾客购买产品到付款需要的是一个过程,而在过程之中也有大量的购买存在着拍下未付款的形象,我们可以归纳为顾客财付通余额不足或其它,那么此处也是一部分影响交易额增长的因素。此处的计算方式是付款数/订单数,付款数人为处理成功的因素会很大。


        这边应该也会涉及关乎到客服责任里面来,也就是订单处理,发现有拍下没有付款的订单,商家是不闻不问还是怎样呢?其实客服可以通过QQ留言或电话的方式联系顾客的,顾客拍下的时间基本上都是在上班的时候拍下的,然后在晚上回家里的时候付款,那样在客服与顾客交谈的时候并可以告诉顾客,如“我们一般发货是当天四点以前拍下并付款的是当天发货,四点以后付款是的第二天发货”或“您眼光很好,选择的这件产品因为很热销所以目前库存量不是太多的,您有时间的话可以尽快付款,我们也才会确保有货可以为您发的呢”等等,就是给顾客制造一系列的紧迫感,让顾客赶紧付款


        然后在顾客拍下以后,我们可以看到有一至二天没有付款的,那样有条件的商家就可以通过呼叫中心拔打呼出电话,没有条件的就直接打电话给顾客,告之顾客因为产品热销所以库存不足,而尽快付款之类的话语。总之就是让顾客快付款,当然也有些顾客拍下了以后是不知道怎么付款的,这就需要我们客服专业的技能来指导顾客完成付款流程,包括给顾客做决策建议(如选择COD货到付款)等。所以,很多时候并不是因为顾客不想付款,而是因为其它一些事情导致顾客忘记了付款或没有付款,这样商家一个电话或许就成交了一单,按成本来算的话,一个电话的成本最多也就10分钟左右,也花不了多少钱的,就算最后成交不了也可以当成是会员营销,去回访顾客这合理的。

        以上的分析诊断是针对拍拍店铺产生的转化率问题进行的一个表面的汇总分析,有很多实质性的知识需要商家操作了以后才会知道影响转化率的因素以及维度,我在此处只能是告诉商家一些影响的因素以及如何去规避掉,所以需要商家去操作的。

    展开全文
  • 经过一段时间的研究和思考,我从人眼视觉体验的角度去梳理,建立了一具有7个维度的框架,便于我们去理解视觉体验从过去到未来发展的整个脉络。 已有的工作 其实在计算机视觉、图像、视频领域,已经有一些相关的...

    背景——为什么要写这篇文章

    在研究超高清、VR、6DoF等最新的视觉体验的时候,往往感觉各种概念层出不穷,令人目不暇接。同时这些概念又都互相关联,盘根错节,理解起来颇费一些脑筋。经过一段时间的研究和思考,我从人眼视觉体验的角度去梳理,建立了一个具有7个维度的框架,便于我们去理解视觉体验从过去到未来发展的整个脉络。

    已有的工作

    其实在计算机视觉、图像、视频领域,已经有一些相关的成果和观点(见文末参考文献的文章或论坛讲座[1][2][3])。文章[1]介绍了与活动图像质量相关的5个因素(2D画面):分辨率(空间分辨率)、色域(彩色分辨率)、量化(灰度分辨率)、动态范围(宽容度分辨率)、帧速率(时间分辨率)。文章[2]指出了沉浸式视觉媒体的多个维度:宽色域范围、高动态范围、高时间分辨率、高空间分辨率、宽视场范围、多视点高自由度、表达模型。文章[3]则提出了六维度超视觉技术体系:分辨率、动态范围、色域、采样、帧率、视点。

    以上这些模型从各自的技术体系对创新视觉的维度进行了概括,做了很多基础工作。但是有的模型只介绍了平面视频,缺乏沉浸式视频的内容。有的模型选取维度的标准没有充分说明,显得不太平衡。基于以上原因,本文试图从一个统一角度、即人眼视觉体验的角度去给出一个相对比较综合的框架。

    创新视觉的7个维度

    首先声明,在考虑人的体验时,我们这里只关注人眼的视觉,也就是我们能看到的内容,以及如何去看。至于影响体验的其它维度,如听觉、嗅觉、触觉等等,不在本文讨论范围之内。比如说,一些体验性游戏可以让您感受到游戏中火把的温度,这个体验不是视觉体验,这里不考虑作为一个维度。另外,我们下面谈的每一个维度,都与人的某一类生理视觉特性相关,如感知色彩、感知立体形象等等,而且这些维度之间是相互独立的,因而能够单独成其为一个维度。

    言归正传,直接上图如下:

    维度1:空间感知

    就是我们常说的分辨率、解析度。其起因是我们采用了数字技术以后,图像是离散数据,以像素点来表示。在一定可视范围内,单位面积的像素点越多,显示效果越细腻。反之,如果单位面积的像素点不够,分辨率太低,我们的眼睛感受到的图像就会有明细的颗粒感。所以,从人眼视觉的角度来来理解,由分辨率来表征的空间感知,本质上就是对这种颗粒度的感知。

    电视视频经过几十年的发展,走过了从标清到高清的历程,目前正在向超高清(4K/8K)迈进。其中,对中国而言,标清分辨率为720x576;高清分辨率为1920x1080;超高清(4K)分辨率为3840x2160;超高清(8K)尚在发展中,为:7680x4320。

    其实我们的眼睛对这种颗粒度的感知,不仅跟图像本身的分辨率有关系,还跟观看距离、视场范围等因素也有关系。分辨率很小的图像,从远处看,也不会有颗粒感。人眼在一定视角内能够感知到的像素多少是有生理极限的。所以,在家庭常见的观看距离内,如果观看普通的40到50吋的电视,单纯提升分辨率,视觉效果不一定有很大提升。

    下图是对高清->4K超高清->8K超高清画幅大小的直观对比:

    维度2:灰度感知

    刚才讲的空间感知,其实是在说整个图像包括的像素的多少。具体到每一个像素中包含的视觉信息,主要是两方面:亮度信息和色彩信息。色彩后面再讲,先说亮度。灰度感知其实就是一种对亮度的感知。人眼可以是具备分清不同亮度的能力的。但是,还是由于数字化的原因,我们在表达亮度时候,只能用一定的比特数(也就是位数、量化位数)来表示。通常如果是8bit的话,只能表示256个灰度级别。本来正常人眼能够感知比较连续的灰度,如果位数不够,就会出现如下图所示的现象(上面是正常的连续灰度,下面是数字化导致的灰度层次):

    所以,为了表示更多的灰度层次,在超高清视频中,对灰度的表示就从8bit到了10bit,以后据说还要到12bit,20bit。其实有了10bit以后,灰度层次增加到1024级,应该已经很好了。人眼对灰度的感知层次,毕竟也是有极限的。

    其实,为了更好地描述人眼觉感知的灰度级别,量化位数是个重要因素,但却不是唯一因素。人的心理感知的灰度,跟自然界物理的亮度值,不是线性关系。同时还涉及到显示设备的亮度还原能力等等一系列因素。把这些因素都考虑进来,就是所谓的高动态范围(HDR, High-Dynamic Range)技术。

    这些技术综合运用的效果,使得我们看到的图像黑的很黑,白的更白,不同亮度的层次丰富,细节清楚。

    讲完前面这两个维度,我们形象地说,就是能看到一幅黑白画作或者照片了。

    维度3:色彩感知

    讲完亮度,我们再说色彩。自然界是五彩斑斓的,我们的人眼能够感知到这些颜色的不同。为了表征不同的颜色,人们建立很多模型,称为色彩空间(或称彩色模型、彩色空间、颜色模型等等),这里不详细介绍,有兴趣可以自行找相关文章学习。

    下图是人眼能够感知的可见光范围内的所有颜色。其中红色和绿色三角形范围内的颜色,是目前标清和高清视频中已经被表示的颜色。而蓝色三角形范围内的颜色,是超高清视频能够表示的颜色。可以看到,超高清视频能够给大家展示的颜色,比以前要多了,因此,超高清视频的颜色会更为鲜艳亮丽,更为丰富多彩。

    当然,从高清到超高清,色彩空间的扩大的代价,是更多的比特数对颜色进行表示。

    讲到这里,顺便提一下4:4:4/4:2:2/4:2:0采样的事情。我的理解,它们其实是亮度和色彩数据分配策略。能否把它们单独列为一个维度呢?技术层面当然没问题。但我们这里选取维度的标准,是必须有一定视觉的意义。如果4:4:4/4:2:2/4:2:0从视觉感知上不能很明显地说出它们的区别和意义,暂时就不宜列为一个单独维度。这一点还待进一步研究。

    讲完前面这三个维度,形象地说,就是能看到一幅彩色画作或者照片。

    维度4:运动感知

    显然我们不会仅仅满足于看静止画面,事实上我们的人眼能够感知活动画面。人眼的“视觉暂留”的特性使得我们能够看到活动的东西。以每秒中24帧的速度播放静止画面,我们就会把它们连起来形成活动画面。因此,技术层面来表征运动画面的指标就是帧率,不同帧率的效果如下图所示:

    高帧率的影视内容观看感觉更为流畅。尤其对于剧烈变化的画面,提升效果更明显,同时便于做慢动作回放等特效处理。

    讲到这里,我们可以看到的就是一段彩色的活动视频了。

    维度5:立体感知

    更进一步,人是有两只眼睛的。由于两只眼睛看到的内容略有不同,形成了视差,使得我们看到的内容有立体感,这就是立体感知。

    从技术层面来表达,就是在采集、传输、观看的时候,要同时考虑左右两只眼睛的视频数据,把它们忠实地记录和还原出来。看来数据量需要加倍了(实际考虑左右眼数据的冗余,会少一些),同时还需要考虑左右眼同步的问题,难度是增加了。

    讲到这里,我们能够看到的,就是具备立体感的彩色视频了。

    维度6:视场范围

    前面讲的所有内容都有一个小前提,就是观看的范围是一个窗口。当我们提1920x1080这样的分辨率时,其实隐含了这样一个假设。但是,事实上,人在观察场景时,并不局限于这样一个窗口,我们是上下左右所有的角度都可以看的,换言之,场景可以扩展为360度场景。更进一步,如果建立了场景的三维模型,那就可以从任何一个位置和任何一个角度看场景,即多视点360度场景。如下图所示:

    这里把这个维度称为“视场范围”,稍微有点差强人意。本质上是我们能够通过眼睛看到的场景的范围。正如上文所说,如果做到极致,我们是能够从任意角度,任意位置去观察场景的。

    当然,要达到这个理想,需要巨量的视频采集设备,需要巨量的视频处理能力,需要类似于点云这样的数据表达模型,是非常不容易的。但这也是未来研究的方向。

    维度7:交互方式

    前面六个维度其实一直是在说场景的表示:平面的、彩色的、立体的、360三维的、活动的场景。接下来要说的,就是我们如何去看这些场景,也就是人与场景的交互方式。这是一个非常复杂的话题,因为它是跟场景的表示具体相关的。

    如果要看的场景是平面视频的,类似于我们去看电影、电视,交互方式其实是最简单的,眼睛盯着屏幕看就可以了。虽然如此,我们看到的内容却是丰富多彩的,导演/导播会给我们切不同的镜头,给远景、中景、近景、特写。换言之,我们看到的场景是在不断变化的,只不过这个变化不是我们主动做的,而是由专业的导演导播帮我们做的。我们很舒适、很懒惰地享受了这些服务,付出的代价是不能自主选择要看的内容。

    为了给大家提供这种主动选择的机会,一些服务商推出了多视角视频。一场比赛、一个演唱会,除了导播给您切的那一路主画面,还会同时把其他摄像机的视频都列出来,想看哪个看哪个。如果是电视,可以用遥控器选择。如果是手机,可以直接用触摸屏选择。

    以上说的还是平面视频,如果我们的视频扩展为360度全景、那可以交互的方式就更多了。比如,在手机上直接用多点触控方式或者利用手机的陀螺仪进行移动、放缩等交互操作,自己选择要看的内容。如果有VR头盔这一类的装备,就可以享受更加自由的观看体验,即3DoF的体验。如果再加上其它能够感知位置变化的设备,还可以移动在场景中的位置,体验6DoF的精彩。如下图所示:

    小结

    总结以上7个维度,我觉得可以分为三类,其实就是学术界和工业界孜孜以求的未来的创新视觉的三个方向:

    1. 超高清视觉体验;
    2. 沉浸式交互体验;
    3. 立体视觉体验;

    如下图所示:

     

    最后留个小尾巴:全息影像技术应该放到什么位置?如何去理解?还有待进一步研究、思考和和总结。

    参考文献

    [1] 4K超高清HDR技术简介

    [2] 虞露,浙江大学,“MPEG中面向沉浸式视觉体验的标准化活动”https://blog.csdn.net/vn9PLgZvnPs1522s82g/article/details/99669793

    [3] 马思伟,北京大学,“视频编码技术标准、应用及未来展望”阿里云栖大会(杭州)2019

     

    展开全文
  • 维度建模的一般流程

    千次阅读 2019-10-23 11:55:42
    维度建模的这4步骤贯穿了维度建模的整个过程和环节,下面逐一介绍。 1.选取业务 过程业务过程即企业和组织的业务活动,它们一般都有相应的源头业务系统支持。对于一超市来说,其最基本的业务活动就是用户收银台...
  • 随着维度数目的增加,Cuboid 的数量会爆炸式地增长。为了缓解 Cube 的构建压力,Apache Kylin 引入了一系列的高级设置,帮助用户筛选出真正需要的 Cuboid。这些高级设置包括聚合组(Aggregation Group)、联合维度...
  • 维度的分类及处理

    千次阅读 2019-10-01 10:18:12
    关于数据仓库维度数据处理的方法探究 1 维概述1.1概述 维度是多维数据集的结构性特性。它们是事实数据表中用来描述数据的分类的有组织层次结构(级别)。这些分类和级别描述了一些相似的成员集合,用户将基于这些...
  • 商业价值的三个维度

    千次阅读 2014-11-09 18:47:01
    看此书的感慨还有一知识储备的前提,就是前段时间刚刚看过《逻辑九讲》,将具象与抽象、归纳和演绎的清晰的逻辑思维用到这关于商业价值的理论中,起到了很好的理解作用,在此一并感谢。首先,我们先明确一下这...
  • 维度诅咒

    2020-08-13 17:02:12
    介绍 在本文中,我们将讨论所谓的“维度诅咒”,并解释在设计分类器时它的重要性。在下面的章节中,我将提供这概念的直观解释,由一由于维数诅咒而过度拟合的明显例子说明。 考虑一例子,其中我们有一组图像...
  • 随着维度数目的增加,Cuboid 的数量会爆炸式地增长。为了缓解 Cube 的构建压力,Apache Kylin 引入了一系列的高级设置,帮助用户筛选出真正需要的 Cuboid。这些高级设置包括聚合组(Aggregation Group)、联合维度...
  • 机器学习中的维度灾难

    万次阅读 多人点赞 2017-05-11 20:31:39
    一、介绍本篇文章,我们将讨论所谓的“维度灾难”,并解释在设计一分类器时它为何如此重要。在下面几节中我将对这概念进行直观的解释,并通过一由于维度灾难导致的过拟合的例子来讲解。考虑这样一例子,我们...
  • 五、退化维度 1. 退化订单维度 2. 修改定期装载脚本 3. 测试修改后的定期装载 六、杂项维度 1. 新增销售订单属性杂项维度 2. 修改定期装载Kettle作业 3. 测试修改后的定期装载 七、维度合并 1. 修改数据...
  • 理解维度诅咒

    千次阅读 多人点赞 2019-02-26 15:54:26
    分类中的维度诅咒 1简介 2维度和过度拟合的诅咒 3如何避免维数的诅咒? 4结论 介绍 ...在本文中,我们将讨论所谓的“维度诅咒”,并解释在...在下面的章节中,我将提供这概念的直观解释,由一由于维数诅咒而...
  • 维度灾难与过拟合

    2019-08-26 15:24:16
    1、介绍 考虑一例子,对图片分类为猫、狗两类,通过皮毛的颜色(rgb)设计一简单的线性分类器: If 0.5*red+0.3*green+0.2*blue>0.6: return cat; else: return dog; 发现增加更多特征后,分类器的...
  • 维度建模理论与数仓分层思想 维度建模 ODS 层因为保留原始数据, 所以和业务数据库 (关系模型) 一样是关系模型. DWD 层即进行了维度建模, 将下面的模型 ...但生产中事实表不可能只有一张, 所以多事实表多个维度表结合
  • Java编程之路相关书籍(三个维度

    千次阅读 2015-07-24 10:40:10
    一、关于Java的技术学习,可以按照下面分三个维度进行学习 : (1)向下发展,也就是底层的方向 建议看《深入Java虚拟机》、《Java虚拟机规范》、《Thinking in Java》等,其实中英文都可以,除非你是...
  • 从五个维度考察java代码质量

    千次阅读 2016-09-25 20:54:51
    本文来自LEE的博客,他首先向大家讲述怎样辨别一项目代码的好坏、如何区分优秀代码和腐化代码,最后给大家讲述如何...接下来将对代码质量的问题进行一些粗略的介绍。也请有代码质量管理经验的朋友提出宝贵的意见。 
  • 作者基于多年的大数据处理经验,当前管理着100PB+数据仓库和2000+节点的集群。持续系统化给大家分享一下关于数据仓库建设的经验总结。...为什么维度建能模脱颖而出? 1.从小公司到大公司看数仓建模发展 ...
  • 导读:本文详细介绍用户标签体系的构成及应用场景。作者:赵宏田来源:大数据DT(ID:hzdashuju)互联网相关企业在建立用户画像时一般除了基于用户维度(userid)建立一套用户标...
  • 机器学习之线性回归缩减维度 什么叫高维数据?...房子的面积, 房间的数量 , 楼间距, 离学校的距离 我们的数据 从这四个维度取例 ,也称为数据的维度。 下面的每一行 表示一 房子的样本 。 样本可以有N ...
  • 大数据分析基础——维度模型

    千次阅读 2018-07-29 22:10:00
    image.png 1基本概念 维度模型的概念出自于数据仓库领域,是数据仓库建设中的一种数据建模方法。维度模型主要由事实表和维度... 维度属于一数据域,如地理维度(其中包括国家、地区、 省以及城市等级别的内容)、时...
  • 精彩回顾如何实现H5可视化编辑器的实时预览和真机扫码预览功能在线IDE开发入门之从零实现一在线代码编辑器基于React+Koa实现一h5页面可视化编辑器-DooringTS核心知识点...
  • tableau的筛选功能,一般是针对维度的取值,比如topN、range(a,b),这篇文章介绍另一种筛选:维度筛选,以创建参数实现。在涉及多变量两两间的相关关系的图形展示时,非常有用。 数据是怎样的 数据来源于tableau ...
  • 使用numpy解决图像维度变换问题

    千次阅读 2019-05-17 19:19:26
    在这篇文章中: numpy函数介绍 1. np.transpose(input, axes=None) 2.... 3.... 1. 扩展出一新的维度用来表示channel 2.叠加channel 3.维度转置 4.验证是否正确 5.整体演示代码 numpy函数...
  • 我要对两种模态的3d切片数据进行合并,两数据的shape均为(10,1,128,128),如果我使用axis=1,那么不是进行垂直合并,而是选择了第二维度进行合并,比如说下面这例子,最终输出的结果就是一10,2,128,...
  • 维度建模的基本理论

    2021-10-26 14:27:44
    围绕三问题来展开 1、怎么组织数据仓库中的数据? 2、怎么组织才能使得数据的使用最为方便和便捷? 3、怎么组织才能使得数据仓库具有良好的可扩展性和可维护性? 维度建模两大派系 Bill Inmon(数据仓库之父)...
  • 由一个个的实例组成,介绍webpack 在处理各种实例的下的配置,实例包括 Typescript Ecmascript Less 语言的预编译,讲解了 Webpack 提取公共代码、代码分割、动态import、魔法注释、JS 和 CSS 的 TreeShaking等新...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 114,925
精华内容 45,970
关键字:

十个维度介绍