全套资料下载地址：https://download.csdn.net/download/sheziqiong/85604855
目录

1. 引言 2
   1.1 编写目的 2
   1.2 读者对象 2
   1.3 软件项目概述 2
   1.4 文档概述 2
   1.5 定义 2
   1.6 参考资料 3
2. 软件的一般性描述 4
   2.1软件产品与其环境之间的关系 4
   2.2限制与约束 4
   2.3假设与前提条件 4
   3.功能需求描述 5
   3.1系统的划分 5
   3.2 数据爬取子系统的功能 6
   3.2.1 数据爬取的用例图 6
   3.2.2 数据爬取用例的描述 7
   3.3 数据可视化子系统的功能 7
   3.3.1 数据可视化子系统的用例图 7
   3.3.2 数据可视化子系统的用例描述 其一 9
   3.3.3 数据可视化子系统的用例描述 其二 10
   3.4 数据库系统的功能 11
   3.4.1 数据库系统的用例图 11
   3.4.2 数据库系统用例的描述 12
3. 其它需求描述 13
   4.1 性能要求 13
   4.2 设计约束 13
   4.3 界面要求 13
   4.4 进度要求 13
   4.5 交付要求 13
   4.6 验收要求 13
4. 软件原型 14
5. 附录 19
   用户登陆系统后，找到电影信息查询区域，在系统提供的查询框选择想查询的电影信息，数据爬取模块会根据用户的输入，爬取网页信息并将结果展示给用户；如果用户输入不合法，系统会报错提示。在数据可视化子系统中，用户可以通过系统管理员来进行选择报表属性、生成报表操作。
   “选择属性”用例包括“选择时间范围”“选择电影属性”，即用户可选择生成报表的限定时间范围，以及根据需要选择不同的电影属性生成报表，如Top10劳模演员、电影票房变化趋势等等。
   “生成报表”用例包括“生成表格”与“生成图表”，即可以生成文字形式的表格，也可以生成扇形图、柱状图、折线图等不同形式的图表。此外，“生成报表”用例还可扩展出“保存报表”用例，即用户在生成报表后可以选择将报表保存，方便随时查看。
   本文转载自：http://www.biyezuopin.vip/onews.asp?id=15290
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   全套资料下载地址：https://download.csdn.net/download/sheziqiong/85604855

数据可视化是一项起源于计算机图形学、人工智能、科学可视化等领域的技术类型，它借助计算机对抽象信息，进行直观的表示，由此让信息展示更加方便，下面就让我们就大数据的理论及实现方式进行深入的交流。

我们所看到的可视化数据主要由数据空间、数据开发、数据分析、数据可视化四部分组成，由n维属性、m个元素构建多维信息空间，在辅助工具及算法的推演及计算下，实现对多维数据进行切片、块、旋转等动作剖析数据，再以图形图像的方式进行集中展现。表示，并利用数据分析和开发工具发现其中未知信息。

从技术上来说，大数据可视化的实现步骤也分为四个方面，分别是需求分析、建设数据仓库/数据集市模型、数据抽取、清洗、转换、加载(ETL)、建立可视化分析场景，接下来我们分别看看每个步骤的用途是什么。

1、需求分析，这是可视化数据项目开展的前提，要描述项目背景与目的、业务目标、业务范围、业务需求和功能需求等内容。

2、建设数据仓库/数据集市的模型，这是基于需求分析建立起来的，除了数据库的ER建模和关系建模，还包括专门针对数据仓库的维度建模技术。

3、数据抽取、清洗、转换、加载(ETL)，这一步骤则需要将数据从各个业务系统中抽离出来，由于数据质量的差异，因此需要不同的抽取程序，而清洗则是为了保证抽取的原数据的质量符合数据仓库/集市的要求并保持数据的一致性，而整个ETL过程的核心部分，主要是对原数据进行计算和放大。

4、建立可视化场景，建立可视化场景是对数据仓库/集市中的数据进行分析处理的成果，让数据更加精准、清晰。

上述便是关于数据可视化https://www.heihuoshi.cn/的一些相关内容，看到这你是否对这项技术有了更加深刻的了解呢？大数据的出现，其应用价值也在日趋提升。

目录

商业数据可视化分析目的和意义

经典案例

案例一：沃尔玛的啤酒+尿布     

案例二：总统选举投票可视化图表

商业数据可视化分析的流程和步骤

明确分析目的

数据获取

数据清洗

数据加工建模

数据可视化

发布报告

商业数据可视化分析的优点

商业数据可视化分析常用工具

EXCEL

EXCEL特点

PowerBi

下载网址

Power BI 特点

Tableau

下载网址

SQL

数据分析原理

商业数据可视化分析的现状和需求

---

商业数据可视化分析目的和意义

针对海量的数据进行分析后，就要使用最简单，最让人容易理解的形式表现分析的结果。所以可以通过数据可视化、图形化手段，来清晰有效地传达与沟通信息。

但是需要注意的是这并不意味着数据可视化就一定因为要实现其功能用途而使用看上去绚丽多彩但显得极端复杂的可视化图形。

为了有效地传达思想概念，可视化图形相关的美学与功能需要齐头并进，通过直观地传达关键的方面与特征，从而实现对丁稀疏而又复杂的数据集进行深入洞察和表现。

近几年来，随着信息产业以及信息技术的快速发展，人类生产的数据总量呈几何级数与日俱增。在当前的大数据时代和5G时代的环境下，不仅每日的数据量产生了爆发性的增长，数据处理技术也得到了突飞猛进的发展，这就让我们可以拥有发现及挖掘隐藏在海量数据背后信息，并将这些信息转化为知识及智慧的能力。（将数据转化为资源）

数据分析简单来说就是对某一数据进行详细的分析。而专业来说就是指用适当的统计分析方法对所收集来的大量数据进行分析，提取有用信息，从而形成结论并对数据加以更为详细的研究和概括总结。

案例一：

美团当前每日的订单量是约3000万单，拥有的骑手约为400万，商家多达620万家，覆盖了2800个市县，所以在每天的业务处理中产生大量的数据。

案例二：

数据分析的目的其实就是对人批杂乱无章的数据中进行信息的集中、萃取和提炼出来，以便找出所研究对象的内在规律。

在实用中，数据分析可帮助人们作出判断，以便采取适当行动。而且数据分析是有组织、有目的地进行数据收集和分析，使之成为有用信息的过程。

摩尔定律是由英特尔（Intel）创始人之一戈登·摩尔（Gordon Moore）提出来的。其内容为：当价格不变时，集成电路上可容纳的元器件的数目，约每隔18-24个月便会增加一倍，性能也将提升一倍。换言之，每一美元所能买到的电脑性能，将每隔18-24个月翻一倍以上。这一定律揭示了信息技术进步的速度。 尽管这种趋势已经持续了超过半个世纪，摩尔定律仍应该被认为是观测或推测，而不是一个物理或自然法。预计定律将持续到至少2015年或2020年。然而，2010年国际半导体技术发展路线图的更新增长已经放缓在2013年年底，之后的时间里晶体管数量密度预计只会每三年翻一番。

经典案例

案例一：沃尔玛的啤酒+尿布     

案例揭示

• 通过对数据仓库中海量的数据进行挖掘，得出了数据隐性但实际存在的内在规律。
• 通过对大数据应用数据分析技术，将看似不相关的商品数据放在起，找出内在关联性，进行有效策略制定,采用交叉营销的方式从而达到促进销量。 数据分析与挖掘

 “啤酒与尿布”的故事发生于20世纪90年代的美国沃尔玛超市中，沃尔玛的超市管理人员分析销售数据时发现了一个令人难于理解的现象：在某些特定的情况下，“啤酒”与“尿布”两件看上去毫无关系的商品会经常出现在同一个购物篮中，这种独特的销售现象引起了管理人员的注意，经过后续调查发现，这种现象出现在年轻的父亲身上。 在美国有婴儿的家庭中，一般是母亲在家中照看婴儿，年轻的父亲前去超市购买尿布。 父亲在购买尿布的同时，往往会顺便为自己购买啤酒，这样就会出现啤酒与尿布这两件看上去不相干的商品经常会出现在同一个购物篮的现象。 如果这个年轻的父亲在卖场只能买到两件商品之一，则他很有可能会放弃购物而到另一家商店， 直到可以一次同时买到啤酒与尿布为止。

当然"啤酒与尿布"的故事必须具有技术方面的支持。1993年美国学者Agrawal提出通过分析购物篮中的商品集合，从而找出商品之间关联关系的关联算法，并根据商品之间的关系，找出客户的购买行为。艾格拉沃从数学及计算机算法角度提 出了商品关联关系的计算方法–Aprior算法。沃尔玛从上个世纪 90 年代尝试将 Aprior 算 法引入到 POS机数据分析中，并获得了成功，于是产生了"啤酒与尿布"的故事。

案例二：总统选举投票可视化图表

案例揭示

通过对大量数据的有效分析，可以发现数据背后存在的事实真相与规律，然后利用可视化试图手段，显示出数据背后的规律，从而达到方便观察和分析效果，可为后期的发展指引准确的方向。  数据分析与可视化

商业数据可视化分析的流程和步骤

明确分析目的

明确分析目的是最关键的步骤。分析数据要发现隐藏在数据背后的不易发觉的真相，为后期的决策起到预测与协助决策的作用。

数据分析之后的一切工作都是围绕着这个目的来展开的，只有明确我们的分析目的，明确我们要解决什么问题，我们才能有针对性的去收集数据，解决问题。

1. 某电商平台上的商户预估今年双11的手机贴膜的销售数量？销售额？用店铺近三年数据来比较双十一的数据、近三年平台双十一的数据、今年新手机的发售量和价位、今年用户消费能力是否有影响
2. 某大型超市分析为何本季度的销售额下降了？
3. 员工经常能在每月的中旬、甚至上旬完成当月的业绩？是好？是坏？

数据获取

获取数据的途径：内部数据获取和外部数据获取。

数据清洗

数据清洗是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。数据清洗从名字上也看的出就是把“脏”的“洗掉”，指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为“脏数据”。

与数据源直接对接，是数据分析过程中最为繁琐和最耗时的一步，它几乎占用了数据分析的60%~80%的时间，做好数据清洗工作，形成好的数据源是数据分析的重要前提。数据清洗整个数据分析过程中最繁琐和耗时的工作。

清洗路径：

• 去除/补全有效缺失的数据
• 去除/修改格式和内容错误的数据
• 去除/修改逻辑错误的数据
• 去除不需要的数据

数据加工建模

数据建模指的是对现实世界各类数据的抽象组织。确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。将经过系统分析后抽象出来的概念模型转化为物理模型。

数据建模可以评估和度量组织如何管理进出数据库管理系统的数据流。由于它负责为数据创建所需的空间，因此数据建模是大数据项目中最重要的部分之一。数据建模为数据构建空间．并考虑与数据所在环境相关的因素。简而言之，数据建模是对组织内数据的管理。

数据建模还决定了数据应该如何处理，数据元之间如何连接，以及如何生成数据和未来数据将讲述什么故事。

考虑到数据建模对组织的影响，需要在数据收集过程的早期做出关于数据建模的决策。由组织决定每个数据集将讲述什么故事，为了让数据讲述完美的故事，需要对其进行建模以达到完美。

数据加工建模是数据分析过程中最具有技术含量的核心工作。建模加工分析是最能考察一个数据分析师的分析能力的步骤，对待同一份数据，不同的分析师会有着不同的见解，得出的结果也不尽相同，这不仅需要我们积累业务经验提高对数字的敏感度，同时也需要我们提高对工具的熟练度

数据可视化

数据可视化是一种关于数据视觉的表现形式技术。其中，这种数据的视觉表现形式被定义为：一种以某种概要形式抽提出来的信息，包括相应信息单位的各种属性和变量。

狭义上的数据可视化指的是将数据用统计图表方式呈现，用于传递信息。广义上的数据可视化是信息可视化其中一类，因为信息是包含了：数字和非数字的。从原词的解释来讲：数据可视化重点突出的是”可视化”。整体而言，可视化就是数据、信息以及科学等等多个领域图示化技术的统称。

数据可视化的目的就是直观地展现数据，例如让花费数小时甚至更久才能归纳的数据量，转化成一眼就能读懂的指标：通过加减乘除、各类公式权衡计算得到的两组数据差异，在图中通过颜色区分、长短大小的不同表现即能直观的形成对比；数据可视化是一个沟通复杂信息的强大武器。通过可视化，我们的大脑能更好地抓取和保存有效信息，增加对信息的印象。但如果数据可视化做的较弱，反而会带来负面效果；错误的表达往往会损害数据的传播，曲解和误导用户。

所以更需要我们多维的展现数据，而不仅仅是单一层面的数据展现。

数据可视化帮助我们更加直观、清楚的理解数据内在的含义，分析出其存在的规律，但我们需要遵循一条原则是：可视化的目的是让我们能更加容易的理解数据，因此，并不是越复杂的图形就越好。

• 研究对象及其特点：包括空间、非空间等各种类型的大数据。
• 研究目的：将无意义的数据以含义丰富的形式表现出来，便于人们理解或提供启发、挖掘规律的可能。
• 主要技术及表达方式：计算机图形、图像
• 交互类型：人机交互

发布报告

在实际项目中，最终需要对数据的分析与生成的可视化图形撰写书面报告。报告的大致格式可以为：报告标题、文档目录、分析背景、项目说明、分析思路、结论建议、分析主体和附录。

进行汇报时，为了让报告更吸引人，绝大多数可视化故事会以某类问题作为开场，引导汇报对象进入某个主题或者场景中，在该主题或场景中，数据所蕴含的意义最为丰富。这种引导方式可以是显式的，也可以是隐式的，但是他的场景必须清晰明确。作为开场白的问题包含来该故事的前提和引言。

数据分析报告主要有三个方面的作用，即展示分析结果、验证分析质量，以及为决策者提供参考依据。

数据分析报告的原则:

• 规范性:数据分析报告中所使用的名词术语一定要规范，标准统一， 前后一致。要与业内公认的术语一致。
• 重要性：数据分析报告一定要体现数据分析的重点，在各项数据分析中，应该重点选取关键指标，科学专业进行分析，此外，针对同类问题， 其分析结果也应当按照问题重要性的高低来分级阐述。
• 谨慎性：数据分析报告的编制过程一定要谨慎，基础数据必须真实、完整，分析过程必须科学、合理，分析结果要可靠，内容要实事求是。
• 创新性：当今科学技术的发展可谓日新月异，许多科学家也都提出各种新的研究模型或者分析方法。数据分析报告需要适时地引入这些内容，一 方面可以用实际结果来验证或改进它们，另一方面也可以让更多的人了解到全新的科研成果，使其发扬光大。

商业数据可视化分析的优点

可以更加直观的参考数据

对于用户来说并不关心数据的采集以及计算方式等,直接给出用户想要的数据并且以最简单的视图呈现出来才是最实用的。

可以帮助用户使用数据

—直以来数据都是存在的，也同时被人们使用，比如很多企业都会收集数据以表格的形式来呈现，而静态繁项的数据往往让用户的使用体验降低，很多人看到密密麻麻的数据就开始头痛，而数据可视化是动态的，直接提供用户需要的数据，而不是囫囵吞枣般都呈现出来。

可以更好的寻找关系

比如使用同样的数据可以找出某个数据y与全部的数据变化以及局部的数据变化，而当这些数据以最简单的方式呈现出来之后，我们还可以看到全部和局部的关系，而这也是使用数据可视化工具的好处之一。

总之：数据可视化在数据分析中发挥着重要的作用。

一方面，人脑对视觉信息的处理要比书面信息容易得多。使用图表来总结复杂的数据，可以确保对关系的理解要比那些混乱的报告或电了表格更快。所以说，数据可视化是一种非常清晰的沟通方式，使业务领导者能够更快地理解和处理他们的信息。

另一方面，可以用建设性方式讨论结果。一般来说，当我们向高级管理人员提交许多业务报告的时候，都是规范化的文档，这些文档经常被静态表格和各种图表类型所夸大。也正是因为它制作的太过于详细了，以致于那些高管人员也没办法记住这些内容，因此对于他们来说是不需要看到太详细的信息。而使用可视化的工具报告就可以使我们能够用一些简短的图形就能体现那些复杂信息，甚至单个图形也能做到。决策者可以通过交互元素，轻松地解释各种不同的数据源。丰富并有意义的图形有助于让忙碌的主管和业务伙伴了解问题和对未来计划进行决策。

商业数据可视化分析常用工具

EXCEL

Microsoft Excel 是Microsoft 为使用Windows 和Apple Macintosh 操作系统的电脑编写的一款电子表格软件。直观的界面、出色的计算功能和图表工具，再加上成功的市场营销，使Excel 成为最流行的个人计算机数据处理软件。

Excel 还是处理数据的经典工具，即便是在各种高级数据分析软件大行其道的今天，绝大部分数据分析项目仍然能用 Excel 解决，而且学起来也比较容易。大多数人都在用的功能有：表格格式和SUM/AVERAGE/VLOOKUP 等常用函数，进阶的功能有：VBA语言、数组公式、应用技巧与高级函数等。

EXCEL特点

√ 使用熟悉

√ 基本能满足个人或者中小企业的日常工作要用

× 处理几十兆或者百万行数据时，容易出现崩溃或者卡顿

x 数据图形相对简单，修改相对而言较复杂

PowerBi

Power BI 是微软最新的商业智能（BI）概念，它包含了一系列的组件和工具。

Power BI 就是一个数据分析工具，它能实现数据分析的所有流程，包括对数据的获取、清洗、建模和可视化展示，从而来帮助个人或企业来对数据进行分析，用数据驱动业务，做出正确的决策。

下载网址

下载 | Microsoft Power BI

Power BI 特点

√ 数据处理能力强

√ 软件更新迭代快，几乎每月都有更新

√ 软件免费

√ 可实现交互式多角度分析数据

√ 进行分享，在手机或平板等移动端方便阅读

Tableau

Tableau Software 致力于帮助人们查看并理解数据。Tableau 帮助任何人快速分析、可视化并分享信息。超过42,000 家客户通过使用Tableau 在办公室或随时随地快速获得结果。数以万计的用户使用Tableau Public 在博客与网站中分享数据。

Tableau 是桌面系统中比较简单的商业智能工具软件，Tableau 没有强迫用户编写自定义代码，新的控制台也可完全自定义配置。在控制台上，不仅能够监测信息，而且还提供完整的分析能力。Tableau 控制台灵活，具有高度的动态性。

Tableau 将数据运算与美观的图表完美地嫁接在一起。程序比较容易上手，各公司可以用它将大量数据拖放到数字“画布”上，转眼间就能创建好各种图表。这一软件的理念是,界面上的数据越容易操控,公司对自己在所在业务领域里的所作所为到底是正确还是错误，就能了解得越透彻。

下载网址

商业智能和分析软件 (tableau.com)

SQL

结构化查询语言是高级的非过程化编程语言，允许用户在高层数据结构上工作。它不要求用户指定对数据的存放方法，也不需要用广了解具体的数据存放方式，所以具有完全不同底层结构的不同数据库系统。可以使用相同的结构化查询语言作为数据输入与管理的接口。结构化查询语言语句可以嵌套，这使它具有极大的灵活性和强大的功能。

数据分析原理

我们要做好商业数据的可视化分析工作，就需要做好对数据的分析建模工作，而做好数据分析建模的前提就是要真正懂得数据分析的原理。

第一步：对相关的数据表进行分类。根据数据表的信息，整理出维度表。我们对行数据分析都是结合不同的维度来进行分析的。

第二步：建立度量值。整理出维度表后，要建立度量值（就是数据分析时经常说到的指标，如销售量、销售额、顾客数量等)

第三步：进行比较。

• 不同维度的同一度量值的比较(现实中95%属于这一类)。如不同门店某一产品的销售量的比较。
• 同一维度的两个不同度量值的比较(该比较类型比较少见)。如分析顾客数量与门店数量的关系。

第四步：发现解决问题。

总结：数据分析的原理就是从获取的数据中分清楚类别和度量值，然后进行组合比较，最后发现并回答问题。

商业数据可视化分析的现状和需求

现状是：财务、人力资源管理、运营、营销，生产制造相关人员都会和数据打交道，所以数据分析处理应当是现代职业人员应当具备的一项技能。

这是一个用数据说话的时代，也是一个依靠数据竞争的时代。目前世界500强企业中，几乎所有的公司都建立了数据分析部门。IBM、微软、Google、阿里巴巴等知名公司都积极投资数据业务，建立数据部门，培养数据分析团队。各国政府和越来越多的企业意识到数据和信息已经成为企业的智力资产和资源，数据的分析和处理能力正在成为日益倚重的技术手段。