如果数据(y)呈现左偏时,采取标准化的方式是(xi-中位数)/四分位距,这是一种稳健的标准化方式,其中Xi表示样本数据中的变量,大写是区分下角表i而已
如果数据(y)呈现左偏时,采取标准化的方式是(xi-中位数)/四分位距,这是一种稳健的标准化方式,其中Xi表示样本数据中的变量,大写是区分下角表i而已
转载于:https://www.cnblogs.com/dmdoge/p/5475370.html
数据可视化有什么作用?
数据可视化的实际意义是协助人更强的剖析数据,信息的品质非常大水平上取决于其表达形式。对数据列举所构成的数据中所包括的实际意义开展剖析,使剖析結果数据可视化。实际上数据可视化的实质便是视觉效果会话。数据可视化将技术性与造型艺术极致融合,依靠图形界面的方式,清楚合理地传递与沟通交流信息。一方面,数据授予数据可视化以使用价值;另一方面,数据可视化提升数据的灵气,二者紧密联系,协助公司从信息中获取专业知识、从专业知识中获得使用价值。精心策划的图型不但能够形象生动的展示信息,还能够根据强劲的展现方法提高信息的知名度,吸引住大家的专注力并使其维持兴趣爱好,它是报表或excel表没法实现的。
数据可视化呈现方式有哪些?
有关数据可视化的界定有很多,像百科的界定是:数据可视化,是有关数据视觉效果表达形式的科技进步科学研究。在其中,这类数据的视觉效果表达形式被界定为,一种以某类概述方式抽提出去的信息,包含相对信息企业的各种各样特性和自变量。这类界定很有可能看起来较为比较难懂。在大数据分析工具和手机软件中提及的数据可视化,便是运用应用电子计算机图象处理、图象、人机交互技术等技术性,将收集或仿真模拟的数据投射为可鉴别的图型、图象。
数据可视化呈现方式有哪些?
数据可视化有诸多展现方法,不一样的数据种类要挑选合适的展现方式。像Smartbi数据可视化工具就内嵌了丰富多彩的数据图表,除开常见的的柱形图、条状图、条形图、面积图、饼状图、点图、车内仪表盘、走势图表外,也有和弦图、圈饼状图、金字塔式、漏斗图、K线图、关系网、网络图、玫瑰图、帕累托图、公式图、预测分析趋势图、正态分布图、迷你图、行政部门地图、GIS地图等各种各样展现方式。
Smartbi还集成了百度Echarts 4.0作为基础图形控件,提供柱状图、散点图、饼图、雷达图等几十种动态交互的图形,并支持3D动态图形效果,如3D航线图、3D散点图、3D柱图用于数据可视化展示。同时集成3D支持集成其他的HTML5图形控件。
企业数据中往往包含有丰富的地理信息,这些带有“地域性”或“区域性”特征的信息往往对企业管理的提升带来重大的影响。因此,Smartbi内置地图引擎,提供地图分析功能,并支持Echarts地图、百度地图。
借助于地理信息技术,地图分析功能让用户非常直观地监控不同地区的业务发展和绩效情况。地图区域采用不同颜色进行显示、或在地图区域上放置不同颜色的旗帜,决策层可以清楚了解企业的战略执行,并通过在地图上实现下钻操作及联动图形,探索问题的根源,增强洞察力。
Smartbi V9 在原有染色地图类型的基础上,加入了全新的动态图表!如航线地图、热力地图、泡泡地图及散点地图。
此外,地图分析还内嵌了百度地图,用户可以快速制作基于精确地理坐标信息(如经纬度)的数据地图:
对于国内数据分析市场,我们感觉如下:
1. 市场巨大。
许多企业(无论是互联网的新锐还是传统的企业)都在讨论这个,也有实际的需求并愿意为此付钱,但是比较零碎尚不系统化。目前对数据需求最强烈的行业依此是:金融机构(从基金到银行到保险公司到P2P公司),以广告投放及电商为代表的互联网企业等。
2. 尚没出现平台级公司的模式(这或许往往是大市场或者大机会出现之前的混沌期)。
3. To B服务的氛围在国内尚没完全形成。
对于一些有能力的技术公司,如果数据需求强烈的话,考虑到自身能力的健全以及数据安全性,往往不会外包或者采用外部模块,而倾向于自建这块业务。
4. 未来BAT及京东、58和滴滴打车等企业,凭借其自身产生的海量数据,必然是数据领域的大玩家。
但是整个行业很大而且需求旺盛,即使没有留给创业公司出现平台级巨型企业的机会,也将留出各种各样的细分市场机会让大家可以获得自己的领地。
对于数据业务,按照我们的理解,简单将其分为三块:数据沉淀、挖掘和可视化,每一块分别对应不同的模式及产品或服务。(数据挖掘业务又被细分为分析、理解及存储。)下面会进行简单介绍,其实从我们的业务也可以看到一些整个行业的大致状况。
数据沉淀
用大白话说就是数据抓取。目前有四大方式获取数据 :
1. 网络爬虫
用Python及Go等开发自己的爬虫平台,对几十个网站进行每日抓取获得相关信息 (详见: 能利用爬虫技术做到哪些很酷很有趣很有用的事情? - 何明科的回答 )
2. Wi-Fi接入方案
比如我们自己就开发了一套完整的软硬件方案,优势是高ROI(投资回报比),且免费提供给物业管理者,帮助其实现靠网费赚钱以及推广费赚钱。在与其协商的基础上,获得用户数据。这主要是OpenWRT的开发以及一些智能硬件和客户端的开发。
3. 提供一些图像方面的API,进行图片搜索及人脸搜索,满足客户在图像处理和图像识别方面的一些需求,同时获取相关的图像数据。涉及到一些Machine Learning和Deep Learning的算法,使用C++/Open CV/Matlab等工具或模块。
4. 数据服务需求方自行提供。
这部分是按照数据销售的方式向客户收费。
数据挖掘
用大白话说,就是利用数据分析产生深层次有价值的理解。
基于以上各种方式获得的数据,我们可以做最简单的统计分析、用户及品牌理解、用户画像、各品牌或各产品型号之间的关系等等,了解现在和历史并争取预测未来。
常用的工具是Python/R/SPSS等,算法包括最简单的统计、稍微复杂一些的Machine Learning、现在被捧上天的Deep Learning以及Collaborative Filtering等等,也需要使用到Hive等大数据处理平台。
这部分类似于咨询服务,向有需求的客户按照项目收费。
数据呈现
用大白话说,就是把分析结果用最美观和最容易理解的方式(图标或者图形)展现出来。
目前,行业大概有几种玩法。
网站(兼容PC端和移动端):提供给付费的B端客户,不对外公开,大致形式如下:
开专栏和做公众号:都是纯免费的,将一些不敏感的数据和分析分享出去,攒人品赚口碑。
提供一个SaaS的公有云平台,方便大家把自己的数据制作成为便于在网上特别是移动端传播的图文报表。[大数据魔方]产品的逻辑很简单:读数读图的需求越来越强烈,但是却缺乏这样的工具或者平台来制作图文并茂的内容,即使是Excel,也不能制作出适合于网络传播的图文内容。
常使用的技术是JS+Node.JS+MongoDB等等。
第一篇是安装部署方面的,点这里
整体逻辑是这样的:
官网的例子过于简单,每个功能都是分开的。这里把完整的逻辑实现了,包括:逻辑界面分离,自定义widget,matplotlib数据绘制,matplotlib figure作为widget嵌入pyqt5窗口,信号/槽关联及调用事件处理程序。
以下代码只是关键语句,非完整代码。完整代码点这里下载
# Ui_MainWindow 位于UI.py,由ui.ui转化过来的,一般来说不需要做修改
class Ui_MainWindow(object):
def setupUi(self, MainWindow):
'''
MainWindow是强制参数,不需要显式传递
这里省略n行代码
'''
#重点看这里,这部分也是自动生成的:
self.retranslateUi(MainWindow) #这个函数用于关联转化空间名字
# 在ui设计过程中建wid_locate这个widget,这里关联信号及槽,self.wid_locate.clicked是信号源,MainWindow.locate是槽,也就是我们的event_handler
self.wid_locate.clicked.connect(MainWindow.locate)
QtCore.QMetaObject.connectSlotsByName(MainWindow)
# 另建一个py文件,自定义业务逻辑实现类,同时继承界面的Ui_MainWindow,实现了业务、界面分离
class Mainwindow(QtWidgets.QMainWindow,Ui_MainWindow):
"""
gui业务逻辑模块
"""
def __init__(self):
super(Mainwindow, self).__init__()
# UI 文件中Ui_MainWindow类的初始化
self.setupUi(self)
# 加载处理好的要绘制的数据
polygons_plot = pd.read_csv(path, encoding='gbk')
adj_all = polygons_plot.polygon
vor_poly = geo.geojson_combine(adj_all)
# 实例化自定义的widget,并绘制数据
canvas = DemoFigureCanvas()
canvas.axes.add_patch(PolygonPatch(vor_poly, fc='w', ec='m', alpha=1, zorder=1, lw=2))
canvas.axes.set_xlim(121.25, 121.45)
canvas.axes.set_ylim(31.419, 31.439)
# 加载自定义widget到ui设置中预留的 layout框架中
self.layout_map.addWidget(canvas)
self.addToolBar(NavigationToolbar(canvas, self))
# 事件处理代码
def locate(self):
"""处理ui设计中做好的事件
"""
print('locate')
class DemoFigureCanvas(FigureCanvas):
"""自定义widget,实现数据的plot
继承自matplotlib的FigureCanvas
"""
def __init__(self, parent=None):
fig = Figure(linewidth=1) # 创建一个Figure,为matplotlib下的figure,不是matplotlib.pyplot下面的figure
self.axes = fig.subplots()
FigureCanvas.__init__(self, fig)
self.setParent(parent)
FigureCanvas.setSizePolicy(self, QtWidgets.QSizePolicy.Expanding, QtWidgets.QSizePolicy.Expanding)
FigureCanvas.updateGeometry(self)
if __name__ == '__main__':
app = QtWidgets.QApplication(sys.argv)
win=Mainwindow() # 实例化之前定义的窗口类
win.show()
sys.exit(app.exec_())