精华内容
下载资源
问答
  • ❝前沿:最近有需求开始接触数据可视化的开发,前期调研和体验了国内家比较大的数据可视化解决方案提供商,并对开发中会涉及到一些工具做了筛选,经常在社区看到有小伙伴反馈相关方面的需求,于是借...

    前沿:最近有需求开始接触数据可视化的开发,前期调研和体验了国内几家比较大的数据可视化解决方案提供商,并对开发中会涉及到一些工具做了筛选,经常在社区看到有小伙伴反馈相关方面的需求,于是借此机会把我整理的一些工具分享出来,后期开发完成再针对整个过程中的心得体会进行分享

    1.前期调研

    开发前,大概先参考下国内现有优秀的数据大屏解决方案提供商,知道如下几个

    • 阿里云(DataV)文档链接

    • 网易有数(EasyScreen)文档链接

    • 腾讯云(腾讯云图)文档链接

    不过这几家厂商都是付费版本,唯独阿里云和网易有数还有个15天的免费试用体验时间

    2.功能解剖

    通过前期调研,大概梳理了一个简单的数据大屏可视化编辑所需要的功能包括如下几点

    3.工具推荐

    针对功能解剖后,拆解涉及的功能模块,不同模块中涉及到比如图表、拖拽、收缩放大、代码编辑器、图片导出、grid布局、动态表单等功能,如果你的前端团队比较小,无法独立去开发涉及到的这些功能模块,可以通过使用社区现有的成熟的开源工具来解决这些问题,避免重复造轮子

    3.1 Antv

    官方介绍:AntV 是蚂蚁金服全新一代数据可视化解决方案,致力于提供一套简单方便、专业可靠、无限可能的数据可视化最佳实践。官网链接 数据大屏开发中,可用于做组件控件区如饼图、环型图等的渲染

    Antv的产品线很多,我主要用的是G2Plot 开箱即用的图表库,简单易用,而且蚂蚁金服家的ChartCube 图表魔方也用的是G2Plot,主要借Antv来在线制作图,并快速生成code ChartCube官方链接

    3.2 Codemirror

    Codemirror是一个在线代码编辑器工具,能够实时在线代码高亮显示,而且许多社区很火的在线代码编辑器也是基于Codemirror开发的,数据大屏开发中,可用于做数据源的管理,支持在线编辑代码 官网链接

    也有开发者在原先基础上封装了vue和react版本的

    • vue-codemirror :文档链接

    • react-codemirror:文档链接

    如果是配置json数据源还可以用

    • jsoneditor:文档链接

    3.3 Vue.Draggable(Sortable.js)

    官方介绍:Vue.Draggable是基于 Sortable.js 的 Vue 拖放组件。它允许拖放和视图同步,基于并提供 Sortable.js 的所有功能,数据大屏开发中,可用于做控件拖拉功能,将不同控件的拖拉到画布中形成大屏。文档链接

    如果你不想用工具库,你也可以直接在H5的DragDrop API基础上开发,直接在要拖拽的元素上将draggable属性设置为true即可  文档链接

    3.4 vue-draggable-resizable

    vue-draggable-resizable组件用于可调整大小和可拖动的元素,且没有第三方库依赖。数据大屏开发中,可用于做画布中组件大小的调整。文档链接

    3.5 vue-grid-layout

    官方介绍:vue-grid-layout是一个类似于Gridster的栅格布局系统, 适用于Vue.js。灵感源自于 React-Grid-Layout,简单说就是一个vue栅格拖动布局的组件,用来实现可以拖拽的vue布局。数据大屏开发中,可用于画布中组件的布局。文档链接

    3.6 html2canvas

    html2canvas 可以轻松地帮你将HTML代码转换成Canvas,数据大屏开发中,可用于做大屏的图片生成,通过静态图片生成来分享数据。文档链接

    3.7 vcolorpicker

    vcolorpicker是vue颜色选择器组件,是仿照Angular的color-picker插件开发的 在数据大屏开发中,可用于做背景色等进行颜色选择 文档链接

    不过还是建议使用第三方组件库的颜色选择器,比如element组件库的ColorPicker,用户体验更佳

    3.8 vue-form-maker

    vue-form-maker是Vue动态生成表单组件,可以根据数据配置表单,不过使用的UI库是iView,当然你可以根据你使用的组件库进行修改。数据大屏开发中,可用于组件区的基本属性等表单的动态生成文档链接

    你也可以参考之前????酱的从0到1开发动态表单

    4.文章彩蛋

    之前刚上掘金lv4的时候,有小伙伴就调侃树酱说,“树酱君,你要“女装”呀”(啊呆你看你带的好节奏),树酱我这一个180的大壮汉女装是见不得人的,还是不要玷污社区这一片净土。于是我换一种文明点的形式,树酱君一直很喜欢音乐,平时唱歌????也是我生活中不可缺少的一种乐趣,一首周杰伦的《我是如此相信》(快手网页版)送给各位支持我的小伙伴????

    展开全文
  • pandas 筛选数据同时满足多条件

    万次阅读 2018-07-13 17:38:11
    # 筛选排名前10的最多产的导演的 电影数据 top10_dire_movies = df_dire[df_dire[ 'dire' ].isin(top10_dire.index)] top10_dire_movies ## 错误用法:使用in逻辑判断。 要用.isin()方法 df_dire[df_dire[ 'dire...
    top10_dire = df_dire.groupby('dire').id.agg('count').sort_values(ascending=False)[:10]
    ## top10_dire
    dire
    Woody Allen          46
    Clint Eastwood       34
    Martin Scorsese      31
    Steven Spielberg     30
    Steven Soderbergh    23
    Ridley Scott         23
    Ron Howard           22
    Joel Schumacher      21
    Brian De Palma       20
    Tim Burton           20
    Name: id, dtype: int64
    
    # 筛选排名前10的最多产的导演的 电影数据
    top10_dire_movies = df_dire[df_dire['dire'].isin(top10_dire.index)]
    top10_dire_movies
    
    ## 错误用法:使用in逻辑判断。 要用.isin()方法
    df_dire[df_dire['dire'] in top10_dire.index]
    展开全文
  • 网络爬虫采集数据几个问题

    千次阅读 2015-01-06 22:08:31
    网络爬虫采集数据遇到的几个问题


    最近在做网络爬虫抓取数据,遇到几个重要问题,记录下来,以免忘记。

    目前用的是第三方开源爬虫框架webmagic,所以暂时记录下来的不是爬虫实现和结构上的问题,而主要是在此框架上的逻辑开发问题。


    1.要采集的数据在不同的页面上

            比如,采集网站http://down.7po.com/上的应用,在应用列表页面有应用的id等信息,而此应用的详细页面没有列表页面的这些字段信息,那么就要从列表页面和详细页面中取出字段然后再合成一个应用的整体数据。对这个问题,比较直接的思路是,可以将先取出的一部分数据存放在自定义实体,存入数据缓存(比如redis内存数据库),取到另一部分数据时从缓存中匹配读取原来已有的一部分,合并。在个别情况下,可能出现数据不完整的情况,要注意对合并后的数据进行完整性校验。


    2.页面元素的抽取和数据的筛选过滤

            要抽取页面上的标签元素常使用xpath,Jsoup(包含css选择器等),正则表达式进行抽取。对标签内的数据的筛选过滤可用正则表达式,一些对字符串的操作工具(比如google guava的CharMatcher类,Splitter类等)筛选。使用正则会看起来更美观些。期间我遇到情况有:信息藏在利用工具获取的xpath节点的父节点、信息做了简单防抓取截断甚至js等处理……这些情况可以仔细分析网页源码加以针对解决。


    3.html返回后通过js动态获取数据,造成爬取不到目标数据(前端渲染页面问题)

             对于这个问题,webmagic官方文档中提出了两种思路:(具体可参考webmagic框架中的这个问题的说明和处理http://webmagic.io/docs/zh/posts/chx-cases/js-render-page.html)

    1. 在抓取阶段,在爬虫中内置一个浏览器内核,执行js渲染页面后,再抓取。这方面对应的工具有SeleniumHtmlUnit或者PhantomJs。但是这些工具都存在一定的效率问题,同时也不是那么稳定。好处是编写规则同静态页面一样。
    2. 因为js渲染页面的数据也是从后端拿到,而且基本上都是AJAX获取,所以分析AJAX请求,找到对应数据的请求,也是比较可行的做法。而且相对于页面样式,这种接口变化可能性更小。缺点就是找到这个请求,并进行模拟,是一个相对困难的过程,也需要相对多的分析经验。

    4.下载html文件失败
             用爬虫抓取数据经常出现网络不稳定导致极个别的页面下载不下来 ,针对这个问题,可采取的做法是延长下载请求的超时时间,同时将失败的url根据设定的次数决定是否重新放入url队列中重新爬取


    展开全文
  • Excel如何同时查找多个数据

    万次阅读 2018-09-02 16:45:26
    在使用多excel表的时候,有时需要在一表中查找...所有新生的数据都在一统一的大的表格sheet1中,表中数据主要有以下项 校区 楼栋 房间 床位 收费标准 性别 学号 姓名     ...

    在使用多个excel表的时候,有时需要在一个表中查找另一个表中的某些信息,怎样能一步到位,将所有要查找的信息一次找出来而不是一个个的Ctrl+F?

    这是前几天帮辅导员老师统计新生的数据时遇到的问题。

    所有新生的数据都在一个统一的大的表格sheet1中,表中数据主要有以下几项

    校区楼栋房间床位收费标准性别学号姓名
            

    而他要从这个大的表格中把他要管理的班级的新生的楼栋房间找出来,而他自己的表中只有新生的姓名,所以问题就是如何快速的从原来的大表中按姓名进行查找得到这些新生的信息。

    你当然可以一个一个的ctrl+c,ctrl+f,ctrl+v,但是难道你不想一下子就全部把他们找出来吗,我就觉得一个个找太麻烦了。

    我在网上查了很多方法,感觉虽然方法都是对的,但是表达的乱七八糟。在终于弄懂了之后,我决定自己写一个,省的以后忘了还要看半天才懂。

    第一种方法就是excel的高级筛选功能。

    第一步,在原有表格的基础上再添加一列姓名列,如图

    第二步,把要查找的人的姓名复制粘贴到第 I 列(新添加的那一列)

    第三步,选中A:H区域,点击高级筛选,弹出对话框

    第四步是最关键一步,就是选定条件区域,要把第 I 列的数据以及最上面的“姓名”全部选中(也就是要把第一行的 I1 选中,否则结果是空白的)

    点击确定之后,这些人的信息就出来了。

    第二种方法,使用vlookup函数

    第一步是最关键的一步,如果你是按姓名查找的,你需要把姓名这一列剪切后放到第一列

    第二步,和第一种方法一样,将你要查找的姓名复制粘贴到原表后

    第三步,在第j列的第2行(即J2)处输入公式=VLOOKUP(I2,A:H,3,0)

    公式中 I2 表示要查找的姓名,A:H表示要在A:H这片区域中查找,最关键的数字3表示从查找区域的第一列也就是A列向右数的第三列,也就是C列中的数据。按回车见后J2中的数据就是你要查找的人所在的楼栋,如果将3改为4,则输出的是他的房间号

    第四步就是对j2的数据下拉,这个大家应该都懂。

    虽然网上有很多关于vlookup的解释,但时我按他们的方法写了之后,得到的基本上都是乱七八糟的符号,我想可能是和第一步有关,虽然我也不太清楚这函数具体是如何做的。但是将要查找的数据放在头一列之后在进行查找就能得到正确的结果了。

    展开全文
  • 数据透视表的几个技巧

    千次阅读 2020-04-07 11:14:55
    作者:iamlaosong Excel的数据透视表经常用来进行统计分析。日常工作中常常是做好...正常情况下,生成数据透视表的时候,数据源是源表的一范围,即:邮件!$A$2:$Q$12113,实际工作中数据源的行数是变化的,这样...
  • 有趣的筛选京东评价:今天在工作中遇到了一个筛选和去重问题,饶有兴致祭出Mac,三两指令搞定了去重复筛选问题,回到家中意犹未尽,决定总结一下这些年使用bash做数据筛选和去重的经验。使用京东的数据作为例子,...
  • Dataframe筛选数据

    千次阅读 2017-09-24 21:28:28
    今天还是用到了DataFrame,如果你用一下它的筛选数据的功能,你会大吃一惊,它非常擅长筛选数据,可以极大提高你的工作效率,废话不多说,下面看看几个进行复杂数据筛选的例子。 首先我们创建一个DataFrame,...
  • 效果展示: 代码: 单独对每个数据项进行配置, 如果显示数据则设置label的show为true series: [{ data: [{ value:9, label:{ show:false }, },{ value:20, label:{ ...
  • select to_char(sysdate-interval'6'month,'yyyy-mm-dd') from dual;选择前六月的日期 select to_char(sysdate+interval'6'month,'yyyy-mm-dd') from dual;选择后六月的日期
  • js_几个下拉框组合成筛选条件

    千次阅读 2017-12-12 11:11:59
    我负责实现的一个小任务是在几个下拉框中确定筛选条件,然后组合一下,去后台根据筛选条件拿到数据,再返回到前端,展示出来。具体来说就是下图这样: 3个条件是3个下拉框,在下拉框里面可选择一个值,比如条件1...
  • 数据分析表达式(DAX)--几个常用函数DAX表达式:Power Pivot的特有函数集DAX思考逻辑常用函数SWITCH 函数FILTER 函数CALCULATE 函数ALL 函数SUM 函数RELATED 函数示例 DAX表达式:Power Pivot的特有函数集 DAX...
  • ADNI数据几个使用小技巧 【1】

    千次阅读 热门讨论 2019-06-27 15:28:47
    这里写自定义目录标题ADNI数据集首先要注册其次要下载数据,弄清楚是下载raw数据,还是processed数据 ADNI数据集 ADNI数据集乍一看,都是...若是只是想查找raw数据,可以选择第一,如下: 我看我们实验室的小伙...
  • SQL 将多通过筛选得到的数据相加

    千次阅读 2020-06-12 15:58:01
    要将多通过筛选得到的数据相加 数据库的表,对这张表进行查询、筛选等操作 pwr_1>0同时pwr_2>pwr_1,将pwr的和输出。值578 select case when sum(pwr) is not null then SUM(pwr) else 0 end from ...
  • django 筛选数据

    千次阅读 2017-06-17 14:14:32
    在网页上有很多的数据 ,我们不可能把所有的数据都查询出来,影响客户查询数据,所以我们就要把数据进行分类,客户可以根据分类,筛选他们想要的数据. 1 首先需要在models 中设置一多选字段 ORG_CATEGORY=( ...
  • 数据预处理:变量筛选和变换

    千次阅读 2018-09-19 14:21:27
    比如就像提取其中几个变量,或者想删除一些变量,还有就是某一个变量根据内容的一些简单筛选和变换。 1、选择部分变量 首先我们看下数据结构 定义一个x_col2来存储需要用到的变量名称 2、删除部分变量 如果我们要...
  •  数据预处理的目的就是把数据组织成一标准的形式。 1.归一化  归一化通常采用两种方法。  a.最简单的归一化,最大最小值映射法  P_New=(P-MI)/(MA-MI)  P是原始数据,MI是这一属性中的最小值,MA是...
  • Excel中的数据筛选和高级筛选

    千次阅读 2018-12-20 15:07:40
    转载自 ...nbsp; Excel中提供了自动筛选(包括数字筛选、文本筛选和自定义筛选)、和高级筛选两种数据筛选操作。 Excel会根据数据类型来自动判断显示数字筛选或文本筛选...
  • 我们讨论如下几个主题: 一、聚集 二、抽样 三、维归约(降维) 四、特征子集 五、特征创建 六、离散化和二元化 七、变量变换 粗略地说,我们要探讨的问题分类:对数据的分析和对数据属性的创建/修改。 ...
  • cartParams () { // 数组对像 let carts = [] ... { // 循环数组对象对每个数据进行处理 返回需要得数据 carts.push({ sku: item.productSn, quantity: item.quantity, type: item.type, cartId: item.i...
  • 一、背景 一张person表,有id和name的两字段,id是唯一的不允许重复,id相同则认为是重复的记录。二、解决 select id from group by id having count(*) > 1 按照id分组并计数,某个id号那一组的数量...
  • DataView 数据筛选

    千次阅读 热门讨论 2014-02-13 11:01:41
    数据筛选,种类无非两种,筛选有用去除重复或无用。 在以前做项目中遇到一问题,就是获取DataTable中某一列的值,因为从数据库中检索数据时,按照2字段进行分组,而要获得的那一列刚好在分组这两列中,所以该列...
  • 数据分析-Excel导入及筛选数据

    千次阅读 2019-07-09 22:48:44
    1.导入数据 1.1 导入外部网页上的数据 通常导入外部网站的数据时,可以先将数据下载到本地,然后在用excel打开该文件。下面介绍一种新的方法,直接将外部数导入到excel文件中。假如我们要导入如下网页中的数据:...
  • Python中pandas.Dataframe数据筛选

    万次阅读 2018-11-23 16:28:03
    Dataframe可以实现强大的数据筛选功能,下面简单句几个例子: # 创建一个Dataframe: >>>import pandas as pd >
  • create table student(id number primary key,name varchar2(20),gender varchar2(2)); 创建表student,包含两主要字段name 和gender. 插入数据。 ID NAME GENDER
  • ![图片说明](https://img-ask.csdn.net/upload/201803/02/1519966936_581903.png)![![图片说明](https://img-ask.csdn.net/upload/201803/02/1519966424_539301.png)图片说明]...
  • excel如何对数据进行多字段同时排序、多条件组合和多条件筛选呢如图所示 【解决方法,教程视频资料如下】 本教程视频资料来源:http://edu.51cto.com/course/15404.html 完整博客资料:...
  • Py之pandas:利用isin函数对dataframe格式数据按照多字段的条件筛选 目录 利用isin函数对dataframe格式数据按照多字段的条件筛选 代码设计 输出结果 利用isin函数对dataframe格式数据按照...
  • sql 语句 筛选数据

    千次阅读 2018-03-27 18:32:44
    sql 语句 筛选数据 数据量较大,批量筛选: len 表示长度,一汉字,一字母都占1长度 不包含 查询 字段中不包含 中文汉字的 where [CUSTOMER_NAME1] not like '%[吖-座]%' LIKE ‘%[^0-9]%’ WHERE model...
  • Excel 高级筛选实现多条件筛选数据

    千次阅读 2019-12-25 16:41:36
    实际场景: 需要在百张表中筛选出需要更新的表结构的十张表,如果使用普通筛选方式只能一次次筛选复制,重复操作! So,这时候就需要excel的高级筛选功能来大展身手了。 但是这时候会遇到最大的阻碍...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 169,772
精华内容 67,908
关键字:

如何同时筛选几个数据