精华内容
下载资源
问答
  • Android获取onenet的平台数据之数据获取

    万次阅读 热门讨论 2020-10-13 17:19:32
    Android获取onenet的平台数据之数据获取篇 接着上面的步骤,这时候我们已经成功获取onenet平台上面的API了,那么剩下的步骤就是怎么通过写代码从而调用API实现数据的实时查看和发送命令 import android.graphics....

    Android获取onenet的平台数据之数据获取篇

    接着上面的步骤,这时候我们已经成功获取onenet平台上面的API了,那么剩下的步骤就是怎么通过写代码从而调用API实现数据的实时查看和发送命令

    import android.graphics.Color;
    import android.os.Bundle;
    import android.util.Log;
    import android.view.View;
    import android.
    展开全文
  • POI数据获取

    万次阅读 2017-03-03 15:18:50
    poi数据获取

    poi数据获取

    互联网或者企业获取:直接从一些专业类服务网站上抓取或者购买(例如大众点评,携程),或者直接从大家在其公开的地图服务上的标注中进行筛选和获取。这就是google,百度,高德自己免费向社会开放其地图服务所能够获得的利益。尤其对于开放API免费企业客户的使用,这种获取是很有价值的。

    1. 调用百度的CPI即可。基于你说的情况,应该需要的Place API及Geocoding API,个人开发者经过认证之后前者每天有10万次的请求次数,后者有100万次的请求次数,足够你调用了。文档在这里:http://lbsyun.baidu.com/index.php?title=webapi
    2. 由于某些原因,在国内大部分的应用使用的火星坐标或者百度坐标,有转换方法。具体的坐标类型对应具体的SDK,显示上没有影响,但是确实不是准确的gps坐标。
    3. 要啥自行车……现成API给你调用的话Python的urllib库就行了。
    4. 调用API不需要反反爬虫机制。

    国内的不清楚,美国有个网站叫foursquare(https://foursquare.com/),提供的API很全面,你可以在一个城市内均匀选取若干个点,然后用range query获得范围内的venues。 之前用来获取洛杉矶所有商家的信息,包括公园等地标。坐标存在不准确的问题,但是对于提供详细地址的venue可以用一些Geocoder的API重新确定坐标

    来自知乎

    展开全文
  • 百度地图POI数据获取

    万次阅读 2019-01-17 00:57:06
    本文主要介绍百度地图POI数据获取:从百度地图得到POI数据,以json格式保存; POI数据获取的原理部分还可以参照零基础掌握百度地图兴趣点获取POI爬虫(python语言爬取)(基础篇)。 POI数据获取 百度地图POI数据...

    转载自:https://blog.csdn.net/baidu_26646129/article/details/80464447

    本文主要介绍百度地图POI数据获取:从百度地图得到POI数据,以json格式保存;
    POI数据获取的原理部分还可以参照零基础掌握百度地图兴趣点获取POI爬虫(python语言爬取)(基础篇)

    POI数据获取
    百度地图POI数据可以从百度地图提供的API——兴趣点坐标获取得到。得到的POI信息包括了名称、经纬度坐标、地址等等,具体的接口使用说明可以参考百度地图WEB服务api说明中的地点检索。

    从说明文档我们可以发现,POI数据获取的关键在于构造出合适的url,访问该url便能请求到相应的POI数据。因此,我们先对百度地图WEB服务api中的url进行详细的说明。

    http://api.map.baidu.com/place/v2/search?query=银行&bounds=39.915,116.404,39.975,116.414&output=json&ak={您的密钥} //GET请求

    以上是百度地图说明文档提供的一个搜索url示例,我们可以将其划分为以下几个部分:

    前缀部分:无论进行何种搜索,需要的数据格式如何,请求的url都需要这一部分 
    http://api.map.baidu.com/place/v2/search?

    参数部分:对请求的数据进行定制,你可以指定特定的关键词、搜索区域、输出类型以及你的ak(access key) 
    query=银行&bounds=39.915,116.404,39.975,116.414&output=json&ak={您的密钥}

    前缀部分对所有请求都一致不需要过多的说明,而参数部分影响搜索的结果,需要详细说明。由于百度地图提供了三种POI搜索方式,即行政区划区域搜索、周边搜索、矩形区域搜索,但这几种搜索仅仅在一些参数上存在差异,大部分参数都是相同的,返回的结果也是相同的,本文仅以矩形区域搜索请求参数举例说明:


    返回参数


    需要特别注意的是:

    百度地图为了保护数据,单次请求total最多为400,也就是只能搜出400个结果,如果搜索结果大于400个的时候只显示400条记录;
    百度地图为非认证开发者提供的配额为2000次请求/每天,并发访问的限制为120。
    第一个问题的解决可以通过划分子搜索区域,将需要搜索的矩形区域划分为多个面积更小的矩形区域,将他们的搜索结果进行合并即得到了需要的搜索结果。

    第二个问题的解决通过申请多个ak,交替使用,同时减缓请求速度。

    最后实现的代码如下:

    # -*- coding: utf-8 -*- 
    # 第一行必须有,否则报中文字符非ascii码错误
    
    import urllib
    import json
    import time
    
    #ak需要在百度地图开放平台申请
    ak = "XXX"
    
    #关键词
    query=["社会福利院"]
    page_size=20
    page_num=0
    scope=1
    
    #范围:
    #左下坐标 30.379,114.118
    #右上坐标 30.703,114.665
    #中间坐标 30.541,114.3915
    
    bounds=[
        [30.379,114.118,30.541,114.3915],
        [30.379,114.3915,30.541,114.665],
        [30.541,114.118,30.703,114.3915],
        [30.541,114.3915,30.703,114.665]
    ]
    
    new_bounds = []
    # col_row 将bounds的每一小块继续细分为3行3列,可以防止区域内的搜索数量上限400
    col_row = 3 
    for lst in bounds:
        distance_lat = (lst[2] - lst[0])/col_row
        distance_lon = (lst[3] - lst[1])/col_row
        for i in range(col_row):
            for j in range(col_row):
                lst_temp = []
                lst_temp.append(lst[0]+distance_lat*i)
                lst_temp.append(lst[1]+distance_lon*j)
                lst_temp.append(lst[0]+distance_lat*(i+1))
                lst_temp.append(lst[1]+distance_lon*(j+1))
                new_bounds.append(lst_temp)
    
    queryResults = []
    
    for bound in new_bounds:
        np=True
        a=[]
        while np==True:
            #使用百度提供的url拼接条件
            url="http://api.map.baidu.com/place/v2/search?ak="+str(ak)+"&output=json&query="+str(query[0])+"&page_size="+str(page_size)+"&page_num="+str(page_num)+"&bounds="+str(bound[0])+","+str(bound[1])+","+str(bound[2])+","+str(bound[3])
    
            #请求url读取,创建网页对象
            jsonf=urllib.urlopen(url)
            page_num=page_num+1
            jsonfile=jsonf.read()
    
            #判断查询翻页进程
            s=json.loads(jsonfile)
            total=int(s["total"])
            a.append(total)
    
            queryResults.append(s)
    
            max_page=int(a[0]/page_size)+1
            #防止并发过高,百度地图要求并发小于120
            time.sleep(1) 
    
            if page_num>max_page:
                np=False
                page_num=0
                print "search complete"
                print "output: "+str(bound)
                print "total: "+str(a[0])
                print ("")
    
    results=open(".\results.txt",'a')
    results.write(str(queryResults).decode('unicode_escape'))
    results.close()
    print "ALL DONE!"

     

    展开全文
  • Python金融大数据分析-数据获取与简单处理

    万次阅读 多人点赞 2016-12-10 12:18:15
    无意中发现了一个巨牛的人工智能教程,忍不住分享一下给大家。教程不仅是零基础,通俗易懂,而且非常风趣幽默,像看小说一样!...pandas包中有自带的数据获取接口,详细的大家可以去其官网上找,是io.data下的...

     无意中发现了一个巨牛的人工智能教程,忍不住分享一下给大家。教程不仅是零基础,通俗易懂,而且非常风趣幽默,像看小说一样!觉得太牛了,所以分享给大家。教程链接:https://www.cbedai.net/qtlyx

     

    Python的功能不可以说不大,在金融数据分析里面有着很方便的应用。

    1.数据获取

    pandas包中有自带的数据获取接口,详细的大家可以去其官网上找,是io.data下的DataReader方法。

     

    import numpy as np
    import pandas as pd
    import pandas.io.data as web
    import math
    #从雅虎财经获取DAX指数的数据
    DAX = web.DataReader(name='^GDAXI', data_source='yahoo',start = '2000-1-1')
    #查看一下数据的一些信息 上面这一方法返回的是一个pandas dataframe的数据结构
    print DAX.info()
    #绘制收盘价的曲线
    DAX['Close'].plot(figsize=(8,5))

     

    我们获得的数据是dataframe的结构,毕竟是pandas的接口的嘛。然后我们绘制一下收盘价曲线。

    这个是我们获取的数据的信息。

    绘制出来的收盘价曲线是这样的。

    2.简单的数据处理

    有了股票价格,我们就计算一下每天的涨跌幅度,换句话说,就是每天的收益率,以及股价的移动平均和股价的波动率。

     

    #计算每日的涨跌幅
    DAX['Return'] = np.log(DAX['Close']/DAX['Close'].shift(1))
    print DAX[['Close','Return']].tail()
    #将收盘价与每日涨跌幅度放在一张图上
    DAX[['Close','Return']].plot(subplots = True,style = 'b',figsize=(8,5))
    #42与252个交易日为窗口取移动平均
    DAX['42d']=pd.rolling_mean(DAX['Close'],window=42)
    DAX['252d']=pd.rolling_mean(DAX['Close'],window=252)
    #绘制MA与收盘价
    DAX[['Close','42d','252d']].plot(figsize=(8,5))
    #计算波动率,然后根据均方根法则进行年化
    DAX['Mov_Vol']=pd.rolling_std(DAX['Return'],window = 252)*math.sqrt(252)
    DAX[['Close','Mov_Vol','Return']].plot(subplots = True, style = 'b',figsize = (8,7))

     

     

     

    我们可以掌握这种subplots的绘图方法,把几张趋势图片放在一起。

    这是移动平均线的图片,subplots的属性为false,那么就是叠加在一起绘制。

            这是市场的波动率和股市的关系。和FRM中提到的一样,在市场低迷,或者说,金融危机的时候,市场的波动率急剧增加。于是,就有了恐慌指数这个东西,也就是Vix,其实就是市场的波动率指数。

     

     

    展开全文
  • GIS 中openstreetmap数据获取

    千次阅读 2018-12-26 21:47:11
    今天突然间想起来,关于GIS数据获取的事情,除了很古老的矢量化,我想起来的还有调用百度地图API获取POI点或步行距离行车距离等数据。这两种方法我都已掌握,另外还会在谷歌地图中勾画并导出线数据比如行政区边界等...
  • JSONObject与JSONArray数据获取

    千次阅读 2019-06-12 11:15:17
    JSONObject JSONObject的数据是用 { } 来表示的, JSONObject数据格式: { "Status": 1, "ErrorMessage": "", ..."Result": "HavClOuPONL8e5DrWzc(2f4*206...数据获取: import net.sf.json.JSONObject; Str...
  • 通达信行情数据获取--python

    万次阅读 2019-03-10 12:00:27
    通达信行情数据获取方法,其中可以通过通达信每天下载导自身文件获取(通过c或者c++写一个接口就可以了),但是每天需要手动同步数据。下面介绍一个比较好网上接口。需要到“Tushare金融大数据开放社区”注册一个...
  • SRTM90m DEM数据获取方法

    千次阅读 2019-04-17 16:06:15
    DEM数据获取的方法大致来源有这几种,一是地形图、二是摄影测量或遥感影像数据,三是地面测量数据,四是既有DEM数据。各种数据源中精度最高的是野外测量,然后是影像与地形图扫描。 SRTM90m的DEM数据的获取,在这里...
  • MybatisPlus中插入数据获取主键值

    万次阅读 2019-04-21 13:18:03
    场景 项目搭建专栏: https://blog.csdn.net/BADAO_LIUMANG_QIZHI/column/info/37194 基础搭建: ... 实现 编写单元测试方法 /*** * 测试插入数据获取主键 */ @Test pub...
  • 数据获取是进行数据分析与数据挖掘的基础,而数据预处理是影响数据挖掘结果好坏的关键因素。Python数据获取 数据获取是指从数据源采集数据,微数据分析与数据挖掘做数据准备的工作。从键盘获取数据>>>value=input()...
  • API数据获取方法

    千次阅读 2019-07-22 08:08:32
    注:需引入Jquery库 <script type="text/javascript" src=...</script> Js: ...//调用获取数据方法 getPost('https://www.apiopen.top/journalismApi',function...
  • Python股票历史涨跌幅数据获取

    千次阅读 2016-11-18 12:38:59
    Python股票历史涨跌幅数据获取  股票涨跌幅数据是量化投资学习的基本数据资料之一,下面以Python代码编程为工具,获得所需要的历史数据。主要步骤有: (1) #按照市值从小到大的顺序活得N支股票的代码; (2) #...
  • 1、获取异步数据,通过async/await限制 import { fetchList } from '@/api/article' //在created中即开始获取 created() { this.getList() } methods:{ async getList() { this.listLoading = true //ES6写法...
  • 网易云音乐api歌单数据获取

    千次阅读 2019-05-13 18:34:26
    网易云音乐api歌单数据获取 网易作为IT大厂,数据可以说 藏的很严实,普通按个f12以为能搞到点东西,结果,看不到要的歌单信息,这可是愁死我了啊。 后来看了看知乎,一帮怪才集中的地方果然迸发了思维的火花,看看...
  • 有哪些「神奇」的数据获取方式?

    万次阅读 2017-11-22 13:59:18
    本文给大家推荐一些能够用得上的数据获取方式,后续也会不断补充、更新。 一、公开数据库 1.常用数据公开网站 UCI:经典的机器学习、数据挖掘数据集,包含分类、聚类、回归等问题下的多个数据集。很经典也比较古老,...
  • geoJson数据获取

    千次阅读 2019-01-19 18:03:56
    用ECharts画区域地图的时候,需要geoJson,可以在下面链接获取 http://datav.aliyun.com/tools/atlas/#&amp;lat=33.50475906922609&amp;lng=104.2822265625&amp;zoom=4 获取后到json.cn格式化下载下来...
  • 大数据架构简述(二):数据获取

    千次阅读 2017-06-02 13:37:36
    1.数据分类 按数据形态,我们把数据分为结构化数据和非结构化数据两种。 结构化数据如传统的Data ...2.数据获取组件 常见的信息获取组件包括电信特有的探针技术,为获取网页数据常用的爬虫,采集日志数据的组件Flu
  • 1、使用Vue完成项目,从后台获取数据绑定到页面时,无法确保页面能在... 解决方法:在父页面提前进行数据获取,用Vuex保存,然后子页面computed属性中返回该参数,即可保证渲染不出错;  PS:之前尝试过在子页面mount
  • 有哪些一般人不知道的数据获取方式

    万次阅读 多人点赞 2016-08-11 14:27:43
    想要对一个新的领域进行研究和探索,拥有这个领域的数据那都是有十分重要... 在这里给大家推荐一些能够用上数据获取方式,有了这些资源,不仅可以在数据收集的效率上能够得到很大的提升,同时也可以学习更多思维方式。
  • DEM高程数据获取方法

    千次阅读 2020-02-14 18:51:16
    DEM高程数据做为GIS中的常用数据,一直具有很大的用途,数据的分辨率和来源也是多种多样,这里就简单的介绍一下各种分辨率的国内和全球DEM数据获取方法。 1.传统的SRTM、ASTER GDEM等常规全球数字高程数据(DEM)...
  • TP5框架查询数据获取结果集为数组的办法 title: TP5框架查询数据获取结果集为数组的办法 tags: [TP5,模型,结果集,数组] 众所周知,使用TP5框架查询数据时,返回的结果集一般为对象,例如: $data = \app\home\...
  • 数字货币数据获取及整理

    千次阅读 2019-01-10 00:48:48
    第一行一般是标注数据从哪里获取的,需要删除。 K线详解 在股票市场中,K线的时间是结束时间。 在数字货币中,K线的时间指的是其开始的时间。 时间 交易所一般用格林威治标准时间,如果想对应中文,需要加上8h。...
  • 建筑物平面数据获取 建筑物的平面数据主要指的是建筑物在俯视图中投影到地平面的轮廓数据。 目前建筑物平面数据获取有以下几种方式: (1)从原有的二维 GIS中提取三维建筑物模型所平面信息,二维 GIS 中,建筑物...
  • 背景:select下拉栏中的选项数据由异步请求获得。 现在想进入这个页面,就获得select下拉框的初始默认选中数据。(因为想根据这个初始化图表) 我在created里,通过调用3个异步请求的函数,分别获得了每个下拉框的...
  • echarts区域地图 geoJSON数据获取

    千次阅读 2019-05-13 14:49:18
    使用echarts完成区域地图展示时,我们需要GeoJSON数据,可点击下面的链接获取相应数据 http://datav.aliyun.com/tools/atlas/#&lat=33.54139466898275&lng=104.2822265625&zoom=4 ...
  • layui 数据表格 ——后台数据获取

    万次阅读 2019-06-11 14:52:36
    <table id="userList" lay-filter="userList"></table> ... {field: 'userEmail', title: ...2.layui的数据表格向url发送请求时,会附上page以及limit这两个参数,所以服务端需要接收并以此为条件查找数据  
  • 气象数据获取

    千次阅读 2015-04-09 13:19:51
    实时气象数据API 1 小米API:  http://weatherapi.market.xiaomi.com/wtr-v2/weather?cityId=101121301 2 XML数据(包含预报数据): http://wthrcdn.etouch.cn/WeatherApi?citykey=101010100 3 中央...
  • input框实时数据获取,可在获取焦点后,绑定keyup函数; select框选定元素的获取及改变后值的获取,在下面的例子中也有体现。 $(document).ready(function(){ //get the map 时租 /* var up_city0 = $("#up_...
  • 前后端数据获取

    千次阅读 2018-07-05 11:26:28
    1. 前端传给后端,后端获取参数方式:前端通过ajax或者windows.location.href=url等方式传入给端的参数,后端通过getPara方式接受参数。后端框架不同,接受也略有不同。2. 后端传给前端,前端获取参数方式:若在&...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 4,642,414
精华内容 1,856,965
关键字:

数据获取