有哪些网站用爬虫爬取能得到很有价值的数据？

题主是个web程序员，最近想转去做数据分析，先练习的爬虫(python)，各种爬取技巧以及多网站爬取等已经掌握，但发现转方向最无奈的是方向(要抓什么数据来干什么)比较迷茫，希望有前辈给予指导，哪些网站的数据抓取下来能获得有分析价值的数据，或者前辈的经验。

更新神器：

1.下面提到的Quandl网站有一个他们自己的Python库，叫Quandl，可惜也是收费的。

pip install Quandl

2.TuShare -财经数据接口包 国内好心人做的开源财经数据接口(觉得好的可以捐助一下)。这里几乎可以获取到A股的所有信息了，还包括一些经济数据。重点是他不仅免费，还提供了一个Python库tushare。

pip install tushare

import tushare as ts

这样一来你便可以通过这个库方便地获取大量A股信息了。

——————————————以下为原答案——————————————

一大波数据来袭！

题主问了有什么网站，能用来做什么。我给出几个API网站吧，做APP用的可能比较多，不过也可以用在日常生活中。

一、生活服务

1.手机话费充值。手机话费充值数据服务

2.天气查询。天气查询数据服务

3.快递查询。快递查询服务数据服务

4.健康食谱。健康食谱数据服务

5.查医院。医院大全数据服务

6.水电煤缴费。水电煤缴费数据服务

7.电影大全。电影大全数据服务

8.谜语、歇后语、脑筋急转弯。猜一猜数据服务

9.音乐搜索。音乐搜索接口数据服务

10.健康知识。健康知识数据服务

11.百度糯米、团购等信息。糯米开放api数据服务

12.彩票开奖。彩票开奖查询数据服务

以上接口都来自网站：

APIX_国内领先的云数据服务平台_API接口服务平台

细心 的人会发现，这些功能简直是遍地都是啊，支付宝、微信什么的一大堆，哪用那么麻烦！

是的，但我相信这些可能为一些不太了解相关信息的人提供了帮助。不过，虽然这些功能很多APP都有，如果自己有空闲时间又懂得编程，不喜欢别人的UI设计，自己做一做也是挺好玩的。比如：

生活枯燥了，把这些谜语歇后语等根据个人喜好定时推送到自己的手机，放松身心；

把一些健康小知识在空闲时间推送给自己，提醒自己；

……

国内类似的网站还有：

API数据接口_开发者数据定制

API Store_为开发者提供最全面的API服务

API数据接口_免费数据调用-91查|91cha.com

除此之外还有一些门户网站提供了一些API接口，比如豆瓣、新浪、百度等等。

1.股票

①新浪财经

最多人用的就是新浪财经了，因为它是免费的，并且使用起来也不难。以下是网上找的教程：

获取历史和实时股票数据接口

②东方财富网

网站提供了大量信息，也是基本面投资者的好去处。可以查看财务指标或者根据财务指标选股(如净资产收益率)：选股器 _ 数据中心。这些都是很好的投资参考，当然还有其它功能有对应的API，可以自己分析一下。

③中财网

http://data.cfi.cn/cfidata.aspx提供各种产品的数据

(国内很多功能类似网站，如和讯、网易财经、雪球等等，具体的我没有一一试验就不放上来了，各位可以自己去试试，下同。)

2.大宗商品

①黄金头条——用资讯帮你赚钱！炒黄金，看黄金头条！黄金价格

这里提供了各种大宗商品的行情，也可以分析获取。包括技术分析方面。

②当然还有外国网站：Investing.com

3.美股等综合类(其实新浪财经和东方财富等也算是国内综合的了，就不一一列举了)

①Wind资讯。很多机构用的都是这里的数据，当然普通个人是拿不到的，不过如果你是财经院校的学生，他们会提供免费的数据。详见官网。

②Market Data Feed and API

外国网站，提供了大量数据，付费。有试用期。

③Quandl Financial and Economic Data

同上。部分免费。

④96 Stocks APIs: Bloomberg, NASDAQ and E*TRADE

外国网站整合的96个股票API合集，可以看看。

⑤雅虎财经

http://www.finance.yahoo.com/

https://hk.finance.yahoo.com/

香港版

三、其它

撇去上面的API不说，如果单单爬取网页上的内容下来，那就太多可以爬的了。如：

1.爬取网站上的图片。包括贴吧、知乎、Tumblr、轮子哥、XXX(你懂的)。

2.爬取影评、电影资讯、图书等等。比如豆瓣电影。轻轻松松掌握好书好电影。

3.爬取社交网络。比如新浪微博，Twitter。(Twitter提供了API，可以提交关键字等信息爬取搜索结果中的每一条内容。)爬完可以对整个社交网络群体做个分析，情绪、作息、区域……

4.一些网站有你喜欢的文章或者帖子，但是他们没有APP或者是APP做得不友好，你可以直接爬取页面信息推送到手机上。

5.做一个微信公众号。有了上面那么多数据，还怕公众号没东西？生活服务、选股器、行情分析、文章推送等等等。

……

喜欢 (2)or分享 (0)

导读：数据中台有什么用？本文带你细数它的业务价值与技术价值。

作者：付登坡 江敏 任寅姿 孙少忆 等

来源：大数据DT（ID：hzdashuju）

01 业务价值：从洞察走向赋能业务创新，形成核心壁垒

在以客户为中心的时代，数据中台对数字化转型具有重要作用，以数据中台为基础的数据系统将位于企业应用的核心，通过数据从企业降本增效、精细化经营等方面为企业带来巨大收益。具体来说，笔者们认为包含以下三个层面：

1. 以客户为中心，用洞察驱动企业稳健行动

在以客户为中心的时代，客户的观念和行为正在从根本上改变企业的经营方式以及企业与客户的互动方式。

数据中台建设的核心目标就是以客户为中心的持续规模化创新，而数据中台的出现，将会极大提升数据的应用能力，将海量数据转化为高质量数据资产，为企业提供更深层的客户洞察，从而为客户提供更具个性化和智能化的产品和服务。

譬如，数据中台能够汇聚全渠道的数据，在标签管理、营销圈人、效果分析等应用上实现全域的闭环，优化对客户全生命周期的理解。此外，以数据中台为基础，通过数据化运营提升客户留存、复购和忠诚度，也得到诸多企业的认可。 

2. 以数据为基础，支持大规模商业模式创新

只有依托数据和算法，将由海量数据提炼的洞察转化为行动，才能推动大规模的商业创新。数据中台在通过算法将洞察直接转化为行动、实现大规模商业创新方面的能力，令人瞩目。

另一方面，数据无法被业务用起来的一个原因是数据没办法变得可阅读、易理解。

信息技术人员不够懂业务，而业务人员不够懂数据，导致数据应用到业务变得很困难，数据中台需要考虑将信息技术人员与业务人员之间的障碍打破，信息技术人员将数据变成业务人员可阅读、易理解的内容，业务人员看到内容后能够很快结合到业务中去，这样才能更好地支撑商业模式的创新。

此外，数据中台提供标准的数据访问能力，简化集成复杂性、促进互操作性等特性也非常受企业CIO们的青睐。同时，在快速构建服务能力、加快商业创新、提升业务适配等方面，数据中台也将会发挥重要的作用。 

3. 盘活全量数据，构筑坚实壁垒以持续领先

在以客户为中心的时代，只有赢得客户的企业才能在竞争中保持优势。企业能否真正做到“客户至上”，并不断提高对客户的快速响应力来满足客户的需求，甚至引领市场潮流，持续推进规模化创新，终将决定企业能否在充满挑战和机遇的市场上发展壮大，长久保持生命力与竞争力。

面对纷繁复杂而又分散割裂的海量数据，数据中台的突出优势在于，能充分利用内外部数据，打破数据孤岛的现状，打造持续增值的数据资产，在此基础上，能够降低使用数据服务的门槛，繁荣数据服务的生态，实现数据“越用越多”的价值闭环，牢牢抓住客户，确保竞争优势。

02 技术价值：能力多、成本低、应用广

数字化转型的需求必将催生多元化的数据场景，而多元化的数据场景将会带来以下技术需求，企业数据中台建设势在必行。

1. 应对多数据处理的需求

针对不同的数据应用场景，需要能够快速应对多数据处理需求，比如：

• 要保持原来的报表需求，仍需要保持批量离线计算的能力（Hadoop、Oracle RAC）；

• 针对准实时的指标统计和实时推荐，需要实时流式计算的能力（Storm、Spark Streaming、Flink）；

• 针对决策类业务如海量人群的圈人需求和ad-hoc需求，需要即席计算能力（Greenplum、Elasticsearch、Impala）；

• 针对高并发业务场景（如用户画像），需要在线计算能力（MySQL、Redis、Oracle）。

因此，企业需要一个统一的数据中台来满足离线／实时计算需求、各种查询需求（实时查询和ad hoc），同时在将来新数据引擎（更快的计算框架，更快的查询响应）出现时，又不需要重构目前的大数据体系。

2. 丰富标签数据，降低管理成本

根据全国信标委大数据标准工作组发布的《数据管理能力成熟度模型》（DCMM），针对数据标准提到的数据分类主要有主数据、参考数据和指标数据，但根据目前真实的数据建设情况来看，需要对一类数据进行定义和分类，譬如标签名为“消费特征”，标签值为“促销敏感”“货比三家”“犹豫不决”。

数据中台能对这类标签进行快速定义和有效管理。

3. 数据的价值能体现业务系统效果而不仅是准确度

过去的数据应用场景主要为报表需求，注重数据的准确性，但在更多数据场景下，特别是对于标签数据的应用，越来越多的数据是需要不断“优化”的，数据本身没有准不准确之分，比如某个会员是属于促销敏感人群，这个数据其实更多的说的是概率。

4. 支持跨主题域访问数据

企业早期建设的应用数据层ADS（传统数据仓库ODS/DW/ADS）更多是为某个主题域所服务的，如营销域、人力资源域、风控域，而企业在数据应用的时候往往需要打破各个业务主题，会从业务对象主体出发来考虑数据应用，如人（会员、供应商、渠道、员工）和物（商品、仓库、合同），从全域角度设计完整的面向对象的数据标签体系。

5. 数据可以快速复用而不仅是复制

传统的架构中，要将数据应用到业务中，通用的做法都是通过数据同步能力，把计算的结果同步给业务系统，由业务系统自行处理，这会带来一个数据管理问题，即无法获取数据在应用场景中的具体价值和热度，整个数据血缘链路也是割裂的。

这种方式笔者们认为是复制数据，而不是复用数据。如何快速复用数据，正是可以在数据中台中解决的问题。

数字化浪潮席卷全球，企业正面临着前所未有的挑战和机遇，必须不断加速数字化转型才能生存和保持领先。数据中台能够帮助企业聚合内外部数据，支撑高效的数据服务，最终提升企业决策水平和业务表现。

企业期待通过数据中台把原始数据转化为数据资产，快速构建数据服务，使企业可以持续、充分地利用数据，实现数据可见、可用、可运营的目标，以数据来驱动决策和运营，不断深化数字化转型。总结一句话：数据中台是把数据这种生产资料转变为数据生产力的过程。

关于作者：付登坡（花名：天湛），资深大数据专家，数澜科技联合创始人&地产事业部总经理。有10余年大数据领域从业经验，擅长数据建模、海量数据产品架构设计与实现。原阿里巴巴集团大数据专家，曾在阿里巴巴集团负责消费者数据标签体系、DMP平台等大数据项目设计与实施。

江敏（花名：江敏），资深大数据专家，数澜科技联合创始人& CTO。有10年大数据平台规划、数据安全交换使用、数据应用场景建设方面的实践经验。曾任职于阿里数据平台事业部、阿里云数据事业部，负责阿里数据能力及平台的行业客户赋能，并打造行业的数据共享交换，是ID-Mapping体系能力构建及服务化的核心参与者、数据交易模式的早期探索者。

任寅姿（花名：影姿），资深数据产品专家，数澜科技创新事业部总经理。曾任阿里巴巴数据产品专家、数据创新梧桐工作室负责人等。对大数据资产设计、资产服务、资产应用在实践的基础上形成了一套完整的数据标签类目体系方法论，擅长对各种复杂业务场景进行需求拆解、数据抽象和数据应用建模，关注采用大数据方法切实解决场景痛点，提升业务效率。

孙少忆（花名：守正），资深数字化转型咨询专家，数澜科技战略副总裁。20年企业信息化工作经验，积累了丰富的信息化内部运营、解决方案销售及交付等方面的实践经验。

本文摘编自《数据中台：让数据用起来》，经出版方授权发布。

延伸阅读《数据中台：让数据用起来》

点击上图了解及购买

转载请联系微信：DoctorData

推荐语：数据中台领域领先企业数澜科技出品，阿里巴巴集团联合创始人推荐！萃取百家头部企业数据中台建设经验，系统总结数据中台建设方法论。

有话要说????

Q: 你期待中台为你的企业创造什么价值？

欢迎留言与大家分享

猜你想看????

• 移动互联网时代，你的个人信息正通过这12种方式泄露

• 何为真相，何为谣言？10本书，帮你补上「批判性思维」这门课

• 柱状图、堆叠柱状图、瀑布图有什么区别？怎样用Python绘制？

• 重磅福利！10本豆瓣平均8.0分技术书免费看！速来！

据统计，99%的大咖都完成了这个神操作

????

原来你也在看