精华内容
下载资源
问答
  • 大数据架构详解

    2018-03-31 10:36:47
    大数据架构详解.rar
  • 大数据架构详解:从数据获取到深度学习大数据架构详解:从数据获取到深度学习大数据架构详解:从数据获取到深度学习
  • 大数据架构详解电子书全

    百度网盘链接:https://pan.baidu.com/s/1YCFa5J0HtKh7_VEET7boOA 永久有效
    提取码:fqic

    展开全文
  • 大数据架构详解:从数据获取到深度学习: 高清,内容覆盖全面
  • 第2章 运营商大数据架构 2.1 架构驱动的因素 2.2 大数据平台架构 2.3 平台发展趋势
    第2章 运营商大数据架构 
    	2.1 架构驱动的因素 
    		运营商面临着被管道化,营收下滑,大数据项目承担企业战略转型,数据变现的使命。
    		互联网企业的大数据往往是承担业务创新,未来探索的一种驱动因素,所以对于架构的扩展性,灵活性等方面的追求优先级在成本之上。
    
    	2.2 大数据平台架构 
    		大数据平台,最上层是应用。大数据平台最后还是要解决实际的业务问题,在运营商领域分别解决SQM(运维质量管理),CSE(客户体验提升),
    	MSS(市场运维支撑),DMP(数据管理平台)等问题。
    		第二层是各个组件/技术支撑,包括数据从产生获取,处理(实时,批处理),分析(交互式查询,机器学习与数据挖掘)到最后的展现。
    		第三次,为了支撑数据的存储处理,需要统一的资源管理及分配。
    		第四层,上层框架和处理都构建在存储的基础上,所以存储是基础中的基础。
    		第五层,大数据部署形态有云化部署,物理机部署等多种部署方式。
    
    	2.3 平台发展趋势
    		1.Cloud First : 云优先。
    		2.Stream Default : 流优先。数据源端更多的是流数据,要求实时分析,进行秒级或者分钟级计算。
    		3.Pervasive Analytics : 普适分析。
    		4.Self Service : 自服务 

     

     

     

     

     

     

     

     

     

     

     

     

    展开全文
  • ... 《大数据架构详解:从数据获取到深度学习》这本书从2016年10月出版以来,一直在重印,早就超过3万本,在大数据和云计算专业领域里面卖的还可以的,多谢各位读者和朋友们的厚爱...
        

    《大数据架构详解:从数据获取到深度学习》这本书从2016年10月出版以来,一直在重印,早就超过3万本,在大数据和云计算专业领域里面卖的还可以的,多谢各位读者和朋友们的厚爱。对大数据技术有学习诉求的同学推荐可以买来看看,相信会有收获。


    640?wx_fmt=jpeg


    当能我看到本书出版2年多来,大数据技术和市场都发生了翻天覆地的变化,给我们带来了非常多新的启示。


    • 技术上,我们各类技术上的逐渐成熟,机器学习和人工智能技术逐渐重归平静,但是在越来越多的城市大脑,智能家居,供应链优化上找到真正的场景。2年前我们看到的平台融合趋势变得越发明显,比如数据库领域的越来越多融合分布式的思路,事务不在是传统关系型数据库的标配,像MongoDB,dynamodb都开始支持事务。技术再发展和融合,组件的能力越来越强,创新进入深水区,和使用场景的深度结合,是未来的发展趋势之一。


    • 市场上,我们看到包括最近的databricks都已经估值超过27.5亿美金,flink被阿里收购。云计算的商业能力越来越被重视,AWS一年的收入大概有300亿美金,不再是other的业务。微软也通过云计算赛道重回巅峰。国内巨头阿里、腾讯、百度、华为都纷纷发力云计算,还有一些垂直领域滴滴,京东,美团,平安应该是明确不进入公有云市场,但是在擅长的专有领域继续发光发热。


    此书出版以来,根据读者的意见修订了2次,但是作为从业者,新的技术和市场的变化,我越发觉得有必要完全再版一下此书,增加一些新的内容,让内容与时俱进,拿出更丰富的内容给到我们读者。当能预计再版出来大概预计需要1年时间,在这之前也希望大家继续支持这本书。


    新版本初步的修订思路

    1、技术更新,包括spark,kafka,flink等新技术发展。

    2、给出各种组件的综合选型思路,数据库和大数据技术背后本质的区别。

    3、增加云化比例,包括和云结合技术,以及云使用案例。

    4、增加ES/MongoDB/Redis等原来未涉及的NoSQL领域。

    5、增加新一代数据库Aurora等关键技术解析。

    6、增加使用具体案例,如金融、交通、IOT、新零售等关键领域。

    7、更新机器学习/深度学习技术,包含更多的关键技术和落地场景。


    看过我的书的同学,更多的建议和意见,大家也可以提给我,优秀建议采纳之后,新书出版之后,承诺送上一本新版本的书。谢谢大家!

    展开全文
  • 大数据架构详解》读后感

    千次阅读 2017-12-21 20:51:50
    大数据架构详解》 —— 读后感作者:朱洁 罗华霖出版商:中国工信出版社 电子工业出版社版次:2016年10月第1版印数:7001 ~ 12000册定价:69.00元本书花了大量笔墨讲了通信运营商的大数据应用案例及其使用的架构...

    《大数据架构详解》 —— 读后感

    作者:朱洁 罗华霖
    出版商:中国工信出版社 电子工业出版社
    版次:2016年10月第1版
    印数:7001 ~ 12000册
    定价:69.00元


    本书花了大量笔墨讲了通信运营商的大数据应用案例及其使用的架构,这也不奇怪,因为作者是为通信运营商做大数据解决方案的。作者服务的运营商大数据平台架构,从上到下依次为———
    应用层
        SQM、CSE、MSS、DMP,这些都是运营商特有的应用
    组件层
        数据获取(日志数据获取、消息分发中间件)
        数据处理(实时处理、批处理)
        分析数据(交互式查询,机器学习,数据挖掘)
        数据分析结果的展现
    资源管理和分配
        涉及集群、数据中心的级别的资源统一管理和分配
        提了几款Hadoop生态圈的资源调度框架及其调度算法
    存储层
        RAID
        存储加速技术
    大数据部署
        云化部署
        物理机部署

    这本书讲到的大数据框架,是偏原理的多,有些框架也给出了java代码示例。有些大数据框架没讲到,例如在讲大数据存储方案的时候也没有涉及HBase. 章节内容是东拼西凑的多,所以对大数据架构有兴趣的同学,建议直接去大数据生态圈内各组件的官方网站查看(例如hadoop官网、spark官网、hbase官网等等),或者看一些国外作者写的书,或者看一些翻译成中文的国外作者的书也可以。这本书大概讲了几大块———
      1,大数据是什么
      2,大数据当前面临的挑战
      3,运营商大数据架构和业务
      4,数据获取
      5,数据流处理
      6,交互式分析
      7,批处理技术
      8,机器学习和数据挖掘
      9,资源管理
      10,存储
      11,大数据云化

    书中的架构适合运营商的业务需求,但是放到我们小组的业务(推荐系统)来就不是很适合了。
    但是也有一些有价值的看法,例如对未来大数据技术的技术方向的思考。他的一些观点和想法还是很有启发性的,整理如下:

    1,大数据的本质———

        大数据是问题的解决方案、一系列技术的集合

    2,大数据面临的实时性挑战———
        2.1 时间越久的数据,价值越低
        2.2 趋势是使用流系统的比例越来越高,流处理(流分析)应用将会成为默认应用
    3,批处理是追求吞吐量的,流处理是追求实时性的。趋势是将批处理和流处理技术做融合(统一),流行的批处理框架有3个———
        3.1 Google开源的Dataflow
        3.2 德国的Flink
        3.3 Spark 2.X版的spark streaming
    4,资源管理和调度———
        4.1 目前流行的资源调度框架是yarn,他的RM直接将资源分配给某个Task,这是任务级别的调度(也就是小颗粒调度)
        4.2 未来会聚焦于应用本身的特点来做资源的智能管理和分配,以实现资源利用的高效率
    5,大数据作为云服务的两种模式———
        5.1 集群模式:直接使用集群、简化运维(购买的集群已预装客户所需的组件,例如hadoop,hive,spark,hbase,zookeeper等等)。目前我们的AI部门购买的是这一类大数据云服务(金山云KMR)

        5.2 服务模式:用户无需关心集群创建和运维,用户只需提交应用到集群上,按照任务消耗的计算时间付费,例如AWS开源的Lambada就是一种服务模式的大数据云服务

    展开全文
  • 第八次重印:个人去年十月份出版的《大数据架构详解:从数据获取到深度学习》卖的还不错,京东,当当,亚马逊一直在热销榜上,一直排在前列,榜首常客!既上个月重印之后,本月又重印了一次,累计八次重印,重印新书...
  • 又收到编辑寄的样书,看了下《大数据架构详解:从数据获取到深度学习》一书从16年10月出版以来,第16次重印。京东评价超过2万条:作者手上有少量全新样书,有想要签名样书的同...
  • 花了差不多一年半时间,牺牲了每个周末,费了九牛二虎之力,终于完成个人人生的第一本书《大数据架构详解:从数据获取到深度学习》。整个过程其实挺痛苦的,时常想放弃,幸好坚持下来了。   回想这我500天,我常...
  • 读书笔记 运营商大数据平台架构
  • 最近登录京东发现3年前的书《大数据架构详解:从数据获取到深度学习》还上了京东推荐榜,上榜理由是:这本书从架构的高度总结了大数据涉及的众多知识点,帮助读者全面、系统地理解什...
  • 第2章 运营商大数据架构 2.1 架构驱动的因素 运营商和互联网面临不同的历史时期,因而大数据在各自领域承担的使命是不一样的。 运营商面临被管道化的挑战,营收下滑,大数据项目承担企业战略转型、数据变现的使命。...
  • 大数据架构详解:从数据获取到深度学习.pdf-----------------------------作者:朱洁,罗华霖 著出版社: 电子工业出版社ISBN:9787121300004版次:1开本:16开出版时间:2016-10-01页数:372字数:566000正文语种:...
  • 本书从架构、业务、技术三个维度深入浅出地介绍了大数据处理领域端到端的知识。主要内容包括三部分:第一部分从数据的产生、采集、计算、存储、消费端到端的角度介绍大数据技术的起源、发展、关键技术点和未来趋势,...
  • 本书从架构、业务、技术三个维度深入浅出地介绍了大数据处理领域端到端的知识。主要内容包括三部分:第一部分从数据的产生、采集、计算、存储、消费端到端的角度介绍大数据技术的起源、发展、关键技术点和未来趋势,...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 647
精华内容 258
关键字:

大数据架构详解