大数据学习spark相关课程
  • 大数据Spark实战视频教程

    中级课

    大数据Spark实战视频教程
    135课时 2477分钟 张长志
    大数据Spark实战视频培训教程:本课程内容涉及,Spark虚拟机安装、Spark表配置、平台搭建、快学Scala入门、Spark集群通信、任务调度、持久化等实战内容。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
    免费试看
  • 8天大数据真实项目Spark电商离线和实时分析系统

    高级课

    8天大数据真实项目Spark电商离线和实时分析系统
    67课时 1640分钟 张长志
    项目一Spark离线处理 本项目来源于企业级电商网站的大数据统计分析平台,该平台以 Spark 框架为核心,对电商网站的日志进行离线和实时分析。  该大数据分析平台对电商网站的各种用户行为(访问行为、购物行为、广告点击行为等)进行分析,根据平台统计出来的数据,辅助公司中的 PM(产品经理)、数据分析师以及管理人员分析现有产品的情况,并根据用户行为分析结果持续改进产品的设计,以及调整公司的战略和业务。最终达到用大数据技术来帮助提升公司的业绩、营业额以及市场占有率的目标。  本项目使用了 Spark 技术生态栈中最常用的三个技术框架,Spark Core、Spark SQL 和 Spark Streaming,进行离线计算和实时计算业务模块的开发。实现了包括用户访问 session 分析、页面单跳转化率统计、热门商品离线统计、广告流量实时统计 4 个业务模块。通过合理的将实际业务模块进行技术整合与改造,该项目几乎完全涵盖了 Spark Core、Spark SQL 和 Spark Streaming 这三个技术框架中大部分的功能点、知识点,学员对于 Spark 技术框架的理解将会在本项目中得到很大的提高。  项目二Spark实时处理 项目简介对于实时性要求高的应用,如用户即时详单查询,业务量监控等,需要应用实时处理架构项目场景对于实时要求高的应用、有对数据进行实时展示和查询需求时项目技术分别使用canal和kafka搭建各自针对业务数据库和用户行为数据的实时数据采集系统,使用SparkStreaming搭建高吞吐的数据实时处理模块,选用ES作为最终的实时数据处理结果的存储位置,并从中获取数据进行展示,进一步降低响应时间。 
    免费试看
  • 大数据热门技术Spark+机器学习+贝叶斯算法第5季

    高级课

    大数据热门技术Spark+机器学习+贝叶斯算法第5季
    20课时 387分钟 张长志
    本套大数据热门技术Spark+机器学习+贝叶斯算法系列课程,历经5年沉淀,调研企业上百家,通过上万学员汇总,保留较为完整的知识体系的同时,让每个模块看起来小而精,碎而不散。在本课程中基于大量案例实战,深度剖析和讲解Spark2.4原理和新特性,且会包含完全从企业真实业务需求中抽取出的案例实战。内容涵盖Spark核心编程、Spark SQL和Spark Streaming、Spark内核以及源码剖析、推荐系统、Kafka消费机制、Spark机器学习、朴素贝叶斯算法、企业级实战案例等。 通过理论和实际的紧密结合,可以使学员对大数据Spark技术栈有充分的认识和理解,在项目实战中对Spark和流式处理应用的场景、以及大数据开发有更深刻的认识;并且通过对流处理原理的学习和与批处理架构的对比,可以对大数据处理架构有更全面的了解,为日后成长为架构师打下基础。 本套教程可以让学员熟练掌握Spark技术栈,提升自己的职场竞争力,实现更好的升职或者跳槽,或者从J2EE等传统软件开发工程师转型为Spark大数据开发工程师,或是对于正在从事Hadoop大数据开发的朋友可以拓宽自己的技术能力栈,提升自己的价值。 Spark应用场景 Yahoo将Spark用在Audience Expansion中的应用,进行点击预测和即席查询等。 淘宝技术团队使用了Spark来解决多次迭代的机器学习算法、高计算复杂度的算法等。应用于内容推荐、社区发现等。 腾讯大数据精准推荐借助Spark快速迭代的优势,实现了在“数据实时采集、算法实时训练、系统实时预测”的全流程实时并行高维算法,最终成功应用于广点通pCTR投放系统上。 优酷土豆将Spark应用于视频推荐(图计算)、广告业务,主要实现机器学习、图计算等迭代计算。 本套大数据热门技术Spark+机器学习+贝叶斯算法共计13季,本套为第5季。
    免费试看
  • 大数据热门技术Spark+机器学习+贝叶斯算法第12季

    高级课

    大数据热门技术Spark+机器学习+贝叶斯算法第12季
    19课时 365分钟 张长志
    本套大数据热门技术Spark+机器学习+贝叶斯算法系列课程,历经5年沉淀,调研企业上百家,通过上万学员汇总,保留较为完整的知识体系的同时,让每个模块看起来小而精,碎而不散。在本课程中基于大量案例实战,深度剖析和讲解Spark2.4原理和新特性,且会包含完全从企业真实业务需求中抽取出的案例实战。内容涵盖Spark核心编程、Spark SQL和Spark Streaming、Spark内核以及源码剖析、推荐系统、Kafka消费机制、Spark机器学习、朴素贝叶斯算法、企业级实战案例等。 通过理论和实际的紧密结合,可以使学员对大数据Spark技术栈有充分的认识和理解,在项目实战中对Spark和流式处理应用的场景、以及大数据开发有更深刻的认识;并且通过对流处理原理的学习和与批处理架构的对比,可以对大数据处理架构有更全面的了解,为日后成长为架构师打下基础。 本套教程可以让学员熟练掌握Spark技术栈,提升自己的职场竞争力,实现更好的升职或者跳槽,或者从J2EE等传统软件开发工程师转型为Spark大数据开发工程师,或是对于正在从事Hadoop大数据开发的朋友可以拓宽自己的技术能力栈,提升自己的价值。 Spark应用场景 Yahoo将Spark用在Audience Expansion中的应用,进行点击预测和即席查询等。 淘宝技术团队使用了Spark来解决多次迭代的机器学习算法、高计算复杂度的算法等。应用于内容推荐、社区发现等。 腾讯大数据精准推荐借助Spark快速迭代的优势,实现了在“数据实时采集、算法实时训练、系统实时预测”的全流程实时并行高维算法,最终成功应用于广点通pCTR投放系统上。 优酷土豆将Spark应用于视频推荐(图计算)、广告业务,主要实现机器学习、图计算等迭代计算。 本套大数据热门技术Spark+机器学习+贝叶斯算法共计13季,本套为第12季。
    免费试看
  • 大数据热门技术Spark+机器学习+贝叶斯算法第7季

    高级课

    大数据热门技术Spark+机器学习+贝叶斯算法第7季
    17课时 197分钟 张长志
    本套大数据热门技术Spark+机器学习+贝叶斯算法系列课程,历经5年沉淀,调研企业上百家,通过上万学员汇总,保留较为完整的知识体系的同时,让每个模块看起来小而精,碎而不散。在本课程中基于大量案例实战,深度剖析和讲解Spark2.4原理和新特性,且会包含完全从企业真实业务需求中抽取出的案例实战。内容涵盖Spark核心编程、Spark SQL和Spark Streaming、Spark内核以及源码剖析、推荐系统、Kafka消费机制、Spark机器学习、朴素贝叶斯算法、企业级实战案例等。 通过理论和实际的紧密结合,可以使学员对大数据Spark技术栈有充分的认识和理解,在项目实战中对Spark和流式处理应用的场景、以及大数据开发有更深刻的认识;并且通过对流处理原理的学习和与批处理架构的对比,可以对大数据处理架构有更全面的了解,为日后成长为架构师打下基础。 本套教程可以让学员熟练掌握Spark技术栈,提升自己的职场竞争力,实现更好的升职或者跳槽,或者从J2EE等传统软件开发工程师转型为Spark大数据开发工程师,或是对于正在从事Hadoop大数据开发的朋友可以拓宽自己的技术能力栈,提升自己的价值。 Spark应用场景 Yahoo将Spark用在Audience Expansion中的应用,进行点击预测和即席查询等。 淘宝技术团队使用了Spark来解决多次迭代的机器学习算法、高计算复杂度的算法等。应用于内容推荐、社区发现等。 腾讯大数据精准推荐借助Spark快速迭代的优势,实现了在“数据实时采集、算法实时训练、系统实时预测”的全流程实时并行高维算法,最终成功应用于广点通pCTR投放系统上。 优酷土豆将Spark应用于视频推荐(图计算)、广告业务,主要实现机器学习、图计算等迭代计算。 本套大数据热门技术Spark+机器学习+贝叶斯算法共计13季,本套为第7季。
    免费试看
  • 大数据热门技术Spark+机器学习+贝叶斯算法第1季

    高级课

    大数据热门技术Spark+机器学习+贝叶斯算法第1季
    16课时 247分钟 张长志
    本套教程版权归张老师 本套大数据热门技术Spark+机器学习+贝叶斯算法系列课程,历经5年沉淀,调研企业上百家,通过上万学员汇总,保留较为完整的知识体系的同时,让每个模块看起来小而精,碎而不散。在本课程中基于大量案例实战,深度剖析和讲解Spark2.4原理和新特性,且会包含完全从企业真实业务需求中抽取出的案例实战。内容涵盖Spark核心编程、Spark SQL和Spark Streaming、Spark内核以及源码剖析、推荐系统、Kafka消费机制、Spark机器学习、朴素贝叶斯算法、企业级实战案例等。 通过理论和实际的紧密结合,可以使学员对大数据Spark技术栈有充分的认识和理解,在项目实战中对Spark和流式处理应用的场景、以及大数据开发有更深刻的认识;并且通过对流处理原理的学习和与批处理架构的对比,可以对大数据处理架构有更全面的了解,为日后成长为架构师打下基础。 本套教程可以让学员熟练掌握Spark技术栈,提升自己的职场竞争力,实现更好的升职或者跳槽,或者从J2EE等传统软件开发工程师转型为Spark大数据开发工程师,或是对于正在从事Hadoop大数据开发的朋友可以拓宽自己的技术能力栈,提升自己的价值。 本套大数据热门技术Spark+机器学习+贝叶斯算法共计13季,本套为第1季。
    免费试看
  • 大数据热门技术Spark+机器学习+贝叶斯算法第6季

    高级课

    大数据热门技术Spark+机器学习+贝叶斯算法第6季
    18课时 348分钟 张长志
    本套大数据热门技术Spark+机器学习+贝叶斯算法系列课程,历经5年沉淀,调研企业上百家,通过上万学员汇总,保留较为完整的知识体系的同时,让每个模块看起来小而精,碎而不散。在本课程中基于大量案例实战,深度剖析和讲解Spark2.4原理和新特性,且会包含完全从企业真实业务需求中抽取出的案例实战。内容涵盖Spark核心编程、Spark SQL和Spark Streaming、Spark内核以及源码剖析、推荐系统、Kafka消费机制、Spark机器学习、朴素贝叶斯算法、企业级实战案例等。 通过理论和实际的紧密结合,可以使学员对大数据Spark技术栈有充分的认识和理解,在项目实战中对Spark和流式处理应用的场景、以及大数据开发有更深刻的认识;并且通过对流处理原理的学习和与批处理架构的对比,可以对大数据处理架构有更全面的了解,为日后成长为架构师打下基础。 本套教程可以让学员熟练掌握Spark技术栈,提升自己的职场竞争力,实现更好的升职或者跳槽,或者从J2EE等传统软件开发工程师转型为Spark大数据开发工程师,或是对于正在从事Hadoop大数据开发的朋友可以拓宽自己的技术能力栈,提升自己的价值。 Spark应用场景 Yahoo将Spark用在Audience Expansion中的应用,进行点击预测和即席查询等。 淘宝技术团队使用了Spark来解决多次迭代的机器学习算法、高计算复杂度的算法等。应用于内容推荐、社区发现等。 腾讯大数据精准推荐借助Spark快速迭代的优势,实现了在“数据实时采集、算法实时训练、系统实时预测”的全流程实时并行高维算法,最终成功应用于广点通pCTR投放系统上。 优酷土豆将Spark应用于视频推荐(图计算)、广告业务,主要实现机器学习、图计算等迭代计算。 本套大数据热门技术Spark+机器学习+贝叶斯算法共计13季,本套为第6季。
    免费试看
  • 大数据热门技术Spark+机器学习+贝叶斯算法第13季

    高级课

    大数据热门技术Spark+机器学习+贝叶斯算法第13季
    17课时 347分钟 张长志
    本套大数据热门技术Spark+机器学习+贝叶斯算法系列课程,历经5年沉淀,调研企业上百家,通过上万学员汇总,保留较为完整的知识体系的同时,让每个模块看起来小而精,碎而不散。在本课程中基于大量案例实战,深度剖析和讲解Spark2.4原理和新特性,且会包含完全从企业真实业务需求中抽取出的案例实战。内容涵盖Spark核心编程、Spark SQL和Spark Streaming、Spark内核以及源码剖析、推荐系统、Kafka消费机制、Spark机器学习、朴素贝叶斯算法、企业级实战案例等。 通过理论和实际的紧密结合,可以使学员对大数据Spark技术栈有充分的认识和理解,在项目实战中对Spark和流式处理应用的场景、以及大数据开发有更深刻的认识;并且通过对流处理原理的学习和与批处理架构的对比,可以对大数据处理架构有更全面的了解,为日后成长为架构师打下基础。 本套教程可以让学员熟练掌握Spark技术栈,提升自己的职场竞争力,实现更好的升职或者跳槽,或者从J2EE等传统软件开发工程师转型为Spark大数据开发工程师,或是对于正在从事Hadoop大数据开发的朋友可以拓宽自己的技术能力栈,提升自己的价值。 Spark应用场景 Yahoo将Spark用在Audience Expansion中的应用,进行点击预测和即席查询等。 淘宝技术团队使用了Spark来解决多次迭代的机器学习算法、高计算复杂度的算法等。应用于内容推荐、社区发现等。 腾讯大数据精准推荐借助Spark快速迭代的优势,实现了在“数据实时采集、算法实时训练、系统实时预测”的全流程实时并行高维算法,最终成功应用于广点通pCTR投放系统上。 优酷土豆将Spark应用于视频推荐(图计算)、广告业务,主要实现机器学习、图计算等迭代计算。 本套大数据热门技术Spark+机器学习+贝叶斯算法共计13季,本套为第13季。
    免费试看
  • 大数据热门技术Spark+机器学习+贝叶斯算法第2季

    高级课

    大数据热门技术Spark+机器学习+贝叶斯算法第2季
    15课时 244分钟 张长志
    本套教程版权归张老师所有 本套大数据热门技术Spark+机器学习+贝叶斯算法系列课程,历经5年沉淀,调研企业上百家,通过上万学员汇总,保留较为完整的知识体系的同时,让每个模块看起来小而精,碎而不散。在本课程中基于大量案例实战,深度剖析和讲解Spark2.4原理和新特性,且会包含完全从企业真实业务需求中抽取出的案例实战。内容涵盖Spark核心编程、Spark SQL和Spark Streaming、Spark内核以及源码剖析、推荐系统、Kafka消费机制、Spark机器学习、朴素贝叶斯算法、企业级实战案例等。 通过理论和实际的紧密结合,可以使学员对大数据Spark技术栈有充分的认识和理解,在项目实战中对Spark和流式处理应用的场景、以及大数据开发有更深刻的认识;并且通过对流处理原理的学习和与批处理架构的对比,可以对大数据处理架构有更全面的了解,为日后成长为架构师打下基础。 本套教程可以让学员熟练掌握Spark技术栈,提升自己的职场竞争力,实现更好的升职或者跳槽,或者从J2EE等传统软件开发工程师转型为Spark大数据开发工程师,或是对于正在从事Hadoop大数据开发的朋友可以拓宽自己的技术能力栈,提升自己的价值。 本套大数据热门技术Spark+机器学习+贝叶斯算法共计13季,本套为第2季。
    免费试看
  • 大数据热门技术Spark+机器学习+贝叶斯算法第9季

    高级课

    大数据热门技术Spark+机器学习+贝叶斯算法第9季
    17课时 316分钟 张长志
    本套教程版权归张老师所有 本套大数据热门技术Spark+机器学习+贝叶斯算法系列课程,历经5年沉淀,调研企业上百家,通过上万学员汇总,保留较为完整的知识体系的同时,让每个模块看起来小而精,碎而不散。在本课程中基于大量案例实战,深度剖析和讲解Spark2.4原理和新特性,且会包含完全从企业真实业务需求中抽取出的案例实战。内容涵盖Spark核心编程、Spark SQL和Spark Streaming、Spark内核以及源码剖析、推荐系统、Kafka消费机制、Spark机器学习、朴素贝叶斯算法、企业级实战案例等。 通过理论和实际的紧密结合,可以使学员对大数据Spark技术栈有充分的认识和理解,在项目实战中对Spark和流式处理应用的场景、以及大数据开发有更深刻的认识;并且通过对流处理原理的学习和与批处理架构的对比,可以对大数据处理架构有更全面的了解,为日后成长为架构师打下基础。 本套教程可以让学员熟练掌握Spark技术栈,提升自己的职场竞争力,实现更好的升职或者跳槽,或者从J2EE等传统软件开发工程师转型为Spark大数据开发工程师,或是对于正在从事Hadoop大数据开发的朋友可以拓宽自己的技术能力栈,提升自己的价值。 本套大数据热门技术Spark+机器学习+贝叶斯算法共计13季,本套为第9季。
    免费试看
更多
免费试看
8504人学习 2704课时
介绍大数据技术生态圈主流技术框架的应用与发展,介绍如何搭建Hadoop大数据分布式系统集群平台、大数据分布式文件系统HDFS 、大数据分布式并行计算框架MapReduce。 本课程介绍大数据的学习基础。 本课程介绍大数据的背景。 带你深入了解大数据,对大数据有不同的认识。 介绍大数据的基本概念和技术生态圈。 本课程以杨力老师主编的《Hadoop大数据开发实战》为参考,书中详细的介绍了各个步骤,有需要的同学可以留意一下。 该课程的后续课程为杨力老师主讲的《hive大数据离线应用开发》,想要更进一步的同学可以继续观看杨老师的系列视频。
免费
免费试看
8482人学习 286课时
大数据技术在金融领域的应用与实战视频培训教程,系列课程是CSDN学院主题月专属视频,本期主题为 “金融大数据 ”,内容秉承干货实料的原则,邀请业内顶尖的数据技术讲师,共话大数据平台、Spark部署实践以及实现应用大数据支持业务发展等核心话题,旨在通过来自国内一线互联网公司的实践案例,为开发者提供一个有价值的高效技术交流平台,带你全面了解大数据在金融行业的应用与实战。
¥39.00 免费
免费试看
13160人学习 65课时
Hadoop入门和大数据应用视频教程,该课程主要分享Hadoop基础及大数据方面的基础知识。 讲师介绍:翟周伟,就职于百度,Hadoop技术讲师,专注于Hadoop&大数据、数据挖掘、自然语言处理等领域。2009年便开始利用Hadoop构建商业级大数据系统,是国内该领域早的一批人之一,负责设计过多个基于Hadoop的大数据平台和分析系统。2011年合著出版《Hadoop开源云计算平台》。在自然语言处理领域申请过一项发明专利。新出版书籍 《Hadoop核心技术》 。
会员免费
免费试看
35260人学习 2477课时
大数据Spark实战视频培训教程:本课程内容涉及,Spark虚拟机安装、Spark表配置、平台搭建、快学Scala入门、Spark集群通信、任务调度、持久化等实战内容。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
¥208.00 拼团
免费试看
1609人学习 1721课时
本课程以CDH作为大数据平台,详细介绍CDH平台各个组件在生产环境的应用及开发,并结合实际的业务场景,离线数仓,实时数仓,构建企业核心的数据架构。 在实际的工作当中,大数据架构,运维或者开发人员会与多个公司团队合作,ETL团队,爬虫团队,算法团队,运营团队等等,指导大家如何与个个团队打交道,提升工作效率。减少团队之间不愉快的沟通。 希望学习者最好从事过数据库相关工作,有一些 JAVA开发基础,或者有其他工作经验,想学习大数据及数据仓库的同学,对于没有工作经验,或者对开发,数据完全小白的同学,建议先了解相关知识再学习。 本课程的宗旨只有一条,任何学习完本课程的同学,都能熟悉企业主流的数据架构,都有能力维护一个中等HADOOP集群,也就是1P左右的数据的集群或者多个集群。
¥800.00
免费试看
2655人学习 606课时
本课程主要讲解在实际项目开发中,企业构建大数据平台的方案及实战。详细阐述企业级大数据平台的架构设计、机器选型、集群规划、技术选型、资源规划等技术方案。实战演练基于Cloudera Manager(CDH6)安装部署、监控管理、运营维护大数据平台的各个服务组件。从理论经验到实战演练,从设计思想到流程实施,亲力亲测,你也绝对可以。推荐进阶课程:大数据运维尖刀班
¥99.00
免费试看
297人学习 718课时
    本课程中,你将学习到,项目架构搭建,数据生产,数据消费,数据分析,以及数据展示等项目核心业务功能的实现。学习过程中,我们将使用Flume,Kafka,HBase,Hadoop,Echarts,Crontab等大数据框架完成整个业务的实现,并在学习过程中对各个框架的应用和原理进行梳理和剖析。 【视频特点】 通信运营商每时每刻会产生大量的通信数据,例如通话记录,短信记录,彩信记录,第三方服务资费等等繁多信息。数据量如此巨大,除了要满足用户的实时查询和展示之外,还需要定时定期的对已有数据进行离线的分析处理。 电信客服综合案例就是以此为切入点所开发的大数据实战案例。  在本课程中,你将学习到,项目架构搭建,数据生产,数据消费,数据分析,以及数据展示等项目核心业务功能的实现。学习过程中,我们将使用Flume,Kafka,HBase,Hadoop,Echarts,Crontab等大数据框架完成整个业务的实现,并在学习过程中对各个框架的应用和原理进行梳理和剖析。
¥199.00 拼团
免费试看
209人学习 253课时
课程由猎豹移动大数据架构师,根据Java在公司大数据开发中的实际应用,精心设计和打磨的大数据必备Java课程。通过本课程学习大数据新手能够少走弯路,以最短的时间系统掌握大数据开发必备语言Java,为后续大数据课程的学习奠定了坚实的语言基础。 课程特色 1.课程是由猎豹移动大数据架构师亲自授课 2.课程理论讲解透彻形象,手把手实战操作 3.课程包含大数据开发必备的所有Java知识 4.课程前后连贯、系统完整,不会出现跳讲和断讲 技术说明 1. 语言版本:JDK1.8 2. 开发工具:Eclipse 课程资料 免费提供完整的PPT资料 免费提供完整的Word文档 免费提供完整的随堂笔记 免费提供完整的课程代码 免费提供完整的软件包
¥12.00
免费试看
263人学习 549课时
如今大数据已经成了各大互联网公司工作的重点方向,而推荐系统可以说就是大数据最好的落地应用之一,已经为企业带来了可观的用户流量和销售额。特别是对于电商,好的推荐系统可以大大提升电商企业的销售业绩。国内外的知名电商,如亚马逊、淘宝、京东等公司,都在推荐系统领域投入了大量研发力量,也在大量招收相关的专业人才。打造的电商推荐系统项目,就是以经过修改的中文亚马逊电商数据集作为依托,并以某电商网站真实的业务架构作为基础来实现的,其中包含了离线推荐与实时推荐体系,综合利用了协同过滤算法以及基于内容的推荐方法来提供混合推荐。具体实现的模块主要有:基于统计的离线推荐、基于隐语义模型的离线推荐、基于自定义模型的实时推荐,以及基于内容的、和基于Item-CF的离线相似推荐。整个项目具有很强的实操性和综合性,对已有的大数据和机器学习相关知识是一个系统性的梳理和整合,通过学习,同学们可以深入了解推荐系统在电商企业中的实际应用,可以为有志于增加大数据项目经验的开发人员、特别是对电商业务领域感兴趣的求职人员,提供更好的学习平台。适合人群:1.有一定的 Java、Scala 基础,希望了解大数据应用方向的编程人员2.有 Java、Scala 开发经验,了解大数据相关知识,希望增加项目经验的开发人员3.有电商领域开发经验,希望拓展电商业务场景、丰富经验的开发人员4.有较好的数学基础,希望学br习机器学习和推荐系统相关算法的求职人员
¥128.00 拼团
免费试看
701人学习 20课时
购买课程后,可扫码进入学习群,获取赵强老师答疑 本系列课程,完全免费,旨在帮助更多的学员了解大数据,包括:基本思想、Hadoop和Spark的基础知识,为进一步学习大数据奠定基础。
会员免费
免费试看
197人学习 804课时
通过此案例可以学习大数据整体开发流程,课程是围绕一个大数据整理流程而做的教学课程,让大家明白大数据不同技术的相互协调,从收集数据,过滤数据,数据分析,数据展示,调度的使用而开发的课程,而且怎么从hadoop,hive应用快速的过度到spark上面而做的整套流程。学完此课程可以企业流程做一个整体的认识。 配套资料-答疑专属答疑群 购买课程后加入qq群 951117762 (备注订单号后四位)
¥198.00 拼团
免费试看
675人学习 188课时
Spark大数据实时分析系统课程旨在帮助同学们收获一份有含金量、能写在简历上的项目经验,课程无死角讲解项目每个环节。课程内容涉及项目业务介绍、技术选型与架构设计、项目的架构演进、手机端到服务端数据流程、日志采集设计与要求、日志采集拓扑结构、线上和本地集群资源规划、项目全流程开发、项目总结、项目面试21问。项目内容比较丰满,零基础的同学可以从基础学到项目,有基础的同学可以直接选择项目学习。
免费
免费试看
418人学习 832课时
随着大数据技术的不断发展壮大, Hive不再是大数据技术生态圈中一个普通的工具,而是在大数据分析和大数据仓库中占据着几乎不可替代的重要作用,大数据分析中Hive和Hbase、Hive和Spark SQL、Hive和Impala的结合使用愈加紧密,大数据仓库中Hive在数据仓库建模模块的作用暂时无可替代。所以,深入学好Hive是入门大数据分析、大数据仓库最好的选择。
¥199.00
免费试看
1026人学习 1694课时
该课程采用时下后的编程语言Python讲解,囊括了当前火的大数据技术Spark/Hadoop/Hive知识,学习环境是基于Docker搭建的5个容器。通过这门课程不仅可以学到Spark/Hadoop/Hive大数据知识,还可以学到当下后的云计算技术Docker. 任务作业: 很多人都想入门机器学习和人工智能,挑战高薪!殊不知人工智能和机器学习的基础是数据及数学,特别是在大数据时代,90%以上的公司不单单是招聘算法工程师,到猎聘Boss直聘上查找算法岗位,查看其招聘条件往往都需要熟练使用大数据平台。这门课程涵盖Docker云计算容器技术,要求学员学完本门课程能够使用Docker容器部署4个容器的Spark集群并能用学到的Docker技术制作一个微服务镜像并对外提供服务;本课程全面讲解了Spark原理及接口,要求学员学完本课程能用网络爬虫爬取全国各地的房价数据,并用Spark编写mapreduce程序分析房价分布情况;本课程涉及分布式机器学习SparkML,要求学员学完本课程,能用SVR,LinearRegreesion,多层感知机算法,决策树回归算法等算法进行房价预测。 人人都想入门人工智能,殊不知人工智能的入门准则是基础的算法和数据处理的能力,学完本课程希望人人拿高薪! (注意: 作业需写在CSDN博客中,请把作业链接贴在评论区,老师会定期逐个批改~~)
¥399.00 拼团
免费试看
517人学习 40课时
随着大数据与人工智能技术的应用普及,海量多源异构数据急剧增加。传统大数据平台在面临多源异构数据处理时,面临数据采集处理能力不足、数据结构难以统一,数据运维困难等挑战,为企业探索数据价值带来了层层阻碍。那么,有没有办法解决上述问题呢?答案是肯定的,浪潮商用机器有限公司推出的基于POWER9架构的Hadoop+Spark的异构大数据平台,将能轻松应对多样化并发处理任务,实现异构资源灵活调配,为企业提供一个完美的异构大数据解决方案。本次公开课力邀浪潮商用机器的资深专家——刘长生先生,为您带来《异构大数据平台,让多源异构数据融合贯通!》主题分享,详细解读该异构大数据解决方案,诚邀您参加!
免费
免费试看
555人学习 294课时
购买课程后,可扫码进入学习群,获取赵强老师答疑 本系列课程将基于RedHat Linux 7.4版本、Hadoop 2.7.3、Spark 2 版本全面介绍大数据的整体内容,让学员深入理解并掌握运行机制和原理,从而进一步掌握大数据的相关内容。
¥181.00
猜你喜欢
相关培训 相关博客
  • 第1章Spark概述spark的产生背景spark是如何产生的,这要先送大数据说起,大数据是如何产生的?Google就是处理大数据的,网页和网页之间有很多的关联关系,为了处理排序啊这些算法,所以Google就发明了,Google就发布了三个论文,基于这三个论文的开源,实现了Hadoop、Hdfs、MapReduce、Hbase等,但是感觉好像每次MapReduce只能处理一次数据...
    2019-12-12 16:06:08
    阅读量:0
    评论:0
  • 学习大数据技术,SPARK无疑是绕不过去的技术之一,它的重要性不言而喻,本文将通过提问的形式围绕着SPARK进行介绍,希望对大家有帮助,与此同时,感谢为本文提供素材的科多大数据的武老师。为了辅助大家更好去了解大数据技术,本文集中讨论Spark的一系列技术问题,大家在学习过程中如果遇到困难,可以留言互动,我都将「知无不言,言无不尽」!//话题1:MapReduce的局限性有哪些?回复:...
    2018-10-22 15:44:34
    阅读量:0
    评论:0
  • 对于近实时大数据分析应当怎么办呢?作为最先进的下一代开源技术Apache Spark已经为视频、传感器、交易等流数据的分析、机器学习、预测建模创造了条件。它们可以用于基因组研究、封包检测、恶意软件探测和物联网。在用户体验达不到所宣传效果之后,IT领域中必然会随之出现“新的热门事件”。目前的新热门事件涉及大数据和对海量分布式数据的快速精准分析。在目前的大数据领域中,Hadoop被作为存储和分...
    2019-06-22 12:39:47
    阅读量:104
    评论:0
  • Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台,它立足于内存计算,性能超过Hadoop百倍,从多迭代批量处理出发,兼收并蓄数据仓库、流处理和图计算等多种计算范式,是罕见的全能选手。Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询等方面的所有核心问题,具有完善的生态系统,这直接奠定了其一统云计算大数据领域的霸主地位。伴随Spark技术...
    2019-06-04 21:59:41
    阅读量:0
    评论:0
  • Spark 译为火花Spark定义Spark是采用Scala语言编写的一个通用的大规模数据快速处理分析引擎,是基于内存计算的大数据并行计算框架,Spark在性能和方案的统一性都具有显著的优势,它可以提高数据处理的速度,也可保证了高容错性和高可伸缩性。Spark包含SparkCore、SparkSQL、Spark Streaming、MLlib、Graph可以解决大数据中的Bat...
    2019-12-12 16:34:06
    阅读量:75
    评论:0
  • 前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。Spark性能优化指南——基础篇数据倾斜调优调优概述有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方...
    2019-12-20 15:30:05
    阅读量:0
    评论:0
  • Spark.ml是在Spark 1.2开始引入的一个包,它旨在提供一套统一的高级API,帮助用户创建和优化实用的机器学习工作流,它在原来的MLlib的基础上进行了大量的改进和优化,让Spark生态更见坚不可摧,本文就来详细介绍一下Spark机器学习工作流的基本概念和用法。—▼—我建了一个QQ学习交流群,旨在“分享、讨论、学习、资源分享、就业机会、互联网内推、共同进步!”,感兴趣的可以加...
    2019-12-25 11:14:09
    阅读量:36
    评论:0
  • Spark是基于内存计算的通用大规模数据处理框架。Spark快的原因:Spark基于内存,尽可能的减少了中间结果写入磁盘和不必要的sort、shuffle Spark对于反复用到的数据进行了缓存 Spark对于DAG进行了高度的优化,具体在于Spark划分了不同的stage和使用了延迟计算技术弹性数据分布集RDD:Spark将数据保存分布式内存中,对分布式内存的抽象理解...
    2019-12-21 17:55:49
    阅读量:0
    评论:0
  • Spark 是一种与 Hadoop 相似的开源集群计算环境,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。在这里还是要推荐下我自己建的大数据学习交流群:957205962,群里都是学大数据开发的,...
    2019-05-14 18:56:54
    阅读量:0
    评论:0
  • Spark是大数据处理中的一个非常重要的组件,一般使用Hadoop在底层作为分布式存储系统,上层使用Spark代替Hadoop原来的MapReduce此外还提供RDD编程、Spark SQL、流计算和机器学习。它功能齐全、计算速度快,可以使用Scala语言、python、Java进行编程,那么在本周学习了Spark的相关内容,目录如下:一、Spark的设计与运行原理Spark概述 Spa...
    2019-10-13 14:03:01
    阅读量:0
    评论:0