在大数据学习中遇到的问题相关课程
  • 大数据—电商数仓项目

    高级课

    大数据—电商数仓项目
    142课时 1753分钟 缪传海
    一、课程简介 随着技术的飞速发展,经过多年的数据积累,各互联网公司已保存了海量的原始数据和各种业务数据,所以数据仓库技术是各大公司目前都需要着重发展投入的技术领域。数据仓库是面向分析的集成化数据环境,为企业所有决策制定过程,提供系统数据支持的战略集合。通过对数据仓库中数据的分析,可以帮助企业改进业务流程、控制成本、提高产品质量等。 二、课程内容 本次精心打造的数仓项目的课程,从项目架构的搭建,到数据采集模块的设计、数仓架构的设计、实战需求实现、即席查询的实现,我们针对国内目前广泛使用的Apache原生框架和CDH版本框架进行了分别介绍,Apache原生框架介绍中涉及到的技术框架包括Flume、Kafka、Sqoop、MySql、HDFS、Hive、Tez、Spark、Presto、Druid等,CDH版本框架讲解包括CM的安装部署、Hadoop、Zookeeper、Hive、Flume、Kafka、Oozie、Impala、HUE、Kudu、Spark的安装配置,透彻了解不同版本框架的区别联系,将大数据全生态系统前沿技术一网打尽。在过程中对大数据生态体系进行了系统的讲解,对实际企业数仓项目中可能涉及到的技术点都进行了深入的讲解和探讨。同时穿插了大量数仓基础理论知识,让你在掌握实战经验的同时能够打下坚实的理论基础。 三、课程目标 本课程以国内电商巨头实际业务应用场景为依托,对电商数仓的常见实战指标以及难点实战指标进行了详尽讲解,具体指标包括:每日、周、月活跃设备明细,留存用户比例,沉默用户、回流用户、流失用户统计,最近连续3周活跃用户统计,最近7天内连续3天活跃用户统计,GMV成交总额分析,转化率及漏斗分析,品牌复购率分析、订单表拉链表的设计等,让学生拥有更直观全面的实战经验。通过对本课程的学习,对数仓项目可以建立起清晰明确的概念,系统全面的掌握各项数仓项目技术,轻松应对各种数仓难题。 四、课程亮点 本课程结合国内多家企业实际项目经验,特别加入了项目架构模块,从集群规模的确定到框架版本选型以及服务器选型,手把手教你从零开始搭建大数据集群。并且总结大量项目实战中会遇到的问题,针对各个技术框架,均有调优实战经验,具体包括:常用Linux运维命令、Hadoop集群调优、Flume组件选型及性能优化、Kafka集群规模确认及关键参数调优。通过这部分学习,助学生迅速成长,获取前沿技术经验,从容解决实战问题。
    免费试看
  • 全新大数据企业电商数据仓库项目实战教程

    高级课

    全新大数据企业电商数据仓库项目实战教程
    142课时 1758分钟 张长志
    本教程为授权出品 一、课程简介 数据仓库(Data Warehouse,可简写为DW或DWH),是面向分析的集成化数据环境,为企业决策制定过程,提供系统数据支持的战略集合,是国内外各大公司正在重点投入的战略级技术领域。 二、课程内容 《大数据电商数仓项目实战》视频教程,从项目架构的搭建,到数据采集模块的设计、数仓架构的设计、实战需求实现、即席查询的实现,我们针对国内目前广泛使用的Apache原生框架和CDH版本框架进行了分别介绍,Apache原生框架介绍中涉及到的技术框架包括Flume、Kafka、Sqoop、MySql、HDFS、Hive、Tez、Spark、Presto、Druid等,CDH版本框架讲解包括CM的安装部署、Hadoop、Zookeeper、Hive、Flume、Kafka、Oozie、Impala、HUE、Kudu、Spark的安装配置,透彻了解不同版本框架的区别联系,将大数据全生态系统前沿技术一网打尽。在过程中对大数据生态体系进行了系统的讲解,对实际企业数仓项目中可能涉及到的技术点都进行了深入的讲解和探讨。同时穿插了大量数仓基础理论知识,让你在掌握实战经验的同时能够打下坚实的理论基础。 三、课程目标 本课程以国内电商巨头实际业务应用场景为依托,对电商数仓的常见实战指标以及难点实战指标进行了详尽讲解,具体指标包括:每日、周、月活跃设备明细,留存用户比例,沉默用户、回流用户、流失用户统计,最近连续3周活跃用户统计,最近7天内连续3天活跃用户统计,GMV成交总额分析,转化率及漏斗分析,品牌复购率分析、订单表拉链表的设计等,让学生拥有更直观全面的实战经验。通过对本课程的学习,对数仓项目可以建立起清晰明确的概念,系统全面的掌握各项数仓项目技术,轻松应对各种数仓难题。 四、课程亮点 本课程结合国内多家企业实际项目经验,特别加入了项目架构模块,从集群规模的确定到框架版本选型以及服务器选型,手把手教你从零开始搭建大数据集群。并且总结大量项目实战中会遇到的问题,针对各个技术框架,均有调优实战经验,具体包括:常用Linux运维命令、Hadoop集群调优、Flume组件选型及性能优化、Kafka集群规模确认及关键参数调优。通过这部分学习,助学生迅速成长,获取前沿技术经验,从容解决实战问题。
    免费试看
  • 大数据项目业务建模
    大数据项目业务建模
    易水
    掌握Spark Streaming大数据实时项目常用技术组件 掌握Spark Streaming大数据实时项目开发流程
    免费试看
  • 大数据集群平台角色规划
    大数据集群平台角色规划
    易水
    掌握Spark Streaming大数据实时项目常用技术组件 掌握Spark Streaming大数据实时项目开发流程
    免费试看
  • 新版全面系统完整的JavaWeb视频教程

    初级课

    新版全面系统完整的JavaWeb视频教程
    60课时 769分钟 张长志
    本教程为授权作品 本JavaWEB视频教程是专为大数据方向的学员量身打造,涵盖JavaWEB 企业级开发所用到的HTML、CSS、JavaScript、jQuery、Ajax、JSON、XML、XML 解析、Servlet、JSP、MVC 设计模式、EL 表达式 、Cookie、HttpSession、监听器、过滤器等大部分技术。采用案例驱动教学,通过需求引入具体的技术点。对于大数据方向的同学来讲,借助本教程的学习,足够满足在实际工作中遇到的JavaWEB各方面的问题。
    免费试看
  • 大数据解决方案构建详解 :以阿里云E-MapReduce为例

    高级课

    大数据解决方案构建详解 :以阿里云E-MapReduce为例
    2课时 62分钟 CSDN讲师
    大数据解决方案构建详解教程:1. 简单介绍Hadoop生态,介绍E-MapReduce产品,包括作业报警等。2. 探索Hadoop节约成本的几种方式3. 几大类大数据场景的解决方案4. 已有用户遇到的10大常见Hadoop问题剖析5. E-MapReduce未来规划,如专家系统,更智能为客户服务。
    免费试看
  • 银行业数据仓库向大数据平台转型实战-1
    银行业数据仓库向大数据平台转型实战-1
    CSDN讲师
    AI时代下金融数据人才培养建设与转型提升,银行业数据仓库向大数据平台转型实战,Spark技术在银行业应用,Apache Griffin原理及在互联网金融数据治理上的应用。
    免费试看
  • 企业级多语言舆情爬虫系统

    高级课

    企业级多语言舆情爬虫系统
    31课时 383分钟 张长志
    利用全媒体大数据、多语言文本语义理解、跨平台信息传播追踪等技术提供信息监测与预警、深度分析与研判、舆情疏导与效果评估等一站式闭环智能服务为海内外政府和企业在舆情应对、情报收集、业务决策等方面提供全套解决方案。 市面上关于Go的案例很少,将舆情系统于Go爬虫相结合可以便于学习者快速掌握Go语言技术的综合应用,让你真实体验企业的开发环境和实战。
    免费试看
  • canal详解-从源码分析到项目实战

    中级课

    canal详解-从源码分析到项目实战
    10课时 139分钟 张德恒
    canal 详细讲解:主要包含的内容有 1.canal的简介 2.mysql、kafka、zookeeper的安装和基本使用 3.canal参数讲解、项目中可能遇到的问题 4.相关etl产品对比 5.canal源码讲解 6.项目实战
    免费试看
  • 基于Go语言大型企业级电商秒杀系统实战教程

    高级课

    基于Go语言大型企业级电商秒杀系统实战教程
    68课时 1028分钟 张长志
    课程背景: 如果赶上一个语言火的时候,您想不赚钱都难,android ,苹果,大数据,python我们没有赶上第一批,现在go语言您还想错过吗? 现在go语言已经在大公司开始使用,在做服务这块慢慢已经走上热点,现在go语言视频很少而且很基础,我们早已经带着学员开始做实战了。go语言大神班为有一定基础且想深入学习go的学员量身打造,拒绝平庸,与众不同! 专技术:对整个大数据生态圈的相关技术都有一定的研究,深入理解Go的原理,熟练使用GO技术解决各种业务需求。通过我们课程中的企业级项目和通俗易懂的知道点分析让你更加深了的掌握Go技术! 懂架构:对业务有一定的了解,并且可以根据不同的业务场景设计出最优的技术架构。通过我们课程中的企业真实项目,全方位掌握项目的整个开发周期,达到触类旁通的目的! 擅调优:一般其他语言开发项目一般都有一定的性能瓶颈,使用GO需要深入掌握项目技术架构特点和技术原理方可对项目中的瓶颈进行调优。通过项目中的调优经验让你掌握该技能! 善沟通:GO在项目中扮演一个非常重要的角色,一般是在企业里做服务这块,需要跟各个部门进行协调沟通,所以要具备良好的沟通能力,业务对接能力!   课程研发环境及内容简介: 1.课程研发环境 项目源代码以Go1.9.2为基准,数据库以mysql为基准,以下环境都适用于项目。 开发工具:VScode; 数据库工具:mysql   2.内容简介 什么是秒杀 秒杀场景一般会在电商网站举行一些活动或者节假日在12306网站上抢票时遇到。对于网站中一些稀缺或者特价的产品,电商网站一般会在约定的时间对其进行限量销售,因为这些产品的特殊性,会吸引大量用户前来抢购,并且会在约定时间同时在秒杀页面进行抢购。 设计思路 将请求拦截在系统上游,降低下流压力;秒杀系统特点就是并发量极大,但实际秒杀成功的请求数量确很少,所以如果不在前端拦截可能造成数据库读写锁冲突,甚至导致死锁,最终请求超时,甚至导致系统崩溃 充分利用缓存:利用缓存可以极大提高系统读写速度 消息队列:消息队列可以削峰,将拦截大量并发的请求,这也是一个异步处理过程,后台业务根据自己的处理能力,从消息队列中主动的拉取请求消息进行业务处理 前端方案 浏览器端(js): 页面静态化:将活动页面上的所有可以静态的元素全部静态化,并尽量减少动态元素,通过CDN来抗峰值 禁止重复提交:用户提交之后按钮置灰,禁止重复提交 用户限流:在某一时间内只允许用户提交一次请求,比如可以采取IP限流 后端方案 服务器控制器层(网关层) 限制UID(userID)访问频率:我们上面拦截了浏览器的访问请求,但准对某些恶意请求和攻击或者其他插件,在服务器控制层要准对同一个uid,限制访问频率   服务层 上面只拦截了一部分请求,当秒杀的用户量非常大时,即使每个用户只有一个请求,到服务层的请求数量还是很大。比如我们有100w用户同时抢购100台手机,服务层并发请求压力至少为100w。 1.采用消息队列缓存请求:既然服务器层知道库存只有100台手机,那完全没有必要把100w个请求都传递到数据库里,那么可以先把这些请求都写到消息队列里面缓存一下,数据库层订阅消息减少库存,减库存成功的请求返回秒杀成功,失败的返回秒杀结束 2.利用缓存应对读请求:对类似12306等购票业务,是典型的读多写少业务,大部分请求时查询请求,所以可以利用缓存分担数据库压力 3.利用缓存对写请求:缓存也是可以应对写请求,比如我们可以把数据库中库存数据迁移到Redis缓存中,所有减库存操作都在Redis中进行,然后通过后台进程把Redis中的用户秒杀请求同步到数据库中 数据库层 数据库层是最脆弱的一层,一般在应用设计时在上游就需要把请求拦截,数据库层只承担“能力范围内”的访问请求。所以,上面通过在服务层引入的队列和缓存,让底层的数据库高枕无忧
    免费试看
更多
免费试看
9084人学习 2704课时
介绍大数据技术生态圈主流技术框架的应用与发展,介绍如何搭建Hadoop大数据分布式系统集群平台、大数据分布式文件系统HDFS 、大数据分布式并行计算框架MapReduce。 本课程介绍大数据的学习基础。 本课程介绍大数据的背景。 带你深入了解大数据,对大数据有不同的认识。 介绍大数据的基本概念和技术生态圈。 本课程以杨力老师主编的《Hadoop大数据开发实战》为参考,书中详细的介绍了各个步骤,有需要的同学可以留意一下。 该课程的后续课程为杨力老师主讲的《hive大数据离线应用开发》,想要更进一步的同学可以继续观看杨老师的系列视频。
免费
免费试看
35288人学习 2477课时
大数据Spark实战视频培训教程:本课程内容涉及,Spark虚拟机安装、Spark表配置、平台搭建、快学Scala入门、Spark集群通信、任务调度、持久化等实战内容。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
¥208.00 拼团
免费试看
8678人学习 286课时
大数据技术在金融领域的应用与实战视频培训教程,系列课程是CSDN学院主题月专属视频,本期主题为 “金融大数据 ”,内容秉承干货实料的原则,邀请业内顶尖的数据技术讲师,共话大数据平台、Spark部署实践以及实现应用大数据支持业务发展等核心话题,旨在通过来自国内一线互联网公司的实践案例,为开发者提供一个有价值的高效技术交流平台,带你全面了解大数据在金融行业的应用与实战。
¥39.00 免费
免费试看
2713人学习 606课时
本课程主要讲解在实际项目开发中,企业构建大数据平台的方案及实战。详细阐述企业级大数据平台的架构设计、机器选型、集群规划、技术选型、资源规划等技术方案。实战演练基于Cloudera Manager(CDH6)安装部署、监控管理、运营维护大数据平台的各个服务组件。从理论经验到实战演练,从设计思想到流程实施,亲力亲测,你也绝对可以。推荐进阶课程:大数据运维尖刀班
¥99.00
免费试看
566人学习 294课时
购买课程后,可扫码进入学习群,获取赵强老师答疑 本系列课程将基于RedHat Linux 7.4版本、Hadoop 2.7.3、Spark 2 版本全面介绍大数据的整体内容,让学员深入理解并掌握运行机制和原理,从而进一步掌握大数据的相关内容。
¥181.00
免费试看
10818人学习 745课时
本课程主要是构建大数据平台,包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署,都是手把手操作,不会出现跳讲和断讲,0基础同学也能一站式搞定大数据平台环境。
免费
免费试看
12593人学习 88课时
主讲: 钱广锐(IBM研究员/技术讲师/教授) 苏再卿(IBM开发组长/工程师/技术讲师) 【课程主题】 开源大数据技术架构设计
会员免费
免费试看
809人学习 434课时
本课程为大数据专业的基础理论课程,目的是使学生掌握大数据时代的搜索技术,了解开源搜索引擎Elasticsearch的基本工作原理,安装配置方法,工作和使用的过程。 搜索无处不在 ,搜索已经融入我们工作、生活的方方面面。除每天使用的通用搜索引擎以外,几乎我们使用的所有互联网应用、ERP、企业内联网等都提供(或应该具备)了搜索功能。我们向搜索引擎发出查询请求后,很快就能得到一大堆相关的搜索结果,它是怎么做到的呢?这是搜索引擎的黑箱秘密。开源搜索技术Elasticsearch是一套很好的技术工具,能够帮助我们打开这一黑箱,洞悉搜索引擎背后的技术原理与运行机制,并能够借此真正地做搜索。 Elasticsearch不但应用在搜索引擎技术中,还是各种企业应用中,如日志分析,海量数据搜索,相关性搜索等,还能为客户提供快速全文检索和分析的工具,Elasticsearch能做到传统数据库无法实现的海量数据相关性搜索,在大数据领域,智慧城市,智慧医疗等前沿技术应用中,具有无法替代的地位。
¥113.00 ¥188.00 会员6折
免费试看
1509人学习 241课时
Ambari是由 HortonWorks 开发的一个Hadoop相关的项目,这款软件具有集群自动化安装、中心化管理、集群监控、报警等功能,使得安装集群从几天的时间缩短在几小时以内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率。 推荐进阶课程:大数据实战精英+架构师班
¥69.00 拼团
免费试看
2400人学习 108课时
使用python语言进行大数据岗位需求数据分析 从基础的原始数据获取到数据探索分析 使用pandas和其他第三方库实现城市平均工资、城市岗位需求占比、技术要求词频统计业务。
¥59.00
免费试看
5132人学习 835课时
一、Scala核心编程课程简介 近年来随着大数据的兴起,大数据核心框架Spark和Kafka也受到到广泛关注, Spark底层是Scala实现的, 因此也带火了Scala语言,目前Scala被全球知名公司(如:谷歌、百度、阿里、Twitter、京东等)广泛用于Spark开发。新一代的物联网时代到来,会对大数据应用人才的需求越加紧迫。 尚硅谷网罗和整合了学员很喜爱的师资,打造出专注于Spark开发的Scala课程,我们讲解Scala核心编程技术,同时也讲解编程思想、设计模式和Scala底层实现,让您有豁然开朗的感受。 二、课程内容和目标 本课程重点讲解Scala核心编程,内容包括: Scala语言概述、运算符、程序流程控制、数据结构之集合、Map映射、过滤、化简、折叠、扫描、拉链、视图、并行集合、高阶函数、函数柯里化、偏函数、参数推断、控制抽象、Trait、面向对象编程、异常处理、惰性函数、Akka及Actor模型、Spark Master和Worker通讯、隐式转换、隐式参数、工厂模式、单例模式、观察者模式、装饰者模式、代理模式、泛型、上下界、视图界定、上下文界定、协变逆变不变和源码剖析。通过系统全面的学习,学员能掌握Scala编程思想和Scala底层机制,为进一步学习Spark打下坚实基础。 三、谁适合学 1.希望以较低的投入和风险,来了解自己是否适合转型从事Spark开发的求职人员。 2.有一定的Java基础,或者自学过一些Java书籍与视频资料,想系统掌握Scala语言的程序员。
免费
免费试看
5794人学习 97课时
流式计算与大数据实践分享课程 ,教材内容包括1、流式计算简介 2、流式计算框架 3、Storm应用开发, 4、Storm系统架构 5、Storm基本操作 6、实践案例分享
¥39.00 会员免费
免费试看
875人学习 73课时
大数据时代,各种技术和应用蓬勃发展、百家争鸣,其中一个非常重要的基础技术就是数据存储,即数据库技术。无论是一个手机app,还是一个HR的办公系统,再到一个大型企业的数仓中心,都需要以数据库技术为核心进行驱动。一家企业的数据量很轻易就可以达到PB甚至ZB级别,如何对这么大量级的数据进行存储和查询使用?本期将会为你拆解这个谜题。
免费
免费试看
3503人学习 70课时
每个大数据平台都不是凭空而起的,每个企业也不是从开始就上hadoop、Spark等开源大数据存储的。今天分享的内容是根据企业发展的不同阶段,根据业务的需求,如何选择不同的大数据架构,配置不同的数据处理人员,从而帮助企业从0到N建立高性价比大数据平台。
会员免费
免费试看
1856人学习 82课时
大数据技术入门视频课程,会从基础思想和原理架构开始,全面介绍大数据的思想体系和架构,为学员进一步学习大数据奠定良好的基础。内容涉及大数据的核心问题、大数据核心思想,Google的三篇论文、GFS,Google的分布式文件系统,MapReduce,BigTable、Hadoop和Spark生态体系以及具体应用演示。
¥39.00 会员免费
免费试看
3448人学习 36课时
1024大数据技术峰会邀请到11位来自一线互联网企业的大数据核心研发团队骨干成员,针对选型开源技术搭建大数据平台、持续运维、优化提升大数据平台的各项性能,技术架构演进以及实现应用大数据支持业务创新发展,这几大核心展开深入的分享和交流。
会员免费
猜你喜欢