2018-08-07 23:26:39 itxueyuan88 阅读数 595
  • Python数据分析(统计分析)视频教程

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 Python数据分析(统计分析)视频培训课程概述:Python统计分析系列课程以Python爬虫为核心工具,结合其工具包进行统计分析实验。课程内容包括数据科学必备的几种分布、统计描述、假设检验、方差分析、相关分析、因子分析、回归分析、聚类分析、逻辑回归、贝叶斯分析等Python数据分析内容,系统全面。从统计分析基础开始讲起,一步步完成整个统计分析系列内容。课程以案例为中心,结合案例讲解让同学们更清晰的掌握每一个知识点的应用与工作流程。

    2744 人正在学习 去看看 唐宇迪

大型企业级云产品-数据统计分析系统(涵盖主流大数据技术)

共76课时 共24小时5分钟 更新时间:2018-07-17
课程目标本套教程为真实的大数据实战案例,适合有大数据基础的学员学习,熟练掌握本套大数据案例,完全可以胜任企业级的大数据开发。祝愿各位转型的大数据学子拿到自己理想的收入。适用人群适合有一定基础的大数据学员
本套课程完成
百度云下载地址:http://itxuexiweb.com/thread-108-1-1.html

2017-04-05 16:01:14 weixin_33816300 阅读数 112
  • Python数据分析(统计分析)视频教程

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 Python数据分析(统计分析)视频培训课程概述:Python统计分析系列课程以Python爬虫为核心工具,结合其工具包进行统计分析实验。课程内容包括数据科学必备的几种分布、统计描述、假设检验、方差分析、相关分析、因子分析、回归分析、聚类分析、逻辑回归、贝叶斯分析等Python数据分析内容,系统全面。从统计分析基础开始讲起,一步步完成整个统计分析系列内容。课程以案例为中心,结合案例讲解让同学们更清晰的掌握每一个知识点的应用与工作流程。

    2744 人正在学习 去看看 唐宇迪

附源码视频:Java零基础开发大数据统计分析报表系统

源码/视频评论后加java学习群 285154486

课题:Java零基础开发大数据统计分析报表系统

本次分享是以零基础学员为基础来分享,所有想学习java或者对于java学习有点困难的都可以看懂,也将分享本次课程的源码、素材与视频。

知识点:html5、css3相关的前端知识,

进行数据的挖掘,数据分析,数据统计,网络爬虫

逻辑关系与源码:
附源码视频:Java零基础开发大数据统计分析报表系统

源码/视频评论后加java学习群 285154486

附源码视频:Java零基础开发大数据统计分析报表系统

源码/视频评论后加java学习群 285154486

代码过长,只发部分,大家评论下本文章后

可以加下JAVA群【285154486】(源码和视频)


2018-08-05 10:37:47 sinat_15153911 阅读数 1286
  • Python数据分析(统计分析)视频教程

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 Python数据分析(统计分析)视频培训课程概述:Python统计分析系列课程以Python爬虫为核心工具,结合其工具包进行统计分析实验。课程内容包括数据科学必备的几种分布、统计描述、假设检验、方差分析、相关分析、因子分析、回归分析、聚类分析、逻辑回归、贝叶斯分析等Python数据分析内容,系统全面。从统计分析基础开始讲起,一步步完成整个统计分析系列内容。课程以案例为中心,结合案例讲解让同学们更清晰的掌握每一个知识点的应用与工作流程。

    2744 人正在学习 去看看 唐宇迪

大数据流量分析系统

前几天去了移动营业厅办了个卡,就不说某动的内幕了,说说上行流量和下行流量统计手机号码的总流量。这次我们利用大数据来分析,大数据也有三大框架,Hadoop是离线计算框架,Storm是实时计算框架,Spark是内存计算框架。这里我们使用Hadoop,因为已经有流量的数据,只需统计出来就可以了。

首先我们没有移动的真实数据,只能伪造数据。
这里写图片描述
之前做了个excel生成数据的系统,这里生成了手机号,32位随机码,上行流量,下行流量,状态码。

map.put("CODEA", "131"+_stringUtils.getCharAndNumr(8, 1));
                map.put("CODEB", _stringUtils.getRandomName());
                map.put("CODEC", _stringUtils.getCharAndNumr(3, 1));
                map.put("CODED", _stringUtils.getCharAndNumr(4, 1));
                map.put("CODEE", "200");

1、用java生成excel文件,再复制转成log文件,数据如下:
这里写图片描述
2、再上传到hdfs中
由于使用windows测试,hadoop环境是安装在windows上。
想学习大数据,又觉得在linux上难操作的,可加QQ490647751,获取windows-hadoop文件资料,只要修改自己的jdk,hadoop环境,一键打开hadoop,网页运行localhost:8088和locahost:50070即可。

想学习大数据的童鞋,多关注本博客,谢谢!

final FSDataOutputStream out = fileSystem.create(new Path(FILE));
        final FileInputStream in = new FileInputStream("D:/HTTP0804.logs");
        IOUtils.copyBytes(in, out, 1024, true);

// 将D盘中的HTTP0804.logs文件上传到hdfs中的FILE路径中

3、用hadoop计算生成文件

@Override
        protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, FlowBean>.Context context)
                throws IOException, InterruptedException {
            //1、接受数据
            String line = value.toString();
            //2、数据切片
            String[] fields = line.split("\t");
            //3、拿到关键字段
            String phoneStr = fields[0];

            long upFlow = Long.parseLong(fields[fields.length - 3]);
            long dfFlow = Long.parseLong(fields[fields.length - 2]);
            //4、数据输出到reduce阶段
            context.write(new Text(phoneStr), new FlowBean(upFlow, dfFlow));
        }
@Override
        protected void reduce(Text key, Iterable<FlowBean> values, Reducer<Text, FlowBean, Text, FlowBean>.Context context)
                throws IOException, InterruptedException {
            //初始化求和变量
            long sum_upFlow = 0;
            long sum_dfFlow = 0;
            //遍历累加求和
            for(FlowBean b:values){
                sum_upFlow += b.getUpFlow();
                sum_dfFlow += b.getDfFlow();

                FlowBean result = new FlowBean(sum_upFlow, sum_dfFlow);
                context.write(key, result);
            }

        }
hadoop jar flow0804.jar com.yanhui.hadoop.FlowLogsCount /yanhui/in /yanhui/out

4、下载该文件
这里写图片描述
从图上看,手机号,上行流量,下行流量,总流量这样输出。

获取源码学习,可点击下载:http://47.98.237.162/detail/1/169

2018-05-09 10:42:47 huhuge88 阅读数 103
  • Python数据分析(统计分析)视频教程

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 Python数据分析(统计分析)视频培训课程概述:Python统计分析系列课程以Python爬虫为核心工具,结合其工具包进行统计分析实验。课程内容包括数据科学必备的几种分布、统计描述、假设检验、方差分析、相关分析、因子分析、回归分析、聚类分析、逻辑回归、贝叶斯分析等Python数据分析内容,系统全面。从统计分析基础开始讲起,一步步完成整个统计分析系列内容。课程以案例为中心,结合案例讲解让同学们更清晰的掌握每一个知识点的应用与工作流程。

    2744 人正在学习 去看看 唐宇迪
大型企业级云产品-数据统计分析系统(离线处理-流处理-批处理)
课程观看地址:http://www.xuetuwuyou.com/course/249
课程出自学途无忧网:http://www.xuetuwuyou.com
讲师:友凡


课程介绍
本套教程为真实的大数据实战案例,适合有大数据基础的学员学习,熟练掌握本套大数据案例,完全可以胜任企业级的大数据开发。祝愿各位转型的大数据学子拿到自己理想的收入。



课程说明

本课程将通过一个真实的企业级云产品项目进行讲解,该项目是国内专业的移动应用统计分析平台,每天触达14亿活跃设备,每月覆盖80%以上新增手机消费者,几乎覆盖全部iOS消费者,通过该项目系统帮助移动应用开发商统计和分析流量来源、内容使用、用户属性和行为数据,以便开发商利用数据进行产品、运营、推广策略的决策。提供基本统计、活跃用户、使用频率、使用时长、页面访问、地域分析、版本分析、渠道分析、设备分析、操作系统、分辨率、运营商、联网方式、自定义事件分析、终端异常分析,流失用户分析等多种统计分析手段。



课程所用到的开发环境和用到的技术:
系统:window7,
开发工具是:eclipse,IDEA,
本课程项目是一个综合项目,技术涵盖java web,大数据,虚拟化,linux服务器等
具体包含: spring,spark,spark streaming,spark mlib,hive,flume,kafka,hadoop,hbase,mongodb,dubbo,分布式缓存,redis,docker,nginx,easyui,highcharts等等。
此课程是按照真实企业级开发项目流程进行讲解,通过学习此课程可以体会到真实的大型大数据项目开发流程,学完此课程可以熟练掌握大数据技术,java web技术,docker虚拟化技术,分布式技术,缓存技术,linux等



(一)项目总体需求分析
1.项目背景

在这个互联网爆发的时代,移动网络,移动设备逐渐成为人们的必备品,移动设备的用户已经达到几亿,可想而知,app必将流行起来,但是每一款app都要运营,达到盈利的目的,那么这个运营怎么做呢?要借助大数据的技术,准确分析用户的行为,这必将会有很大的需求。

2.项目需求

在这个互联网爆发的时代,移动网络,移动设备逐渐成为人们的必备品,移动设备的用户已经达到几亿,可想而知,app必将流行起来,但是每一款app都要运营,达到盈利的目的,那么这个运营怎么做呢,要借助大数据的技术,准确分析用户的行为,这必将会有很大的需求。急需一个系统帮助各大中小企业快速的分析app用户的行为,只需要接入提供的sdk,就可以轻松的了解用户的行为,享受大数据技术带来的时代变革。通过该产品可以了解到:app的应用趋势,app的渠道推广情况,用户留存情况,用户的行为分析,用户属性分析,应用错误分析,用户数据挖掘,并且需要实时去展示这些分析结果。

3.系统功能

可以查看该app的用户活跃度,每个时段的新增用户,app的终端使用分类情况,沉默用户,和忠诚用户的统计和查看等。


(二)项目架构设计及技术选型

1.项目整体架构设计

2.软件选型


(三)项目整体环境搭建

1.机器选型、节点规划等。

2.集群环境搭建


(四)相关项目内容

1.物理架构,逻辑架构

2.上报数据服务的设计与开发

3.实时处理数据的环境搭建和程序开发

4.日志收集系统设计

5.离线任务的设计和开发

6.高并发,缓存,虚拟化等
2018-03-12 10:05:20 tangyudi 阅读数 753
  • Python数据分析(统计分析)视频教程

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 Python数据分析(统计分析)视频培训课程概述:Python统计分析系列课程以Python爬虫为核心工具,结合其工具包进行统计分析实验。课程内容包括数据科学必备的几种分布、统计描述、假设检验、方差分析、相关分析、因子分析、回归分析、聚类分析、逻辑回归、贝叶斯分析等Python数据分析内容,系统全面。从统计分析基础开始讲起,一步步完成整个统计分析系列内容。课程以案例为中心,结合案例讲解让同学们更清晰的掌握每一个知识点的应用与工作流程。

    2744 人正在学习 去看看 唐宇迪
Python数据分析(统计分析)视频教程—708人已学习
课程介绍    
png
    Python数据分析(统计分析)视频培训课程概述:Python统计分析系列课程以Python为核心工具,结合其工具包进行统计分析实验。课程内容包括数据科学必备的几种分布、统计描述、假设检验、方差分析、相关分析、因子分析、回归分析、聚类分析、逻辑回归、贝叶斯分析等Python数据分析内容,系统全面。从统计分析基础开始讲起,一步步完成整个统计分析系列内容。课程以案例为中心,结合案例讲解让同学们更清晰的掌握每一个知识点的应用与工作流程。
课程收益
    掌握数据分析基本方法与统计分析中各种指标计算,并在Python中进行案例实战。讲师卡永久免费观看唐宇迪所有课程,更实惠!
    在Python中进行案例实战
    课程风格通俗易懂 案例内容持续更新 简单易懂,接地气的案例 永久有效,提供所有数据和代码
讲师介绍
    唐宇迪更多讲师课程
    计算机博士,专注于机器学习与计算机视觉领域,深度学习领域一线实战讲师。在图像识别领域有着丰富经验,实现过包括人脸识别,物体识别,关键点检测等多种应用的新算法。 参与多个国家级计算机视觉项目,多年数据领域培训经验,丰富的教学讲解经验,出品多套机器学习与深度学习系列课程,课程生动形象,风格通俗易懂。
课程大纲
  第1章:数据科学必备几种分布
    1.课程简介  5:59
    2.正太分布  19:23
    3.二项式分布  11:02
    4.泊松分布  15:55
    5.均匀分布  3:22
    6.卡方分布  5:35
    7.beta分布  14:54
  第2章:统计描述
    1.统计描述概述  7:54
    2.频数分布  5:25
    3.集中趋势描述  9:40
    4.Pandas描述统计常用函数  8:21
    5.恐怖袭击数据集描述  13:07
    6.恐袭各指标统计  13:54
    7.kaggle数据科学调查介绍  11:18
    8.基本情况可视化展示  19:36
    9.工资情况  11:33
    10.技能使用情况  16:32
    11.数据集与平台  14:21
    12.python和r哪家强  15:58
    13.调查总结  16:16
  第3章:假设检验
    1.假设检验基本思想  12:28
    2.左右侧检验与双侧检验  14:20
    3.Z检验基本原理  7:03
    4.Z检验实例  14:06
    5.T检验基本原理  13:02
    6.T检验实例  6:17
    7.T检验应用条件  7:43
    8.卡方检验  11:28
    9.假设检验中的两类错误  10:01
    10.Python假设检验实例  12:34
    11.Python卡方检验实例  7:59
  第4章:方差分析
    1.方差分析概述  6:48
    2.方差的比较  11:50
    3.方差分析计算方法  14:00
    4.方差分析中的多重比较  8:15
    5.多因素方差分析  9:25
    6.Python方差分析实例  8:34
  第5章:相关分析
    1.相关分析概述  9:03
    2.皮尔森相关系数  8:16
    3.计算与检验  13:05
    4.斯皮尔曼等级相关  14:06
    5.肯德尔系数  6:48
    6.质量相关分析  13:33
    7.偏相关与复相关  7:34
  第6章:因子分析
    1.因子分析概述  5:53
    2.PCA降维概述  8:39
    3.PCA要优化的目标  12:21
    4.PCA求解  10:17
    5.PCA降维实例  19:17
    6.线性判别分析要解决的问题  12:20
    7.线性判别分析要优化的目标  12:03
    8.线性判别分析求解  12:08
    9.实现线性判别分析进行降维任务  10:19
    10.求解得出降维结果  8:55
  第7章:回归分析
    1.回归分析概述  7:11
    2.回归方程定义  4:42
    3.误差项的定义  7:48
    4.最小二乘法推导与求解  12:41
    5.回归方程求解小例子  6:32
    6.回归直线拟合优度  11:08
    7.多元与曲线回归问题  8:26
    8.Python工具包介绍  5:01
    9.statsmodels回归分析  9:38
    10.高阶与分类变量实例  12:06
    11.案例:汽车价格预测任务概述  9:19
    12.案例:缺失值填充  13:36
    13.案例:特征相关性  13:47
    14.案例:预处理问题  7:05
    15.案例:回归求解  13:23
  第8章:聚类分析
    1.层次聚类概述  4:41
    2.层次聚类流程  12:10
    3.层次聚类实例  11:33
    4.KMEANS算法概述  11:33
    5.KMEANS工作流程  9:42
    6.KMEANS迭代可视化展示  8:19
    7.DBSCAN聚类算法  11:03
    8.DBSCAN工作流程  15:03
    9.DBSCAN可视化展示  8:52
    10.多种聚类算法概述  4:34
    11.聚类案例实战  17:19
  第9章:逻辑回归
    1.梯度下降原理  11:42
    2.梯度下降方法对比  7:20
    3.学习率对结果的影响  6:08
    4.逻辑回归算法原理推导  10:52
    5.逻辑回归求解  14:58
  第10章:贝叶斯分析
    1.贝叶斯分析概述  7:22
    2.概率的解释  6:06
    3.贝叶斯学派与经典统计学派的争论  5:49
    4.贝叶斯算法概述  6:58
    5.贝叶斯推导实例  7:37
    6.贝叶斯拼写纠错实例  11:46
    7.垃圾邮件过滤实例  14:09
    8.贝叶斯解释  10:50
    9.经典求解思路  8:16
    10.MCMC概述  11:03
    11.PYMC3概述  5:40
    12.模型诊断  9:53
    13.模型决策  10:48
大家可以点击【查看详情】查看我的课程
没有更多推荐了,返回首页