热门好课推荐
猜你喜欢
相关培训 相关博客
  • http://www.csdn.net/article/2013-11-12/2817457-how-mac-mini-surpass-a-1636-hadoop-cluster
    2013-11-13 09:11:14
    阅读量:738
    评论:0
  • NUM1:ubuntu准备工作一:首先正常安装ubuntu16.04请看我的这篇文章http://blog.csdn.net/changhenshui1990/article/details/72865425二:创建hadoop用户1.创建可以登录的hadoop用户sudouseradd -mhadoop-s/bin/bash2.设置密码为ha
    2017-07-17 15:29:09
    阅读量:534
    评论:0
  • 将数据读取,每读到一行,取hashcode然后对hashcode取模,存储到不同的小文件中,让相同的行,在同一个小文件里相遇,相同的字符串,则hashcode相同,则取模后的数值也相同,现在所有的小文件都具有一个特征,相同的数据,肯定在同一个小文件里,再对所有的小文件进行查询比较,找出相同的行...
    2019-04-30 13:51:56
    阅读量:130
    评论:0
  • 一、Hadoop安装需要什么呢?最低配置4G以上的内存,40g的硬盘是最好的(暂时可用阿里云)。本文是基于阿里云centos7.3来搞的。所需软件安装包:hadoop-2.6.0-cdh5.7.0.tar.gzjdk-8u172-linux-x64.tar.gz在centos中以下链接就可以下载所需的软件安装包wgethtt...
    2018-07-30 21:58:00
    阅读量:44
    评论:0
  •      从17年十一月入职起,到中间经历了毕业、春节、转正。在工作岗位上学到了很多很多的东西,非常有幸遇到这么一群人生导师,早就想把工作中趟过的坑,总结的文档,开个博客记录起来,一来可以给其他人参考,二来也是自己的一个复习吧。可是拖延症作祟,这事,一直耽搁,争取以后每周至少总结两篇。加油,未来的路很长!--------------------------------------------...
    2018-03-17 13:58:30
    阅读量:2004
    评论:4
  • 引用请声明原文:http://blog.csdn.net/duck_genuine/article/details/9155705由于引用数据以hash的方式放在不同的文件里需要将其合并排序写到一个文件。数据量暂时是有几千万级别。文件的每行是一条json格式的记录,格式如下: {"_id":{"$oid":"51ace243bb15094b6c40ada5"},"c
    2013-06-23 16:49:47
    阅读量:4127
    评论:4
  • 转载https://blog.csdn.net/sinat_32176947/article/details/79591449?utm_source=blogxgwz3一、部署前的准备1、检查jdk是否安装:参考jdk安装配置文档(jdk7或jdk8,所有节点都要一致)2、兼容性建议:CentOS6.8+CDH5.11.x(x>1)+mysql5.x+jdk1.7u80...
    2019-04-27 21:33:44
    阅读量:33
    评论:0
  • 我这里是要把集群部署到4台机子上s201s202s203s204我先在s204上安装解压成功后如下图2:然后就用远程同步到其他三台机子上scp-rhbase*root@s202:/soft/ 这里是同步到s202的例子,SSH远程文章上有。。。。。3配置环境变量记得source保存这里给一下其他的环境变量配置参数然后查看是否安装成功...
    2018-04-22 09:06:50
    阅读量:104
    评论:0
  • 推荐正式安装前,先去看看《安装大数据前的准备工作》里的文章1.服务器配置47.107.182.164,120.78.181.181两台服务器都是1核2G内存(推荐使用正式环境学习,安装CDH)2.服务器安装的服务 HA(高可用,有主备策略等)(1)47.107.182.164     1、HDFS服务(非HA)      NameNode      DataNode...
    2019-01-07 16:32:25
    阅读量:71
    评论:0
  • 1.LibFM项目主页:http://www.libfm.org/2.Svdfeature项目主页:http://apex.sjtu.edu.cn/apex_wiki/svdfeature3.Libsvm和Liblinearlibsvm项目主页:http://www.csie.ntu.edu.tw/~cjlin/libsvm
    2013-12-01 22:28:11
    阅读量:988
    评论:0