精华内容
下载资源
问答
  • 用通俗易懂的话说hadoop是什么,什么

    万次阅读 多人点赞 2014-04-10 10:36:33
    1、hadoop是什么? (1)Hadoop是一个开源的框架,可编写和运行分布式应用处理大规模数据,是专为离线和大规模数据分析而设计的,并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS(文件系统,数据...

    1、hadoop是什么?


    (1)Hadoop是一个开源的框架,可编写和运行分布式应用处理大规模数据,是专为离线和大规模数据分析而设计的,并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS(文件系统,数据存储技术相关)+ Mapreduce(数据处理),Hadoop的数据来源可以是任何形式,在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能,具有更灵活的处理能力,不管任何数据形式最终会转化为key/value,key/value是基本数据单元。用函数式变成Mapreduce代替SQL,SQL是查询语句,而Mapreduce则是使用脚本和代码,而对于适用于关系型数据库,习惯SQL的Hadoop有开源工具hive代替。

    (2)Hadoop就是一个分布式计算的解决方案.

     

     

    2、hadoop能做什么?

     hadoop擅长日志分析,facebook就用Hive来进行日志分析,2009年时facebook就有非编程人员的30%的人使用HiveQL进行数据分析;淘宝搜索中    的 自定义筛选也使用的Hive;利用Pig还可以做高级的数据处理,包括Twitter、LinkedIn 上用于发现您可能认识的人,可以实现类似Amazon.com的协同过滤的推荐效果。淘宝的商品推荐也是!在Yahoo!的40%的Hadoop作业是用pig运行的,包括垃圾邮件的识别和过滤,还有用户特征建模。(2012年8月25新更新,天猫的推荐系统是hive,少量尝试mahout!)

         下面举例说明:

          设想一下这样的应用场景. 我有一个100M 的数据库备份的sql 文件.我现在想在不导入到数据库的情况下直接用grep操作通过正则过滤出我想要的内容。例如:某个表中 含有相同关键字的记录那么有几种方式,一种是直接用linux的命令 grep 还有一种就是通过编程来读取文件,然后对每行数据进行正则匹配得到结果好了 现在是100M 的数据库备份.上述两种方法都可以轻松应对.
    那么如果是1G , 1T 甚至 1PB 的数据呢 ,上面2种方法还能行得通吗? 答案是不能.毕竟单台服务器的性能总有其上限.那么对于这种 超大数据文件怎么得到我们想要的结果呢?
    有种方法 就是分布式计算, 分布式计算的核心就在于 利用分布式算法 把运行在单台机器上的程序扩展到多台机器上并行运行.从而使数据处理能力成倍增加.但是这种分布式计算一般对编程人员要求很高,而且对服务器也有要求.导致了成本变得非常高.
    Haddop 就是为了解决这个问题诞生的.Haddop 可以很轻易的把 很多linux的廉价pc 组成 分布式结点,然后编程人员也不需要知道分布式算法之类,只需要根据mapreduce的规则定义好接口方法,剩下的就交给Haddop. 它会自动把相关的计算分布到各个结点上去,然后得出结果.
    例如上述的例子 : Hadoop 要做的事 首先把 1PB的数据文件导入到 HDFS中, 然后编程人员定义好 map和reduce, 也就是把文件的行定义为key,每行的内容定义为value , 然后进行正则匹配,匹配成功则把结果 通过reduce聚合起来返回.Hadoop 就会把这个程序分布到N 个结点去并行的操作.
    那么原本可能需要计算好几天,在有了足够多的结点之后就可以把时间缩小到几小时之内.


    这也就是所谓的 大数据 云计算了.如果还是不懂的话再举个简单的例子
    比如  1亿个  1 相加 得出计算结果, 我们很轻易知道结果是 1亿.但是计算机不知道.那么单台计算机处理的方式做一个一亿次的循环每次结果+1
    那么分布式的处理方式则变成 我用 1万台 计算机,每个计算机只需要计算 1万个 1 相加 然后再有一台计算机把 1万台计算机得到的结果再相加
    从而得到最后的结果.
    理论上讲, 计算速度就提高了 1万倍. 当然上面可能是一个不恰当的例子.但所谓分布式,大数据,云计算 大抵也就是这么回事了.


    3、hadoop能为我公司做什么?

    • 零数据基础,零数据平台,一切起点都是0
    • 日志处理
    • 用户细分特征建模
    • 个性化广告推荐
    • 智能仪器推荐
    •    一切以增加企业的商业价值为核心目的、最终目的

    4、怎么用hadoop?

    • hadoop的应用的在我司还属于研发型项目,拟用日志的分析来走通一次流程,因为此阶段目前来说还不需要数据挖掘的专业人员,在数据分析阶段即可,而系统有数据库工程师,Mapreduce有java开发工程师,而分析由我本人介入,而可视化暂时可由前端JS实现,本来我的调研方案,针对大数据的解决方案是hadoop+R的,但是对于R我们是完全不懂,在公司还没有大量投入人员的情况下,只有日志分析目前看来是最容易出成果的,也是可以通过较少人员能出一定成果的,所以选取了这个方向作为试点。

     

    关注公众号,领取技术福利,第一时间获取 Java、大数据技术干货

     

     

    展开全文
  • (7)4 层以下的PCB 如果阻抗要求不严格,可以在有空间的情况敷铜,因 为4 层以下PCB 层间距离较远(10mil),此时敷铜,敷铜与线间距7mil 左右, 可以起到一定的回流作用; (8)多层数字板内平面层坚决用...
    路面积,敷铜作用主要有两个方面:
    (1)可以起到一定的回流作用,当然,如果板层较多且层设置合理,敷铜回
    流的作用就很小;
    (2)可以起到一定的屏蔽作用,将上下层两个覆铜平面想象成无限大,就成
    了一个屏蔽盒,敷铜永远做不到这点,就像机箱一样。
    从以上两点出发,敷铜要看具体情况:
    (1)对于需要严格阻抗控制的板子,不要敷铜,覆铜会由于覆铜与布线间的
    分布电容,影响阻抗控制;
    (2)对于器件以及上下两层布线密度较大的PCB,不需要敷铜,此时敷铜支
    离破碎,基本不起作用,而且很难保证良好接地;
    (3)对于单双面电源板,老老实实在电源线边跟地线,不要用敷铜,敷铜的
    话你很难保证环路;
    (4)如果是4 层(不包括4 层板)以上的PCB,且第二层和倒数第二层为完
    整地平面,可以不用敷铜,但如果上下两层器件和布线密度较小,敷铜更好;
    (7)4 层以下的PCB 如果阻抗要求不严格,可以在有空间的情况下敷铜,因
    为4 层以下PCB 层间距离较远(10mil),此时敷铜,敷铜与线间距7mil 左右,
    可以起到一定的回流作用;
    (8)多层数字板内平面层坚决用平面层,不要用敷铜代替,一是敷铜如果为
    网格,阻抗很高,二是如果布线布不通,懒人就直接将信号线布这层,弊端太多,
    不说了;(9)内层如果都是单带状线,布线较少的层可以不用敷铜,如果双带状线,
    可以敷铜,此时要注意内层敷铜良好接地,这种方案前提是单板阻抗控制不做要求
    展开全文
  • 什么在浏览器的地址栏输入 url 就访问到 Web 网页

    计算机网络的问题の浏览器访问资源


    在学习多线程的时候,我的思维延伸到了多线程的应用场景,想到了一句话:

    “一个线程对应一个 http 请求,web 容器会为每一个 http 请求开启一个线程去处理。”

    那这不就是多线程的应用吗?
    然后我启动 tomcat,然后访问:http://localhost:8080/TestJstl/t/SecondServlet,我的 Servlet 的核心就是简单的一句:

    out.print("123");

    然后,浏览器就做出了响应——显示了“123”。突然觉得好神奇!为什么会这样?

    顿时觉得好疑惑,为什么在浏览器的地址栏上输入 url 就能访问到 Web 网页。这是为什么?我还真的不知道怎么回答。

    一开始我也不知道我到底是卡在哪里,或者说不知道怎么查我想要的那个信息,不过当我把疑惑写下,并阐尝试着去解决,一边解决一边又多了新的疑惑,最后思路就清晰了。

    我的疑惑:
    为什么我输入 http://localhost:8080/TestJstl/t/SecondServlet,就能访问到我写的那个 SecondServlet;
    为什么我输入 http://localhost:8080/TestJstl/t/SecondServlet,浏览器会显示“123”;
    为什么访问 www.baidu.com,浏览器显示的是百度首页;
    浏览器怎么知道我要访问的资源在哪里?

    先来理解一个概念,url

    url 是什么,url 就是(Uniform Resource Locator)统一资源定位符,也就是说,url 就是表示你要访问的东西。而 url 是由“协议+域名+端口+路径”组成。而域名,通过 DNS 服务器解析,可以得到唯一的 ip 地址,而 ip 地址,就是连接互联网的一台主机的唯一标识。相当于人的身份证号码,是独一无二的,通过身份证号码可以确定唯一的一个人。同理,通过 ip 地址,或者说通过域名,可以确定唯一的一台连入互联网的主机,而 Web 服务器就是一台主机。(注意是连入互联网的主机)

    因此,
    对于第四个问题,答案是:通过 url 上的域名,可以定位到你要访问的资源在哪一台服务器上。

    对于第一个问题,答案是:通过 url 上的域名和路径,先是通过域名可以确定到要访问的服务器是哪一台,然后通过路径确定你要访问的资源是什么,像问题1,要访问的就是 ip 为 localhost(会自动解析成 ip 地址),路径为“TestJstl/t/SecondServlet”(TestJstl表示项目名)。然后根据部署描述文件 web.xml 的描述:

      <servlet>
        <servlet-name>SecondServlet---test</servlet-name>
        <servlet-class>TTT.SecondServlet</servlet-class>
      </servlet>
      <servlet-mapping>
        <servlet-name>SecondServlet---test</servlet-name>
        <url-pattern>/t/SecondServlet</url-pattern>
      </servlet-mapping>

    可以知道,最终要访问的资源是 TTT.SecondServlet。

    对于第三个问题,“为什么访问 www.baidu.com,浏览器显示的是百度首页”。通过 DNS 服务器,域名会自动解析为 ip 地址,这样,就相当于去访问某台服务器,而这个 ip 地址,对应的就是百度的服务器。在这里单纯的访问一个 ip 地址,而没有指名要访问的资源是什么也是可以的,因为我们可以设置默认访问的资源,这里对应着百度首页。

    再补充一个知识点:HTTP 协议
    首先,HTTP(超文本传输协议)和FTP(文件传输协议)和DNS(域名系统协议),都属于应用层的协议。
    HTTP采用了请求-响应模型:客户端向服务器发送了一个请求报文(请求报文包括请求的方法、url、版本协议、请求头部和请求数据),服务器以一个响应消息作为响应(响应的内容包括协议的版本、状态码、服务器信息和响应数据)。

    对于第二个问题。url 的第一个组成部分是协议,最常用的协议就是 Http 协议,当输入 http://localhost:8080/TestJstl/t/SecondServlet,就向指定的服务器发起了一个 http 请求,然后服务器作出响应将超文本传输到本地浏览器。在浏览器的解析下,就显示出相应的界面了。


    最后,脑袋又蹦出一个新的问题,为什么在浏览器地址栏上输入 url ,就可以访问到某个资源。为什么在文件夹里输入,却不能访问 url 上的资源?在我的电脑的地址栏上输入 www.baidu.com,就会跳转到浏览器并显示百度首页,这是为什么?

    果然,还是因为我们使用的是浏览器。

    浏览器:
    其实就是一个解析工具,我们在地址栏输入URL(即网址),浏览器会向DNS(域名服务器)提供网址,由它来完成URL到IP地址的映射。然后将请求你的请求提交给具体的服务器,再由服务器返回我们要的结果(以HTML编码格式返回给浏览器),浏览器执行HTML编码,将结果显示在页面上。
    浏览器的作用:一句话概括,根据用户的请求相示相关的网页数据(用户和网页交互的工具)。
    (摘自百度知道)


    刚刚又看了下自己写的这篇文章,一开始开头写的是“一个线程对应一个 http 请求,servlet 会为每一个 http 请求开启一个线程去处理。”想想说的不对,正确的应该是”web 容器为每一个 http 请求开启一个线程,并在线程中执行相应的 servlet 方法。”(web容器在线程池中拿一个线程出来并在线程中调用相应的servlet的 service()方法并向 service 方法传入 request参数和response参数)

    大家如果路过又刚好看到哪里写的不对,请帮忙指出,感谢大家!!
    请大家多多指教!

    展开全文
  • 比如我想让WIN10 与虚拟机的Linux通信 当我在win10 win+r打开运行界面输入cmd进入到dos界面,...但是为什么在DOS下面不执行呢?是不是也像在Linux,DOS在解析这条指令的时候找不到路径,无法完成解析?于是...

    比如我想让WIN10 与虚拟机上的Linux通信 当我在win10 上win+r打开运行界面输入cmd进入到dos界面,然后输入ftp指令,它居然显示 找不到该指令。这让我感到特别惊讶。

    于是 我尝试直接在开始界面输入ftp命令:

    结果如我预想的一样 可定是能执行的。

    但是为什么在DOS下面不能执行呢?是不是也像在Linux下,DOS在解析这条指令的时候找不到路径,无法完成解析?于是我猜想可能是环境变量出了问题,于是找到环境变量

    果然与我预想的一样,path路径下居然没有解析指令的路径,于是我加上路径

    当我再次运行时突然感觉这个世界清净了:

    展开全文
  • 什么是Sentinel?它什么

    万次阅读 2018-08-03 11:01:15
    Sentinel 是什么 随着微服务的流行,服务和服务之间的稳定性变得越来越重要。Sentinel 是面向分布式服务架构的轻量级流量控制产品,主要以流量为切入点,从流量控制、熔断降级、系统负载保护等多个维度来帮助您保护...
  • 之前用yum安装软件的时候一直提醒说不能够解析阿里云的域名,这是比较奇怪的,当时还以为阿里云的资源不访问。今天因为要在虚拟机里写代码,索性装了个Google,结果不能够访问外网,解决办法如下: vim /etc/...
  • 什么修改Mac/usr/local/nginx/conf/nginx.conf文件 如果可以,有其它方法在Mac修改nginx配置呢?
  • 原因:在 mac 中的路径不是反斜杠,都是正斜杠
  • 如题,一台交换机底下连着a,b两台电脑,a的ip属于1网段,b的ip属于2网段,现在1要和2通信,未添加路由器。交换机是基于mac地址转发的,为啥不互通捏?a的arp广播解析不到b的mac吗?还是其他原因?
  • 今天改一个web项目,改着改着,发现页面无法滚动了,超出的内容一律看不见,怎么办? 本来是页面自动上下滚动的,现在突然就不行了,原因在哪里? 想了半天,因为并没有主动去做类似的设置,所以只可能是在引入...
  • 什么是 java 序列化?什么情况需要序列化?

    万次阅读 多人点赞 2019-06-17 09:34:01
    什么情况需要序列化? 序列化:将 Java 对象转换成字节流的过程。 反序列化:将字节流转换成 Java 对象的过程。 当Java 对象需要在网络传输 或者 持久化存储到文件中时,就需要对 Java 对象进行序列化处理。...
  • Excel中上下左右键相反,且不一格一格的滑动。 原因:键盘滚动锁定 解决方法:按Scroll Lock键(键盘右角第一行倒数第三个键) 部分电脑需要按:fn+Insert
  • 惊呆了!一个程序员的水平差到什么程度?

    万次阅读 多人点赞 2021-01-29 18:56:26
    知乎有一个灵魂拷问“一个程序员的水平差到什么程度?”让各位猿们纷纷有感而发。 一时吐槽爽,一直吐槽一直爽。很多回答都引发了程序员的共鸣。 0、网友Benny的分享,2200+ 赞 想起了一件十多年前的往事,有...
  • 至于为什么会出现体验版数据加载不了,而微信开发者工具和体验版调试模式数据可以正常加载的情况:调试模式微信不会去检查api接口域名的合法性,而微信开发者工具在勾选“不校验合法域名、web-view(业务域名)、...
  • 出现能上QQ不打开网页有大约80%的情况都是由于Winsock组件被破坏。组件被破坏的原因有几种:病毒原因、完善的杀毒软件清除病毒的后遗症、盗版Windows XP、安装操作系统补丁故障及非正常的系统还原等。如果是...
  • 问题: 启动 springboot 应用后发现 本地ip直接访问,但是局域网其他电脑却不访问,那么一看就知道是 防火墙问题了, 那么如何设置呢? 打开 windows 防火墙 -》 允许应用通过 设置 允许 java 应用程序在 ...
  • 咨询,windows开发的python程序,直接在windows打包成linux可执行文件,在linux下装依赖包装不明白了,求老司机给普及
  • Http请求通过Session和Cookie保持会话。 服务器duan
  • 会从依次在镜像层中找,找到后,会在容器层记录此删除操作。 copy-on-write特性说明容器层保存的是镜像变化的部分,不会对镜像本身进行任何修改。所以镜像可以被多个容器共享。 镜像——-容器
  • 第一课,我们解决了以下几个问题,即: 1)树莓派长什么样 2)为什么叫树莓派 3)树莓派来自哪个国家 4)树莓派的创始人是谁 ...树莓派什么,莫过于来看一遍树莓派的10个经典项目的视频了, ...
  • Linux sshd服务不启动

    万次阅读 2017-12-25 11:02:37
    今天遇到CentOS 7 远程连不,怀疑服务没有启动,先检查了端口和服务是否启动: ps -A| grep sshd 发现没有 netstat -nultp|grep 22 也没有发现22端口 检查防火墙是不是会影响,关闭了防火墙,重启sshd服务...
  • 什么直接通过IP访问网站

    万次阅读 2016-06-23 18:36:58
    原文链接: http://www.examw.com/java/jichu/143769/为什么直接通过IP访问网站,从理论说,在IE(或其他的Web浏览器,如Firefox)的地址栏中输入这四个IP地址中的任何一个,都可能访问www.csdn.net.如输入...
  • Node.JS什么

    万次阅读 多人点赞 2018-08-31 10:43:50
     作为一名JS的粉忠实粉丝,虽然JS并没有JAVA的生态圈这么大,但是JavaScript从客户端脚本程序跻身服务器端,这让我们要重视一下它,JavaScript它在慢慢...基于Google的V8引擎,实际,是从Chrome的V8引...
  • 我们用zookeeper做什么

    万次阅读 多人点赞 2018-07-10 10:00:07
    zookeeper是什么 官方说辞:Zookeeper 分布式服务框架是Apache Hadoop ...好抽象,我们改变一下方式,先看看它都提供了哪些功能,然后再看看使用它的这些功能做点什么。 zookeeper提供了什么简单的说,zookeeper...
  • 什么移动硬盘不复制东西进去

    万次阅读 2016-08-28 06:50:09
    什么移动硬盘不复制东西进去,可以从硬盘里复制东西出来 其实提示已经告诉你办法了。ChkDsk,这个是系统内置的一个文件系统修复命令,使用办法大概如下: 1、单击“开始”,点击“运行”,输入cmd并回车打开...
  • 40岁以后的程序员还什么?

    万次阅读 热门讨论 2010-11-03 09:06:00
    如果不到30岁,看到40岁标题这几个字...要回答『程序员40岁以后还可以做点什么』的这个问题,首先要看一看那些已经超过40岁的程序员现在都在干什么,然后相互比较,从中得到启发,思考如何选择一条最适合自己模仿的路。
  • 采样与采样

    万次阅读 多人点赞 2018-12-15 23:31:05
    其实,采样和采样都是对数字信号进行重采,重采的采样率与原来获得该数字信号(比如从模拟信号采样而来)的采样率比较,大于原信号的称为采样,小于的则称为采样。采样的实质也就是内插或插值。 采样的...
  • C++用来干什么

    万次阅读 多人点赞 2019-02-08 21:14:28
    T Bell(贝尔)实验室的Bjarne Stroustrup博士及其同事在C语言的基础成功开发出C++语言。C++语言是一种混合型语言,它保留了C语言所有的优点,同时又增添了面向对象的编程机制,我们可以将C++语言视为C语言的改进...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 7,225,573
精华内容 2,890,229
关键字:

上能什么下能什么