精华内容
下载资源
问答
  • 课程名字叫十小时大数据入门,讲得很生动也很系统,对初学者十分友好,看完之后能对大数据有个系统的认识。
  • 十小时后关机命令

    2013-05-23 09:49:48
    双击可执行关机命令,十小时后自动关机,可以右键编辑,自己改关机等待时间
  • 十小时入门大数据

    千次阅读 2018-03-19 13:27:14
    慕课网十小时入门大数据课程笔记 hadoop HDFS YARN SPARK hadoop hadoop生态圈包括以下各个组成部分: HDFS:用于分布式文件存储,切分成块,多副本存于多台机器。 YARN:用于资源管理和调度,job ...

    慕课网十小时入门大数据课程笔记

    • hadoop
    • HDFS
    • YARN
    • SPARK

    hadoop

    hadoop生态圈包括以下各个组成部分:
    这里写图片描述
    HDFS:用于分布式文件存储,切分成块,多副本存于多台机器。
    YARN:用于资源管理和调度,job scheduling & cluster mangment
    Zookeeper:各个框架的管理和协调
    Hive:使系统支持SQL语句
    ooize:工作流
    pig:使用脚本scripting离线
    Flume:收集log
    sqoop:DB中数据转向别处

    原生的hadoop有诸多问题,如jar包冲突,难以管理,一般不直接用于生产环境。
    所以一般使用CDH版的hadoop。
    特点:可靠性—多副本存储+作业重新调度计算
    可扩展—横向多机扩展+纵向单集群多节点
    可建设在廉价机器上,并有可靠而完整的生态圈子

    HDFS

    特性:
    分块- - -每块小,可以并行;每台机器存储量差不多,存储量均衡
    冗余- - -冗余机制保障了可靠性
    分为管理节点的namenode NN和存储数据的节点DataNode DN
    NN:相应client请求,管理文件名,副本系数,block存放的DN
    DN:存储block,向NN发送心跳以及block report
    注:NN和DN可同台机器,但是不建议这样配置

    副本因子决定了每个副本存放几份。
    副本的存放策略:先在本台机器上存储,再在本机架上的DN上存储,最后存放在别的机架上的DN。
    调用HDFS的方式有shell方式和调用java API接口的方式完成

    HDFS读写文件流程:
    这里写图片描述

    特点总结:
    冗余容错机制,廉价机器组建,处理流的数据访问(一次写入多次读取)适合存取大文件。但是不适合存储小文件,访问慢,元数据太多存取吃力。

    YARN

    Yet Another Resource Negotiator
    产生的背景在于:原来版本的hadoop架构存在问题,单点压力过大,不易扩展,不支持别的计算框架(如spark)
    效果:hadoop1.x只支持MapReduce框架
    2.x之后又饿YARN,可以支持多种计算框架
    提升了资源利用率,多个集群可以化为1个共享集群使用,不用跨域。

    SPARK

    MapReduce缺陷:M和R过程都要有,只能一个接一个的计算。计算结果放在磁盘落地存储,IO开销过大。进程级别消费(Map和Reduce)
    Spark的改进:程序编写简单,支持多种计算方式,计算结果放在内存,适合于迭代处理、流式处理、交互式处理。
    spark是一个分布式的计算框架,最早来源于一篇论文。快在基于线程和内存计算。支持多种语言编写(Java/Scala/Python)有交互式命令行可以随机测试。可在多种环境下运行,访问多种数据源。
    spark也有相应hadoop的BDAS生态圈
    这里写图片描述

    展开全文
  • 煎熬的十小时

    2014-11-01 22:19:46
    最近刚刚换了一家单位,每天工作小时,从早

      最近换了一家新单位,每天工作十个小时,从早八点半到晚七点半,中午吃饭一个小时。由于堵车非常严重,所以大家基

    本上都是早晨六点就得起床往公司赶,晚上八九点才到家吃饭,中午就一个小时的吃饭时间。白天大脑都没有时间休息,

    导致半下午大家就都犯困,状态不佳,所以每天下午义务劳动的两小时压根儿大脑就都是空白一片。从半下午很多同事就在

    调试bug,一直到义务劳动结束bug还没改好,每天就都这样面对电脑十小时。由于大脑缺乏休息,写的程序考虑都很不周

    到,所以处处都在报错,小问题不断,严重影响开发速度,面对此类情况,真不知道是留还是走呢?没有意义的义务劳动,

    哎!

     

     

     

    展开全文
  • linux 硬盘安装linux视频 硬盘安装linux教程 唐彬Linux 十小时基础教程(硬盘安装)(高清版)第二节 由于文件比较大,就把下载地址放在记事本里面,谢谢支持!
  • QQ农场辅助精灵DotNet(c#)版是2009年8月份自已编写的,开发工具是vs2005,语言c#,花了数十小时编写与调试,也算是检验编写辅助外挂类程序的能力。编写基于http协议的辅助外挂类程序,得对http协议有或多或少的理解...

    QQ农场辅助精灵DotNet(c#)版是2009年8月份自已编写的,开发工具是vs2005,语言c#,花了数十小时编写与调试,也算是检验编写辅助外挂类程序的能力。

    编写基于http协议的辅助外挂类程序,得对http协议有或多或少的理解。特别是cookie,http请求头,http响应头。

     

    简单描述原理:

    1.首先需要获取到skey(也就是sessionId),方法一,不编写登录的功能时,可以通过登录一下QQ空间,或者QQ秀,然后取cookie中skey的值。方法二,已经编写登录的,set-cookie的时候就会有skey的值。

     

    2.取到skey的值,和uin(QQ号),就可以模拟各个操作了.

     

    3.以下图示为一个模拟除草的一个http请头模拟.

    cookie中的uin和skey为重点,其它的直接从cookie取到不用改

    第一行的Post URL,这个URL可以通过工具获取到,比如我这个是用fiddler捕捉下来的

    最后一行主要说的是除谁的哪一块地上的草,farmkey是通过一个算法得出来的,网上有公开。

    其它参数保持原样就行了,需要修改的就上面提到的几个参数

     

     

     4.涉及到东西比较多就不细说了

     

    功能介绍

    1.登录窗口(输入你的QQ和密码和以及验证码)

     图片

    2.登录成功后, 进入主界面

    图片

     

    3.好友列表部分(注意用户ID和QQ不一样,有一定的偏移,位数是相同,第一位数字是相同),怎么偏移没去研究,用不上

    图片

     

    4.我的背包信息(辅助精灵会取你背包上的种子去种,如果没有种子就会去购买与当前等级匹配的种子)

    图片

     

    5.选中其中一个好友,会显示它当前种植的状态,这里可以单独偷某个人菜,或帮它除虫

    第一列的是不需要选中好友,都是对自己农场的操作

    图片

    图片

     

    6.批理处理功能(偷菜就对所有好友偷菜,除草等也类似,有一个大按钮就是这四个小按钮的总和操作)

    当前进度:会显示现在当前处理到第几个人了,最后会显示偷了那些人,成功的次数

    图片

     

    7.挂机功能(每隔多少时间,可以输入小数,挂机所做的事情就是先看自己有没有东西要除和收菜播种等操作

    然后批理偷好友的菜和除虫除草等操作,这里会显示什么时候开始挂机,下次的运行时间.你还可以查看详细的日志

    图片

     

    这是beta3.0版的功能,介绍完毕,辅助精灵不会提供给任何人使用,所以请不要跟我拿程序。欢迎大家做技术讨论哈

     

     

    展开全文
  • 要么加班十小时,要么走人 据外媒报道,最近芝加哥亚马逊 DCH1 仓库的数百名工人面临一个令人困惑的选择:要么报名参加 10 个小时的夜班,要么丢掉工作。 打工人听到这个消息真的要哭晕在厕所了。 而更离谱的是...

    世界首富贝索斯刚刚宣布退休,亚马逊就对“打工人”下手了。

    亚马逊又给打工人下“紧箍咒”:要么加班十小时,要么走人

    不过,有意思的是,这个新规定很可能是贝索斯在官宣退休之前就已经做好的决定。

    要么加班十小时,要么走人

    据外媒报道,最近芝加哥亚马逊 DCH1 仓库的数百名工人面临一个令人困惑的选择:要么报名参加 10 个小时的夜班,要么丢掉工作。

    打工人听到这个消息真的要哭晕在厕所了。

    而更离谱的是亚马逊给出的理由是此举是为了提高效率。

    那么,怎么个提高效率法呢?

    根据亚马逊的说法,这种轮班被称为“大周期”轮班,通常从凌晨 1 点开始,上午 12 点 结束,并且取消了白天的班次。

    目前,DCH1 的员工要么进行分类,要么挑选和分级,但不能两者兼而有之。在大周期轮班时,他们将被要求整理八个小时,然后挑选和准备两个小时。

    亚马逊又给打工人下“紧箍咒”:要么加班十小时,要么走人

    时间安排的满满当当。

    对比 DCH1仓库之前的轮班工作方式我们再来看下。

    据外媒报道,DCH1 的员工以前有几种不同的轮班选择,包括八小时夜班(凌晨4:45结束)、五小时早班和四小时早班。

    此外,报道还称亚马逊在全国范围内推动员工从白天更短的班次转向夜间更长的班次。

    也就是说,亚马逊的要求是白天工作时间可以缩短,但晚上熬夜加班的时长要更长。

    Reddit 一名亚马逊员工表示:

    至少自2020年8月以来,全国各地的亚马逊仓库一直在迅速转向这一新的时间表,通常没有什么警告。对于习惯于四小时、六小时或八小时轮班的工人来说,转换到十小时轮班会产生更大的工伤风险。

    对于这些在亚马逊的打工人来说,这还不是最惨的。

    根据报道他们中的大部分人在亚马逊是没有编制的,同时更多人还有兼职。

    这简直就是“加班十小时,下班火葬场”的待遇啊。

    现在,亚马逊 DCH1仓库即将宣布关闭,并宣称会有两周时间给打工人考虑,要么接受新的加班制度,要么另谋工作。

    屡被质疑“血汗工厂”

    长期以来,关于亚马逊“血汗工厂”的指责和质疑不绝于耳。

    2015 年,《纽约时报》 曾发表了一篇引起巨大轰动的长文,揭开了巨头亚马逊光鲜的背后极为丑陋的一面。

    报道中提到,在亚马逊仓库中,员工会受到复杂电子系统的监控,以确保他们每小时包装足够的箱子。

    2011 年,亚马逊曾因工作环境恶劣遭到抨击,宾夕法尼亚州东部一个仓库的工人因在 100 华氏度(约 37.8 摄氏度)以上的高温下劳作而晕倒了。

    报道中还提到,Kindle 团队的一位早期成员曾因照顾患有癌症的父亲,在晚上和周末减少了工作时间。没过多久,她就被上司告知“工作表现有问题”。上司认为,她已经无法全力以赴每周工作 80 小时,这是最大的弱点。

    2017 年,英国媒体前往亚马逊在英国的仓库暗访发现,员工的工作环境非常糟糕,工作时间长就罢了,员工在工作中的任何一项行为都要被计时,甚至连上个厕所也要被计时。因为货仓太大了,员工上一趟厕所要花 5 分钟,为了节省时间,很多员工不敢喝水,还有一些员工甚至用瓶子接“小便”。

    此外,很多亚马逊工人工资非常低。经常有媒体、政客指责亚马逊“压榨薪水”,导致员工被迫申请国家援助,只能依赖公共援助的食品券、医疗补助或住房维持生计。

    然而,与之形成鲜明对比的是,亚马逊如今的市值已经达到了 1.7 万亿,刚刚辞去亚马逊 CEO 的身价高达 1962 亿美元。

    俗话说的好,兔子急了都会咬人,最底层的打工人同样如此。

    近几年,亚马逊员工揭竿起义的例子也时有发生。需要注意的是,今天我们文中说到的  DCH1仓库对于亚马逊来说则是一种“刺头”的存在。

    报道称 DCH1仓库一直是工人组织的抗议、罢工和请愿的高发地点。

    2020 年 3 月,美国劳工部公布的调查数据显示,受新冠肺炎疫情在美国蔓延影响,各行业普遍停产停工,美国 3 月失业率从上月的 3.5% 升至 4.4%,非农业部门削减就业岗位 70.1 万个,而亚马逊电商业务由于线上订单的需求激增,紧急扩充劳动力,不断增加劳动岗位。

    亚马逊又给打工人下“紧箍咒”:要么加班十小时,要么走人

    同时,为了吸引新员工,亚马逊在去年 4 月底前提高员工的最低时薪,从原本 15 美元/小时的时薪提高到 17 美元/小时,英国员工最低时薪上调 2 英镑,其他欧洲国家的员工最低时薪上调大约 2 欧元。

    即便如此,面对订单的暴增,亚马逊的供应链和仓储也面临前所未有的压力,员工的工作强度也随之增加。

    3 月下旬,亚马逊在美国有近 20 个仓库的员工被检测出新冠病毒呈阳性。

    为此,DCH1 仓库的员工专门组织了工会进行抗争,名为 DCH1亚马逊联盟。

    亚马逊又给打工人下“紧箍咒”:要么加班十小时,要么走人

    全美至少 50 个仓库超过 300 名员工将陆陆续续参与这项抗议活动。这些员工要求亚马逊“立即关闭”发生新冠疫情的仓库,并在此期间提供检测和两周的薪水。

    最终,亚马逊不得不作出让步,给予所有全职和兼职工人一样的带薪假期。

    受此影响,亚马逊的市值也损失了近 2000 亿。

    不过,这一次,亚马逊学“聪明”了,赶在工人罢工之前提前宣布关闭 DHC1 仓库,不知道这一次亚马逊的打工人是否能接受这一新规,还是依旧会揭竿而起?

    参考资料:

    【1】https://www.vice.com/en/article/y3gk3w/amazon-is-forcing-its-warehouse-workers-into-brutal-megacycle-shifts

    【2】https://www.theverge.com/2021/2/4/22266369/amazon-ten-hour-overnight-shifts-warehouse-workers?scrolla=5eb6d68b7fedc32c19ef33b4

    【3】https://www.vice.com/en/article/y3gk3w/amazon-is-forcing-its-warehouse-workers-into-brutal-megacycle-shifts

    【4】https://www.cnbc.com/2020/03/23/amazon-gives-part-time-warehouse-workers-paid-leave-amid-coronavirus.html

    【5】https://www.theverge.com/2020/4/10/21216172/amazon-coronavirus-protests-response-safety-jfk8-fired-covid-19

    展开全文
  • 十小时入门大数据学习笔记(一)

    千次阅读 2018-02-23 17:07:46
    第一章 大数据概述1.1大数据故事点球(分析对手的特点)电商(分析消费习惯,广告定点投放等) 1.2大数据背景无处不在的大数据:科学数据、金融数据、物联网数据、交通数据、社交网络数据、零售数据等 1.3大数据...
  • 十小时入门大数据学习笔记(二)

    千次阅读 2018-02-23 17:13:16
    年解读与发展预测》 狭义的 Hadoop :适合于大数据的分布式存储( HDFS )、分布式计算( MapReduce )和资源调度( YARN )的平台。 广义的 Hadoop : Hadoop 生态系统,庞大的概念, hadoop 是其中最重要最基础...
  • 这篇博文有很详细的介绍:年了,Hadoop的前世今生  博文链接 5、Hadoop生态系统 5.1 狭义Hadoop VS 广义Hadoop 狭义Hadoop:  指的是一个适合大数据分布式存储(HDFS)、分布式计算(MapReduce)和资源...
  • 每周四十小时,你有多少是在为自己干活?

    万次阅读 热门讨论 2009-09-10 21:02:00
     所以,我想跟大家一起思考这个问题:每周五天,每天八小时,你有几个小时在为自己干活?当然,我这里说的为自己干活,说的绝对不是干与工作无关的私活。 如果你今天重复着和昨天一样的工作,那么你很称职,你在为...
  • 从中午到现在,将近用了10个小时,总算有点眉目了。锲而不舍,金石可镂,我算是深刻体会到了这句话的含义。 要点: 1. 确定Measure(也就是考量指标),本例为Compliant比例(Protocol ID相同的各条数据中,...
  • 所以,我想跟大家一起思考这个问题:每周五天,每天八小时,你有几个小时在为自己干活? 当然,我这里说的为自己干活,说的绝对不是干与工作无关的私活。   如果你今天重复着和昨天一样的工作,那么你
  • 所以,我想跟大家一起思考这个问题:每周五天,每天八小时,你有几个小时在为自己干活?当然,我这里说的为自己干活,说的绝对不是干与工作无关的私活。如果你今天重复着和昨天一样的工作,那么你很称职,你在为
  • 思路: 主要对比十二小时制和二小时制的差别,以及时间的换算规则。 并陈列一下各地日期和时间的表示方法, 以便以后测试中使用。 制度和换算规则相关内容摘自(wikipedia) 十二小时制度和二小时制度的...
  • 一.什么是spring boot Takes an opinionated view of building production-ready Spring applications. Spring Boot favors convention over configuration and is designed to get you up and running as quickly ...
  • 小时理论

    2020-03-07 18:14:32
  • 小时时钟.rar二小时时钟.rar二小时时钟.rar二小时时钟.rar二小时时钟.rar二小时时钟.rar

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 12,181
精华内容 4,872
关键字:

十小时