精华内容
下载资源
问答
  • Spark任务卡

    千次阅读 2017-06-17 14:27:30
    内存完,当执行任务的时候 executor 分配不到内存,所以卡死 Worker (1G) ------ master 占用1G   ----- executor   卡死   解决方法: 方式一.执行任务打...

    spark阶段

    parkcore standalone /yarn 模式运行的时候 client 模式正常运行, cluster 模式卡死

    spark-env.sh 里的配置 

    SPARK_MASTER_PORT=7077

    SPARK_MASTER_WEBUI_PORT=8080

    SPARK_WORKER_CORES=2

    SPARK_WORKER_MEMORY=1G      #开辟多大内存运行 worker

    SPARK_WORKER_PORT=7078

    SPARK_WORKER_WEBUI_PORT=8081

    SPARK_WORKER_INSTANCES=1

      spark-submit \

      --driver-memory MEM:  # driver运行的内存大小,默认1024M

      --executor-memory                #executor 运行内存大小,默认 1024M

    当使用 client模式运行的时候,master运行在本机,占用linux机器的内存;

     master              占用 虚拟机 1G 内存

    Worker 1G ------executor   1G  运行任务

    当使用 master模式的时候,由于使用的是为分布模式,所以master只能运行在本机的worker上,占用 1G的内存,由于worker内存用完,当执行任务的时候executor分配不到内存,所以卡死

    Worker (1G) ------ master 占用1G

                                 ----- executor  卡死

     

    解决方法:

    方式一.执行任务打时候规定 driver的内存大小

    spark-submit   \

    --master spark://hadoop-senior01.ibeifeng.com:7077   \

    --deploy-mode cluster \

    --driver-memory 206M \

    --executor-memory 206M \

    /home/kequan/data/sparkdemo01.jar

     

    方式二.修改配置,扩大driver的运行内存  SPARK_WORKER_MEMORY=2G

    总结配置运行参数的时候,core是虚拟出来的,大小一般不会影响,但是最好设置为虚拟机 cores的一半;

    挂掉的主要原因就是内存不足,所以在配置上设置为 driver 和 worker 的内存总和 (一般比linux 总内存低)

     

     

     

    展开全文
  • 入门学习Linux常用必会60个命令实例详解doc/txt

    千次下载 热门讨论 2011-06-09 00:08:45
    这些设备名称的命名都是规则的,可以“推理”的方式把设备名称找出来。例如,/dev/hda1这个 IDE设备,hd是Hard Disk(硬盘)的,sd是SCSI Device,fd是Floppy Device(或是Floppy Disk?)。a代表第一个设备,通常IDE...
  • MATLAB R2019b超详细安装教程(附完整安装文件)

    万次阅读 多人点赞 2020-03-03 13:13:46
    下载安装包 新年当然要新款,虽说现在已经是2020年,但本年度的新款MATLAB还没有更新出来,所以还是暂时较新的R2019b吧。为支持正版,这里提供官网下载地址:https://ww2.mathworks.cn/products/matlab.html。 ...

    Alt

    摘要:本文详细介绍Matlab的安装步骤,为方便安装这里提供了完整安装文件的百度网盘下载链接供大家使用。从文件下载到证书安装本文都给出了每个步骤的截图,按照图示进行即可轻松完成安装使用。本文目录如首页:


    前言

      MATLAB(矩阵实验室)是MATrix LABoratory的缩写,是一款由美国The MathWorks公司出品的商业数学软件。MATLAB是一种用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境。除了矩阵运算、绘制函数/数据图像等常用功能外,MATLAB还可以用来创建用户界面及与调用其它语言(包括C、C++、Java、PythonFORTRAN)编写的程序。

    Alt

      从大学时开始接触MATLAB到现在已过去7年,每当看到MATLAB更新不少新功能都不经为之激动,所以请允许我花一点篇幅介绍下MATLAB R2019b的亮点功能。下面的介绍内容来自官方微信公众号推文,想直接看安装步骤的读者可点击目录跳转至下一节

    MATLAB

    Alt

    R2019b中的MATLAB亮点包括引入了Live Editor(实时编辑器)任务,让用户能够交互式地浏览参数、预处理数据,并生成MATLAB代码,成为Live Script(实时脚本)的一部分。现在,MATLAB用户能够专注于任务本身,而不是语法或复杂的代码,还能够自动运行生成的代码,通过可视化快速对参数进行迭代。

    Simulink

    Alt

    R2019b中的Simulink亮点包括新的Simulink Toolstrip,可帮助用户访问和发现所需的功能。在Simulink Toolstrip中,选项卡按照工作流程排列,并按使用频度进行排序,从而节省了导航和搜索时间。

    人工智能和深度学习

    Alt

    R2019b中,Deep Learning Toolbox构建于今年早些时候引入的灵活训练循环和网络之上。新功能让用户能够使用自定义的训练循环、自动微分、共享权重和自定义损失函数来训练高级网络架构。另外,用户现在还可以构建生成对抗网络 (GAN)、Siamese 网络、变分自动编码器和注意力网络。Deep Learning Toolbox 现在还可以导出到组合 CNNLSTM 层的 ONNX 格式的网络以及包括 3D CNN 层的网络。

    汽 车

    Alt
    R2019b 还引入了面向汽车行业的重要支持功能,贯穿多个产品,包括:Automated Driving Toolbox、Powertrain Blockset、Sensor Fusion and Tracking Toolbox、Polyspace Bug Finder,能够生成深度学习 SI 发动机模型,用于算法设计以及性能、燃油经济性和排放分析等功能。


    1. 下载安装包

      新年当然要用新款,虽说现在已经是2020年,但本年度的新款MATLAB还没有更新出来,所以还是暂时用较新的R2019b吧。为支持正版,这里提供官网下载地址:https://ww2.mathworks.cn/products/matlab.html

    2. 详细安装步骤

    详 细 安 装 教 程 可 参 考 的 博 客 园 博 客 \color{#fbbc05}{详}\color{#34a853}{细}\color{#4285f4}{安}\color{#ea4335}{装}\color{#fbbc05}{教}\color{#4285f4}{程}\color{#34a853}{可}\color{#ea4335}{参}\color{#4285f4}{考}\color{#ea4335}{的}\color{#fbbc05}{博}\color{#4285f4}{客}\color{#34a853}{园}\color{#ea4335}{博}\color{#fbbc05}{客}
    https://www.cnblogs.com/sixuwuxian/p/12512803.html
    或网址:
    https://pan.baidu.com/s/1PT-WjYZgpkZIrLiAp6yjrA 提取码:psbo


    展开全文
  • hadoop任务卡

    千次阅读 2017-06-17 14:19:48
    分析: used space above thresholdof 90.0% 磁盘空间超过90% ,MR运行很占用磁盘空间,磁盘空间不够的时候,nodemanager被强行杀死;  方法一:设置磁盘最高利用率为 95 ;在yarn-site.xml目录里加入下面的...

    hadoop 运行mapreduce的时候会卡死在 mapreduce.Job:Running job: job_1477030467429_0002  位置不动

    思路一:分析:mapreduce卡死不动,原可能是  resourcemanager 或者 nodemanager 配置出错

    检查yarn-site.xml(yarn.resourcemanager.hostname:配置了resourcemanager 的位置) 或者 slaves (配置了nodemanager 位置)配置文件

    可能出现的错误:

      yarn.resourcemanager.hostname :配置出错;

      slaves  没有加入namenode节点;

      hosts 配置出错

     

    思路二:运行内存不足的问题 :

    现象:Memory Total  为 0;

     日志:

    2016-10-29 10:28:30,433 WARN org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection: Directory /opt/cdh/hadoop-2.5.0-cdh5.3.6/data/tmp/nm-local-dir error, used space above threshold of 90.0%, removing from list of valid directories

    2016-10-29 10:28:30,433 WARN org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection: Directory /opt/cdh/hadoop-2.5.0-cdh5.3.6/logs/userlogs error, used space above threshold of 90.0%, removing from list of valid directories

    2016-10-29 10:28:30,433 INFO org.apache.hadoop.yarn.server.nodemanager.LocalDirsHandlerService: Disk(s) failed: 1/1 local-dirs are bad: /opt/cdh/hadoop-2.5.0-cdh5.3.6/data/tmp/nm-local-dir; 1/1 log-dirs are bad: /opt/cdh/hadoop-2.5.0-cdh5.3.6/logs/userlogs

    2016-10-29 10:28:30,435 ERROR org.apache.hadoop.yarn.server.nodemanager.LocalDirsHandlerService: Most of the disks failed. 1/1 local-dirs are bad: /opt/cdh/hadoop-2.5.0-cdh5.3.6/data/tmp/nm-local-dir; 1/1 log-dirs are bad: /opt/cdh/hadoop-2.5.0-cdh5.3.6/logs/userlogs

    2016-10-29 10:28:31,204 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl: Starting resource-monitoring for container_1477706304072_0002_01_000001

    2016-10-29 10:28:31,558 WARN org.apache.hadoop.yarn.util.ProcfsBasedProcessTree: Unexpected: procfs stat file is not in the expected format for process with pid 3202

    2016-10-29 10:28:31,581 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl: Memory usage of ProcessTree 11809 for container-id container_1477706304072_0002_01_000001: 33.0 MB of 2 GB physical memory used; 1.6 GB of 4.2 GB virtual memory used

    2016-10-29 10:28:31,910 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.container.Container: Container container_1477706304072_0002_01_000001 transitioned from RUNNING to KILLING

    2016-10-29 10:28:31,910 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch: Cleaning up container container_1477706304072_0002_01_000001

    2016-10-29 10:28:31,954 WARN org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor: Exit code from container container_1477706304072_0002_01_000001 is : 143

    2016-10-29 10:28:31,989 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.container.Container: Container container_1477706304072_0002_01_000001 transitioned from KILLING to CONTAINER_CLEANEDUP_AFTER_KILL

    2016-10-29 10:28:31,989 INFO org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor: Deleting absolute path : /opt/cdh/hadoop-2.5.0-cdh5.3.6/data/tmp/nm-local-dir/usercache/kequan/appcache/application_1477706304072_0002/container_1477706304072_0002_01_000001

    2016-10-29 10:28:31,991 INFO org.apache.hadoop.yarn.server.nodemanager.NMAuditLogger: USER=kequan       OPERATION=Container Finished - Killed   TARGET=ContainerImpl    RESULT=SUCCESS      APPID=application_1477706304072_0002    CONTAINERID=container_1477706304072_0002_01_000001

    2016-10-29 10:28:31,991 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.container.Container: Container container_1477706304072_0002_01_000001 transitioned from CONTAINER_CLEANEDUP_AFTER_KILL to DONE

    2016-10-29 10:28:31,992 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.application.Application: Removing container_1477706304072_0002_01_000001 from application application_1477706304072_0002

    2016-10-29 10:28:31,992 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.logaggregation.AppLogAggregatorImpl: Considering container container_1477706304072_0002_01_000001 for log-aggregation

    2016-10-29 10:28:31,992 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.AuxServices: Got event CONTAINER_STOP for appId application_1477706304072_0002

    2016-10-29 10:28:32,915 INFO org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl: Removed completed containers from NM context: [container_1477706304072_0002_01_000001]

    2016-10-29 10:28:34,582 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl: Stopping resource-monitoring for container_1477706304072_0002_01_000001

     

    分析: used space above thresholdof 90.0%  磁盘空间超过90% ,MR运行很占用磁盘空间,磁盘空间不够用的时候,nodemanager被强行杀死;

      方法一:设置磁盘最高利用率为 95 ;在yarn-site.xml目录里加入下面的配置(治标不治本,MR运行时候,磁盘使用空间还有可能超过 95%

    <property>

           <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>

            <value>95.0</value>

        </property>

     

    方法二: 删除磁盘里面不用的空间

                    在命令行执行  df -h 查看磁盘用了多少空间

    [root@hadoop-senior01 modules]# df -h

    Filesystem            Size  Used Avail Use% Mounted on

    /dev/sda2              18G   14G  3.4G  80% /

    tmpfs                 1.9G  372K  1.9G   1% /dev/shm

    /dev/sda1             291M   37M  240M  14% /boot

         /dev/sda2   磁盘 就是指 系统所有内存;删除系统里面不用的文件或者软件即可

     

     ERRORorg.apache.hadoop.yarn.server.nodemanager.LocalDirsHandlerService: Most of thedisks failed. 1/1 local-dirs are bad:/opt/cdh/hadoop-2.5.0-cdh5.3.6/data/tmp/nm-local-dir; 1/1 log-dirs are bad:/opt/cdh/hadoop-2.5.0-cdh5.3.6/logs/userlogs

           参考: http://www.cnblogs.com/tnsay/p/5917459.html

    方法三: 如果是虚拟机那么久扩容;真机加磁盘

        虚拟机扩容: http://www.2cto.com/os/201405/301879.html       

    展开全文
  • Packet Tracer介绍 Packet Tracer是Cisco公司针对CCNA认证开发的一个用来设计、配置和故障排除网络的模拟软件。 Packer Tracer模拟器软件比Boson功能强大,比Dynamips...学习任务  1、安装Packer Tracer;  ...

    Packet Tracer介绍

    1. Packet Tracer是Cisco公司针对CCNA认证开发的一个用来设计、配置和故障排除网络的模拟软件。
    2. Packer Tracer模拟器软件比Boson功能强大,比Dynamips操作简单,非常适合网络设备初学者使用。
    3. Packet Tracer模拟器是考CCNA必须掌握的软件。

    学习任务

           1、安装Packer Tracer;

           2、利用一台型号为2960的交换机将2pc机互连组建一个小型局域网;

           3、分别设置pc机的ip地址;

           4、验证pc机间可以互通。

    实验设备

    Switch_2960 1台;PC 2台;直连线

     

    实验步骤

    1.选择网络设备

    2.选择交换机

    3.在交换机中选择2960型号的交换机

    4.将其拖入到面板中

    5.选择端设备

    6.在端设备选项中选择PC并拖入到面板中

    7.选择连接选项

    8.选择直通线,将两台PC的FastEthernet口连接到交换机

    9.连接好后设备连线出将会变为绿色

    10.点击PC2,进入PC2窗口,选择Desktop选项卡,选择IP Configuration

    11.配置相关参数

    PC2

           IP:       192.168.1.2

           Submask:    255.255.255.0

           Gateway:     192.168.1.1

    12.使用相同的方式配置PC3

    PC3

           IP:       192.168.1.3

           Submask:    255.255.255.0

           Gateway:     192.168.1.1

    13.使用PC2 ping PC3

    PC2 ping PC3        Reply

    同理,PC3 ping PC2

    PC3 ping PC2        Reply

    而因为此处没有路由器充当网关,因此无法ping通192.168.1.1

    PC3 ping Gateway Timeout

    本实验的目的是让我们对Packet Tracer思科模拟器有一定的了解。

    展开全文
  • win10电脑蓝屏自动修复失败无法开机的解决

    万次阅读 多人点赞 2019-04-18 15:32:32
    今天电脑突然住了,然后怎么按都没有任务管理器也弄不出来,鼠标狂点也不如终止程序,一时之间没有耐心,直接长按关机键强制断电重启,然后电脑就悲剧了,开机蓝屏,自动修复失败!!!疯了! note:所以以后...
  • 程序员的笔记本电脑

    万次阅读 多人点赞 2019-07-11 16:39:24
    电脑选择:写程序及运行程序,需要大内存,现在内存应该16G起步了,CPU越好,计算速度越快,线程数越多,多任务及多线程程序支持越好,固态硬盘,显卡,接口等也需注意 电脑配置看什么呢,这些配置自然是越高越好 ...
  • 人工智能时代,所需要了解人工智能的基本常识

    万次阅读 多人点赞 2018-12-10 22:49:44
    国内对于人工智能的讨论大多是不成体系的碎片式,很难从中深入了解人工智能的发展脉络和技术体系,也很难实际借鉴意义。人工智能的历史、核心技术和应用情况进行了详细说明,尤其是其中重要的认知技术。这份报告将...
  • JAVA上百实例源码以及开源项目

    千次下载 热门讨论 2016-01-03 17:37:40
     QQ客户端登录界面,中部三个JPanel,一个叫选项窗口管理。还可以更新好友列表,响应用户双击的事件,并得到好友的编号,把聊天界面加入到管理类,设置密码保护等。 Java编写的网页版魔方游戏 内容索引:JAVA...
  • Spark任务的某个Stage住不动问题

    千次阅读 2019-09-29 08:56:48
    时候Spark任务莫名会在某个Stage住,然后一直停在那里,如果任务重新跑的话又是没有问题的,在实际项目中如果这样的任务出现了,需要仔细分析Spark的log,这样的情况一般是数据不均衡导致的某个节点任务量偏大,...
  • 右键单击左下角开始菜单,选择命令提示符(管理员) 运行以下代码: reg delete hkcu\Software\Microsoft\Windows\Current...这个是解除任务管理器禁用 reg delete hkcu\Software\Microsoft\Windows\CurrentVersio...
  • 卡片左右滑动 带动任务条滑动 vue

    千次阅读 2019-03-27 15:47:24
    接到一个任务,做一个活动卡片,卡片左右滑动...这个任务的主要就在数据格式的制定与滑动的判断,不是很难、vue写的 1.首先写出一个卡片的样式,得到其宽度,获取共有多少张卡片。所有卡片放在一个div里面,div...
  • 以local模型和yarn-cluster方式提交任务,都能正确额执行,但是一yarn-client方式就在ACCEPTED 问题原因 在网上查了资料,都说是资源不够,需要调整yarn.scheduler.capacity.maximum-am-resource-per...
  • 运行注册表,HKEY_CURRENT_USER \ Software \ Microsoft \ Windows \ CurrentVersion \ Policies \ System按着这个目录找到系统文件下的 DisableTaskMgr 数值设为0即可打开任务管理器  ...
  • 电脑住点什么都没反应怎么解决

    千次阅读 2021-10-11 14:48:52
    网友反映自己的电脑住点什么都没反应怎么办,下面小编就教下大家电脑死无反应的解决方法。 具体的方法如下: 1、首先看下能不能win+D显示桌面快捷键尝试解除假死现象。如果不行就按下Ctrl+Alt+Del快捷键,...
  • 目录 1、浅谈NB-IoT 1.1、NB-IoT的概念 1.2、NB-IoT的优势 1.3、NB-IoT的发展历程 1.4、NB-IoT的系统架构 ...1.5.3、NB-IoT SIM 1.5.4、物联网嵌入式操作系统 1.5.5、IoT 平台 1.6、NB-IoT的应用场景...
  • 单例模式 单例模式(Singleton Pattern)是 Java 中最简单的设计模式之一。这种类型的设计模式属于创建型模式,它提供了一种创建对象的最佳方式。...1、单例类只能一个实例。 2、单例类必须自己创建自己的唯一...
  •  出现两次这个问题,都是长时间开机后,出现内存占用很高,重启还是内存占用很高,而且任务管理器里面查看,实际没有进程占用那么高。 曾经试过很多种办法,但是一样的现象却不同的原因。 比如Windows自动更新...
  • windows的注册表有什么用

    千次阅读 2019-09-21 16:42:50
    什么是注册表?注册表有什么用
  • 使用windows10自带虚拟机hyper-v遇到的坑

    万次阅读 多人点赞 2019-01-30 20:41:00
    hyper-v是巨硬出的一款虚拟化软件,它内置在了windows10专业版上,不过家庭版的用户也可以体验到这个功能。在体验过一段时间后发现跑自家的...不过运行linux有卡顿感,而且支持的镜像较少。想要和vm共存也比较麻烦
  • 很多人卸载了伽学生端后发现,任务管理器仍然打不开。这里教大家如何打开。 1.按Win+R组合键(Win就是键盘上那个窗户辣)打开运行命令,当然在开始菜单打开也可以。然后输入regedit打开注册表编辑器 2....
  • WIN10笔记本任务栏无响应(住)解决方法 任务栏如下图所示: 出现点击无反应情况时 同时按Crtl+Alt+Delete三个键,调出任务管理器 点击如下图所示详细信息若2处不是正在运行(我截图的时候我的任务栏是正常的),...
  • 题图摄于北京三环路本文作者为 VMware 中国研发中心主任云原生实验室架构师。AI任务和GPU加速人工智能(AI)技术可以赋予机器像人类一样运用智慧处理复杂任务的能力,是一门具有多种方法...
  • 任务栏文件资源管理器打开特别

    千次阅读 2018-07-13 15:31:45
    接下来在Nvidia控制面板的最顶部“文件,编辑,桌面,帮助”几个菜单里面选择“桌面”这...然后,将“添加桌面上下文菜单”以及“将‘图形处理器运行‘添加到上下文菜单”这两个选项前面的对号去掉。不需要重启。...
  • 机器视觉基础知识汇总

    千次阅读 多人点赞 2018-05-11 14:10:45
    人工检测与机器视觉自动检测的主要区别: 【系统组成】一个典型的机器视觉系统包括以下部分:1.照明照明是影响机器视觉系统输入的重要因素,它直接影响输入数据的质量和应用效果。由于没有通用的机器视觉光源照明...
  • 显卡为750ti、p106-90。 其中p106-90我使用了PCIE 1x转16x的线,是不是转接线的传输速率低下造成两张效果劣于一张的情况?
  • 1.故障描述 ... 1)ctrl+alt+del,没卵,打不开任务管理器 2)拔掉鼠标,键盘,电源线,还是不行,最多拔掉鼠标,箭头不见了而已,依然黑屏 3)长按关机键,强行关机,没用,还是黑屏,重启时按F8没用,老子F...
  • Spark任务一直停在某个Stage不动问题

    千次阅读 2019-03-24 18:36:11
    时候Spark任务莫名会在某个Stage住,然后一直停在那里,如果任务重新跑的话又是没有问题的,在实际项目中如果这样的任务出现了,需要仔细分析Spark的log,这样的情况一般是数据不均衡导致的某个节点任务量偏大,...
  • android studio任务栏里不能最大化

    千次阅读 2016-08-30 17:54:42
    刚刚做项目的时候,遇到一个问题,打开Android studio后一直隐藏在任务栏中,不管怎么点击,或者alt + tab切换都切换不回来,甚至在任务管理器中杀掉,重启电脑都不能解决,一直无法实现窗口最大化。 于是看到了...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 226,435
精华内容 90,574
关键字:

任务卡有什么用