精华内容
下载资源
问答
  • 定时任务卡死问题排查

    千次阅读 2019-06-20 17:45:00
    背景描述:使用quartz建立多个定时任务,每5分钟执行一次。定时任务中包含httpclient的网络访问,及druid的数据库访问。执行一段时间后不定期(可能10天半个月,可能好几个月)卡死。 表现状况为: 日志到某个时间...

    背景描述:使用quartz建立多个定时任务,每5分钟执行一次。定时任务中包含httpclient的网络访问,及druid的数据库访问。执行一段时间后不定期(可能10天半个月,可能好几个月)卡死。
    表现状况为:

    • 日志到某个时间点突然没有输出了,也没有异常日志记录,排除当时磁盘空间不足的问题
    • httpclient使用的4.3版本,出问题的生成环境下已在request中设置3种超时时间。实际测试中除了setConnectTimeout与setConnectionRequestTimeout即使不设置,程序也会抛出超时异常。只有当setSocketTimeout不设置的时候,程序会出现日志不打印一直卡死的状况,但与我要解决的问题来看还是有略微区别。当时的内存状况不一致。(图1为生产环境上卡死时的内存,图2为本机测试时,故意不设置setSocketTimeout超时情况下的内存图 )
      blob.jpg(图1)blob.jpg(图2)

    • 生成环境下设置了数据库超时,本机测试时暂时还没有测试数据库超时的情况。

    下次生成环境上再发生此类状况的排查步骤:

    1. 本机打开jdk安装目录下的visualVM查看线程执行情况,正常定时任务执行时线程应该是如下图的少量runnalbe,如图1所示,但是本机测试时,故意让服务器端下断点不返回信息,在客户端的httpclient中不设置setConnectTimeout超时时间,最终显示的线程图样是一直runnalbe的,因此下次在生产环境下出现这个问题时,可以查看线程中,该线程是否一直是runnalbe状态如图2所示
      blob.jpg(图1) blob.jpg(图2)
    2. 使用jstack查看当时的业务定时任务线程中具体代码。打开步骤,找到程序对应的pid,然后使用命令jstack 程序pid的方式查看线程状态(图1)。 使用jstack的原因是这个可以看到具体代码,如图2
      blob.jpg(图1)blob.jpg(图2)

    今天又发生了一次,排查怀疑是数据库连接未释放造成的。

    blob.jpg
    (发生问题的机器上,线程图。从中可以看到执行定时job的线程pool-3-thread-1一直在运行,类似于之前在本地机器上模拟的httpclient未设置响应时间的状态)

    blob.jpg
    (发生问题的机器上,内存图)


    转载于:https://www.cnblogs.com/falcon-fei/p/11060174.html

    展开全文
  • pyspark 在保存数据时,在最后4-5个stage 任务卡住不动,其他stage 10几分钟完成,这几个2h也没用完成,而且在sparkUI上面发现需要处理的数据0KB,实在是郁闷啊。网上查找资料如下,链接如上: 分析 主要是使用了...

    文章目录


    本文是一个记录文,主要是参考网上的资料
    Spark任务一直停在某个Stage不动问题

    背景

    • pyspark 在保存数据时,在最后4-5个stage 任务卡住不动,其他stage 10几分钟完成,这几个2h也没用完成,而且在sparkUI上面发现需要处理的数据0KB,实在是郁闷啊。网上查找资料如下,链接如上:
    • 在这里插入图片描述

    分析

    主要是使用了spark 的推断执行机制,

    缺点

    • 开始推断执行,会启动多个task,保留率先完成的结果,因此可能导致占用资源较多。
    • 不过可以将推断执行的条件设置的严苛一点,以缓解资源占用的问题。
    展开全文
  • freeRTOS出现任务卡死的情况。

    千次阅读 2020-12-03 11:18:03
    最近在做一个产品二代升级的项目,代码是上一任工程师留下的,很多BUG,而且融合了HAL库和LL库,以及github上下载的...发现只添加4G初始化代码,4个任务都正常,但是添加业务功能代码的时候,4个任务都卡死了(一运行就

    最近在做一个产品二代升级的项目,代码是上一任工程师留下的,很多BUG,而且融合了HAL库和LL库,以及github上下载的GSM源码,很不好用。

    我这边是将2G模块换成了4G,且添加了单独的BLE模块。因此只在源码的基础上,去除2G和BLE代码部分,添加新的4G和BLE代码。

    整个freeRTOS工程项目创建了4个task任务。

    我是先修改了BLE任务,修改完毕后运行正常;然后一步一步添加新的4G任务代码。发现只添加4G初始化代码,4个任务都正常,但是添加业务功能代码的时候,4个任务都卡死了(一运行就立即卡死)。

     

    解决方法:

    1.先查看代码是否在任务调度开始前调用了系统延时函数,最后调查结果正常。

    2.其次开始屏蔽4G业务代码运行,看看屏蔽哪里会使任务正常,最后发现在操作某个数组(即使是printf打印数据)的时候,导致4个任务全卡死,该数组为局部变量。

    3.经过查找,发现在该任务之外的c文件中,定义了一个同名的全局数组。将该数组更改后,目前4个任务都能正常运行。

     

    后续:

    1.正常运行一段时间后,任务再次全部卡死。(有待解决)

     

    解决方法:

    1.单独运行4G任务,正常。

    2.进行单步调试,发现是HardFault_Handler错误。找到出错的地方,尝试把函数里的局部变量数组改成全局变量,修改后程序正常。(好像是函数可重入的问题,但是我感觉不像,应该是堆栈溢出造成的,但是我的堆栈已经设置的很大了,有人知道答案的话请评论告诉我,谢谢)

     

    最新更新:

    1.今日闲来无事,重新阅读freeRTOS系统文档,总结出上述问题的原因:每个任务都有自己的堆栈(我是使用静态方法创建的task),由于我在任务属性初始化的时候分配的堆栈较小,而任务局部变量占用的内存过大,导致出错。(我在第二步修改的堆栈是单片机总堆栈大小,而非任务堆栈)

    展开全文
  • Linux定时任务卡死不执行解决方案

    千次阅读 2019-09-09 10:52:57
    Linux定时任务卡死不执行解决方案 1、查找所有定时任务进程 ps -aux |grep crond 2、关闭所有定时任务进程 killall crond we1,web2 3、所有进程 top 4、所有php进程 ps -aux |grep php 5、根据端口号关闭定时进程...

    Linux定时任务卡死不执行解决方案

    1、查找所有定时任务进程
    ps -aux |grep crond
    2、关闭所有定时任务进程
    killall crond
    web1,web2
    3、所有进程
    top
    4、所有php进程
    ps -aux |grep php
    5、根据端口号关闭定时进程queue,queuescript
    kill -9 28349 28359 (第二列数字是端口号)
    6、重启定时任务
    service crond restart

    展开全文
  • 打印任务卡死清除工具
  • Spark任务卡

    千次阅读 2017-06-17 14:27:30
    内存用完,当执行任务的时候 executor 分配不到内存,所以卡死 Worker (1G) ------ master 占用1G   ----- executor   卡死   解决方法: 方式一.执行任务打...
  • 执行一个插入操作,结果任务在这里住不动了:Tez session hasn't been created yet. Opening session 网上一堆的解决办法,bi
  • 关于UCOS任务卡死的原因分析

    千次阅读 2018-06-12 17:54:05
    ,2)”时,UCOS任务卡死,最高优先级任务也不能运行。分析:运行到USART2SendData("\r\n",2),因为UART2_SendEnable=0导致关掉中断后没有恢复现场(开中),任务不能切换,于是任务卡死。增加红色高亮部分...
  • 关于Hadoop下运行MapReduce任务卡在Map0%和Reduce0%的解决办法 检查核心配置 mapred-site.xml文件 检查以下配置信息,如果没有该信息,则添加上去 ![在这里插入图片描述]...
  • 结果查看定时任务的历史记录,发现住了 提示已经启动定时任务,但是bat中的操作一直没有执行 刚开始怀疑bat文件中有错误,换成了最简单的打开记事本的命令notepad,发现问题依然存在 后来发现有一...
  • 卡片左右滑动 带动任务条滑动 vue

    千次阅读 2019-03-27 15:47:24
    接到一个任务,做一个活动卡片,卡片左右滑动带动卡片上方的任务条走到对应节点: 1、卡片和任务条均为动态生成 2、卡片底部可以左右滑动 3、当一张卡片超过50%的区域展示出来后放手,定位到对应卡片 4、卡片更换...
  • FreeRTOS进不了任务 在SVC_Handler

    千次阅读 2019-07-21 09:36:23
    网上看的:第一次移植FreeRTOS单步调试在SVC_Handler。 汇编上面看SVC_Handler后面有个[WEAK],意思是如果该函数不存在也不报错,这意思是SVC_Handler不存在,经过查找在port.c中有 void vPortSVCHandler( void );...
  • spark任务一直住,问题分析、解决

    千次阅读 2021-04-08 20:04:59
    项目场景: spark运行中,job一直在执行中,运行过程中会有hdfs, db的交互 问题描述: 有个同学跟我反映问题,spark...2.看看任务在做什么,看看executor的task在干忙什么,通过executor tab把正常运行任务的task对应e
  • Hadoop 运行wordcount任务卡在runnning job的一种解决办法 在使用Mac系统构建本地伪分布式hadoop系统,遇到如下问题 网上有较多的解决办法,但是均不能解决我的问题,后来经过google查询之后,对yarn-site.xml...
  • Spark任务的某个Stage住不动问题

    千次阅读 2019-09-29 08:56:48
    有时候Spark任务莫名会在某个Stage住,然后一直停在那里,如果任务重新跑的话又是没有问题的,在实际项目中如果这样的任务出现了,需要仔细分析Spark的log,这样的情况一般是数据不均衡导致的某个节点任务量偏大,...
  • 1.背景 2. 问题出现 运行了一个spark任务,然后,发现有一个Job特别的慢,其他的最多用了30分钟,但是这个任务却运行了 1.1个小时,数据量是100...最后发现任务卡着 3.原因 最后一行 Marking the coordinator pla...
  • hive任务卡在个别reduce的问题分析

    万次阅读 2014-09-29 10:43:23
    最近微博有一个任务需要使用日曝光表做统计,发现这个任务很容易在stage1在reduce100%阶段不动,发邮件过来让帮找一下问题或者优化一下,和同事一起分析了一下原因,以下是分析过程:
  • 以local模型和yarn-cluster方式提交任务,都能正确额执行,但是一yarn-client方式就在ACCEPTED 问题原因 在网上查了资料,都说是资源不够用,需要调整yarn.scheduler.capacity.maximum-am-resource-per...
  • 今天写了一个简单的MapReduce程序,结果一跑就在mapreduce.Job: Running job这里,记录一下解决问题的过程,我在一台内存8G的笔记本上用虚拟机搭建集群,三个虚拟机都开了1G内存,Hadoop版本是3.0.3 打开对应的...
  • hive任务执行进度在99%是因为在Job完成后的所得到的Counters是整个Job的总和,优化是基于这些Counters得出的平均值,而由于数据倾斜的原因造成map处理数据量的差异过大,使得这些平均值能代表的价值降低。...
  • 然后默默打开yarn界面查看运行的任务,但是半天不见任务名称,这可就奇了怪了 查看 yarn application --list | grep appName 发现状态一直是accepted 接收正常应该是running,之前的代码也没毛病,也能提交,也能运行 遂...
  • http://docs.celeryproject.org/en/latest/userguide/configuration.html#std:setting-task_time_limit from celery.exceptions import SoftTimeLimitExceeded @app.task def mytask(): t...
  • 在机器的配置没有修改的情况下,出现这样的问题,后来经过多方排查,将每台机器上配置的fs的默认临时文件目录全部删除之后,再重启yarn得以解决,使用yarn node -list -all可以查看到此时的节点的状态就不是...
  • Spark任务一直停在某个Stage不动问题

    万次阅读 2019-03-24 18:36:11
    有时候Spark任务莫名会在某个Stage住,然后一直停在那里,如果任务重新跑的话又是没有问题的,在实际项目中如果这样的任务出现了,需要仔细分析Spark的log,这样的情况一般是数据不均衡导致的某个节点任务量偏大,...
  • 定时任务假死问题排查

    万次阅读 2018-06-13 19:18:56
    问题表现某定时任务过一段时间死掉,不再输出任务日志。分析估计不是线程被干死,一般是活儿一直干不完,在等资源啥的。过程jstack 2476|grep Scheduler -A 30发现大部分线程时起时停,但其中一个一直Running。"...
  • FreeRTOS创建任务正常运行,偶尔出现任务卡死状态,通过在线调试,程序卡在vPortExitCritical()函数中,在IAR Call Stack中观察到各任务都可能回调该接口。 void vPortExitCritical( void ) { configASSERT( ...
  • MapReduce任务运行到running job

    千次阅读 2016-07-26 17:37:13
    MapReduce任务运行到running job
  • .bat 转换成的 .exe 文件,傻瓜式操作,双击打开即可一键关闭伽学生端并开启任务管理器

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 318,096
精华内容 127,238
关键字:

任务卡

友情链接: MuMuDVB-master.zip