精华内容
下载资源
问答
  • Dell System E-Support Tool (DSET) 可以搜集Dell PowerEdgeTM 服务器的 硬件,存储和操作系统的信息。 这些信息被统计成一个系统配置报告...使用DSET软件,不需要重新启动机器,不必安装,对您的系统不会有任何影响...

    Dell System E-Support Tool (DSET) 可以搜集Dell PowerEdgeTM 服务器的 硬件,存储和操作系统的信息。

    这些信息被统计成一个系统配置报告,可以利用此报告查看配置信息和排错

    作为排错中的一个步骤,Dell技术支持可能会要求您提供DSET 

    使用DSET软件,不需要重新启动机器,不必安装,对您的系统不会有任何影响。 

    软件说明: 

        1、 可以获取系统日志,硬件日志等一系列机器信息。 

        2、 可以清除ESM/BMC日志,消除系统指示灯琥珀色的情况。 

        3、 软件是独立的,不依赖与其他软件。 

        4、 安装非常简单 

        5、 在Linux下使用也非常的简单,以root身份直接运行文件名 

        6、 支持几乎戴尔所有的机型。 


    需要注意的几点: 

        1、 尽量使用最新版本的DSET软件。 

        2、 运行时候必须要有管理员权限,Administrator 或者 root. 

        3、 不支持NT4。


    DSET下载链接:

        2.2版本:http://ftp.us.dell.com/diags/Dell_DSET_2.2.0.118_A01.msi

        3.7版本:http://downloads.dell.com/FOLDER02413843M/1/Dell_DSET_3.7.0.219.exe


    软件安装:

        1.双击DSET软件,NEXT

        2.选择“I accept the license agreement”

        3.点击“NEXT”

        4.选择“Create DSET Report Only”

        5.公司名称,邮箱可以不填

        6.选择“Gather Advanced Configuration Information”  设置存放日志路径

        7.Skip选项,都不要复选

        8.点击“Finish”

        9.等待其运行完毕

        10.找到生成的report

        11.后续只需要将生成的日志包发给DELL的技术工程师分析就可以了


    本文转自 枫叶云  51CTO博客,原文链接:http://blog.51cto.com/fengyunshan911/1744810


    展开全文
  • linux c/c++抓取分析崩溃日志前言目的方式一:系统生成core文件模式方式二:程序监听崩溃信号并打印堆栈信息 前言 本文章旨在作为笔记,温故而知新,也...推荐使用方式二,(方式一会根据程序内存使用大小会影响core

    前言

    本文章旨在作为笔记,温故而知新,也希望能帮到各位有需要的道友,若有任何建议或探讨可加 QQ群进行交流:887939177

    目的

    在linux实际项目中(即程序已上线),会遇到程序无缘无故崩溃的现象,此时常规日志可能无法分析出故障原因。
    本文介绍两种方式,方式一为系统生成core文件模式,方式二程序监听崩溃信号并打印堆栈信息。

    推荐使用方式二,(方式一会根据程序内存使用大小会影响core文件大小,若程序内存开销很大会造成core文件很大,在写文件时会影响系统性能)

    方式一:系统生成core文件模式

    1.首先输入命令: ulimit -c,如果返回0,说明当前没有开启自动保存崩溃文件功能,可通过以下命令开启并设置文件大小限制(unlimited代表不限制,若需限制可写具体数值)。

    ulimit -c unlimited

    2.设置崩溃文件保存路径(需保证文件夹存在),命令如下,

    echo "/var/core/core-%e-%p-%t-%s.err" > /proc/sys/kernel/core_pattern

    至此配置完成,当程序崩溃时系统自动将信息写入指定的文件夹并按规则命名。

    3.打印崩溃日志,命令如下,

    gdb -c /var/core/[生成的core文件名] [可执行文件]
    gdb -c /var/core/core-test-18829-1549201876-11.err ./test

    执行上述命令后,会进入gdb调试模式,然后输入命令:bt,便会打印崩溃堆栈。

    方式二:程序监听崩溃信号并打印堆栈信息

    1.在程序中添加进程信号监听,例如:

    signal(SIGSEGV, sigHandler);
    signal(SIGABRT, sigHandler);

    2.实现绑定函数sigHandler,如下:

    void sigHandler(int signo) 
    {
    	LOG_ERROR_ARGS("=====recv SIGINT %d=====", signo);
    	
    	//打印错误堆栈信息
    	LOG_ERROR("----------------------------Dump Program Error Strings-------------------------");
    	int j = 0, nptrs = 0;
     	void* buffer[100] = { NULL };
     	char** strings = NULL;
     	nptrs = backtrace(buffer, 100);
     	LOG_ERROR_ARGS("backtrace() returned %d addresses", nptrs);
     	strings = backtrace_symbols(buffer, nptrs);
     	if (strings == NULL) {
      		LOG_ERROR("backtrace_symbols null");
      		LOG_ERROR("-------------------------------------------------------------------------------");
      		return;
     	}
     	for (j = 0; j < nptrs; j++) {
      		LOG_ERROR_ARGS("  [%02d] %s", j, strings[j]);
     	}
     	free(strings);
    	LOG_ERROR("-------------------------------------------------------------------------------");
    	
    	//恢复默认信号操作
    	signal(signo, SIG_DFL);
      	raise(signo);
    }

    以上主要利用backtrace及backtrace_symbols来获取程序崩溃时的堆栈信息,后续就是以此信息来查找程序具体执行到哪一步崩溃的。

    3.编译程序时请添加 -g -rdynamic 的编译选项,

    gcc -g -rdynamic -o test test.c

    3.打印信息大致如下:

    2020-07-15 16:54:34.669 [ERROR] 140084499824832 : =====recv SIGINT 11=====
    2020-07-15 16:54:34.669 [ERROR] 140084499824832 : RsuGasStation.cpp[14] ----------------------------Dump Program Error Strings-------------------------
    2020-07-15 16:54:34.669 [ERROR] 140084499824832 : backtrace() returned 6 addresses
    2020-07-15 16:54:34.669 [ERROR] 140084499824832 :   [00] ./rsu_gasstation(_Z23DumpProgramErrorStringsv+0x131) [0x559abf9059b7]
    2020-07-15 16:54:34.669 [ERROR] 140084499824832 :   [01] ./rsu_gasstation(_Z10sigHandleri+0x113) [0x559abf905e95]
    2020-07-15 16:54:34.669 [ERROR] 140084499824832 :   [02] /lib/x86_64-linux-gnu/libc.so.6(+0x3efd0) [0x7f67f5181fd0]
    2020-07-15 16:54:34.669 [ERROR] 140084499824832 :   [03] ./rsu_gasstation(main+0x17d) [0x559abf906062]
    2020-07-15 16:54:34.669 [ERROR] 140084499824832 :   [04] /lib/x86_64-linux-gnu/libc.so.6(__libc_start_main+0xe7) [0x7f67f5164b97]
    2020-07-15 16:54:34.669 [ERROR] 140084499824832 :   [05] ./rsu_gasstation(_start+0x2a) [0x559abf8f9d1a]
    2020-07-15 16:54:34.669 [ERROR] 140084499824832 : RsuGasStation.cpp[32] -------------------------------------------------------------------------------
    

    4.利用nm命令生成函数映射地址列表文件,命令如下:

    nm -n [可执行文件] [生成的函数列表文件名]
    nm -n test test.nm

    5.在函数映射地址列表文件中查找错误信息中的对应函数,比如此行的main函数,

    2020-07-15 16:54:34.669 [ERROR] 140084499824832 :   [03] ./rsu_gasstation(main+0x17d) [0x559abf906062]
    

    在文件中查找到的信息为:

    0000000000027ee5 T main
    

    6.此时可利用错误打印信息中的(main+0x17d),以及文件查找出来的地址,使用addr2line命令获取相关信息,如下:

    addr2line -e [可执行文件] [地址:0x27ee5 + 0x17d]
    addr2line -e test 0x28062

    至此你便可看到具体信息,信息大致如下,可直观看到哪个函数哪一行,

    sl@sl_rsu:~/projects/RsuGasStation/bin/x64/Debug$ addr2line -e rsu_gasstation 0x28062
    /home/sl/projects/RsuGasStation/RsuGasStation.cpp:87 (discriminator 17)
    sl@sl_rsu:~/projects/RsuGasStation/bin/x64/Debug$ 
    

    signal信号参考网址:https://www.cnblogs.com/frisk/p/11602973.html
    文章描述比较简单,希望能帮助到朋友们,如有疑问或建议,欢迎加QQ群(887939177)进行讨论!
    QQ群二维码

    展开全文
  •  其实这个问题困扰我已经很久了,每天百度蜘蛛都在访问后台的一些不存在hh/asp/jsp等路径从而返回404,等于每天都告知百度,我这个网站很多死链,一定程度上会影响网站的“信任分”,因为搜索引擎不愿意给用户404的...

      百度蜘蛛频繁抓取后台的不存在的phh/asp/jsp地址的解决方案?

      其实这个问题困扰我已经很久了,每天百度蜘蛛都在访问后台的一些不存在hh/asp/jsp等路径从而返回404,等于每天都告知百度,我这个网站很多死链,一定程度上会影响网站的“信任分”,因为搜索引擎不愿意给用户404的体验。

      出现这个问题的原因是

      你的网站每天都有人在扫描系统文件,尝试搜索漏洞,并且你的网站安装了自动推送,又或者有人在恶意提交。

      解决方法很简单,只需要复制以下的robots设置到下面就好了,通过robots设置,禁止蜘蛛抓取php/jsp/asp类型的文件。

      Disallow:*?*                 /*禁止访问网站的动态地址*/

      Disallow: /*.php$        /*禁止访问网站的php文件*/

      Disallow: /*.asp$        /*禁止访问网站的asp文件*/

      Disallow: /*.jsp$        /*禁止访问网站的jsp文件*/

      举一反三,如果你想禁止蜘蛛访问网站的其他类型文件也可以通过 Disallow: /*.XXX$ 把XXX替换成文件类型即可。

      网站实例:http://m.ivf99.com/robots.txt

    展开全文
  • ASP.NET网页抓取功能

    2010-12-24 15:19:39
    四、当抓取记录操作中出现抓取日志时。网页HTML字符串已经保存完毕。可是图片可能还在陆续保存。由于是WEB 形式所以无法得知何时抓取完毕,用户需长时间进程守候。 五、“获取抓取页面打包”是先前抓取的网页以及...
  • 初步学习了python的基本语法,然后结合项目写了一个爬虫程序,主要功能是爬取360应用市场的APP相关信息,这次...其中日志功能类没有写好,但是在实际的应用过程中发现,经常出现由于网络的波动影响抓取以及特殊字符

      初步学习了python的基本语法,然后结合项目写了一个爬虫程序,主要功能是爬取360应用市场的APP相关信息,这次简单介绍一下。

      程序主题包括一个程序启动类,一个写数据库类,一个360市场app的信息获取类,一个正则解析类,一个日志功能类,利用的是最基本的urllib库,没有使用开源的框架。其中日志功能类没有写好,但是在实际的应用过程中发现,会经常出现由于网络的波动影响到抓取以及特殊字符导致数据库写失败等问题,这个过程中,我都是手动重启的。如果把这些日志记录下来,然后针对相应的情况做自动重启处理,就比较不错。例如如果软件名称中存在比较特殊的字符。比如http://zhushou.360.cn/detail/index/soft_id/2916889这个页面中应用标题的引号,在写数据库的时候会提示1064: Youhave an error in your SQL syntax….,当时并没有注意,后来相关的错误提示显示出来的。

      由于性能的问题,我写的小程序爬了半个月,因为相关的应用,下载量,版本等相关信息在不断的变化,会与现在的数据有些许差异,但是一般差异不会太大,因此本文可以作为某些分析的参考。

      总共爬取的网页个数为320万个左右,有效页面个数为111万个左右,我是单线程的爬取速度是每秒在2-5个左右。如果要求一天之内爬完320万个网页,则需要每秒40个左右,而现有的开源爬虫框架据说有的可以支持每分钟5000个左右。这样快的速度一般是需要多线程的支持,需要引入消息队列机制。有的网站会限制请求速度(多个代理请求来解决)。

      下面对我爬取的数据库做一次简单的分析。

      数据库的总条目数量是1112499个,平台的应用每天都在增加,但基本的数量级是这个样子。

      360手机市场下载量过亿的应用目前统计到的为73个,如下图1、图2、图3所示:


    图1


    图2

     

    图3

      让我比较意外的几个应用包括以下几个1、我查查;2、ChatON;3、书旗小说;4、Samsung PushService;5、Google 文字转语音。除了ChatON,其余最近都有更新。我们知道手机APP的更新是非常的频繁,如果近期没有更新,则说明,这款应用已经是昨日黄花了。

      表1是对数据库做了几次筛选之后的结果

          表1

    总应用个数

    1112499

    下载量为0

    339126

    下载量<100

    789330

    下载量<1万

    1058300

    下载量>100万

    3526

    下载量>1亿

    73

    2016/04/01后更新

    22372

     

      另外感到震惊的是,下载量为0 的应用有339126个,下载量小于100的应用有789330个,下载量小于10000的应用有1058300个。下载量大于100万的应用有3526个,下载量大于1000万的应用有582个。

      2016-04-01也就是愚人节之后有更新的软件个数为22372个,下载量大于5万的为22892,这两个数大致相当。

      图4、图5、图6列举了部分当时下载量为0的应用情况。


    图4

    图5

    图6

      可以看到很多下载量很少的主要是一些英文的应用,虽然在大陆上外网需要翻墙,但是360手机市场还是将很多国外的应用收录了。比如Pandora作为美国第二大正版在线音乐提供商,下载之后,需要VPN为美国翻墙的网络才能用。这也是360手机市场能够拥有百万app的原因,我猜测360手机市场应该收录了google_play里面的大部分应用(没有验证过)。

      以上就是简单学习python后爬虫练习的情况。以后会根据情况采用一些框架,使得爬取的速度更快一些,更自动化一些。

     

    展开全文
  • ASP.NET 网页抓取WEB版

    2010-12-30 13:48:39
    四、当抓取记录操作中出现抓取日志时。网页HTML字符串已经保存完毕。可是图片可能还在陆续保存。由于是WEB 形式所以无法得知何时抓取完毕,用户需长时间进程守候。 五、“获取抓取页面打包”是先前抓取的网页以及...
  • 慢查询日志(慢SQL的抓取) ...如果不是调优需要的话,一般不建议开启该参数,因为开启慢日志会或多或少带来一定的性能影响 慢查询日志支持将日志记录写入文件 查看慢日志是否开启 show variab...
  • DELL 服务器查看故障日志

    千次阅读 2019-06-04 10:24:08
    一的方式,可以用连接到您服务器的电脑,或者直连服务器(idarc口,... 二的方式,需要重启服务器,如果您服务器目前需要使用,重启会影响到,可以找一个不用的时间操作。 一、Idrac抓取日志步骤如下: 登录iDR...
  • 搭建ELK+kafka日志系统架构

    千次阅读 2018-09-03 16:43:45
    ELK日志系统+kafka消息中间件的系统架构 这就画的一个简单的架构图。理解起来非常简单。...但是当日志系统产生的日志量比较大的时候如果还是直接传到ES中的话,对ES性能有极大的影响。所以使...
  • Loadrunner报错日志

    2014-10-24 15:12:34
    程序上存在数据库的问题,那就必须采用更加专业的工具来抓取出现问题的程序,主要是程序中执行效率很低的sql语句,weblogic可以采用introscope定位,期间可以注意观察一下jvm的垃圾回收情况看是否正常,我在实践中...
  • 【SEO&网络推广】被百度K站的原因

    千次阅读 2012-07-19 17:46:07
    1.主机运行是否稳定,当搜索引擎抓取时,主 机有没有正常运行,日志中是否返回是200状态码?如果是200状态码,那就只是个暂时现象,放平心态,等搜索引擎大更新时放出来。 2.同主 机站点是否存在大量被惩罚现象,...
  • Mysql 优化 调优

    2019-11-26 14:19:28
    此篇作为自己调优和sql性能优化做的一些基础方案和笔记,借鉴于多篇文章和自己实用... # 默认未开启,开启会影响性能,mysql重启会失效 (2)查看日志路径和是否开启:SHOW VARIABLES LIKE '%slow_query_log%'; (...
  • 公司的一个广告播放软件在更换硬件以后...经过一番思考,决定先关闭本地的日志输出,此时应用再次运行,还是发生ANR,但是发生ANR的时间比之前晚了许久。因此初步确定是IO影响了应用的运行,测试机器的IO性能发现确实
  • 2021-03-09

    2021-03-09 19:33:45
    MySQL优化(3):慢SQL分析 对慢SQL优化一般可以按下面几步的思路: 1、开启慢查询日志,设置超过几秒为慢SQL,抓取慢SQL ... #默认未开启,开启会影响性能,mysql重启会失效 (2)查看是否开启:SHOW V
  • 这四类数据源包括了:开放数据源、爬虫抓取、传感器和日志采集。 它们各有特点。 开放数据源一般是针对行业的数据库。比如美国人口调查局开放了美国的人口信息、地区分布和教育情况数据。除了政府外,企业和高校也...
  • 各位站长在平时维护网站过程中,可能会在站长工具后台抓取异常里面或者服务器日志里看到各种各样的响应状态码,有些甚至会影响网站的SEO效果,下面百度工程师为大家整理了一些常见的HTTP状态码及处理解决的方法: ...
  • 404页面分析 数据分析

    2014-05-20 12:07:43
    今天说一下大家所常见的HTTP Status Code:404,这边分享一个分析发现问题的思路,至于404...当爬虫解析抓取网页时,返回这样一些Head信息,同时当你服务器日志开启记录此信息时,就能每天及时记录这些信息,爬虫抓取
  • 目标数据库为sqlserver,在进行etl数据采集过程中,产生大量的数据与日志,如果磁盘空间不足,将严重影响etl传输效率,本文讲解如果通过xp_fixeddrives+xp_cmdshell获取获取磁盘信息。 当需要维护的sqlserver...
  • 需求: 对数据库中的不断抓取的文章进行缓存,因此需要定时访问数据,写入缓存中 在捕获到的异常日志发现错误:Unable to Connect: sPort: 0 ...第一点:要使用using(据说访问效率在高并发的时候影响,简...
  • 但是不论通过哪种方法sitemap其实就像是网站更新的日志一样,把这些日志提交给个大搜索引擎,搜索引擎通过对内容的判断进行抓取,从而对关键词的排名页面收录产生影响。有时候我们也上传robots.txt来告诉搜索引擎...
  • 在mapping文件中设置抓取策略对HQL与Criteria造成不同影响的测试与验证 一、引言  大部分管理信息系统(MIS)都少不了员工(用户)与操作日志,当为员工创建帐号并分配相应的权限后,该帐号即可登录系统并进行...
  • ,RMSprop和权重衰减会影响ADAM优化器 方程式比赛 软件 最好的开发IDE。 可以找到扩展 图表工具 如何编写可测试的代码 一本有关如何改进代码的书,可在cs库中找到 有用的python模块 ,备忘单 用于实验记录。 扩展至...
  • 推送日志模块包括百度推送推送、Bing推送及插件执行日志,站长可以通过该功能模块查看最近7天推送URL和推送状态,插件执行日志记录输出插件执行的相关任务记录,以方便开发者快速定位插件问题。 百度推送日志-...
  • 目标字符串:可以在日志控制台添加目标字符串,添加后,只会输出包含目标字符串的日志,其他日志会显示<日志不包含目标字符串>,用以过滤日志(基本信息输出不过滤)。 执行"f {"命令,添加"{"为目标字符串...
  • 游戏应用分析 介绍 所选主题: 我们的小组决定研究电话应用程序数据,专门针对游戏,并找出使游戏应用程序成功的原因。... 然后,我们将使用成功指标来确定哪些功能可能会影响游戏应用程序的成功与
  • 修复数据库连接池中连接失效后,控制台报错(但不影响使用)的bug;修复连接池计数不准导致误报连接达到上限的BUG.   JDiy极速开发框架: JDiy是一个超轻量级的java极速开发框架,内置一个建站平台(不用写代码,...
  • C++网络爬虫项目

    2018-07-04 00:59:17
    种手段将网页的搜索排名提前到与其网页质量不相称的位置,这严重影响用 户的搜索体验。所以,如何自动发现作弊网页并对其给于相应的惩罚,就成了 搜索引擎非常重要的功能之一。 1.2. 网络爬虫 通用搜索引擎的处理...
  • 然后在本机部署一个agent用于抓取日志发送到jstorm集群中用于分析等。那这里我们的应用系统就对应消息队列中的生产者producer,jstorm集群就对应消费者consumer。 所以说白了其实消息队列和log4j这些组件都是日志...

空空如也

空空如也

1 2 3
收藏数 54
精华内容 21
关键字:

抓取日志会影响