-
怎么批量删除log目录下的日志?
2020-10-01 00:31:09怎么批量删除log目录下的日志? -
如何使用shell写一个根据时间批量删除日志的小脚本
2020-10-26 19:56:37有时候程序运行了很久就会打印特别多的日志,比如我们只需要保留近7天的日志文件其他的全部删除,该怎么操作呢? 下面使用个shell小脚本(比如: test.sh )就可以轻松完成: #!/bin/bash # 直接在执行删除脚本的...有时候程序运行了很久就会打印特别多的日志,比如我们只需要保留近7天的日志文件其他的全部删除,该怎么操作呢?一个一个地删除太麻烦了,
下面编写个shell小脚本(比如: test.sh )就可以轻松完成:
#!/bin/bash # 直接在执行删除脚本的时候从外界传入2个参数 folder=$1 delta=$2 echo "删除文件夹地址为:${folder}" files=$(ls ${folder}) # 获取delta天前的时间戳 thres_date=$(date -d "${delta} day ago" +%s) for file in ${files} do # 文件更新日期的时间戳 file_date=$(date +%s -r ${file}) # 更新日期小于设定时间时进行删除 if [ ${file_date} -le ${thres_date} ] then echo "删除的文件为: ${file}" rm -f ${file} fi done
程序运行时 只需执行: sh test.sh /opt/data/homework/logs 7
就可将logs文件夹下的7天前的旧日志删除掉!
-
请问一下,这个怎么打印批量删除文件的日志呀,麻烦各位大佬了。
2019-08-10 10:29:47请问一下,这个怎么打印批量删除文件的日志呀,麻烦各位大佬了。(膜拜) ``` @Override @Transactional(isolation = Isolation.READ_UNCOMMITTED) public ReturnHandler delMediaFile(int[] id) { ... -
生产环境,怎么快速查找无用大文件,批量删除?
2020-05-20 10:22:14于是要清除掉服务器上没用的文件,但是怎么找到服务器上的无用文件,然后选择性删除呢? 这里我们提供两个思路,一个是大文件,删除一个就能腾挪很多空间,例如安装包什么的;一个是很多天以前的文件,如日志文件,...00
还是上次那个问题,运维同学发现一台CentOS 7的服务器空间快满了,服务器告警。
于是要清除掉服务器上没用的文件,但是怎么找到服务器上的无用文件,然后选择性删除呢?
这里我们提供两个思路,一个是大文件,删除一个就能腾挪很多空间,例如安装包什么的;一个是很多天以前的文件,如日志文件,可能再留存也没什么意义了。
01
首先,我们来找大文件。
关键字 find 、-size。
find / -type f -size +500M -> 从根目录开始查找,500M以上文件。 -> -type f: f为普通文件类型,f改为d则是目录文件,l则是符号链接文件,-type 还有其他参数,不在这里一一列举。 -> -size +500M :500MB以上 。 -> 一般磁盘空间不够,删除垃圾文件时会使用到此命令。
如果这500M以上的文件都是无用的,怎么删除呢?使用xargs。
find / -type f -size +500M | xargs rm -rf -> xargs : 命令传递参数过滤器,与管道符“|”一同使用,将前面的命令传递给后面的命令使用
如果这些文件中有一些不想删除怎么办?加上grep -v,来反排除。我们看示例。
find / -type f -size +500M | grep -v '我不能删*' | xargs rm -rf -> 查找500M以上文件删除,但是排除掉“我不能删”开头的文件
02
其次,第二种思路,我们查找N天以前的文件进行删除。
关键字 find 、-mtime。
find /var/log/ -mtime +30 -name '*.log' > 查找/var/log/目录下,30天前操作过的log文件 -> -mtime:代表修改时间,最常用,类似参数有-atime、-ctime -> -atime:代表访问时间,查看过就算 -> -ctime:文件状态改变时间 -> -30:代表30天以内,30为n,数字自己填写 -> +30:30天以前 -> 30:距今第30天 find /var/log/ -mtime +30 -name '*.log'| xargs rm -f -> 删除30天前的log文件
xargs : 命令传递参数过滤器,与管道符“|”一同使用,将前面的命令传递给后面的命令使用
03
总结下本次我们学习的知识点:
1、find的两种很常用的命令参数,-size +N 大小查找,-mtime +N 时间查找。
2、grep -v 反向排除。
3、还学了使用xargs + rm 命令来进行批量删除。
你还知道哪些批量删除的方法呢?下期我们再说说各种批量删除文件的方法吧。
-
如何利用工具批量删除百度网盘单向好友
2019-12-17 20:05:33百度网盘好友太多,不方便...三、在第二个选项卡好友管理中,选中要删除的好友,可以筛选单向/双向好友,选中后,点击右边功能栏中的“批量删除好友”按钮。程序将自动运行,下方日志框中有运行结果提示,如图: ...百度网盘好友太多,不方便管理,并且有一大部份还是单向好友,消息也发不了,怎么找出来删除掉,下面介绍怎么操作实现这个目的。
一、首先百度下载网盘消息群发工具
二、在帐号管理中登录并获取COOKIE,保存后,右键帐号登录
三、在第二个选项卡好友管理中,选中要删除的好友,可以筛选单向/双向好友,选中后,点击右边功能栏中的“批量删除好友”按钮。程序将自动运行,下方日志框中有运行结果提示,如图:
-
mysql从库追主库日志_Mysql主库跑太快,从库追不上怎么做?
2021-02-04 11:23:08写这篇文章是因为之前有一次删库操作,需要进行批量删除数据,当时没有控制好删除速度,导致产生了主从延迟,出现了一点小事故。主从常见架构随着日益增长的访问量,单台数据库的应接能力已经捉襟见肘。因此采用主库...写这篇文章是因为之前有一次删库操作,需要进行批量删除数据,当时没有控制好删除速度,导致产生了主从延迟,出现了一点小事故。
主从常见架构
随着日益增长的访问量,单台数据库的应接能力已经捉襟见肘。因此采用主库写数据,从库读数据这种将读写分离开的主从架构便随之衍生了出来。
在生产环境中,常见的主从架构有很多种,在这里给大家介绍几种比较常见的架构模式。
主从复制原理
对于主从来说,通常的操作是主库用来写入数据,从库用来读取数据。这样的好处是通过将读写压力分散开,避免了所有的请求都打在主库上。同时通过从库进行水平扩展使系统的伸缩性及负载能力也得到了很大的提升。
但是问题就来了,读从库时的数据要与主库保持一致,那就需要主库的数据在写入后同步到从库中。如何保持主库与从库的数据一致性,主库又是通过什么样的方式将数据实时同步到从库的?
基本原理
Mysql主从复制时有两个很重要的日志文件
binlog (二进制日志文件)
relay log (中继日志文件)
在主从同步的过程中,主库会将所有的操作事件记录在 binlog 中,从库通过开启一个 I/O 线程保持与主库的通信,并在一定时间间隔内探测 binlog 日志文件是否发生改变。如果 binlog 日志发生了变化,主库生成一个 binlog dump 线程向从库 I/O 线程传送 binlog。从库上的 I/O 线程将 binlog 复制到自己的 relay log 中。最终由从库中的 SQL 线程读取 relay log 中的事件重放到从库上.
主从复制原因
上面的流程我们已经知道了主从复制的相关过程了,但是主库有更新就会同步从库,那为什么会出现主从延迟的情况呢?
随机重放
Mysql 主库中写 binlog 的操作是顺序写的,之前我们提到过,磁盘的顺序读写速度是很快的。同样的,从库中的 I/O 线程操作日志的速度效率也是很高的。但是别忘了,还有一个 SQL 线程来进行数据重放,而重放的过程是随机写盘的。到这里你应该就明白了吧,某一时刻 relay log 里的数据来不及重放进从库,就会产生主从延迟的情况
主库并发高
知道了从库中 SQL 线程的重放情况,对于主库并发高导致主从延迟肯定就不难理解了。某一时刻,大量写请求打到主库上,意味着要不断对 binlog 进行写入,此时从库中的 SQL 线程就会应接不暇,自然会产生主从延迟。
锁等待
对于 SQL 单线程来说,当遇到阻塞时就会一直等待,直到执行成功才会继续进行。如果某一时刻从库因为查询产生了锁等待的情况,此时只有当前的操作执行完成后才会进行下面的操作,同理也就产生了主从延迟的情况。
主从延迟处理
知道了主从延迟的原因,接下来我们看看如何来进行处理。
并行复制
既然 SQL 单线程进行重放时速度有限,那么能不能采用多线程的方式来进行重放呢?MySQL 5.6 版本后,提供了一种并行复制的方式,通过将 SQL 线程转换为多个 work 线程来进行重放,这样就解决了主从延迟的问题。
降低主库并发
你可能会说了,我现在用的低版本的数据库,也没法升版本啊,那我怎么整。对于主库并发高的情况,这种方式你只能通过控制并发来解决延迟了,多用用 Redis。
读主库
这种情况你肯定不陌生,对于一些实时性要求比较高的数据,你总不能读从库去拿吧,万一延迟个大半天,你不得贡献自己的年终奖啊。
总结
主从复制原理
主从复制中有两个很重要的日志文件,binlog和relay log,分别位于主库与从库中。其中 binlog 是主从复制的基础,通过将操作事件写入 binlog 通过 I/O 线程传送至从库进行同步。
主从复制原因
从库中 SQL 线程重放的过程是随机写盘的,并且 SQL 线程是单线程的,因此数据来不及重放的话就会导致主从延迟。
主库并发高会导致写操作不断写入 binlog,对于 SQL 线程说可能会应接不暇,也会产生主从延迟。
重放过程中如果遇到锁等待也是产生延迟的原因之一。
主从延迟处理
MySQL 5.6版本以后通过并行复制的方式来解决 SQL 单线程产生的主从延迟问题。对于低版本来说,可以通过降低主库的并发来解决。如果对数据实时性要求比较严格的话,可以通过读主库来达到目的。
-
mysql从库追主库日志_MySQL 中主库跑太快,从库追不上怎么整?
2021-02-08 01:55:45写这篇文章是因为之前有一次删库操作,需要进行批量删除数据,当时没有控制好删除速度,导致产生了主从延迟,出现了一点小事故。今天我们就来看看为什么会产生主从延迟以及主从延迟如何处理等相关问题。坐好了,准备... -
mysql从库追主库日志_面试官:Mysql 中主库跑太快,从库追不上怎么整?
2021-02-08 01:55:43作者|莱乌写这篇文章是因为之前有一次删库操作,需要进行批量删除数据,当时没有控制好删除速度,导致产生了主从延迟,出现了一点小事故。今天我们就来看看为什么会产生主从延迟以及主从延迟如何处理等相关问题。坐... -
实践应用|Python自动化连接FTP批量下载指定文件
2020-06-02 14:16:36有个小姐姐要从历史数据日志里根据一定的规则筛选一批数据,这批数据中有对局战场id字段,再根据这些id转化为文件名,连接远程FTP搜索该文件并下载到本地,然后打开文件删除前5行并在第6行行首添加一个字母,最后将... -
服务器删除临时目录问题
2020-04-28 16:01:03注:文中的“Doctor”是精分对话者,另一个我,道德约束者,话唠,请无视...然后我们打开了这篇文章来看怎么在服务器上看日志:https://blog.csdn.net/Coder_gasenwell/article/details/105578734 Doctor:抓到了,... -
python定时清理用户下载的文件_实践应用|Python自动化连接FTP批量下载指定文件...
2021-01-04 09:50:39点击上方"阿尔法游戏"关注我们前言有个小姐姐要从历史数据日志里根据一定的规则筛选一批数据,这批数据中有对局战场id字段,再根据这些id转化为文件名,连接远程FTP搜索该文件并下载到本地,然后打开文件删除前5行并... -
ftpclient读取服务器文件能获得文件名文件大小0_实践应用|Python自动化连接FTP批量下载指定文件...
2020-11-27 02:10:07点击上方"阿尔法游戏"关注我们前言有个小姐姐要从历史数据日志里根据一定的规则筛选一批数据,这批数据中有对局战场id字段,再根据这些id转化为文件名,连接远程FTP搜索该文件并下载到本地,然后打开文件删除前5行并... -
azure的虚拟机怎么选_Azure创建第一个虚拟机
2020-12-24 06:17:55初步认识经过半天的测试,总结一些我的体会资源组的功能,非常不错,确实可以批量删除一组资源,可以看到费用。目前就只提供VPC 网络,删掉的以前的所谓经典网络,比较彻底。按分钟计费,省钱。没提供密钥管理,我... -
org.apache.ibatis.exceptions.PersistenceException怎么解决?
2019-05-06 09:55:54-- 批量删除 --> delete from <include refid="tableName"></include> where category_id in (" separator="," close=")"> #{item} ``` mybatis-config.xml ``` <!... -
第一次面试总结
2020-10-23 10:32:32十个Double类型的数据相加会出现什么问题,你是怎么解决的二、有一个业务是,新增一个表的同时要更新一个表,从创建数据库开始讲一讲你是怎么实现的三、SQL怎么去重四、你的项目的单个和批量的删除日志,说一下SQL... -
springboot 配置多库之后,mybatis在控制台不打印sql语句了
2019-05-05 09:54:49--用来指定日志文件的上限大小,例如设置为1GB的话,那么到了这个值,就会删除旧的日志。--> <totalSizeCap>1GB <!-- 除按日志记录之外,还配置了日志文件不能超过2M,若超过2M,日志文件会以索引0开始, ... -
3.新增了删除信息菜单,删除信息菜单包括删除学生,删除班级,删除级别,每一级的删除并不简单,删除相应的级别,对应级别里的所有班级和学生都会被删除,所以我还是验证了很多遍的,功能基本实现,能够完全删除,...
-
王二暖oracle11g全套视频
2020-02-21 21:43:28bulk collect into进行批量提取 21.8 Oracle11g的REF游标 21.9 显式游标、REF游标的课堂题目和分析解答 第22部分 Oracle11g的触发器 22.1 触发器的作用 22.2 创建触发器的语句(与SqlServer进行比较... -
将整理好的工程clone多份,删除.git,在settings.gradle中删除不需要的组件名称,然后在每份源码中保留不同的组件,重新上传仓库,完成改版。 关于工具类改进的一些想法: 考虑了很多次是否改进,最终个人决定不...
-
Java面试宝典2020修订版V1.0.1.doc
2020-05-21 19:24:4836、jdbc中怎么做批量处理的? 80 37、什么是json 83 38、json与xml的区别 83 39、XML和HTML的区别? 84 40、XML文档定义有几种形式?它们之间有何本质区别? 84 41、什么是java反射机制? 84 42、hashmap的底层实现... -
####### 假若你所有的环境都搞定了,包括 mysql 开启 binlog 日志,canal 伪装从数据库连接到 mysql 等,然后配置信息都正确,那就开始正文了 通过继承接口的方式处理数据:MyEventListenerimpl.java 通过注解的...
-
那么,问题就来了,我书籍里面的文档越来越多,我怎么知道我要链接的那个文档的文档标识呢?不用担心,在markdown编辑器的左侧,括号里面的红色文字显示的就是你的文档标识。 采集功能 看到一篇很好的文章,但是...
-
MAPGIS地质制图工具
2013-05-06 16:15:301、增加批量删除属性结构。 2、增加保存系统参数。 3、增加标尺显示。(还存在问题) 4、程序框架做了调整。 编辑本段切剖面图过程 完成剖面图所需的步骤: 1、必需完成地形线赋高程。 2、读取地形数据。 3、读取钻... -
如何编写批处理文件批处理文件批处理文件
2010-04-14 10:36:10当然我们的这个版本的主要内容是介绍批处理在入侵中一些实际运用,例如我们后面要提到的用批处理文件来给系统打补丁、批量植入后门程序等。下面就开始我们批处理学习之旅吧。 一、简单批处理内部命令简介 1.Echo ...
-
二分查找边界问题
-
MySQL 触发器
-
中山大学《高等数学》大一下学期复习.pdf
-
分而治之的分治思想
-
MySQL 索引
-
access应用的3个开发实例
-
dos命令
-
PHP超全局变量
-
浙江科技大学《材料力学》期末复习题.pdf
-
关于深浅拷贝的问题
-
国外数字图像处理总结笔记.zip
-
西南科技大学《自动控制原理》试题库(含答案).pdf
-
Mycat 实现 MySQL的分库分表、读写分离、主从切换
-
西南科技大学《模电》期末复习题(超全且含答案).pdf
-
MySQL InnoDB存储引擎的事务隔离级别
-
西方文化史复习资料与考点整理.pdf
-
338. 比特位计数
-
西南科技大学模电试题-选择、判断填空.pdf
-
西南科技大学《电路分析基础》试题大全及答案.pdf
-
朱老师鸿蒙系列课程第1期-3.鸿蒙系统Harmonyos源码配置和管理