Jenkins假死问题记录_jenkins 假死-程序员宅基地

技术标签: 持续集成  

Jenkins假死问题记录

问题描述

昨天遇到一个问题,服务器掉电重启后,通过开机自启动脚本:
cd $JENKINS_HOME; nohup java -jar /usr/lib/jenkins/jenkins.war &
来启动。

启动后,登陆系统执行一个maven项目的编译job,此时其他人也进入系统执行自己的编译job,不到10分钟,发现编译脚本一直在转,但是控制台就是没有新的日志,同时其他同时反馈,系统没有反应。

问题定位

看到问题后,第一时间考虑的是通过杀掉jenkins进程,重新使用命令来重启jenkins服务。 结果实施后,发现问题还是跟原来一样,第一次进入系统正常,过一会jenkins又假死了。进程还在,但是就是不干活,无法退出,无法切换视图,执行的脚本就在一个进度上不停的旋转。

这时候考虑怀疑因为停电,导致jenkins的文件损坏 ,于是使用停电前的备份文件,进行恢复操作。然后再重启,然后发现问题还是一样。

又尝试了其他2次备份,结果也都如此。

这时候开始考虑是不是资源问题。使用top,vmstat发现,CPU,内存等资源都非常低,不是CPU,内存问题。

再使用netstat -nap | grep 8080, 发现jenkins有许多客户端连接状态为CLOSE_WAIT;
通过ps -ef|grep jenkins发现除了jenkins程序以外,还有 /tmp/XXX.sh脚本在运行。

于是打开/tmp/xxx.sh脚本,发现正是job执行的shell程序,然后进入到/tmp目录下,发现还有很多这样的脚本。

于是猜测,会不会跟这些脚本,在jenkins重启时被调用了导致。于是删除/tmp目录下所有的脚本还有一些不知道的其他临时文件,只保留了mysql.sock和mysql.sock.lock.

然后重启jenkins服务,再进入系统发现,一切问题都没了,jenkins又能正常工作了。

这里原因还是没搞明白,只能先记录下来经过和结果。后续遇到问题再慢慢研究。 因为这个问题从定位到解决花费了近5个小时,各种尝试,各种研究,甚至还影响了开发人员对于jenkins平台稳定的不信任。

问题总结

分析原因,可能是掉电时,程序正在执行任务,没有完成便被终止,临时脚本保留在了/tmp目录,因为正常情况下,jenkins在执行完shell后,都会从tmp中删除执行的脚本。 在jenkins重启时,这些临时脚本被默认调用或者加载到jenkins中,再次在jenkins中重新执行job的时候产生了锁,导致端口CLOSE_WAIT,系统处于假死状态。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/freflying1119/article/details/107856676

智能推荐

爬虫入门之结构化数据类型XML的提取(Xpath)_xpath可以从-程序员宅基地

文章浏览阅读1.1k次。什么是XPath?XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言,可用来在 XML 文档中对元素和属性进行遍历。什么是XML?XML 指可扩展标记语言(EXtensible Markup Language)XML 是一种标记语言,很类似 HTMLXML 的设计宗旨是传输数据,而非显示数据XML 的标签需要我们自行定义XML 被设计为具..._xpath可以从

1085 PAT单位排行 (25分) [排序]_085 pat单位排行 (25 分) 每次 pat 考试结束后,考试中心都会发布一个考生单位排行-程序员宅基地

文章浏览阅读129次。每次 PAT 考试结束后,考试中心都会发布一个考生单位排行榜。本题就请你实现这个功能。输入格式:输入第一行给出一个正整数 N(≤10​5​​),即考生人数。随后 N 行,每行按下列格式给出一个考生的信息:准考证号 得分 学校其中准考证号是由 6 个字符组成的字符串,其首字母表示考试的级别:B代表乙级,A代表甲级,T代表顶级;得分是 [0, 100] 区间内的整数;学校是由..._085 pat单位排行 (25 分) 每次 pat 考试结束后,考试中心都会发布一个考生单位排行

机器视觉技术助力工业物联网发展,起到核心作用。_工业互联网的发展,对机器视觉有哪些影响-程序员宅基地

文章浏览阅读451次。工业物联网有时也被称为工业4.0,随着人口红利的终结,未来也正在向自动化前进。在18世纪后期,工业1.0使用蒸汽动力进行机械生产。20世纪初,电力的出现帮助我们进入大规模生产的工业2.0。20世纪70年代,电子和IT基础设施开始实现生产自动化,我们进入了3.0。如今作为文明的下一步是IIoT和工业4.0,其中网络物理系统将监视,分析和改进我们的制造业务。美国国家科学基金会将网络物理系统描述为“..._工业互联网的发展,对机器视觉有哪些影响

c#制作简单计算器_c#计算器-程序员宅基地

文章浏览阅读3.3k次,点赞8次,收藏20次。几天内居然这么多人看了,那么就更新一下。之前的代码复用情况太多,改了一下,少了一两百行。不过可能还有bug,欢迎指正。首先把界面设计好,画好那么多按钮,并给每个按钮命名,然后再双击按钮,添加相应的事件,比如按数字就在textbox.text加上数字。using System;using System.Collections.Generic;using System.ComponentModel..._c#计算器

Acwing 高精度加减乘除模板题-程序员宅基地

文章浏览阅读91次。文章目录791. 高精度加法793. 高精度乘法题目来源于Acwing算法学习社区791. 高精度加法#include <iostream>#include <vector>using namespace std;vector<int> A , B , C;string a , b;vector<int> add(vector<int>& A , vector<int>& B){ in

/c6.e3b.biz/index.php,iptv-m3u-maker/tv.m3u8 at d59f4e688e2b4486d6219f094aac886be53c25d2 · srsman/ip...-程序员宅基地

文章浏览阅读7.4k次。#EXTINF:-1, group-title="其他频道", Oxigeno90http://i50.letio.com/9102.aac#EXTINF:-1, group-title="其他频道", ProyectoPhttp://149.56.23.143:8200/stream#EXTINF:-1, group-title="其他频道", Report-TVhttp://66.55.93...._9128h.xyz

随便推点

[二维数组]-顺时针螺旋打印二维数组_顺时针螺旋式从外向内输出二维数组数据-程序员宅基地

文章浏览阅读2.2k次。如下图 当我们遇到一个复杂问题时可以用图像帮我们思考在上图中,我们设置二维数组宽度为rows,高度为columns,取左上角坐标为(startX,startY),取左下角的坐标为(endX,endY),可以发现每次循环的开始为(startX,startY),endX和endY可以根据rows和columns来推出,所以我们应该去发现(startX,startY)的规律我们来_顺时针螺旋式从外向内输出二维数组数据

【自学】JS原型链与继承_js 原型链依次往上查找null-程序员宅基地

文章浏览阅读348次。JS原型链与继承知识点匿名函数调用的this指向原型链与原型对象new对象的过程代码注释原型链的查找顺序查找自身私有属性知识点匿名函数调用的this指向 JavaScript的匿名函数中this指向window  javascript中函数的this指向函数的最后调用者,而匿名函数是一个没有指针的全局变量,在非严格版中默认调用者是window,那么它的this指向的就是全局,就是window对象。原型链与原型对象原型对象是函数特有的(prototype),为了继承所有类型的数据都有原型链(__js 原型链依次往上查找null

同态加密&隐私保护【更新中】_ssw 加密算法在 2009 年由 shen、shi 和 waters 提出-程序员宅基地

文章浏览阅读1.3w次。关于 密码学Paillier同态加密的介绍以及c++实现_ssw 加密算法在 2009 年由 shen、shi 和 waters 提出

2016更改计算机名蓝屏,教您怎么解决电脑蓝屏代码-程序员宅基地

文章浏览阅读874次。蓝屏代码是提示电脑信息的显示页面,一般的电脑蓝屏代码都是位于屏幕提示文字的第一段或者倒数第三段,但是蓝屏的代码都是有规律的,那就是都是以“***stop”为开头。那么今天小编我就来告诉你们,当遇到电脑蓝屏代码的时候,该如何解决。蓝屏代码就是指网站在通过某个操作显示的操作页面的代码,电脑的使用用户可以通过这个代码来找到出现问题的原因和相对应的解决方法。今天我我们就一起来研究研究当遇到电脑蓝屏代码的时..._2016系统蓝屏修复

Win10环境下Qt的Windows最新安装包出现未响应的问题的解决办法_qt-opensource-windows-x86 安装程序无法运行-程序员宅基地

文章浏览阅读4.8k次,点赞13次,收藏3次。问题:选择Qt的LTS版本的一个最新的安装包,下载下来之后。点击进行安装,运行到选择组件那一步,程序就会变成未响应状态,如下图:解决办法:双击运行前,右键选择“以管理员身份运行”。..._qt-opensource-windows-x86 安装程序无法运行

Solr学习总结(六)SolrNet的高级用法(复杂查询,分页,高亮,Facet查询)-程序员宅基地

文章浏览阅读55次。上一篇,讲到了SolrNet的基本用法及CURD,这个算是SolrNet 的入门知识介绍吧,昨天写完之后,有朋友评论说,这些感觉都被写烂了。没错,这些基本的用法,在网上百度,资料肯定一大堆,有一些写的肯定比我的好,不过,这个是Solr系列文章,会从Solr的基础入门讲到实际开发中的分页,高亮,Facet查询等高级用法。所以,基础的入门也会涉及一些,望大家见谅。我用这么多篇文章,来总..._solrnet 统计组件与支点(pivot)相结合

推荐文章

热门文章

相关标签