splunk采集linux日志,splunk日志监控利器-程序员宅基地

技术标签: splunk采集linux日志  

日志处理引擎SPLUNK

Splunk分为免费Free版和企业Enterprise版。SplunkFree专供个人使用。SplunkEnterprise添加了支持多用户和分布式部署的功能,并包括警报、基于角色的安全、单一登录、预设的PDF交付以及对无限数据量的支持。

你可以使用浏览器访问http://zh-hans.splunk.com/download下载最新版的Splunk。如果你是第一次访问Splunk网站,需要先注册一个Splunk用户,默认下载的是60天Enterprise试用版,60天试用之后将自动转化为Free版,转化位Free版后每日处理的日志量最高位500M。

Splunk 192.168.0.116

客户端192.168.0.117

192.168.0.116配置

#rpm -ivh splunk-5.0.2-149561.i386.rpm

#/opt/splunk/bin/splunk start

#/opt/splunk/bin/splunk status

splunkdis running (PID: 7730).

splunkhelpers are running (PIDs: 7731).

splunkwebis running (PID: 7788).

开机启动Splunk

vim /root/.bashrc

export PATH=/opt/splunk/bin/:$PATH

. /root/.bashrc

#/opt/splunk/bin/splunkenableboot-start

Initscript installed at /etc/init.d/splunk.

Initscript is not configured to run at boot.可以忽略这句话

[root@splunk~]# chkconfig --list |grep splunk

splunk0:关闭1:关闭2:启用3:启用4:启用5:启用6:关闭

#/etc/init.d/splunkstop

#/etc/init.d/splunk start

可以打开浏览器http://192.168.0.116:8000

实例:添加本地syslog到Splunk时时更新日志

管理--数据导入--添加数据---sysylog--下一步---路径--继续--保存--返回---联机

1.设置Splunk服务器允许接收Splunk Forwarder发送的数据。

进入“Splunk配置首页”,选点右上角的“管理器”,在“数据”类里找到“转

发和接收”。在“接收数据”项中,点击“新增”,Splunk默认接收转发器连接到端口是9997,我们需要将端口填入“输入框”中。点击保存后,Splunk服务默认会打开tcp的9997端口用于监听

2.配置Splunk Forwarder端客户端

安装软件:

# rpm -ivh splunkforwarder-5.0.2-149561.i386.rpm

启动:

#/opt/splunkforwarder/bin/splunk start

服务器端改的配置其转发到192.168.0.116主机的9997端口。默认用户名为admin,密码是changeme.

下面的都是客户端192.168.0.117

# /opt/splunkforwarder/bin/splunk add forward-server192.168.131.203:9997

改密码

#/opt/splunkforwarder/bin/splunk edit user admin -password123456–authadmin:changeme

[root@web ~]#vim ~/.bashrc

exportSPLUNK_HOME=/opt/splunkforwarder

exportPATH=$SPLUNK_HOME/bin:$PATH

配置转发文件

#pwd

/opt/splunkforwarder/etc/system/local

#ls

inputs.confoutputs.conf README server.conf

配置文件outputs.conf,配置服务器转发目标地址和转发状态:

[tcpout]

defaultGroup= default-autolb-group

[tcpout:default-autolb-group]

server= 192.168.131.150:9997

[tcpout-server://192.168.0.117:9997]

配置文件inputs.conf,配置本地需要转发的日志文件和日志文件类型:

[root@weblocal]# cat inputs.conf

[default]

host= web

[monitor:///var/log/httpd]

sourcetype= access_common

修改inputs.conf文件后重启splunk forwarder

测试:登陆http://192.168.0.116:8000,点击“应用”-----〉“search”。

注意:0字节的日志文件不会被转发

多次访问网站后,日志会不断更新,splunk中也会不断更新。

Splunk应用扩展简介

Splunk作为一个可扩展的日志分析平台目前支持基于API的扩展,第三方可以基于Splunk的API编写Splunk应用扩展。通过Splunk应用扩展,可以增强Splunk对数据的

进一步分析。安装Splunk应用可以通过Splunk的web界面,也可以通过Splunk的文本控制界面。

连接https://192.168.0.116:8000,点选“管理器”:

点击“应用”,打开“应用管理界面”页:

我们可以通过三种方式安装或创建新应用:

1.联机查找更多应用:如果你可以连接互联网,这是一个方便的安装应用方式

2.从文件安装应用:如果你无法连接互联网,可以通过这种方式将下载好的应用安

装到Splunk中

3.创建应用:如果你是splunk第三方开发或是有自己的使用系统,可以通过这个选

型创建自己的应用

在此页中,我们可以控制“应用”的状态,可以通过web界面“启用”或“禁用”应用,并且配置应用的某些属性。

实例:Splunk Unix本地性能监视应用

可以在“联机查找更多应用”中

文件名为“unix.tar.gz”。在/splunk目录下的app下可以通过“从文件安装应用”来安装它。

点击“应用管理界面”页里的“从文件安装应用”,进入“上载应用”页。

splunk服务重启完成后,会要求你在浏览器中重新登陆。

登陆后在右上角的“应用”下拉菜单中,我们会发现一个新的应用“*NIX4.6”,点击“*NIX4.6”,进入“SplunkFor Unix and Linux”应用。由于是第一次进入,我们需要去设置这个应用:

安装完后提示你重启服务的-----〉Configure进入配置页面

-----------打开监控项目Enable打开所需的检测------save保存------过一会就会搜集完数据图表慢慢变化

实例:SplunkUnix异地性能监视应用

通过配置其他主机的splunk转发到服务器上汇总

在客户端同上安装Splunk_TA_nix.tar.gz

安装:下面都是在客户端操作的

#echo $SPLUNK_HOME

/opt/splunkforwarder

#tar xvzf Splunk_TA_nix.tar.gz -C $SPLUNK_HOME/etc/apps

#chown splunk.splunk $SPLUNK_HOME/etc/apps/Splunk_TA_nix –R

配置:

#mkdir $SPLUNK_HOME/etc/apps/Splunk_TA_nix/local

#cp $SPLUNK_HOME/etc/apps/Splunk_TA_nix/default/inputs.conf

$SPLUNK_HOME/etc/apps/Splunk_TA_nix/local

将inputs.conf文件从default目录下拷贝到local目录下,然后编辑inputs.conf文件。

将你需要转发的数据项disabled= 1改为disabled= 0。

你可以在末行:%s/1/0/g整体替换1到0

#Copyright (C) 2005-2011 Splunk Inc. All Rights Reserved.

[script://./bin/vmstat.sh]

interval= 60

sourcetype= vmstat

source= vmstat

index= os

disabled= 0

[script://./bin/iostat.sh]

interval= 60

sourcetype= iostat

source= iostat

index= os

disabled= 0

[script://./bin/ps.sh]

interval= 30

sourcetype= ps

source= ps

index= os

disabled= 0

[script://./bin/top.sh]

interval= 60

sourcetype= top

source= top

index= os

disabled= 0

[script://./bin/netstat.sh]

interval= 60

sourcetype= netstat

source= netstat

index= os

disabled= 0

[script://./bin/protocol.sh]

interval= 60

sourcetype= protocol

source= protocol

index= os

disabled= 0

[script://./bin/openPorts.sh]

interval= 300

sourcetype= openPorts

source= openPorts

index= os

disabled= 0

[script://./bin/time.sh]

interval= 21600

sourcetype= time

source= time

index= os

disabled= 1

[script://./bin/lsof.sh]

interval= 600

sourcetype= lsof

source= lsof

index= os

disabled= 0

[script://./bin/df.sh]

interval= 300

sourcetype= df

source= df

index= os

disabled= 0

#Shows current user sessions

[script://./bin/who.sh]

sourcetype= who

source= who

interval= 150

index= os

disabled= 1

#Lists users who could login (i.e., they are assigned a login shell)

[script://./bin/usersWithLoginPrivs.sh]

sourcetype= usersWithLoginPrivs

source= usersWithLoginPrivs

interval= 3600

index= os

disabled= 1

#Shows last login time for users who have ever logged in

[script://./bin/lastlog.sh]

sourcetype= lastlog

source= lastlog

interval= 300

index= os

disabled= 0

#Shows stats per link-level Etherner interface (simply, NIC)

[script://./bin/interfaces.sh]

sourcetype= interfaces

source= interfaces

interval= 60

index= os

disabled= 0

#Shows stats per CPU (useful for SMP machines)

[script://./bin/cpu.sh]

sourcetype= cpu

source= cpu

interval= 30

index= os

disabled= 0

#This script reads the auditd logs translated with ausearch

[script://./bin/rlog.sh]

sourcetype= auditd

source= auditd

interval= 60

index= os

disabled= 1

#Run package management tool collect installed packages

[script://./bin/package.sh]

sourcetype= package

source= package

interval= 3600

index= os

disabled= 0

[script://./bin/hardware.sh]

sourcetype= hardware

source= hardware

interval= 36000

index= os

disabled= 0

#splunk restart

如果你的配置一切正常,你会在http://192.168.0.116:8000上,“*NIX

4.6”应用页上看到“主机”部分新增服务器。

在“CPU by Host”标签页中,将看到两台主机cpu数据信息

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_29577845/article/details/116842299

智能推荐

编译程序加不加 -lpthread 的区别_pthread_mutex 编译链接-程序员宅基地

文章浏览阅读816次,点赞3次,收藏4次。最近在CSDN上看到一个帖子在讨论进程间共享的Posix mutex的锁定状态能否被子进程继承?,其中4楼的帖子给出了一个测试局部mutex能否被继承的例子:#include <pthread.h>#include <stdio.h>#include <stdlib.h>#include <unistd.h>int main(void){ pid_t pid; pthread_mutex_t mut; pthrea._pthread_mutex 编译链接

详解支撑7亿用户搜索的百度图片处理收录中台-程序员宅基地

文章浏览阅读212次。导读:在百度搜索中,主要由“搜索在线”和“搜索离线”两部分构成,“在线”服务主要用于响应用户请求,“离线”服务则将各种来源的数据转换处理后送入“在线”服务中。“搜索离线”的数据处理是一个典..._百度图片系统架构

通过cmd编译java文件_用cmd对java文件编译-程序员宅基地

文章浏览阅读396次。通过cmd编译java文件页面新建一个txt文件,并修改后缀为.java文件编译.java文件内容public class hello{ public static void main(String[] args){ System.out.print("Hello world"); }}打开文件所在位置直接选中路径并输入 cmd 并 回车输入javac 文件名称.java 生成一个class文件输入java 文件名称可运_用cmd对java文件编译

python查阅文献_python 爬取文献 sciencedirect-程序员宅基地

文章浏览阅读3.7k次,点赞3次,收藏32次。隐藏 1.什么是Scihub?2.为什么我们需要用Python工具下载3.新姿势:用Python写好的API工具超方便下载论文4.论文关键词批量下载5.异步批量下载优化,增加超时控制6.根据DOI号下载文献7.工作原理 一、找到sci-hub目前可用的域名二、对用户输入的论文地址进行解析,找到相应论文三、下载 文献搜索对于广大学子来说真的是个麻烦事,如果你的学校购买的论文下载权限不够多,或者不在校园内,那就很头痛了。幸好,我们有Python制作的这个论文搜索工具,简化了我们学习的复杂性。 2020-05-2_python 爬取文献 sciencedirect

115个Java面试题和答案——终极列表(下)-程序员宅基地

文章浏览阅读211次。第一篇讨论了面向对象编程和它的特点,关于Java和它的功能的常见问题,Java的集合类,垃圾收集器,本章主要讨论异常处理,Java小应用程序,Swing,JDBC,远程方法调用(RMI),Servlet和JSP。异常处理Java小应用程序(Applet)SwingJDBC远程方法调用(RMI)ServletJSP异常处理43.Java中的两种异常类型是什么?他们有什么区别?Java中有两种异常:受...

UCOS2_STM32F1移植详细过程_ucosii f1-程序员宅基地

文章浏览阅读639次。首先感谢ybhuangfugui的博客文章,正是因为阅读了他的ucos移植的文章,我正确的将ucos-ii移植到了freescale的k60芯片上,也是因为他的文章,解决了我之前几天移植过程中遇到的问题。他的博客文章详细的指导了我们如何实现移植过程。本篇博客从ybhuangfugui的博客文章转给,为了方便自己以后查找方便,特意转给到了自己的博客下面。没有经过ybhuangfugui的同意_ucosii f1

随便推点

Go语言如何实现stop the world?-程序员宅基地

文章浏览阅读1.3k次。本文基于 Go 1.13。在某些垃圾回收器算法中,“停止世界”(Stop the World: STW,下同)是跟踪内存使用最重要的阶段,它会停止程序的..._go stop the world

生成二维码及微信长按识别二维码_长按二维码 js代码-程序员宅基地

文章浏览阅读1.3k次。参考网友文档:js生成二维码及解决二维码在微信中不能识别来自 https://blog.csdn.net/qq_41429765/article/details/111915775?ops_request_misc=&request_id=&biz_id=102&utm_term=微信生成二维码识别&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduweb~default-3-111915_长按二维码 js代码

[WUSTCTF2020]情书_buuctf [wustctf2020]情书-程序员宅基地

文章浏览阅读677次。[WUSTCTF2020]情书附件:Premise: Enumerate the alphabet by 0、1、2、..... 、25Using the RSA system Encryption:0156 0821 1616 0041 0140 2130 1616 0793Public Key:2537 and 13Private Key:2537 and 937flag: wctf2020{Decryption}#前提:用0、1、2、…..枚举字母表25#使用RSA系统#加密_buuctf [wustctf2020]情书

习题7-2 求一批整数中出现最多的个位数字 (20分)_给定一批整数,分析每个整数的每一位数字,求出现次数最多的个位数字。例如给定-程序员宅基地

文章浏览阅读320次。给定一批整数,分析每个整数的每一位数字,求出现次数最多的个位数字。例如给定3个整数1234、2345、3456,其中出现最多次数的数字是3和4,均出现了3次。输入格式:输入在第1行中给出正整数N(≤1000),在第二行中给出N个不超过整型范围的非负整数,数字间以空格分隔。输出格式:在一行中按格式“M: n1 n2 …”输出,其中M是最大次数,n1、n2、……为出现次数最多的个位数字,按从小到大的顺序排列。数字间以空格分隔,但末尾不得有多余空格。输入样例:31234 2345 3456输出样_给定一批整数,分析每个整数的每一位数字,求出现次数最多的个位数字。例如给定

矩阵特征分解(svd)介绍及雅克比(Jacobi)方法实现特征值和特征向量的求解(C++/OpenCV/Eigen)_jacobisvd-程序员宅基地

文章浏览阅读1w次,点赞2次,收藏23次。对角矩阵(diagonal matrix):只在主对角线上含有非零元素,其它位置都是零,对角线上的元素可以为0或其它值。形式上,矩阵D是对角矩阵,当且仅当对于所有的i≠j, Di,j= 0. 单位矩阵就是对角矩阵,对角元素全部是1。我们用diag(v)表示一个对角元素由向量v中元素给定的对角方阵。对角矩阵受到关注的部分原因是对角矩阵的乘法计算很高效。计算乘法diag(v)x,我们只需要将x中..._jacobisvd

免费的论文查重网站_维普论文查重有csdn上的吗-程序员宅基地

文章浏览阅读918次。给大家推荐一个免费的论文查重网站PaperPP:https://www.paperpp.com/把上面的主题和正文发布到科研论坛,然后提交链接,待系统确认后,即可获得8000字检测权。..._维普论文查重有csdn上的吗

推荐文章

热门文章

相关标签