Splunk配置文件介绍

Splunk配置文件介绍

1、Splunk几个重要组件:

索引器:索引器是用于为数据创建索引的Splunk Enterprise 实例。索引器将原始数据转换为事件并将事件存储至索引(Index)中。索引器还搜索索引数据,以响应搜索请求。

搜索头:在分布式搜索环境中,搜索头是处理搜索管理功能、指引搜索请求至一组搜索节点,然后将结果合并返回至用户的Splunk Enterprise 实例。如果该实例仅搜索不索引,通常被称为专用搜索头。

搜索节点:在分布式搜索环境中,搜索节点是建立索引并完成源自搜索头搜索请求的Splunk Enterprise实例。

转发器:转发器是将数据转发至另一个Splunk Enterprise 实例(索引器或另一个转发器)或至第三方系统的Splunk Enterprise 实例。
接收器:接收器是经配置从转发器接收数据的Splunk Enterprise 实例。接收器为索引器或另一个转发器。

应用:应用是配置、知识对象和客户设计的视图和仪表板的集合,扩展Splunk Enterprise 环境以适应Unix 或Windows 系统管理员、网络安全专家、网站经理、业务分析师等组织团队的特定需求。单个Splunk Enterprise 安装可以同时运行多个应用。

较为简单部署方案为:一个Splunk Enterprise 服务和多个转发器。转发器将Log日志转发到Splunk中,其中转发过来的日志不需要进行再次拆分、提取字段。Splunk帮用户处理成模板数据

2、Splunk配置文件

直接修改配置文件需要重启服务才能让新增的配置生效
Splunk 的默认用户名:admin、密码:changeme

2.1、$SPLUNK_HOME/etc/system/local/server.conf

为splunk\splunkforwarder配置文件,设置splunk启动后当前服务名称(搜索头、搜索节点、索引器)

[general]
serverName = localhost.localdomain
pass4SymmKey = $7$znG+fcVW55mxvkdEg8tjt6FL1babrzyOVAqAsLIfwFrq7/oYnR3lTw==

[sslConfig]
sslPassword = $7$D4zyltZjkAYwmTZychJ5FRJIPMglvDbOq9LoilxIXcXbqNMuYDLnVg==

[lmpool:auto_generated_pool_forwarder]
description = auto_generated_pool_forwarder
quota = MAX
slaves = *
stack_id = forwarder

[lmpool:auto_generated_pool_free]
description = auto_generated_pool_free
quota = MAX
slaves = *
stack_id = free

2.2、$SPLUNK_HOME/etc/system/local/outputs.conf

为splunkforwarder配置文件,作用是为splunkforwarder配置index服务器
IP(ip:port)

[tcpout]
defaultGroup = default-autolb-group

[tcpout:default-autolb-group]
disabled = false
###是否禁用
server = 192.168.10.9:9997
###接受数据IP及端口
[tcpout-server://192.168.10.9:9997]

2.3、$SPLUNK_HOME/etc/system/local/inputs.conf

为splunkforwarder配置文件,设置splunkforwarder需要转发文件/目录,设置指定的index、sourcetype


[default]
host = 192.168.10.4
#和server.conf名称相同

监控文件和目录,监控文件内容
[monitor:///var/log/boot.log]
#监控文件,和路径
disabled = false
#是否禁用
index = index_name
#指定索引名称,添加前先检查index是否存在
sourcetype = sourcetype_name
#指定数据来源类型(sourcetype)

通过脚本获取数据
[script://./bin/data_namespaces.sh]
#脚本路径,默认
index = namespace_resourcequota
##指定存储数据索引
sourcetype = psc_namespace_resourcequota
##数据来源类型
interval = 0 3 * * *
##cron定时执行计划
disabled = false
##是否禁用


### fschange配置 监控/etc目录下的文件更改情况

[fschange:/etc]
##监控项
index = fs
##指定存储数据索引
sourcetype = fs_notification
##数据来源类型,fs_notification为默认sourcetype,指定为默认的sourcetype即可不需要再次提取字段
recurse = true
pollPeriod = 5
fullEvent = true
sendEventMaxSize = -1
hashMaxSize = 99999999
disabled = false
##是否禁用

2.4、$SPLUNK_HOME/etc/apps/search/local/indexes.conf

splunk index 索引的配置文件

[linux_logs] 
#索引名称
coldPath = /opt/splunk/splunk/linux_logs/colddb
#冷路径
coldToFrozenDir = /opt/splunk/splunk/linux_logs/bakdb
#备份路径
enableDataIntegrityControl = 0
#启用数据完整性控制
enableTsidxReduction = 0
#Tsidx 保存策略:是否减少
homePath = /opt/splunk/splunk/linux_logs/db
#起始保存路径
maxDataSize = 500
#最大保存大小
maxTotalDataSizeMB = 100
#最小保存大小
thawedPath = /opt/splunk/splunk/linux_logs/thaweddb
#ds解冻的路径

2.5、$SPLUNK_HOME/etc/splunk-launch.conf

为splunk数据默认安装,index数据存储位置配置文件,修改可更改splunk的index默认存储路径
splunk安装路径和索引默认存放路径

#   Version 7.2.5
# Modify the following line to suit the location of your Splunk install.
# If unset, Splunk will use the parent of the directory containing the splunk
# CLI executable.

#splunk默认安装路径,不推荐修改
SPLUNK_HOME=/opt/splunk/splunk

# By default, Splunk stores its indexes under SPLUNK_HOME in the
# var/lib/splunk subdirectory.  This can be overridden
# here: 
#splunk 索引默认存放路径,可以修改
SPLUNK_DB=/opt/splunk-home/var/lib/splunk

#Splunkd守护进程名称
SPLUNK_SERVER_NAME=Splunkd

#Splunkdweb守护进程名称
SPLUNK_WEB_NAME=splunkweb

# If SPLUNK_OS_USER is set, then Splunk service will only start
# if the 'splunk [re]start [splunkd]' command is invoked by a user who
# is, or can effectively become via setuid(2), $SPLUNK_OS_USER.
# (This setting can be specified as username or as UID.)
#
# SPLUNK_OS_USER