《Splunk智能运维实战》——1.3 从网络端口获取数据

简介:

本节书摘来自华章计算机《Splunk智能运维实战》一书中的第1章,第1.3节,作者 [美]乔史·戴昆(Josh Diakun),保罗R.约翰逊(Paul R. Johnson),德莱克·默克(Derek Mock),译 宫鑫,康宁,刘法宗 ,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.3 从网络端口获取数据

不是每台机器都能生成日志文件。通过网络端口和协议传送数据也很常见。例如通过系统日志来发送日志仍是获取网络设备(防火墙、路由器和交换机)数据的主要手段。

不仅网络设备可以通过网络端口向Splunk发送数据。应用程序和脚本可以使用套接字(socket)连接到Splunk所监听的网络端口。这是很有用的备选工具,因为有时候我们想向Splunk导入数据,但没法对文件进行写入操作。

本节将展示如何配置Splunk来接收UDP网络端口上的系统日志数据,该方法同时也适用于TCP端口配置。

做好准备

在本节开始前,我们仅需运行Splunk Enterprise服务器。

如何操作

按下列步骤配置Splunk,使其接收网络UDP数据。

  1. 登录Splunk服务器。
  2. 从右上角的主启动器,单击“添加数据”。

screenshot

  1. 在“或者选择一个数据源”列表中,单击“来自一个UDP端口”链接。

    screenshot

  2. 出现源界面,在“UDP port”字段中输入514。在UNIX/Linux系统中,Splunk必须以root身份运行来访问特权端口514。另一种方法是指定更高的端口,如1514端口,或将数据从514端口传送至另一个使用iptables路由规则的端口。
    screenshot
  3. 进入“源类型”界面,在“设定源类型”下拉菜单中选择“来自列表”,然后在“从列表中选择源类型”下拉菜单中选择“系统日志”。
    screenshot
  4. 点击“保存”。在下一个界面中,点击“开始搜索”。Splunk现在已经配置好,可以监听UDP端口514了。现在任何发送至该端口的数据都会被指定系统日志源类型。如需搜索系统日志源类型,可执行如下命令:
    screenshot

除非碰巧正在向Splunk服务器IP发送UPD端口514上的数据,否则还无法看到任何数据。

工作原理

当添加新的网络端口输入时,也就是在后台向inputs.conf文件添加新的配置节。Splunk服务器可包含一个或多个inputs.conf文件,它们位于$SPLUNK_HOME/etc/system/ local,或Splunk 应用程序的local目录。

要收集网络端口上的数据,Splunk会创建套接字来监听特定TCP或UDP端口,并索引从该端口接收的任何数据。比如在本节,设置Splunk监听UDP 514端口的数据。如果该端口上接收到数据,Splunk会索引数据并分配系统日志源类型给它。

Splunk也提供了许多用于网络输入的配置选项,例如如何解析主机值以用于所收集的数据。

若想获取Splunk配置文件的更多信息,请访问 http://docs.splunk.com/Documentation/Splunk/latest/Admin/ Aboutconfigurationfiles。

更多内容

如本节所述,可以通过Splunk的Web界面添加输入来从网络端口接收数据,此外还有其他方法来快速地添加多种输入,这些输入可以让我们自定义Splunk提供的许多配置选项。

通过CLI添加网络输入

也可通过Splunk CLI添加文件或目录输入。找到$SPLUNK_HOME/bin目录并执行下列命令(只需替换想使用的协议、端口和源类型):

UNIX系统:
screenshot

Windows系统:
screenshot

许多参数可随端口传递。参考Splunk技术文档来了解更多CLI数据输入的用法 (http://docs.splunk.com/Documentation/Splunk/latest/Data/ MonitorfilesanddirectoriesusingtheCLI)。

通过inputs.conf添加网络输入

可手动添加网络输入至inputs.conf配置文件。编辑$SPLUNK_HOME/etc/system/local/inputs.conf并添加输入。修改文件后需重启Splunk。

screenshot

最佳实践是在网络设备和索引器之间设置转发器,而不是直接发送系统日志数据到索引器。可设置Splunk转发器来接收系统日志数据(inputs.conf),同时它将均衡Splunk索引器(outputs.conf)之间的数据负载。转发器也可通过配置缓存系统日志数据,防止传输到索引器的通信丢失。

另参见

screenshot

相关文章
|
4天前
|
机器学习/深度学习 算法 算法框架/工具
数据分享|PYTHON用KERAS的LSTM神经网络进行时间序列预测天然气价格例子
数据分享|PYTHON用KERAS的LSTM神经网络进行时间序列预测天然气价格例子
25 0
|
1天前
|
人工智能 数据可视化
【数据分享】维基百科Wiki负面有害评论(网络暴力)文本数据多标签分类挖掘可视化
【数据分享】维基百科Wiki负面有害评论(网络暴力)文本数据多标签分类挖掘可视化
11 2
|
1天前
|
数据可视化 数据挖掘
R语言用igraph对上海公交巴士路线数据进行复杂网络、网络图可视化
R语言用igraph对上海公交巴士路线数据进行复杂网络、网络图可视化
|
1天前
|
机器学习/深度学习 算法 TensorFlow
【视频】神经网络正则化方法防过拟合和R语言CNN分类手写数字图像数据MNIST|数据分享
【视频】神经网络正则化方法防过拟合和R语言CNN分类手写数字图像数据MNIST|数据分享
|
2天前
|
数据可视化 数据挖掘
【视频】复杂网络分析CNA简介与R语言对婚礼数据聚类社区检测和可视化|数据分享
【视频】复杂网络分析CNA简介与R语言对婚礼数据聚类社区检测和可视化|数据分享
|
2天前
|
机器学习/深度学习 存储 监控
数据分享|Python卷积神经网络CNN身份识别图像处理在疫情防控下口罩识别、人脸识别
数据分享|Python卷积神经网络CNN身份识别图像处理在疫情防控下口罩识别、人脸识别
10 0
|
3天前
|
存储 SQL 安全
网络安全与信息安全:保护数据的关键策略
【4月更文挑战第24天】 在数字化时代,数据成为了新的货币。然而,随着网络攻击的日益猖獗,如何确保信息的安全和隐私成为了一个亟待解决的问题。本文将深入探讨网络安全漏洞的概念、加密技术的重要性以及提升安全意识的必要性,旨在为读者提供一套综合性的网络安全防护策略。通过对这些关键知识点的分享,我们希望能够增强个人和组织在面对网络威胁时的防御能力。
|
4天前
|
安全 JavaScript 前端开发
第十六届山东省职业院校技能大赛中职组 “网络安全”赛项竞赛试题—B模块安全事件响应/网络安全数据取证/应用安全
该内容描述了一次网络安全演练,包括七个部分:Linux渗透提权、内存取证、页面信息发现、数字取证调查、网络安全应急响应、Python代码分析和逆向分析。参与者需在模拟环境中收集Flag值,涉及任务如获取服务器信息、提权、解析内存片段、分析网络数据包、处理代码漏洞、解码逆向操作等。每个部分都列出了若干具体任务,要求提取或生成特定信息作为Flag提交。
7 0
|
4天前
|
安全 测试技术 网络安全
2024年山东省职业院校技能大赛中职组 “网络安全”赛项竞赛试题-C安全事件响应/网络安全数据取证/应用安全
B模块涵盖安全事件响应和应用安全,包括Windows渗透测试、页面信息发现、Linux系统提权及网络安全应急响应。在Windows渗透测试中,涉及系统服务扫描、DNS信息提取、管理员密码、.docx文件名及内容、图片中单词等Flag值。页面信息发现任务包括服务器端口、主页Flag、脚本信息、登录成功信息等。Linux系统渗透需收集SSH端口号、主机名、内核版本,并实现提权获取root目录内容和密码。网络安全应急响应涉及删除后门用户、找出ssh后门时间、恢复环境变量文件、识别修改的bin文件格式及定位挖矿病毒钱包地址。
9 0
|
4天前
|
安全 测试技术 Linux
2024年山东省职业院校技能大赛中职组 “网络安全”赛项竞赛试题-A模块安全事件响应/网络安全数据取证/应用安全
该内容描述了一个网络安全挑战,涉及Windows和Linux系统的渗透测试以及隐藏信息探索和内存取证。挑战包括使用Kali Linux对Windows Server进行服务扫描、DNS信息提取、密码获取、文件名和内容查找等。对于Linux系统,任务包括收集服务器信息、提权并查找特定文件内容和密码。此外,还有对Server2007网站的多步骤渗透,寻找登录界面和页面中的隐藏FLAG。最后,需要通过FTP获取win20230306服务器的内存片段,从中提取密码、地址、主机名、挖矿程序信息和浏览器搜索关键词。
7 0