Logstash输入之Filebeats

释放双眼,带上耳机,听听看~!

Filebeats输入插件简介

通过filebeats插件可以使logstash接收到filebeats所传输来的数据

Filebeats输入插件配置选项

设置 输入类型 描述 默认值
port number 必选
add_hostname boolean 可选 false
cipher_suites array 可选
client_inactivity_timeout number 可选 60
host string 可选 0.0.0.0
include_codec_tag boolean 可选 true
ssl boolean 可选 false
ssl_certificate file path 可选
ssl_certificate_authorities array 可选 []
ssl_handshake_timeout number 可选 10000ms
ssl_key file path 可选
ssl_key_passphrase password 可选
ssl_verify_mode string 可选 none
ssl_peer_metadata boolean 可选 false
tls_max_version number 可选 1.2
tls_min_version number 可选 1

port

  • 必须设置
  • 值类型是数字
  • 描述:在logstash的input部分中filebeats插件指定filebeats的端口

add_hostname

  • 值类型是布尔型
  • 默认值为false
  • 描述:标志,以确定是否使用hostname字段中beat提供的值降host字段添加到事件中。

cipher_stites

  • 值类型是数组
  • 默认值是java.lang.String[TLS_ECDHE_ECDSA_WITH_AES_256_GCM_SHA384, TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384, TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256, TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256, TLS_ECDHE_ECDSA_WITH_AES_256_CBC_SHA384, TLS_ECDHE_RSA_WITH_AES_256_CBC_SHA384, TLS_ECDHE_RSA_WITH_AES_128_CBC_SHA256, TLS_ECDHE_ECDSA_WITH_AES_128_CBC_SHA256]@459cfcca
  • 描述:要使用的密码套件列表,按优先级列出

client_inactivity_timeout

  • 值类型是数字
  • 默认值是60
  • 描述:在闲置60秒后关闭和filebeats端连接

host

  • 值类型是字符串
  • 默认值是0.0.0.0
  • 描述:指定filebeats端的IP地址

include_codec_tag

  • 值类型是布尔型
  • 默认值为true

SSL

  • 值类型为布尔
  • 默认为false
  • 描述:默认filebeats会以明文文本的形式进行发送数据,当我们将此值设置为true并配置了ssl_certificatessl_key选项来启用加密

ssl_certificate

  • 值类型为路径
  • 没有默认值
  • 描述:指定要使用的SSL证书路径

ssl_key

  • 值类型为路径
  • 没有默认值
  • 描述:指定要使用的SSL密钥路径

ssl_certificate_authorities

  • 值类型为数组
  • 默认值为[]
  • 描述:针对这些权限验证客户端证书;你可以定义多个文件或路径;所有证书都将被读取并且添加到信任区;需要将ssl_verify_mode配置为peer或者force_peer来启用验证

ssl_handshake_timeout

  • 值类型是数字
  • 默认值是10000ms
  • 描述:未完成ssl握手超时的时间,单位:毫秒

ssl_key_passphrase

  • 默认值是密码
  • 没有默认值
  • 描述:要使用的SSL密钥密码

ssl_verify_mode

  • 值类型可以是:none、peer、force_peer中的任意一个
  • 默认值为none
  • 描述:默认情况下为none,服务器不做任何客户端验证。
    peer:peer模式中服务器将请求客户端提供证书,如果客户端提供证书,将对其进行验证。
    force_peer:将使用服务器请求客户端提供证书,如果客户端不提供证书,服务器将主动关闭连接。
    注意:此选项需要与ssl_certificate_authority和定义的ca列表一起使用。

ssl_peer_metadata

  • 值类型为布尔
  • 默认为false
  • 描述:启用在事件的元数据中存储客户端证书信息;只有当ssl_verify_mode设置为peer或者force_peer时,此选项才有效。

tls_max_version

  • 值类型为数字
  • 默认值为1.2
  • 描述:允许加密连接的TLS最大版本,该值必须是以下值之一1.0 for TLS 1.0, 1.1 for TLS 1.1, 1.2 for TLS 1.2

tls_min_version

  • 值类型为数字
  • 默认值为1
  • 描述:允许加密连接的最小TLS版本。该值必须是以下值之一:1.0 for TLS 1.0, 1.1 for TLS 1.1, 1.2 for TLS 1.2

通用配置选项

设置 输入类型 描述
add_field hash 可选
codec codec 可选
enable_metric boolean 可选
id string 可选
tags array 可选
type string 可选

add_field
哈希是一组键值对的集合,以 key => value格式置顶,多个键值条目由空格分隔

  • 值类型是哈希值
  • 默认为{ }
  • 作用:向配置中添加字段

举个栗子:

add_field => { 
    "Key1" => "value1"
    "Key2" => "value2"
    ...
}

或者也可以写成这样
add_field => { "Key1" => "value1" "Key2" => "value2" }

codec
用于输入数据的编解码器。输入编解码器是一种在数据进入输入之前解码数据的便捷方法,无需在Logstash管道中使用单独的过滤器。

  • 值类型是编解码器
  • 默认是为"line"
  • 作用:编解码器可用于输入和输出,输入编解码器提供了一种方法的方法,可以在数据输入之前对其进行解码,输出编解码器可在数据离开输出之前对其进行编码,也就是对数据进行了一次拆封在封装,封装格式为codec所指定的格式,如果在logstash中设置了编解码器,那么就不需要在logstash管道中再单独使用过滤功能了
    举个栗子:
    我们在输出管道配置文件中设置编解码器的格式为json,默认为line,当数据输出的时候,就是已经经过了编解码器拆封再封装的json格式数据。
codec => "json"

enable_metric
默认情况下,我们会记录我们能记录的所有度量,但是你可以禁用特定插件的度量集合

  • 值类型是布尔,布尔型的值只有两个结果,truefalse
  • 默认值为true
    举个例子:
enable_metric => false

id

  • 值类型为字符串
  • 此类型没有默认值
    向插件配置添加唯一ID,如果没有指定ID,Logstash将生产一个ID,强烈建议在配置中设置此ID,当你有两个或者多个相同类型插件时,这尤其有用,例如,如果你有两个stdin输入,在本例中添加一个命名ID将有助于在使用监视API时监视Logstash
    大概意思为:在我们stdin输入中添加一个标识符ID,以防多个stdin混淆
    举个栗子:
    我们ID即是为name字段,添加了一个标示而已
 name =>“Hello world”

tags

  • 值类型为数组
  • 没有默认值
  • 作用:在配置中添加标记,有助于以后的处理
    举个栗子:
users => [ {id => 1, name => bob}, {id => 2, name => jane} ]

type
此类型用的较多,主要是为了根据类型值来进行判断输出指向或者过滤内容

  • 值类型为字符串
  • 没有默认值
  • 作用:type指定一个字符串,同样可用作标示,一般会根据判断type值来进行输出或过滤

Filebeats输入插件示例配置

下面配置请结合上面讲的选项含义结合参考

input {
  beats {
     port => 5044
     host => "10.150.30.242"
     client_inactivity_timeout => 120
     type => filebeats
 }
}

output {
  stdout {
     codec => "rubydebug"
 }

人已赞赏
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
有新消息 消息中心
搜索