Filebeat、Fluentd/Fluent Bit优秀功能收集，欢迎留言讨论。

[messixukejia]

欢迎来到 iLogtail 的社区！不管您是 Filebeat、Fluentd/Fluentbit 的资深用户，还是 iLogtail 的忠实粉丝，都欢迎参与 iLogtail 社区的共建。

本贴长期收集：

• 希望 iLogtail 从 Filebeat、Fluentd/Fluentbit 中吸收的优秀功能。
• 希望 iLogtail 与 Filebeat、Fluentd/Fluentbit 使用习惯保持一致的地方。

为了我们更好的理解您的意见，建议贴下对应功能的官方文档。

对于热点意见，我们会优先考虑支持。

[shalousun]

filebeat上发现一个比较有意思的功能，针对容器环境stdout。允许用户在业务pod上添加annotation，然后filebeat直接发现和采集

apiVersion: apps/v1
kind: Deployment
metadata:
  name: springboot-tomcat-deployment
  namespace: default
spec:
  selector:
    matchLabels:
      app: springboot-tomcat
      tier: backend
      version: 1.0.0
  replicas: 1
  template:
    metadata:
      labels:
        app: springboot-tomcat
        tier: backend
        version: 1.0.0
      annotations:
        prometheus.io/path: '/benchmark/actuator/prometheus'
        prometheus.io/port: '8080'
        prometheus.io/scrape: 'true'
        # Filebeat ship log
        co.elastic.logs/multiline.type: 'pattern'
        co.elastic.logs/multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
        co.elastic.logs/multiline.negate: 'true'
        co.elastic.logs/multiline.match: 'after'
    spec:
      containers:
        - name: springboot-tomcat
          image: registry.cn-shanghai.aliyuncs.com/shalousun/springboot:2.6.6-tomcat
          imagePullPolicy: Always
          securityContext:
            capabilities:
              add: [ "SYS_ADMIN" ] # For arthas
          resources:
            requests:
              cpu: 1
              memory: 512Mi
            limits:
              cpu: 1
              memory: 512Mi
          env:
            - name:  JAVA_OPTS
              value: -server -Xmx512m -Xms512m -Djava.awt.headless=true
            - name: MAX_THREADS
              value: '200'
            - name: CONNECTION_TIMEOUT
              value: '20000'
            - name: MAX_CONNECTIONS
              value: '10000'
            - name: APP_VERSION
              value: '1.0'
            - name: PROFILES
              value: 'container'
            - name: LOGGING_PATTERN_CONSOLE
              value: '%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %level %logger{36}@%method:%line - %msg%n'
          ports:
            - containerPort: 8080
          livenessProbe:
            httpGet:
              path: /benchmark/actuator/health/liveness
              port: 8080
              scheme: HTTP
            initialDelaySeconds: 45
            periodSeconds: 10
            successThreshold: 1
            timeoutSeconds: 5
          readinessProbe:
            failureThreshold: 5
            httpGet:
              path: /benchmark/actuator/health/readiness
              port: 8080
              scheme: HTTP
            initialDelaySeconds: 30
            periodSeconds: 10
            successThreshold: 1
            timeoutSeconds: 5
      terminationGracePeriodSeconds: 30
      imagePullSecrets:
      - name: harbor-key

• Filebeat ship log注释下的annotation filebeat官方提供的

[messixukejia]

ilogtail有IncludeK8sLabel实现过滤、ExcludeK8sLabel实现字段扩展的能力，ENV的能力也有IncludeEnv/ExcludeEnv。
详见：https://ilogtail.gitbook.io/ilogtail-docs/v/pre-release/data-pipeline/input/input-docker-stdout

不过暂时没有提供annotation过滤、字段扩展能力。

不清楚是否正确理解了您的意思。为了我们更好的理解您的意见，建议贴下对应功能的官方文档。

[shalousun]

filebeat annotation属于扩展功能，https://www.elastic.co/guide/en/beats/filebeat/current/configuration-autodiscover-hints.html

[messixukejia]

针对SLS写入，我们有一个类似功能。https://help.aliyun.com/document_detail/87540.html

用户只需要配置一些特定的环境变量即可完成采集。这个方案涉及日志存储系统资源例如logstore等的创建，所以目前仅适用于SLS

    ######### 配置环境变量 ###########
    - name: aliyun_logs_log-stdout
      value: stdout
    - name: aliyun_logs_log-varlog
      value: /var/log/*.log
    - name: aliyun_logs_mytag1_tags
      value: tag1=v1

[messixukejia]

filebeat annotation属于扩展功能，https://www.elastic.co/guide/en/beats/filebeat/current/configuration-autodiscover-hints.html

针对这个方案，我们也调研下实现的机制，看看有没有通用性。

[noniu]

是否有Fluent Bit的路由功能？同一份输入日志，同时支持全量输出和处理后部分输出等。https://docs.fluentbit.io/manual/concepts/data-pipeline/router

[yyuuttaaoo]

目前还不能，只能支持保留原字段写入同一个目标，或者同样的输出写入多个目标。
可以尝试使用ForceMultiConfig，用2个配置采集文件，参数详情参考https://ilogtail.gitbook.io/ilogtail-docs/v/pre-release/data-pipeline/input/file-log

[vsxen]

我提两个吧

1. 配置热更新 https://www.elastic.co/guide/en/beats/filebeat/current/_live_reloading.html
2. 采集监控 https://www.elastic.co/guide/en/beats/filebeat/current/monitoring-metricbeat-collection.html

[messixukejia]

1、热加载是支持的https://zhuanlan.zhihu.com/p/561442169
2、metric采集的一些支持抓取prometheus指标，对接telegraf等。目前开源文档不是太全。
https://github.com/alibaba/ilogtail/blob/main/plugins/input/prometheus/input_prometheus.go
https://github.com/alibaba/ilogtail/blob/main/plugins/input/telegraf/input_telegraf.go
https://github.com/alibaba/ilogtail/blob/main/plugins/input/process/input_process.go
https://github.com/alibaba/ilogtail/tree/main/plugins/input/systemv2
也可以关注下#518

[vsxen]

第二点你可能理解错了，是agent自己的监控，采集了多少，发送队列有多少，还剩余多少（我不确定这个能不能读到）。
https://docs.fluentd.org/monitoring-fluentd/monitoring-prometheus

[messixukejia]

https://ilogtail.gitbook.io/ilogtail-docs/configuration/logging

在本地是有的，如果需要对接第三方需要开发，欢迎共建。

Roadmap中有相关的记录，“ iLogtail自身可观测” #422

[liangry]

我们尝试把 CPU 和内存使用率等信息通过心跳上报到 Config Server ，快照并可视化展示后，效果也挺好，解决好多问题，agent 的采集相关信息应该也可以这样做，不一定需要对接第三方

[hbbdgyb]

fluent-bit这个鬼东西这样配置多行日志采集可以吗?
`
[INPUT]
Name tail
Path /var/log/containers/.log
Tag kube.
DB /var/log/fluent-bit.db
Mem_Buf_Limit 50MB
Buffer_Chunk_Size 128k
Buffer_Max_Size 10M
Skip_Long_Lines On
[FILTER]
name multiline
match *
multiline.key_content log
multiline.parser multiline-regex
buffer off

[MULTILINE_PARSER]
name multiline-regex
type regex
flush_timeout 1000
key_content log
rule "start_state" "\d{4}-\d{1,2}-\d{1,2}\s\d{2}:\d{2}:\d{2}.\d{3}." "cont"
rule "cont" "^(?!\d{4}-\d{1,2}-\d{1,2}\s\d{2}:\d{2}:\d{2}.\d{3}.)+" "cont"
加上以后一直报
[2023/10/09 03:36:34] [ info] [input] pausing tail.0
[2023/10/09 03:36:34] [ info] [input] tail.0 resume (mem buf overlimit)
[2023/10/09 03:36:41] [ warn] [input] tail.0 paused (mem buf overlimit)
`

[neighbour-oldhuang]

想知道 ilogtail 与 fluentBit 在同样量级的日志处理中， 资源消耗对比如何

[messixukejia]

想知道 ilogtail 与 fluentBit 在同样量级的日志处理中， 资源消耗对比如何

https://mp.weixin.qq.com/s/8mCVk3gvXPOijTlcRjUR_w

[longshan-ant]

是否可以考虑开发一个 operator ，把配置文件中耦合的业务日志配置和运维配置隔离开，比如这样：

1. 运维侧配置日志输出到哪里，比如kafka,es之类的。[这个可以是放在ilogtail的配置文件中]
2. 业务侧通过CRD配置应用的日志路劲，日志格式，以及引用运维侧配置好的输出形式(kafka/es or default).

每个业务侧的应用在拍deployment.yaml的时候，顺便也可以拍一个 LogTailApplicationConfig.yaml（定义应用日志的CRD）； 这样日志字段提取，日志路径变更，完全都可以由业务开发者自己来控制了，不再需要和运维来回沟通调整配置文件了。
同时CRD变更后，operator也可以自动帮助logtail pod重启来加载新的配置

[messixukejia]

目前，商业版是有operater能力的，社区版还没有规划进来。这个后面会考虑下。