ilogtail收集pod日志时，部分数据丢失

[leizhou666]

现象：
有一个服务接口，会不定时接收数据，然后将日志打到pod目录/app/logs/service-1/aaaa.log里面，平均每条日志为3M左右，接收数据的的频率大概是10分钟内接收100条数据（共300M），然后写入文件，再间隔1小时，再在10分钟内接收100条数据，再间隔1小时，如此循环。
现象是：部分数据没有收集上来，条数很明显对不上

配置：
enable: true
inputs:

• Type: "file_log"
  LogPath: "/app/logs/service-1/data"
  FilePattern: "messages..log"
  ContainerFile: true
  ContainerInfo:
  K8sNamespaceRegex: "develop"
  K8sPodRegex: "^(jadmc-acu.)$"
  flushers:
• Type: "flusher_kafka_v2"
  Brokers:
  • "hostname:9092"
    Authentication:
    Kerberos:
    ServiceName: "kafka"
    Realm: "BJ.BAIDU.COM"
    UseKeyTab: true
    Username: "jd-ilogtail"
    ConfigPath: "/usr/local/kerberos/krb5.prod.conf"
    KeyTabPath: "/usr/local/kerberos/jd-ilogtail.prod.keytab"
    Version: "2.8.1"
    Topic: "topic-1"
    MaxMessageBytes: 20971520

日志：
ilogtail-20230721.log

启动参数：
"cpu_usage_limit": 8,
"mem_usage_limit": 8192,
"max_bytes_per_sec": 209715200,
"process_thread_count": 8,
"send_request_concurrency": 40,
"buffer_file_num": 50,
"buffer_file_size": 4294967296,
"buffer_file_path": "",
"max_read_buffer_size": 6291456

[leizhou666]

process1.log
大佬们，这是数据样例，由于git限制只能上传25M以下，不确定能否满足测试要求

[leizhou666]

log里面的数据我是做了字符替换的，所有英文字符都替换为0，原始数据是base64编码后的数据

[leizhou666]

大佬，现在用这个配置能够复现：
enable: true
inputs:

• Type: "file_log"
  LogPath: "/app/logs/jadmc-acu/test"
  FilePattern: "messages.*.log"
  ContainerFile: true
  ContainerInfo:
  K8sNamespaceRegex: "develop"
  K8sPodRegex: "^(jadmc-acu.*)$"
  flushers:
• Type: "flusher_kafka_v2"
  Brokers:
  • "hostname:9092"
    Authentication:
    Kerberos:
    ServiceName: "kafka"
    Realm: "BJ.BAIDU.COM"
    UseKeyTab: true
    Username: "jd-ilogtail"
    ConfigPath: "/usr/local/kerberos/krb5.prod.conf"
    KeyTabPath: "/usr/local/kerberos/jd-ilogtail.prod.keytab"
    Version: "2.8.1"
    Topic: "bigdata-rt-collector-test"
    MaxMessageBytes: 20971520

[leizhou666]

miss-process.log

kafka消费情况，只收到第二条日志：

[leizhou666]

debug.log

这是这段时间的debug日志

[leizhou666]

目前看了下代码，应该跟两个参数有关，一个是MaxLogGroupSize，一个是max_send_log_group_size
MaxLogGroupSize默认是 3 * 1024 * 1024 bytes
max_send_log_group_size默认是 5 * 1024 * 1024 bytes

目前将MaxLogGroupSize默认值改为 6 * 1024 * 1024 bytes 能接受到6M以下的数据，满足目前我们的最大日志需求了

[leizhou666]

建议：可以将这两个参数做成可配置的

[cyshallchan]

我这边也在排查日志丢失的问题, 刚好看到这个讨论就去看了下代码发现MaxLogGroupSize并不会造成日志丢失的情况阿?

[quzard]

MaxLogGroupSize 参数在 plugins/aggregator/baseagg/aggregator_base.go 文件
max_send_log_group_size 参数在 core/sender/Sender.cpp 文件。

后续可以参考 max_read_buffer_size将这两个参数设置成可配置。