Replies: 3 comments 5 replies
-
ok, 没什么问题 |
Beta Was this translation helpful? Give feedback.
3 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
-
背景
用户希望将contents、tags和time三个convert层的协议字段中数据做一级打平,打平后可以直接写入到es这样的开源生态系统中。
对于中小企业日志量少的场景也可以帮助用户直接省去了中间层处理,可以实现从采集端直接写入到es。或者也可以减少中间层转换的一个配置操作,入门使用的门槛降低。
设计
convert增当前支持四种协议
现在补充一种一个打平json数据的协议。
custom_single_flatten
convert中新增一个
converter_single_log_flatten.go
来实现协议的打平。使用
es、kafka v2、pulsar、clickhouse等flusher为用户暴露
Convert.Protocol
设置。用户可以去选择设置上面提到的协议名称。数据样例
非打平数据
选择custom_single_flatten协议后,json数据全部被一级打平合并
Beta Was this translation helpful? Give feedback.
All reactions