flume 1.6 发数据到kafka的kafka sink的配置

flume | kafka | storm | flink 专栏收录该内容
29 篇文章 0 订阅

数据经过flume发送到kafka的配置,flume版本是1.6的时候的配置例子

agent.sources = s1
agent.channels = c1
agent.sinks = k1

agent.sources.s1.type = spooldir
agent.sources.s1.channels = c1
agent.sources.s1.spoolDir = /root/data/ttm
# 这个是自定义的balance channel selector,不能直接照搬
agent.sources.s1.selector.type = com.x.y.collector.channel.BalanceChannelSelector
agent.sources.s1.batchSize = 500
agent.sources.s1.deletePolicy = immediate
agent.sources.s1.ignorePattern = ^.*[temp|failover]$
agent.sources.s1.consumeOrder = youngest
agent.sources.s1.deserializer.maxLineLength = 10000000

agent.channels.c1.type=memory                                                                                                        
agent.channels.c1.capacity=50000                                                                                                     
agent.channels.c1.transactionCapacity=3000

#设置Kafka接收器
agent.sinks.k1.channel=c1
agent.sinks.k1.type= org.apache.flume.sink.kafka.KafkaSink
#设置Kafka的Topic
agent.sinks.k1.topic=topic_raw
#设置Kafka的broker地址和端口号
agent.sinks.k1.brokerList=192.168.1.213:9092
#设置序列化方式
agent.sinks.k1.serializer.class=kafka.serializer.StringEncoder
agent.sinks.k1.requiredAcks = 1
agent.sinks.k1.batchSize = 3000
agent.sinks.k1.kafka.producer.compression.type = lz4

记录一下,留个记念。不然下次用的时候,还的翻箱倒柜的找

  • 1
    点赞
  • 0
    评论
  • 2
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值