Flume
未读avro sink需要配置的：type = avro
hostname = 主机名
port = 端口
a1.sources = r1a1.channels = c1a1.sinks = k1 ...
exec sources
a1.sources = r1a1.channels = c1a1.sinks = k1
a1.sources.r1.type = exec
a1.sources.r1.command &# ...
file channel需要的参数 type = file
dataDirs = /roort
a1.sources = r1a1.channels = c1a1.sinks = k1
a1.s ...
File_roll sink必须的：type = file_roll
sink.directory 保存在那个目录 
非必须：sink.rollInterval = 30 就是每过30s就会生成一个新的文件用来存储数据 ...
Flume
未读hdfs sinkhdfs sink是将flume收集到的数据写入到hdfs中，方便数据可靠的保存
sink输出到hdfs中，默认每10个event生成一个hdfs文件，hdfs文件目录会根据hdfs.path的配置自动创建
配置参数：
hdfs.path ...
http source 监听Http
a1.sources = r1a1.channels = c1a1.sinks = k1
a1.sources.r1.type = httpa1.sources.r1.bind ...
Flume
未读kafka sink
a1.sources = r1a1.channels = c1a1.sinks = k1
a1.sources.r1.type = netcata1.sources.r1.bind = ...
Sink Processors sink处理器failover sink Processor故障转移处理器	 1)可以同时指定多个sink输出，按照优先级高低进行数据的分发，并具有故障转移能力	 2)需要指定: proces ...
kafka channel需要指定的
type = org.apache.flume.channel.kafka.KafkaChannel
kafka.bootstrap.server = hostname:port
kafka.to ...
Flume
未读exec source 在启动时运行给定的unix命令，并期望该进程在标准输出上连续生成数据。
spooling directory source (spooldir) 这个source允许你把要手机的文件放入磁盘上的某个指定目录。他会监视这个目录中产生的 ...
Flume
未读netcat agent配置文件如下
a1.sources = r1 
a1.channels = c1 
a1.sinks = k1
a1.sources.r1.type = ...
Flume
未读12345678910111213141516171819在source和chanel的传输中是批量过去的，channels传输到sinks也是批量的在source到channel中呢就有一个缓冲区1.doPut操作，浆皮数据写入到临时缓冲区 Putlis ...
Channel Selectors通道选择器Channel Selectors通道选择器多路复用通道选择器，source是通过event header来决定传输到哪一个channel。source是通过event header来决定传输到哪一个channe ...
taildir agent
a1.sources = r1a1.channels = c1a1.sinks = k1
==a1.sources.r1.type = taildir# 这个是用于断点续传，确保 ...
案例：将nginx的日志实时传输到hdfs和kafka上
1234567891011121314151617181920212223242526272829a1.sources = r1a1.channels = c1 c2a1.sinks = k1 k2 ...
Flume
未读就是拦截器，拦截器可以将flume收集到的event进行拦截，并使用对应的拦截器，对event进行简单修改，过滤。同时可以配置多个拦截器实现不同的功能，按照配置的先后顺序进行拦截处理timestamp Interceptor 给event的头信息中添加时间 ...
Azkaban
未读1.在搭建之前得有mysql环境,以及my.cnf文件中添加max_allowed_packet=1024M并重启mysql服务123# 配置mysql相关部分(db)# 进入Mysql然后创建azkaban库# 进入库并source进来azka ...
Azkaban
未读12# first.projectazkaban-flow-version: 2.0
123456# first.flownodes: - name: jobA type: command config: command: ech ...