Flink
未读Flink1.14.0集群部署12345# 修改conf目录下的workers将三台主机名写进去# 修改master为master:8081# 修改flink-conf.yaml文件# 将jobmanager.rpc.address的主机名改成ma ...
DataStream API是Flink的核心层API。一个Flink程序，其实就是对DataStream的各种转换。具体来说，代码基本上都由以下几部分构成：
在Flink1.12以前，旧的添加source的方式，是调用执行环境的addSource()方法 ...
多map条件查询导入hdfs12345678910sqoop import \--connect 数据库连接字符串 \--username 数据库用户名 \--password 数据库密码 \--target-dir hdfs位置 \--delete-ta ...
Sqoop
未读导入其他格式文件导入不同格式，支持as-avrodatafile、as-parquetfile、as-sequencefile、as-textfile(默认格式)12345678910sqoop import \--connect jdbc:mysql:/ ...
全量导入：1234567891011sqoop import \--connect jdbc:mysql://master:3306/sqoop_db \--username root \--password 123456 \--table city \- ...
Sqoop
未读1234567891011sqoop import \--connect jdbc:mysql://master:3306/sqoop_db \--username root \--password 123456 \--table city \--hbas ...
Spark
未读Spark on YarnSparkOnYarn本质master角色由yarn的Resourcemanager担任
worker角色由yarn的nodemanager担任
deiver角色运行在Yarn容器内或提交任务的客户端进程中
真正干活的Execut ...
Flume
未读不支持断点续传spooling directory source监听某一个目录，只要目录下有文件，文件中的数据就会收集
a1.sources = r1 a1.channels = c1 a1.sinks = k1
a1.sou ...