Flink
未读Flink1.14.0集群部署12345# 修改conf目录下的workers将三台主机名写进去# 修改master为master:8081# 修改flink-conf.yaml文件# 将jobmanager.rpc.address的主机名改成ma ...
Flink
未读在批处理统计中，我们可以等待一批数据都到齐后，统一处理。但是在实时处理统计中，我们是来一条就得处理一条，那么我们怎么统计最近一段时间内的数据呢？引入“窗口”。所谓的“窗口”，一般就是划定的一段时间范围，也就是“时间窗”；对在这范围内的数据进行处理，就是所谓 ...
DataStream API是Flink的核心层API。一个Flink程序，其实就是对DataStream的各种转换。具体来说，代码基本上都由以下几部分构成：
在Flink1.12以前，旧的添加source的方式，是调用执行环境的addSource()方法 ...
多map条件查询导入hdfs12345678910sqoop import \--connect 数据库连接字符串 \--username 数据库用户名 \--password 数据库密码 \--target-dir hdfs位置 \--delete-ta ...
Sqoop
未读导入其他格式文件导入不同格式，支持as-avrodatafile、as-parquetfile、as-sequencefile、as-textfile(默认格式)12345678910sqoop import \--connect jdbc:mysql:/ ...
Sqoop
未读1234567891011sqoop import \--connect jdbc:mysql://master:3306/sqoop_db \--username root \--password 123456 \--table city \--hbas ...
全量导入：1234567891011sqoop import \--connect jdbc:mysql://master:3306/sqoop_db \--username root \--password 123456 \--table city \- ...
Spark
未读Spark on YarnSparkOnYarn本质master角色由yarn的Resourcemanager担任
worker角色由yarn的nodemanager担任
deiver角色运行在Yarn容器内或提交任务的客户端进程中
真正干活的Execut ...