Azkaban
未读JavaProcess作业类型案例123456789101112131415# JavaProcess类型可以运行一个自定义主类方法，type类型为javaprocess,可用的配置为： Xms: 最小堆 Xmx: 最大堆 classpath: 类路 ...
Azkaban
未读123456789101112# 自动失败重试nodes: - name: jobA type: command config: command: sh /not exists.sh retries: 3 retry.ba ...
Azkaban
未读12345# 1.运行时参数案例1) 基本原理 （1）父Job将参数写入JOB_OUTPUT_PROP_FILE环境变量所指向的文件 （2）子Job使用${jobName:param}来获取父Job输出的参数并定义执行条件2）支持的 ...
Azkaban
未读定时执行案例12# 需求：JobA每间隔一分钟执行一次就是执行任务的那个绿色按钮
Azkaban
未读邮件报警案例12345678910# 得先从邮箱那里开启STMP的服务，拿到授权码# 然后进入$azkaban-web/conf/azkaban.properties# 修改22和23行mail.sender=邮箱地址mail.host=smtp.qq.c ...
Azkaban
未读12345678910111213141516171819202122# second.flownodes: - name: jobA type: command config: command: echo "aaa&qu ...
scala
未读1.匿名函数12345678910111213// 作为值的函数// 定义列表，记录1-10之间的数据val list1 = (1 to 10).toList// 创建函数对象，用来将int -> Stringval func = (x: Int) ...
scala
未读1.隐式转换-手动导入12345678910111213141516171819// 手动导入// 定义 RichFile 类，用来丰富 File 类的功能class RichFile(file: File) { // 定义 read() 方法 ...
scala
未读1.读取数据1.1按行读取1234567891011// 按行读取// 创建Source对象，关联数据源文件val source = Source.fromFile("J:\\大数据第一代项目\\scalaFlink\\data\\1.txt&q ...
scala
未读scala函数式编程1.foreach方法1234// 遍历列表、数组val list1 = (1 to 5).toList// foreach方法list1.foreach(println(_))
2.映射map123// 将结果整理成想要的val l ...
模块一：平台搭建与运维
（一）任务一：大数据平台搭建
子任务一：Hadoop 完全分布式安装配置本任务需要使用 root 用户完成相关配置，安装 Hadoop需要配置前置环境。命令中要求使用绝对路径，具体要求如下:
（1）从 Master 中的 ...
模块一：平台搭建与运维（一）任务一：大数据平台搭建1．子任务一：基础环境准备（1）对三台环境更新主机名，配置hosts文件，以node01作为时钟源并进行时间同步；
123# 其他三台一样[root@localhost ~]# hostnamectl se ...
模块一：平台搭建与运维（一）任务一：大数据平台搭建
本模块需要使用 root 用户完成相关配置；所有组件均
在/root/software 目录下。
前置准备12345678910111213141516171819# 三台机都要[r ...