DolphinScheduler下载-可视化工作流任务调度系统 v1.3.4 官方版

　　DolphinScheduler提供工作流设计功能，可以通过这款软件帮助企业设计工作流，将各种工作计划导入到软件建立可视化的调度平台，从而让复杂的数据和工作流程更加清晰，让用户在管理工作的时候更加简单，所有流程定义操作均可视化，直接在软件拖动相关的任务到软件绘制DAG，随后连接到数据库配置数据源和资源就可以建立工作流，同时对于第三方系统提供了api模式操作，实现多对一或一对一的映射关系，这对于调度大型数据作业非常重要，可以灵活配置一台机器上可调度任务的数量，当太多任务将被缓存在任务队列中时，不会造成机器阻塞，如果你需要这款软件就下载吧！

软件功能

　　1、以DAG图的方式将Task按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态

　　2、支持丰富的任务类型：Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等

　　3、支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复，同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作

　　4、支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败

　　5、支持工作流全局参数及节点自定义参数设置

　　6、支持资源文件的在线上传/下载，管理等，支持在线文件创建、编辑

　　7、支持任务日志在线查看及滚动、在线下载日志等

　　8、实现集群HA，通过Zookeeper实现Master集群和Worker集群去中心化

　　9、支持对Master/Worker cpu load，memory，cpu在线查看

　　10、支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计

　　11、支持补数

　　12、支持多租户

　　13、支持国际化

软件特色

　　1、高可靠性

　　分散的多主机和多工，HA自身支持，过载处理

　　2、方便使用

　　所有流程定义操作均可视化，可视化流程一目了然，一键式部署即可定义关键信息

　　3、丰富的场景

　　支持暂停，恢复操作。支持多租户。支持更多任务类型，例如，spark，hive，mr，shell，python，sub_process

　　4、高扩展性

　　支持自定义任务类型，分布式计划，整体计划能力将随着集群规模线性增加

使用说明

　　快速开始

　　管理员用户登录

　　地址：http：//192.168.xx.xx：12345 / dolphinscheduler 用户名和密码：admin / dolphinscheduler123

　　创建队列

　　创建租户

　　创建普通用户

　　创建一个警报组

　　创建一个工人组

　　创建一个令牌

　　以普通用户登录

　　单击右上角的用户名以“退出”，然后重新使用普通用户登录名。

　　项目管理->创建项目->单击项目名称

　　单击工作流程定义->创建工作流程定义->在线流程定义

　　运行流程定义->单击工作流程实例->单击流程实例名称->双击任务节点->查看任务执行日志

　　操作指南

　　1.家

　　主页包含用户所有项目的任务状态统计信息，过程状态统计信息和工作流定义统计信息。

　　2.项目管理

　　2.1创建项目

　　单击“项目管理”进入项目管理页面，单击“创建项目”按钮，输入项目名称，项目描述，然后单击“提交”以创建新项目。

　　2.2项目首页

　　单击项目管理页面上的项目名称链接以进入项目主页，如下图所示，该项目主页包含项目的任务状态统计信息，过程状态统计信息和工作流定义统计信息。

　　任务状态统计信息：在指定的时间范围内，将任务实例的数量计为成功提交，运行，准备暂停，暂停，准备停止，停止，失败，成功，容错，终止和等待线程

　　流程状态统计信息：在指定的时间范围内，将工作流实例的状态数计数为提交成功，正在运行，准备暂停，暂停，准备停止，停止，失败，成功，容错，杀死和等待线程

　　工作流定义统计信息：计算该用户创建的工作流定义以及管理员授予该用户的工作流定义

　　2.3工作流程定义

　　2.3.1创建工作流程定义

　　单击项目管理->工作流程->工作流程定义进入工作流程定义页面，然后单击“创建工作流程”按钮进入工作流程DAG编辑页面，如下图所示：

　　在工具栏中拖动将Shell任务添加到绘图板，如下图所示：

　　为此外壳任务添加参数设置：

　　1、填写“节点名称”，“描述”和“脚本”字段；

　　2、检查“正常”的“运行标志”。如果选中“禁止执行”，则工作流程运行时将不执行任务；

　　3、选择“任务优先级”：当工作线程数不足时，将首先在执行队列中执行高级任务，并以先进先出的顺序执行优先级相同的任务；

　　4、超时警报（可选）：检查超时警报，超时故障，并填写“超时时间”。当任务执行时间超过超时时间时，将发送警报电子邮件，任务超时失败；

　　5、资源（可选）。资源文件是在资源中心->文件管理页面上创建或上传的文件。例如，文件名是test.sh，脚本中调用资源的命令是sh test.sh；

　　6、自定义参数（可选）

　　7、单击“确认添加”按钮以保存任务设置。

　　增加任务执行的顺序：单击右上角的连接图标以连接任务；如下图所示，任务2和任务3并行执行，任务1完成执行后，任务2和3将同时执行。

　　删除依赖关系：单击右上角的“箭头”图标，选择连接线，然后单击右上角的“删除”图标，删除任务之间的依赖关系。

　　保存工作流程定义：单击“保存”按钮，将弹出“设置DAG图表名称”弹出框，如下图所示。输入工作流程定义名称，工作流程定义描述，并设置全局参数（可选，请参阅“自定义参数”），单击“添加”按钮，工作流程定义已成功创建。

　　2.3.2工作流程定义操作功能

　　单击项目管理->工作流程->工作流程定义以进入工作流程定义页面，如下所示：

　　工作流定义列表的操作功能如下：

　　编辑：仅可以编辑“脱机”工作流程定义。工作流程DAG编辑与“创建工作流程定义”相同。

　　在线：工作流程状态为“离线”时，用于在线工作流程。只有处于“联机”状态的工作流程可以运行，但不能进行编辑。

　　离线：工作流程状态为“在线”时，用于离线工作流程。只能编辑处于“脱机”状态的工作流程，但不能运行。

　　运行：只能运行在线状态的工作流。有关操作步骤，请参见2.3.3运行工作流程。

　　时间：只能在在线工作流程中设置时间，并且系统会自动安排工作流程以使其定期运行。创建计时后的状态为“脱机”，该计时必须在计时管理页面上在线才能生效。有关定时操作步骤，请参见2.3.4工作流定时。

　　定时管理：可以编辑，在线/离线和删除定时管理页面。

　　删除：删除工作流程定义。

　　下载：将工作流程定义下载到本地。

　　树形图：以树形结构显示任务节点类型和任务状态，如下图所示：

　　2.3.3运行工作流程

　　单击项目管理->工作流程->工作流程定义，进入工作流程定义页面，如下图所示，单击“上线”按钮，上线工作流程。

　　单击“运行”按钮，弹出启动参数设置弹出框，如下图所示，设置启动参数，单击弹出框中的“运行”按钮，工作流开始运行，工作流程实例页面生成工作流程实例。

　　工作流程操作参数说明：

　　* Failure strategy: When a task node fails to execute, other parallel task nodes need to execute the strategy. "Continue" means: after a certain task fails, other task nodes execute normally; "End" means: terminate all tasks being executed, and terminate the entire process.

　　* Notification strategy: When the process is over, the process execution information notification email is sent according to the process status, including any status is not sent, successful sent, failed sent, successful or failed sent.

　　* Process priority: The priority of process operation, divided into five levels: highest (HIGHEST), high (HIGH), medium (MEDIUM), low (LOW), and lowest (LOWEST). When the number of master threads is insufficient, high-level processes will be executed first in the execution queue, and processes with the same priority will be executed in a first-in first-out order.

　　* Worker group: The process can only be executed in the specified worker machine group. The default is Default, which can be executed on any worker.

　　* Notification group: select notification strategy||timeout alarm||when fault tolerance occurs, process information or email will be sent to all members in the notification group.

　　* Recipient: Select notification policy||Timeout alarm||When fault tolerance occurs, process information or alarm email will be sent to the recipient list.

　　* Cc: Select the notification strategy||Timeout alarm||When fault tolerance occurs, the process information or warning email will be copied to the CC list.

　　* Complement: Two modes including serial complement and parallel complement. Serial complement: within the specified time range, the complement is executed sequentially from the start date to the end date, and only one process instance is generated; parallel complement: within the specified time range, multiple days are complemented at the same time to generate N process instances.

　　例如，您需要填写5月1日至5月10日的数据。