备案控制台
探索云世界
开发者社区 数据库 文章 正文

分布式工作流任务调度系统--Easy Scheduler 1.0.3 发布

2019-05-28 2193
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Easy Scheduler Release 1.0.3 Easy Scheduler 1.0.3是1.x系列中的第四个版本。 新特性： [EasyScheduler-254] 流程定义删除和批量删除 [EasyScheduler-347] 任务依赖增加“今日” [EasySchedule.

Easy Scheduler Release 1.0.3

Easy Scheduler 1.0.3是1.x系列中的第四个版本。

新特性：

增强：

修复：

感谢：

最后但最重要的是，没有以下伙伴的贡献就没有新版本的诞生：

Baoqi, jimmy201602, samz406, petersear, millionfor, hyperknob, fanguanqun, yangqinlong, qq389401879,
feloxx, coding-now, hymzcn, nysyxxg, chgxtony

以及微信群里众多的热心伙伴！在此非常感谢！

Easy Scheduler

License

Easy Scheduler for Big Data

设计特点： 一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。
其主要目标如下：

  • 以DAG图的方式将Task按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态
  • 支持丰富的任务类型：Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等
  • 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复，同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
  • 支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
  • 支持工作流全局参数及节点自定义参数设置
  • 支持资源文件的在线上传/下载，管理等，支持在线文件创建、编辑
  • 支持任务日志在线查看及滚动、在线下载日志等
  • 实现集群HA，通过Zookeeper实现Master集群和Worker集群去中心化
  • 支持对Master/Worker cpu load，memory，cpu在线查看
  • 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
  • 支持补数
  • 支持多租户
  • 支持国际化
  • 还有更多等待伙伴们探索

与同类调度系统的对比

调度系统对比

系统部分截图

文档

更多文档请参考 easyscheduler中文在线文档

近期研发计划

EasyScheduler的工作计划：研发计划 ，其中 In Develop卡片下是1.0.2版本的功能，TODO卡片是待做事项(包括 feature ideas)

贡献代码

非常欢迎大家来参与贡献代码，提交代码流程请参考：
https://github.com/analysys/EasyScheduler/blob/master/CONTRIBUTING.md

文章标签：
Web App开发
调度
SQL
关键词：
分布式任务调度
分布式系统
分布式任务调度系统
分布式工作流
分布式工作流任务调度系统easy scheduler
@dailidong@
目录
相关文章
叫个什么名字
|
16天前
|
存储 安全 数据管理
新型数据库技术：基于区块链的分布式数据存储系统
传统数据库系统面临着中心化管理、数据安全性和可信度等方面的挑战。本文介绍了一种基于区块链技术的新型数据库系统，通过分布式存储和去中心化的特性，提高了数据的安全性和可信度，同时实现了高效的数据管理和共享。该系统在多个领域如金融、医疗和物联网等具有广阔的应用前景。
叫个什么名字
45 2
杭州小哥哥
|
8天前
|
Windows
Windows系统下安装分布式事务组件Seata
Windows系统下安装分布式事务组件Seata
杭州小哥哥
21 0
叫个什么名字
|
12天前
|
存储 安全 数据管理
新一代数据库技术：融合区块链的分布式存储系统
传统数据库技术在面对日益增长的数据量和复杂的数据管理需求时显现出局限性。本文介绍了一种新一代数据库技术：融合区块链的分布式存储系统。通过将区块链技术与传统数据库相结合，实现了数据的分布式存储、安全性和透明度，以及去中心化的特性。这一技术的应用将极大地推动数据库系统的发展，为数据管理带来全新的解决方案。
叫个什么名字
20 1
叫个什么名字
|
12天前
|
存储 安全 数据管理
新一代数据库技术：融合区块链的分布式数据存储系统
传统数据库系统面临着数据安全性、可信度和去中心化等挑战，而区块链技术的兴起为解决这些问题提供了新的思路。本文介绍了一种新一代数据库技术，将区块链技术与传统的分布式数据存储系统相融合，实现了更高水平的数据安全性和可信度，以及去中心化的优势。通过结合区块链的不可篡改性和分布式存储系统的高性能，这一新型数据库技术将在未来的数据管理领域发挥重要作用。
叫个什么名字
21 1
vohelon
|
14天前
|
存储 缓存 运维
Web系统如何实现数据分布式存储？
【4月更文挑战第24天】Web系统如何实现数据分布式存储？
vohelon
20 2
日出等日落
|
19天前
|
分布式计算 Ubuntu 调度
如何本地搭建开源分布式任务调度系统DolphinScheduler并远程访问
如何本地搭建开源分布式任务调度系统DolphinScheduler并远程访问
日出等日落
36 0
Sunny_yiyi
|
2月前
|
调度
xxl-job分布式任务调度
xxl-job分布式任务调度
Sunny_yiyi
25 1
辰辰zZ
|
11天前
|
NoSQL Java 关系型数据库
【Redis系列笔记】分布式锁
分布式锁：满足分布式系统或集群模式下多进程可见并且互斥的锁。 分布式锁的核心思想就是让大家都使用同一把锁，只要大家使用的是同一把锁，那么我们就能锁住线程，不让线程进行，让程序串行执行，这就是分布式锁的核心思路
辰辰zZ
97 2
软件求生
|
6天前
|
监控 NoSQL 算法
探秘Redis分布式锁：实战与注意事项
本文介绍了Redis分区容错中的分布式锁概念，包括利用Watch实现乐观锁和使用setnx防止库存超卖。乐观锁通过Watch命令监控键值变化，在事务中执行修改，若键值被改变则事务失败。Java代码示例展示了具体实现。setnx命令用于库存操作，确保无超卖，通过设置锁并检查库存来更新。文章还讨论了分布式锁存在的问题，如客户端阻塞、时钟漂移和单点故障，并提出了RedLock算法来提高可靠性。Redisson作为生产环境的分布式锁实现，提供了可重入锁、读写锁等高级功能。最后，文章对比了Redis、Zookeeper和etcd的分布式锁特性。
软件求生
44 16
探秘Redis分布式锁：实战与注意事项
游客pyivdsdmxqiee
|
8天前
|
NoSQL Java 大数据
介绍redis分布式锁
分布式锁是解决多进程在分布式环境中争夺资源的问题，与本地锁相似但适用于不同进程。以Redis为例，通过`setIfAbsent`实现占锁，加锁同时设置过期时间避免死锁。然而，获取锁与设置过期时间非原子性可能导致并发问题，解决方案是使用`setIfAbsent`的超时参数。此外，释放锁前需验证归属，防止误删他人锁，可借助Lua脚本确保原子性。实际应用中还有锁续期、重试机制等复杂问题，现成解决方案如RedisLockRegistry和Redisson。
游客pyivdsdmxqiee
12 0

热门文章

最新文章

  • 1
    GaussDB分布式与单机模式的比较
  • 2
    缓存、分布式缓存和持久化
  • 3
    LLaMA-Factory 基于docker的大模型多卡分布式微调
  • 4
    【PolarDB-X从入门到精通】 第四讲：PolarDB分布式版安装部署（源码编译部署）
  • 5
    《MySQL 简易速速上手小册》第6章：MySQL 复制和分布式数据库（2024 最新版）
  • 6
    大数据技术与Python：结合Spark和Hadoop进行分布式计算
  • 7
    搞定了 6 种分布式ID，分库分表哪个适合做主键？
  • 8
    ZooKeeper分布式协调服务详解：面试经验与必备知识点解析
  • 9
    关于高并发下缓存失效的问题（本地锁 && 分布式锁 && Redission 详解）
  • 10
    分布式锁，Redission，其它实现问题讲解，以及面试题回答案例
  • 1
    P2P网络下分布式文件共享场景的测试
    60
  • 2
    Spring Boot 整合xxl-job实现分布式定时任务
    106
  • 3
    学习分布式事务Seata看这一篇就够了，建议收藏
    251
  • 4
    Flink CDC产品常见问题之读分布式mysql报连接超时如何解决
    206
  • 5
    在Windows下设置分布式队列Celery的心跳轮询
    115
  • 6
    这些年背过的面试题——分布式篇
    180
  • 7
    带你了解文件系统架构的演变：从传统到分布式
    127
  • 8
    客户说｜从4小时到15分钟，一次分布式数据库的丝滑体验
    218
  • 9
    CatBoost高级教程：分布式训练与大规模数据处理
    288
  • 10
    本地缓存和分布式缓存区别
    68

    • 相关课程

    更多
  • Spring Boot+Vue.js+FastDFS实现分布式图片服务器
  • 基于Zookeeper、Dubbo构建互联网分布式基础架构
  • 分布式文件存储系统技术及实现
  • 分布式协调系统 Zookeeper 快速入门

    • 相关电子书

    更多
  • 基于社区的分布式 风险感知模型
  • 如何利用Redisson分布式化传统Web项目
  • FLASH:大规模分布式图计算引擎及应用

    • 相关实验场景

    更多
  • StatefulSet应用部署
  • XXL-JOB零改造迁移
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）