1.基于spring-boot的kettle调度
2.利用Kettle进行数据同步（下）
3.KettlePack 社区版和商业版的监控监控区别是？

基于spring-boot的kettle调度

        大家好，我是帅气小伙，由于最近公司项目辗转大数据，需要做数据抽取的工作，kettle是目前比较成熟的ETL工具，而传统的kettle客户端在任务调度这方面没有实现，于是在网上寻找开源的kettle调度项目。

        kettle-manager

        专门为kettle这款优秀的ETL工具开发的web端管理工具。貌似源码跑起来比较费劲，各种缺包，于是我为大家专门整理了一下这个项目。全maven管理的

        /konglinghai/kettle

        如果想学习kettle的可以用我的github项目运行，毕竟我在群里天天发现都有人因为无法运行项目而提问。

        kettle的集成

        由于kettle-manager是一个完整的web项目，功能也比较多，但是实际应用中，只需用到几个关键的点，就能够实现kettle的web调度。因此我们需要把kettle的调度从项目中分离出来，这样才能够更好地集成到自己的项目中去。于是我觉得将它抽出来，基于spring-boot，具体的业务也分离出来，kettle作为一个组件。

        renren-kettle

        项目说明

        项目实现功能

        项目结构

        实时websocket的接入例子

        部署指南

        如需加入项目，请邮件 @qq.com

利用Kettle进行数据同步（下）

       上篇内容对基于kettle的数据同步工程的构建进行了介绍，entrypoint.kjb作为工程执行的源码入口。

       为了减少操作成本，调度并确保数据同步过程稳定、平台安全，监控监控需要从更高层次进行抽象，源码opengarmony源码编译创建一个简单易用的调度系统。

       以下是平台应用截图：

       除了选择数据源和数据库，还增加了授权码，监控监控意味着只有授权范围内的源码用户才能使用该系统。

       由于是调度内部使用，授权用户尚未实现后台管理，平台直接在应用数据库中添加，监控监控选择的源码数据源和数据库都通过配置文件生成。

       文末会提供GitHub上的调度源码地址，有需要的读者可以进行二次开发。

       一、数据库设计

       数据库名称为kettle，目前包含两张表：

       1、授权用户表。表中记录的冰河 源码用户可以使用数据同步系统。

       2、同步记录表。记录用户的数据同步操作。

       二、程序设计

       系统简单实用，没有特别的设计。以下是重点说明的三点：

       1、数据源及其参数配置。

       在application.yml配置文件中，存在如下配置：

       使用了springboot的sp 源码@ConfigurationProperties注解。

       其中的DBSetting定义如下：

       通过客户端传递的参数，可以定位到相应的参数设置。

       2、集成kettle的API。

       由于kettle相关jar包放在了自建的nexus私服上，因此如果使用maven管理jar包，需要在settings.xml配置文件中做一些修改：

       其中的mirrorOf节点添加了!pentaho-releases，表示排除pentaho-releases。

       然后，在springboot工程的densepose源码pom.xml中指定pentaho-releases的url。

       接下来是核心的对接代码，具体可以参考工程源码。

       3、异步执行作业

       由于Job的执行时间可能会很长，主要取决于数据量，因此一个request的来回可能会导致TIMEOUT，需要改为异步模式。

       核心思想是：启动新的线程，客户端定时轮询执行结果。

       三、源码精选总结

       本文分两篇文章介绍了如何利用kettle进行数据同步，并实现一个简易的系统，以降低操作成本和出错率。

       介绍到此，如有疑问，请留言。

       欢迎fork我的工程代码。

KettlePack 社区版和商业版的区别是？

       KettlePack 社区版与商业版之间的区别在于，社区版主要针对一般用户，功能上没有特别限制，而商业版则是为满足特定需求的客户设计的，如需要商业授权、源码二次开发及专业技术服务支持等。商业版提供更全面、定制化的服务，包括但不限于商业授权、源码访问与二次开发可能性以及专属的技术支持。

       KettlePack 是一款专门用于调度、监控由 Kettle 客户端创建的任务和管理的系统，深受欢迎。在面对庞大的任务管理需求时，传统使用客户端操作已显不足，KettlePack 的解决方案应运而生。它提供了一套基于 Kettle9（兼容 Kettle8 及其他版本）的 Web 端调度监控管理系统，安装便捷、操作直观，且免费提供使用。

       通过 KettlePack 调度 Kettle，主要优势体现在以下几个方面：

       1. 一体化任务管理：KettlePack 能够批量导入由 Kettle 生成的 ktr 和 kjb 文件，支持成千上万个 Kettle 任务的高效管理与处理。

       2. 可视化运维监控：提供全面的运维监控视图，实时追踪作业运行日志、log 日志、Kettle 内部运行日志及系统操作日志等信息，实现高效运维。

       3. 文件资源库集成：内部集成文件资源库，通过特定路径管理所有监控运维的作业及转换，确保资源有序、可追溯。

       4. 完整的定时策略：集成灵活的定时策略，可根据策略自动执行 Kettle 的作业及转换任务，提升管理效率。

       下载并使用 KettlePack 管理系统，官方下载链接请认准。