TIS人人都会用的数据集成产品


1.TIS是什么?

1.1 简介

TIS集成大数据领域优秀组件(FlinkX-CDC,Chunjun(FlinkX),DataX,Flink等)为您提供一站式、开箱即用的DataOps数据中台,大幅提高ETL实时数仓构建效率。

TIS的愿景是实现企业大数据ETL(Extraction-Transformation-Loading)全覆盖的中台产品,数据抽取(Extraction)是大数据处理所有环节中的第一步,也是最重要的环节。

最新版本的TIS数据抽取组件是基于:

  • Alibaba DataX,并且在原生DataX之上添加了功能特性大大提高了DataX的可用性
  • 实时数据同步框架Flink-CDC和Chunjun

当业务分析场景中只需要T+1的数据报表分析,则只需要开启基于DataX的批量数据同步功能。如需要启用实时OLAP数据分析功能,则需要开启基于Flink的实时数据同步功能。

1.2 官网及项目地址

https://tis.pub/https://github.com/datavane/tis?tab=readme-ov-file


1.3 架构


2.功能特性

省略,请参看官网,官网有详细的说明。


3.安装部署

本文采用docker方式安装部署,部署方式还有很多种,有基于docker-compose的方式部署、有基于k8s的方式部署、有单节点部署、有多节点部署,还集成了PowerJob分布式定时任务,还集成了Zeppelin,官方提供了很多免费的插件使用。

3.1 挂载


3.2 config.properties配置

config.properties文件放在3.1挂载的config目录下即可,config.properties内容如下:
project.name=TISruntime=daily
# MySQL 数据库配置,参数根据用户所在环境自行修改tis.datasource.type=mysqltis.datasource.url=xxxx(ip)tis.datasource.port=3306tis.datasource.username=roottis.datasource.password=123456tis.datasource.dbname=tis_console
# Derby 数据库配置注释掉#tis.datasource.type=derby#tis.datasource.dbname=tis_console_db
assemble.host=127.0.0.1tis.host=127.0.0.1
这里我们使用的是mysql8.0.28数据库持久化数据
需要执行的脚本如下:
https://github.com/qlangtech/tis-ansible/blob/v4.0.0/tis_console_mysql.sql

3.3 docker启动命令

docker run --name=tis -d -p 8080:8080 -v "D:\tis\config\config.properties":/opt/app/tis-uber/tjs/conf/tis-web-config/config.properties -v "D:\tis\config\config.properties":/opt/app/tis-uber/tis-assemble/conf/tis-web-config/config.properties -v "D:\tis\data":/opt/data registry.cn-hangzhou.aliyuncs.com/tis/tis-console:4.0.0


4.首页

首页地址:
http://localhost:8080/
首页地址不需要输入默认用户名和密码,用户模块在4.0.0版本还没有开放这个功能,估计还在重构着这块功能吧

5.总结

本文介绍了TIS这个开源的数据集成产品,还可以去探索它的一个更耐思的功能,数据分析内核还是基于Flink、Datax、Chunjun(原名叫FlinkX),只是TIS做了一些额外的工作,让数据集成处理变得可视化和简便化了,大幅度提高了效率,这些都是一些外壳,都需要添加一个数据分析处理的内核,如Flink等,上一篇文章分享的是:Dinky 让Flink作业纵享丝滑
https://mp.weixin.qq.com/s/IQkr12qL57RPjBjtv1DK_whttps://blog.csdn.net/qq_34905631/article/details/140104456?spm=1001.2014.3001.5502
之前的文章还分享了StreamPark、Seatunnel、Datax-Web等开源的项目,让我们在技术选型的时候有更多的对比和选择,这个更具自己的需求来选择适合自己的开源的项目,希望我的分享能给你启发和帮助,请一键三连,么么么哒!

请使用浏览器的分享功能分享到微信等