DataX
DataX 是阿里云 DataWorks 数据集成 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。
DataX 商业版本
阿里云 DataWorks 数据集成是 DataX 团队在阿里云上的商业化产品，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动能力，以及繁杂业务背景下的数据同步解决方案。目前已经支持云上近 3000 家客户，单日同步数据超过 3 万亿条。DataWorks 数据集成目前支持离线 50+种数据源，可以进行整库迁移、批量上云、增量同步、分库分表等各类同步解决方案。2020 年更新实时同步能力，支持 10+种数据源的读写任意组合。提供 MySQL，Oracle 等多种数据源到阿里云 MaxCompute，Hologres 等大数据引擎的一键全增量同步解决方案。
商业版本参见： https://www.aliyun.com/product/bigdata/ide
Features
DataX 本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的 Reader 插件，以及向目标端写入数据的 Writer 插件，理论上 DataX 框架可以支持任意数据源类型的数据同步工作。同时 DataX 插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。
DataX 详细介绍
请参考：DataX-Introduction
Quick Start
Download DataX 下载地址
请点击：Quick Start
Support Data Channels
DataX 目前已经有了比较全面的插件体系，主流的 RDBMS 数据库、NOSQL、大数据计算系统都已经接入，目前支持数据如下图，详情请点击：DataX 数据源参考指南
| 类型 | 数据源 | Reader(读) | Writer(写) | 文档 |
|---|---|---|---|---|
| RDBMS 关系型数据库 | MySQL | √ | √ | 读 、写 |
| Oracle | √ | √ | 读 、写 | |
| OceanBase | √ | √ | 读 、写 | |
| SQLServer | √ | √ | 读 、写 | |
| PostgreSQL | √ | √ | 读 、写 | |
| DRDS | √ | √ | 读 、写 | |
| Kingbase | √ | √ | 读 、写 | |
| 通用 RDBMS(支持所有关系型数据库) | √ | √ | 读 、写 | |
| 阿里云数仓数据存储 | ODPS | √ | √ | 读 、写 |
| ADB | √ | 写 | ||
| ADS | √ | 写 | ||
| OSS | √ | √ | 读 、写 | |
| OCS | √ | 写 | ||
| Hologres | √ | 写 | ||
| AnalyticDB For PostgreSQL | √ | 写 | ||
| 阿里云中间件 | datahub | √ | √ | 读 、写 |
| SLS | √ | √ | 读 、写 | |
| 图数据库 | 阿里云 GDB | √ | √ | 读 、写 |
| Neo4j | √ | 写 | ||
| NoSQL 数据存储 | OTS | √ | √ | 读 、写 |
| Hbase0.94 | √ | √ | 读 、写 | |
| Hbase1.1 | √ | √ | 读 、写 | |
| Phoenix4.x | √ | √ | 读 、写 | |
| Phoenix5.x | √ | √ | 读 、写 | |
| MongoDB | √ | √ | 读 、写 | |
| Cassandra | √ | √ | 读 、写 | |
| 数仓数据存储 | StarRocks | √ | √ | 读 、写 |
| ApacheDoris | √ | 写 | ||
| ClickHouse | √ | √ | 读 、写 | |
| Databend | √ | 写 | ||
| Hive | √ | √ | 读 、写 | |
| kudu | √ | 写 | ||
| selectdb | √ | 写 | ||
| 无结构化数据存储 | TxtFile | √ | √ | 读 、写 |
| FTP | √ | √ | 读 、写 | |
| HDFS | √ | √ | 读 、写 | |
| Elasticsearch | √ | 写 | ||
| 时间序列数据库 | OpenTSDB | √ | 读 | |
| TSDB | √ | √ | 读 、写 | |
| TDengine | √ | √ | 读 、写 |
阿里云 DataWorks 数据集成
目前 DataX 的已有能力已经全部融和进阿里云的数据集成，并且比 DataX 更加高效、安全，同时数据集成具备 DataX 不具备的其它高级特性和功能。可以理解为数据集成是 DataX 的全面升级的商业化用版本，为企业可以提供稳定、可靠、安全的数据传输服务。与 DataX 相比，数据集成主要有以下几大突出特点：
支持实时同步：
- 功能简介：https://help.aliyun.com/document_detail/181912.html
- 支持的数据源：https://help.aliyun.com/document_detail/146778.html
- 支持数据处理：https://help.aliyun.com/document_detail/146777.html
离线同步数据源种类大幅度扩充：
- 新增比如：DB2、Kafka、Hologres、MetaQ、SAPHANA、达梦等等，持续扩充中
- 离线同步支持的数据源：https://help.aliyun.com/document_detail/137670.html
- 具备同步解决方案：
我要开发新的插件
请点击：DataX 插件开发宝典
重要版本更新说明
DataX 后续计划月度迭代更新，也欢迎感兴趣的同学提交 Pull requests，月度更新内容如下。
[datax_v202309]（https://github.com/alibaba/DataX/releases/tag/datax_v202309)
- 支持 Phoenix 同步数据添加 where 条件
- 支持华为 GuassDB 读写插件
- 修复 ClickReader 插件运行报错 Can't find bundle for base name
- 增加 DataX 调试模块
- 修复 orc 空文件报错问题
- 优化 obwriter 性能
- txtfilewriter 增加导出为 insert 语句功能支持
- HdfsReader/HdfsWriter 支持 parquet 读写能力
[datax_v202308]（https://github.com/alibaba/DataX/releases/tag/datax_v202308)
- OTS 插件更新
- databend 插件更新
- Oceanbase 驱动修复
- [datax_v202306]（https://github.com/alibaba/DataX/releases/tag/datax_v202306)
- 精简代码
- 新增插件（neo4jwriter、clickhousewriter）
- 优化插件、修复问题（oceanbase、hdfs、databend、txtfile）
[datax_v202303]（https://github.com/alibaba/DataX/releases/tag/datax_v202303)
- 精简代码
- 新增插件（adbmysqlwriter、databendwriter、selectdbwriter）
- 优化插件、修复问题（sqlserver、hdfs、cassandra、kudu、oss）
- fastjson 升级到 fastjson2
[datax_v202210]（https://github.com/alibaba/DataX/releases/tag/datax_v202210)
- 涉及通道能力更新（OceanBase、Tdengine、Doris 等）
[datax_v202209]（https://github.com/alibaba/DataX/releases/tag/datax_v202209)
- 涉及通道能力更新（MaxCompute、Datahub、SLS 等）、安全漏洞更新、通用打包更新等
[datax_v202205]（https://github.com/alibaba/DataX/releases/tag/datax_v202205)
- 涉及通道能力更新（MaxCompute、Hologres、OSS、Tdengine 等）、安全漏洞更新、通用打包更新等
项目成员
核心 Contributions: 言柏 、枕水、秋奇、青砾、一斅、云时
感谢天烬、光戈、祁然、巴真、静行对 DataX 做出的贡献。
License
This software is free to use under the Apache License Apache license.
请及时提出 issue 给我们。请前往：DataxIssue
开源版 DataX 企业用户
长期招聘 联系邮箱：datax@alibabacloud.com
【JAVA 开发职位】
职位名称：JAVA 资深开发工程师/专家/高级专家
工作年限 : 2 年以上
学历要求 : 本科（如果能力靠谱，这些都不是条件）
期望层级 : P6/P7/P8
岗位描述：
1. 负责阿里云大数据平台（数加）的开发设计。
2. 负责面向政企客户的大数据相关产品开发；
3. 利用大规模机器学习算法挖掘数据之间的联系，探索数据挖掘技术在实际场景中的产品应用 ；
4. 一站式大数据开发平台
5. 大数据任务调度引擎
6. 任务执行引擎
7. 任务监控告警
8. 海量异构数据同步
岗位要求：
1. 拥有 3 年以上 JAVA Web 开发经验；
2. 熟悉 Java 的基础技术体系。包括 JVM、类装载、线程、并发、IO 资源管理、网络；
3. 熟练使用常用 Java 技术框架、对新技术框架有敏锐感知能力；深刻理解面向对象、设计原则、封装抽象；
4. 熟悉 HTML/HTML5 和 JavaScript；熟悉 SQL 语言；
5. 执行力强，具有优秀的团队合作精神、敬业精神；
6. 深刻理解设计模式及应用场景者加分；
7. 具有较强的问题分析和处理能力、比较强的动手能力，对技术有强烈追求者优先考虑；
8. 对高并发、高稳定可用性、高性能、大数据处理有过实际项目及产品经验者优先考虑；
9. 有大数据产品、云产品、中间件技术解决方案者优先考虑。
`
用户咨询支持：
钉钉群目前暂时受到了一些管控策略影响，建议大家有问题优先在这里提交问题 Issue，DataX 研发和社区会定期回答 Issue 中的问题，知识库丰富后也能帮助到后来的使用者。
