dataX（入门，mysql到doris）

dataX是一款数据同步工具，非常简单，但是里面要暴露账号和密码比较危险（建议内网执行）。

比如mysql到doris

datax_doris/bin/datax.py xx.json

xx.json内容如下

{
    "job": {
        "setting": {
            "speed": {
                "channel": 4
            },
            "errorLimit": {
                "record": 0,
                "percentage": 0
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "xxx",
                        "password": "xxxx",
                        "connection": [
                            {   "querySql":["

SELECT
id,
code,
name
FROM
    database.tablename

" ],
                                "jdbcUrl": [
     "jdbc:mysql://xxxx:3306"
                                ]
                            }
                        ]
                    }
                },
                "writer": {
                    "name": "doriswriter",
                    "parameter": {
"feLoadUrl": ["xxx:8030"],
"beLoadUrl": ["xxx:8043"],
"jdbcUrl": "jdbc:mysql://xxx:9030/",
                        "database": "db_ods",
                        "table": "xxxx",
                    "username": "root",
                        "password": "xxxxx",
                        "column": [
                       

"id",
"code",
"name"
],
                      "maxBatchRows" : 500000,
                      "maxBatchByteSize" : 59715200
                    }
                }
            }
        ]
    }
}