ICode9

精准搜索请尝试: 精确搜索
首页 > 系统相关> 文章详细

linux安装datax +datax-web踩坑总结

2022-05-18 18:01:12  阅读:630  来源: 互联网

标签:bin web tar mysql gz datax linux


一丶安装datax

环境:JDK8+     py2.7+

下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

解压:tar -zxvf datax.tar.gz

自检:python 路径/datax.py 路径/job/job.json

这时候我报了个错,具体是啥错忘了,删除reader和writer中的 ._ 开头的文件,重新自检!

 

二丶安装datax-web

环境:mysql 5.7

datax-web下载:

  链接:https://pan.baidu.com/s/1XrnHQpReCRLKz1HJflsEzQ
  提取码:cwvv

解压:tar -zxvf datax-web.tar.gz

执行安装命令:./bin/install.sh --force

初始化数据库:找到/bin/db/datax-web.sql文件,复制文件的脚本内容,在mysql的data_web_db库中执行,主要是建一下基础表和初始化用户

修改数据库连接信息:在./modules/datax-admin/conf/bootstrap.properties设置data-web连接数据库的信息,连接mysql

#Database
DB_HOST=192.168.xx.xx
DB_PORT=3306
DB_USERNAME=datax-web
DB_PASSWORD=xxx
DB_DATABASE=datax_web_db

指定Python路径:在项目目录下/modules/datax-execute/bin/env.properties 指定PYTHON_PATH的路径

    vi ./modules/{module_name}/bin/env.properties

     ### 执行datax的python脚本地址

    PYTHON_PATH=/mysoft/datax/bin/datax.py

启动服务: ./start-all.sh

停止服务:./stop-all.sh

访问:http://192.168.xx.xx:9527/index.html   默认用户:admin,默认密码:1231456

 

有的功能需要自己编译插件 比如es,clickhouse

先拉取代码:https://github.com/alibaba/DataX.git

删除不必要的模块

下载依赖

clear   install

 

然后比如缺少clickhouse插件:

 

 将编译后的这个模块放入 datax  的plugs 的writer中

标签:bin,web,tar,mysql,gz,datax,linux
来源: https://www.cnblogs.com/cw828/p/16285707.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有