ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

kettle 配置

2022-08-14 21:01:31  阅读:167  来源: 互联网

标签:选项 配置 false 数据库 kettle 勾选 true 连接池


Kettle安装以及MySQL千万、亿级数据量迁移方案及性能优化
https://blog.csdn.net/qq_43278189/article/details/120860122?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2~aggregatepage~first_rank_ecpm_v1~rank_v31_ecpm-12-120860122-null-null.pc_agg_new_rank&utm_term=kettle%E4%BC%98%E5%8C%96%E5%8F%82%E6%95%B0%E9%85%8D%E7%BD%AE&spm=1000.2123.3001.4430

 

====input控件======
数据库连接->选项->命名参数
defaultFetchSize=10000 #每次与数据库交互,读多少条数据加入内存中缓存,不设置默认把所有数据读取出来,容易内存溢出(OOM),我这里设置10000,大表CPU性能高建议设置最大50000,不能超过65535
useServerPrepStmts=true #是否在使用服务端的预编译语句,true表示以占位符的方式发送SQL到服务端进行拼接
cachePrepStmts=true #是否客户端缓存预处理语句
useCursorFetch=true #是否允许部分数据到客户端就进行处理,如果为false表示所有数据到达客户端后,才进行处

数据库连接->选项->连接池
勾选"使用连接池" 初始大小选50 最大空闲空间填 150

数据库连接->选项->命名参数
勾选
initialSize 10
maxActive 150
maxldle 20
minldle 5

 


====output控件======
数据库连接->选项->命名参数
useServerPrepStmas=false #表示服务端要不要预编译 我们不需要
rewriteBatchedStatements=true #让我们批量提交sql语句
useCompression=true #压缩传送数据

数据库连接->选项->连接池
勾选"使用连接池" 初始大小选100 最大空闲空间填 100
默认自动提交 false


改变复制的数量10

标签:选项,配置,false,数据库,kettle,勾选,true,连接池
来源: https://www.cnblogs.com/CloudHaiYun/p/16586296.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有