标签：SocketException java -- Kettle 插入 timeout Mysql 连接 wait
项目场景：
使用Kettle 整合不同Mysql数据库数据，批量插入Clickhouse
问题描述
Kettle 任务执行过程中，出现偶发性失败
报·java.net.SocketException: Broken pipe 异常
原因分析：
这个问题为偶发性问题，首先排除Kettle脚本问题，Clickhouse 批量插入数据性能优异，所以排除Clikchouse，那就要考虑来源，来源为Mysql数据库，Mysql有一个mysql8小时问题，有可能是Mysql连接的问题。
wait_timeout
MySQL 的默认设置下，当一个连接的空闲时间超过8小时后，MySQL 就会断开该连接，而 c3p0/dbcp 连接池则以为该被断开的连接依然有效。在这种情况下，如果客户端代码向c3p0/dbcp 连接池请求连接的话，连接池就会把已经失效的连接返回给客户端，客户端在使用该失效连接的时候即抛出异常。
作者：灼灼2015
链接：https://www.jianshu.com/p/69dcae4454b3
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
因为使用的正式服务使用的数据库，查询配置的 wait_timeout
那这个150是怎么确认的，根据业务高峰期等实际情况综合考虑结果。
当前情况会不会，因为是多表关联批量插入数据，可能耗时比较慢，导致在150秒还未插入完成，数据库连接已经被Mysql断开，造成报错
既然wait_timeout是根据业务来综合考虑的结果，同步数据必然不能影响正式环境业务。
考虑从同步数据执行过程入手。
解决方案：
将Kettle执行过程的表输出由原先1000改为800。定时同步数据。
这样减少每次批量整合数据，插入数据的时间，在Mysql断开连接之前，执行完成。
参考博客
标签：SocketException,java,--,Kettle,插入,timeout,Mysql,连接,wait 来源： https://blog.csdn.net/Abner_G/article/details/123418069
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。