Kettle连接postgresql经常报IO错误

Bleache 2021-05-09 06:28:05
kettle转换每天都会报错IO错误好几次， 重启数据库服务，关闭重新打开kettle， 或者等会也能正常运行，然后过段时间继续报错，求教大神这个该如何解决是哪方面的问题，困扰好久了


具体报错内容如下
2021/05/09 18:13:16 - 插入 / 更新.0 - ERROR (version 9.0.0.0-423, build 9.0.0.0-423 from 2020-01-31 04.53.04 by buildguy) : Error in step, asking everyone to stop because of:
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - ERROR (version 9.0.0.0-423, build 9.0.0.0-423 from 2020-01-31 04.53.04 by buildguy) : Error in step, asking everyone to stop because of:
2021/05/09 18:13:16 - 插入 / 更新.0 - ERROR (version 9.0.0.0-423, build 9.0.0.0-423 from 2020-01-31 04.53.04 by buildguy) : org.pentaho.di.core.exception.KettleDatabaseException:
2021/05/09 18:13:16 - 插入 / 更新.0 - Error looking up row in database
2021/05/09 18:13:16 - 插入 / 更新.0 - An I/O error occurred while sending to the backend.
2021/05/09 18:13:16 - 插入 / 更新.0 -
2021/05/09 18:13:16 - 插入 / 更新.0 - at org.pentaho.di.core.database.Database.getLookup(Database.java:3108)
2021/05/09 18:13:16 - 插入 / 更新.0 - at org.pentaho.di.core.database.Database.getLookup(Database.java:3087)
2021/05/09 18:13:16 - 插入 / 更新.0 - at org.pentaho.di.core.database.Database.getLookup(Database.java:3083)
2021/05/09 18:13:16 - 插入 / 更新.0 - at org.pentaho.di.trans.steps.insertupdate.InsertUpdate.lookupValues(InsertUpdate.java:89)
2021/05/09 18:13:16 - 插入 / 更新.0 - at org.pentaho.di.trans.steps.insertupdate.InsertUpdate.processRow(InsertUpdate.java:299)
2021/05/09 18:13:16 - 插入 / 更新.0 - at org.pentaho.di.trans.step.RunThread.run(RunThread.java:62)
2021/05/09 18:13:16 - 插入 / 更新.0 - at java.lang.Thread.run(Thread.java:748)
2021/05/09 18:13:16 - 插入 / 更新.0 - Caused by: org.postgresql.util.PSQLException: An I/O error occurred while sending to the backend.
2021/05/09 18:13:16 - 插入 / 更新.0 - at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:350)
2021/05/09 18:13:16 - 插入 / 更新.0 - at org.postgresql.jdbc.PgStatement.executeInternal(PgStatement.java:481)
2021/05/09 18:13:16 - 插入 / 更新.0 - at org.postgresql.jdbc.PgStatement.execute(PgStatement.java:401)
2021/05/09 18:13:16 - 插入 / 更新.0 - at org.postgresql.jdbc.PgPreparedStatement.executeWithFlags(PgPreparedStatement.java:164)
2021/05/09 18:13:16 - 插入 / 更新.0 - at org.postgresql.jdbc.PgPreparedStatement.executeQuery(PgPreparedStatement.java:114)
2021/05/09 18:13:16 - 插入 / 更新.0 - at org.apache.commons.dbcp.DelegatingPreparedStatement.executeQuery(DelegatingPreparedStatement.java:96)
2021/05/09 18:13:16 - 插入 / 更新.0 - at org.apache.commons.dbcp.DelegatingPreparedStatement.executeQuery(DelegatingPreparedStatement.java:96)
2021/05/09 18:13:16 - 插入 / 更新.0 - at org.pentaho.di.core.database.Database.getLookup(Database.java:3093)
2021/05/09 18:13:16 - 插入 / 更新.0 - ... 6 more
2021/05/09 18:13:16 - 插入 / 更新.0 - Caused by: java.net.SocketException: Connection reset by peer: socket write error
2021/05/09 18:13:16 - 插入 / 更新.0 - at java.net.SocketOutputStream.socketWrite0(Native Method)
2021/05/09 18:13:16 - 插入 / 更新.0 - at java.net.SocketOutputStream.socketWrite(SocketOutputStream.java:111)
2021/05/09 18:13:16 - 插入 / 更新.0 - at java.net.SocketOutputStream.write(SocketOutputStream.java:155)
2021/05/09 18:13:16 - 插入 / 更新.0 - at sun.security.ssl.OutputRecord.writeBuffer(OutputRecord.java:431)
2021/05/09 18:13:16 - 插入 / 更新.0 - at sun.security.ssl.OutputRecord.write(OutputRecord.java:417)
2021/05/09 18:13:16 - 插入 / 更新.0 - at sun.security.ssl.SSLSocketImpl.writeRecordInternal(SSLSocketImpl.java:886)
2021/05/09 18:13:16 - 插入 / 更新.0 - at sun.security.ssl.SSLSocketImpl.writeRecord(SSLSocketImpl.java:857)
2021/05/09 18:13:16 - 插入 / 更新.0 - at sun.security.ssl.AppOutputStream.write(AppOutputStream.java:123)
2021/05/09 18:13:16 - 插入 / 更新.0 - at java.io.BufferedOutputStream.flushBuffer(BufferedOutputStream.java:82)
2021/05/09 18:13:16 - 插入 / 更新.0 - at java.io.BufferedOutputStream.flush(BufferedOutputStream.java:140)
2021/05/09 18:13:16 - 插入 / 更新.0 - at org.postgresql.core.PGStream.flush(PGStream.java:665)
2021/05/09 18:13:16 - 插入 / 更新.0 - at org.postgresql.core.v3.QueryExecutorImpl.sendSync(QueryExecutorImpl.java:1470)
2021/05/09 18:13:16 - 插入 / 更新.0 - at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:321)
2021/05/09 18:13:16 - 插入 / 更新.0 - ... 13 more
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - ERROR (version 9.0.0.0-423, build 9.0.0.0-423 from 2020-01-31 04.53.04 by buildguy) : org.pentaho.di.core.exception.KettleDatabaseException:
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - Error looking up row in database
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - An I/O error occurred while sending to the backend.
2021/05/09 18:13:16 - 插入 / 更新--detail.0 -
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - at org.pentaho.di.core.database.Database.getLookup(Database.java:3108)
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - at org.pentaho.di.core.database.Database.getLookup(Database.java:3087)
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - at org.pentaho.di.core.database.Database.getLookup(Database.java:3083)
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - at org.pentaho.di.trans.steps.insertupdate.InsertUpdate.lookupValues(InsertUpdate.java:89)
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - at org.pentaho.di.trans.steps.insertupdate.InsertUpdate.processRow(InsertUpdate.java:299)
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - at org.pentaho.di.trans.step.RunThread.run(RunThread.java:62)
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - at java.lang.Thread.run(Thread.java:748)
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - Caused by: org.postgresql.util.PSQLException: An I/O error occurred while sending to the backend.
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:350)
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - at org.postgresql.jdbc.PgStatement.executeInternal(PgStatement.java:481)
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - at org.postgresql.jdbc.PgStatement.execute(PgStatement.java:401)
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - at org.postgresql.jdbc.PgPreparedStatement.executeWithFlags(PgPreparedStatement.java:164)
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - at org.postgresql.jdbc.PgPreparedStatement.executeQuery(PgPreparedStatement.java:114)
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - at org.apache.commons.dbcp.DelegatingPreparedStatement.executeQuery(DelegatingPreparedStatement.java:96)
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - at org.apache.commons.dbcp.DelegatingPreparedStatement.executeQuery(DelegatingPreparedStatement.java:96)
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - at org.pentaho.di.core.database.Database.getLookup(Database.java:3093)
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - ... 6 more
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - Caused by: java.net.SocketException: Connection reset by peer: socket write error
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - at java.net.SocketOutputStream.socketWrite0(Native Method)
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - at java.net.SocketOutputStream.socketWrite(SocketOutputStream.java:111)
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - at java.net.SocketOutputStream.write(SocketOutputStream.java:155)
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - at sun.security.ssl.OutputRecord.writeBuffer(OutputRecord.java:431)
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - at sun.security.ssl.OutputRecord.write(OutputRecord.java:417)
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - at sun.security.ssl.SSLSocketImpl.writeRecordInternal(SSLSocketImpl.java:886)
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - at sun.security.ssl.SSLSocketImpl.writeRecord(SSLSocketImpl.java:857)
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - at sun.security.ssl.AppOutputStream.write(AppOutputStream.java:123)
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - at java.io.BufferedOutputStream.flushBuffer(BufferedOutputStream.java:82)
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - at java.io.BufferedOutputStream.flush(BufferedOutputStream.java:140)
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - at org.postgresql.core.PGStream.flush(PGStream.java:665)
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - at org.postgresql.core.v3.QueryExecutorImpl.sendSync(QueryExecutorImpl.java:1470)
2021/05/09 18:13:16 - 插入 / 更新--detail.0 - at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:321)
...全文
2397 6 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
6 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_41912931 2023-04-25
  • 打赏
  • 举报
 回复

解决了么？

pger 2023-04-09
  • 打赏
  • 举报
 回复

PostgreSQL 错误消息 连接失败

qq_38049584 2021-07-13
  • 打赏
  • 举报
 回复

可能是大批量插入的问题，建议大批量插入使用kettle中的<postgresql 批量加载>

Bleache 2021-07-20
  • 举报
 回复
@qq_38049584 谢谢老铁我试试，这个问题之前一直没搞定，我就没把这个流程放到kettle来搞了，我回头试试这个方法
m0_55877767 2022-12-15
  • 举报
 回复
@qq_38049584 不可以啊
m0_55877767 2022-12-15
  • 举报
 回复
@qq_38049584 还有什么方法吗
kettle连接sql server jar包_「实战」助力数据库开发之接口篇 - Java 连接 Greenplum
Java 作为当前使用最普遍的开发语言，通过JDBC的方式连接 Greenplum 数据库。目前有两种JDBC连接包可以实现连接：一种是通过 PostgreSQL 的接口库连接，另一种就是官方 partner 提供的连接库( greenplum.jar )，第二种专门针对 Greenplum 进行了优化，性能上稍优，下面针对这两种方式进行详细的介绍。开源 PostgreSQL JDBC 连接 Gr...
jdbc.properties配置文件连接数据库
jdbc.properties配置文件放到src目录下 jdbc.properties配置文件 driver = 驱动名 url = url?charSet=UTF-8 username = 用户名 password = 用户密码 比如连接PostgreSQL ： driver = org.postgresql.Driver url =jdbc:postgresql://localhost/po...
kettle数据库连接问题
实验环境： mysql server版本是5.7+ jdk是1.8 另外我在kettle 的lib文件夹下放入了相应版本的mysql-connect-jre包（这个也是要跟你的mysql server版本对应上，一般都是5.1.17以上） 问题的可能原因： mysql的版本是最新的8（本博客不解决这个问题） 主机名称有误（也即地址有误） 数据库名写错了（即没有这个数据） 总结：粗心大意 地址错误的提示日志： 就下面这一句是核心，有的会说地址冲突，不过你单机环境怎么可能会有这个问题 The last p
kettle工具小经验
1、kettle本地连接数据库报错Error connecting to database: (using class oracle.jdbc.driver.OracleDriver)将spoon.ico 复制到桌面，点击Spoon.bat发送快捷方式，桌面选中会快捷方式，右击–属性–更改图标–找到桌面的spoon.ico–确定。处理：在data-integration\libswt\win64目录放一个jdbc jar包，我放的是ojdbc6.jar。不知道为什么，同事并没有放jar包，依然可以连接。
kettle导入oracle优化,【经验分享】通过Kettle高效的导入数据至DWS
摘要：Kettle是一款高效易用的开源ETL工具，DWS支持和Kettle的对接以及各种数据入库方式。准备工作：在使用Kettle对接DWS前，请先安装号Kettle，并确保网络和DWS可以连通。一、 配置Kettle的DWS数据库连接：可选：用户可以使用PG原生驱动，或使用DWS提供的驱动替换PG驱动。在Kettle\data-integration\libext\JDBC目录中有jdbc驱动...
PostgreSQL

972

社区成员

1,472

社区内容

发帖
与我相关
我的任务
社区描述
PostgreSQL相关内容讨论
sql数据库数据库架构 技术论坛（原bbs）
社区管理员
  • PostgreSQL社区
  • yang_z_1
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章