当前位置 : 主页 > 编程语言 > python >

dataframe.to_sql() 一次性插入过多报错

来源:互联网 收集:自由互联 发布时间:2022-08-10
利用to_sql()方法 将dataframe 中的数据插入数据库;之前用的都没问题,这次突然报错, system error: 10054 远程主机强迫关闭了一个现有的连接。 刚开始以为是连接数的和pool的问题,搞了半

dataframe.to_sql() 一次性插入过多报错_数据

利用to_sql()方法  将dataframe 中的数据插入数据库;之前用的都没问题,这次突然报错,

system error: 10054 远程主机强迫关闭了一个现有的连接。

刚开始以为是连接数的和pool的问题,搞了半天调了半天参数还是报一样的错,

后面突然想到是不是一次性提交数据量过大造成开始测试小批量提交,错误消失了。尴尬的报错啊

# df分页插入 pageSize 超过3000就报错
count = len(df_point)
pageSize = 500
page = math.ceil(count / pageSize)
# 分批插入
for i in range(page):
start = pageSize * i
end = pageSize * (i + 1)
if end > count:
end = count
df = df_point.iloc[start:end]
# 插入POINT表 不插入索引列 如果表存在就追加记录
df.to_sql("POINT", engine, index=False, if_exists='append')
上一篇:第一个 Python 程序
下一篇:没有了
网友评论