盘点一个通过python大批量插入数据到数据库的方法

2023-08-17 09:41:05 浏览数 (1)

大家好,我是皮皮。

一、前言

前几天在Python白银群【鶏啊鶏】问了一个Python数据存入数据库的问题,一起来看看吧。

各位大佬 我想请教下通过python大批量插入数据到数据库的方法 目前我在用的操作是以下这个模式:

代码语言:javascript复制
sql=''
for i in list:
 sql = "insert XXX表(地址,单号,缸号,状态,备注,时间) values('"   address   "','" ppo "','" batch_no "','待定','未生产',getdate())"

这样当sql稍微大点的情况下 一次性插入就会插入失败,想请问下各位大佬如果大批量插入的话应该用哪个方式更稳定点呢。

二、实现过程

这里【袁学东】给了一个解答,如下所示:

用pandas, 先将批量插入数据整理成dataframe,df.to_sql(table, index=False, con=self.engine, if_exists=method),1000万行的数据导入也只要几秒钟。如果数据源是csv或excel更简单,df = pd.read_csv("file.csv")df = pd.read_excel("file.xls"),然后df.to_sql()

顺利地解决了粉丝的问题。

三、总结

大家好,我是皮皮。这篇文章主要盘点了一个Python数据存数据库的问题,文中针对该问题,给出了具体的解析和代码实现,帮助粉丝顺利解决了问题。

最后感谢粉丝【鶏啊鶏】提问,感谢【袁学东】给出的思路和代码解析,感谢【巭孬嫑勥烎】等人参与学习交流。

0 人点赞