首页| 新闻| 娱乐| 游戏| 科普| 文学| 编程| 系统| 数据库| 建站| 学院| 产品| 网管| 维修| 办公| 热点
使用机器学习训练数据时,如果数据量较大可能我们不能够一次性将数据加载进内存,这时我们需要将数据进行预处理,分批次加载进内存。
下面是代码作用是将数据从数据库读取出来分批次写入txt文本文件,方便我们做数据的预处理和训练机器学习模型。
#%%import pymssql as MySQLdb #这里是python3 如果你是python2.x的话,import MySQLdb#数据库连接属性hst = '188.10.34.18'usr = 'sa'passwd = 'p@ssw0rd'db = 'HistoryTrace' #总共多少数据allData = 1674333#每个批次多少条数据dataOfEach = 20000#批次batch = ceil(allData/dataOfEach) #文件名global IDctrl IDctrl = 1filename = str(IDctrl)+'.txt' #连接数据库conn = MySQLdb.connect(host=hst,user=usr,password=passwd,database=db)cur=conn.cursor() while IDctrl<batch: #读取数据库 sql = 'SELECT Longitude,Latitude,Altitude,VelComOfLong,VelComOfLati,Aircraft,Section,TimeMinus/ FROM dealed1 where ID>=' + str(IDctrl) + ' and ID <' + str(IDctrl + dataOfEach) cur.execute(sql) rows=cur.fetchall() #写文件 f = open(filename,'w') f.writelines(str(rows)) #文件名加1 IDctrl+=1 filename = str(IDctrl)+'.txt' #关闭数据库连接f.close()conn.close()
以上这篇Python从数据库读取大量数据批量写入文件的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持VEVB武林网。
手机内存不足怎么清理 手机提
怎样设置虚拟内存?
解决内存不足妙方
芭蕾舞蹈表演,真实美到极致
下午茶时间,悠然自得的休憩
漫天大雪天空飞舞展现最美雪景
充斥这繁华奢靡气息的城市迪拜风景图片
肉食主义者的最爱美食烤肉图片
夏日甜心草莓美食图片
人逢知己千杯少,喝酒搞笑图集
搞笑试卷,学生恶搞答题
新闻热点
疑难解答
图片精选
Python入门基础教程 超详细1小时学
python连接MySQL数据库实例分析
wxPython定时器wx.Timer简单应用实
浅谈python中截取字符函数strip,lst
网友关注