pandas 快速处理 date_time 日期格式方法

2020-01-04 14:05:30

字体：大中小

来源：转载

供稿：网友

当数据很多，且日期格式不标准时的时候，如果pandas.to_datetime 函数使用不当，会使得处理时间变得很长，提升速度的关键在于format的使用。下面举例进行说明：

示例数据：

date 格式：02.01.2013 即日.月.年

数据量：3000000

transcation.head()---------------------------------------------   date date_block_num shop_id item_id item_price item_cnt_day0 02.01.2013    0  59 22154  999.00   1.01 03.01.2013    0  25  2552  899.00   1.02 05.01.2013    0  25  2552  899.00   -1.03 06.01.2013    0  25  2554  1709.05   1.04 15.01.2013    0  25  2555  1099.00   1.0

处理方式一：

transactions['date_formatted']=pd.to_datetime(transactions['date'])

处理时间： 10min

处理方式二：

transactions['date_formatted']=pd.to_datetime(transactions['date'], format='%d.%m.%Y')

处理时间：10s

附录：format相关

代码	说明
%Y	4位数的年
%y	2位数的年
%m	2位数的月[01,12]
%d	2位数的日[01，31]
%H	时（24小时制）[00,23]
%l	时（12小时制）[01,12]
%M	2位数的分[00,59]
%S	秒[00,61]有闰秒的存在
%w	用整数表示的星期几[0（星期天），6]
%F	%Y-%m-%d简写形式例如，2017-06-27
%D	%m/%d/%y简写形式