【问题标题】:Creating new features from the data and time in a text variable从文本变量中的数据和时间创建新特征
【发布时间】:2019-08-05 03:38:53
【问题描述】:

我正在使用将数据和时间记录在单个变量“mm/dd/yyyy hh:mm”中的数据集我想将其分成两个特征:“mm/dd/yyyy”和“hh:dd "

我尝试了一个 for 循环来遍历所有条目,根据日期和时间之间的空白将它们拆分,然后将它们分配给新功能。我没有成功,只生成了一个“settingwithcopy”警告并导致将整个字符串而不是拆分的字符串复制到两个新功能中。

`#defining the new features as sometimes an error is created saying 
there is no such variable as " ". 
ers_data["incident_date"] = ers_data["create_time_incident"]

ers_data["time_created"] = ers_data["create_time_incident"]
ers_data["arrival_time"] = ers_data["create_time_incident"]
ers_data["closed_time"] = ers_data["create_time_incident"]
ers_data["primary_dispatch_time"] = ers_data["create_time_incident"]

for i in range (ers_data.shape[0]):
  split_arrived = ers_data.arrival_time_primary_unit[i].split(" ")

#new feature for saving time of arrival
ers_data["arrival_time"][i] = split_arrived[1]


# attempting another way 
for e in ers_data.create_time_incident:
  ers_data["time_created"][e] = [e][-5:]`

根据我尝试过的建议: ers_data['incident_date'] = pd.to_datetime(ers_data['create_time_incident'], 格式 = '%mm/%dd/%YYYY %HH:%MM').dt.strfdate('%d/%m/%Y')

ers_data['time_created'] = pd.to_datetime(ers_data['create_time_incident'], 
format = '%mm/%dd/%YYYY %HH:%MM').dt.strftime('%HH:%MM')

导致:

TypeError: Unrecognized value type: <class 'str'>

During handling of the above exception, another exception occurred:

ValueError                                Traceback (most recent call last)
3 frames
/usr/local/lib/python3.6/dist-packages/pandas/core/tools/datetimes.py in 
_convert_listlike_datetimes(arg, box, format, name, tz, unit, errors, 
infer_datetime_format, dayfirst, yearfirst, exact)
    259                 try:
    260                     result, timezones = array_strptime(
--> 261                         arg, format, exact=exact, errors=errors)
    262                     if '%Z' in format or '%z' in format:
    263                         return _return_parsed_timezone_results(

pandas/_libs/tslibs/strptime.pyx in 
pandas._libs.tslibs.strptime.array_strptime()

ValueError: time data '6/18/2015 18:40' does not match format '%mm/%dd/%YYYY 
%HH:%MM' (match)

尝试使用 dateutil。它可以正确解析变量中的文本字符串。它在处理时会占用大量计算时间。

%%time
n = 0
for date in ers_data.create_time_incident:
    #print('Parsing: ' + date)
    dt = parse(date)
    ers_data["date created"]  =  dt.date()
    ers_data["incident_time"] =  dt.time()
    n +=1 
    if n%1000 == 0:
      print (n)

【问题讨论】:

标签: string pandas variables split


【解决方案1】:

我认为如果您在数据上使用pd.to_datetime() 来获取您想要的值,ti 会更有效。 您可以执行以下操作

df['date'] = pd.to_datetime(df['Column_with_date_time_info'], format='%m/%d/%Y %H:%M').dt.strftime('%d/%m/%Y')
df['time'] = pd.to_datetime(df['Column_with_date_time_info'], format='%m/%d/%Y %H:%M').dt.strftime('%H:%M')

时间格式信息在这里http://strftime.org/

【讨论】:

  • 我会试试的。感谢您的文档链接。
  • ers_data['incident_date'] = pd.to_datetime(ers_data['create_time_incident'], 格式 = '%mm/%dd/%YYYY %HH:%MM').dt.strfdate(' %d/%m/%Y') ers_data['time_created'] = pd.to_datetime(ers_data['create_time_incident'], 格式 = '%mm/%dd/%YYYY %HH:%MM').dt.strftime ('%HH:%MM')
  • 您必须调整格式以匹配您拥有的数据。在这种情况下,%HH:%MM 必须更改为 %H:%M。我也更新了答案中的代码。试试看,让我知道它是否有效。
  • 好的,所以我确实进行了更改,并且它比我的替代方案运行得更快。谢谢你。我曾尝试更改日期,认为这是问题所在,但我什至不认为时间部分是真正的问题。
猜你喜欢
  • 2012-03-30
  • 2019-05-10
  • 2011-02-24
  • 2019-08-25
  • 2019-12-24
  • 1970-01-01
  • 1970-01-01
  • 2021-03-10
  • 2021-07-20
相关资源
最近更新 更多