需求
 

需要从文本文件中提取中时间及日期
 
代码
 
“`java 
 /** 
 * 从文本内容中提取日期时间 
 * @param text 包含日期时间的文本（格式：yyyy年MM月dd日HH:mm） 
 * @return 日期时间字符串（yyyy-MM-dd HH:mm） 
 */ 
 public static String getDateTimeFromText(String text){ 
 if (null == text){ 
 return “”; 
 }
 
    Pattern p = Pattern.compile("(\\d{4})年(\\d{2})月(\\d{2})日(\\d{2}:\\d{2})");
    Matcher m = p.matcher(text);

    if (m.find() && 4 == m.groupCount()){
        return m.group(1) + "-" + m.group(2) + "-" + m.group(3) + " " + m.group(4); 
    } else {
        return "";
    }
}
 
“`java

在美国，2017 年圣诞节的表示是“12/25/17”，而在欧洲，同一个日子却表示为“25/12/17”。这里构造的日期和时间提取器尝试适配上面两种日/月的表示顺序，并检查以确保是有效的日期
 
import re
from datetime import date
import datetime

# 美国日期的正则表达式
us = r'((([01]?\d)[-/]([0123]?\d))([-/]([0123]\d)\d\d)?)'
mdy = re.findall(us, 'Santa came 12/25/2017. An elf appeared 12/12.')
print(mdy)

# 结构化提取的日期
# lstrip() 方法用于截掉字符串左边的空格或指定字符
dates = [{'mdy': x[0], 'md': x[1], 'm': int(x[2]), 'd': int(x[3]),
             'y': int(x[4].lstrip('/') or 0), 'c': int(x[5] or 0)} for x in mdy]
print(dates)

# 基本的上下文管理
# 使用在内存的结构化数据的上下文中最近读取到的年份来
# 填充任何缺失的数字字段
for i, d in enumerate(dates):
    for k, v in d.items():
        if not v:
            d[k] = dates[max(i - 1, 0)][k]

print(dates)
datetimes = [date(d['y'], d['m'], d['d']) for d in dates]
print(datetimes)


# 欧洲日期的正则表达式
eu = r'((([0123]?\d)[-/]([01]?\d))([-/]([0123]\d)?\d\d)?)'
dmy = re.findall(eu, 'Alan Mathison Turing OBE FRS (23/6/1912-7/6/1954) was an English computer scientist.')
print(dmy)
dmy = re.findall(eu, 'Alan Mathison Turing OBE FRS (23/6/12-7/6/54) was an English computer scientist.')
print(dmy)

# 综合提取
# 识别年份
# 两位数表示的年份，30-99 = 1930-1999
yr_19xx = (r'\b(?P<yr_19xx>' +
           '|'.join('{}'.format(i) for i in range(30, 100)) +
           r')\b')
# 一位或者两位数表示的年份，01-30 = 2001-2030
# 02d 格式一个整数（ d ）到最小宽度2（ 2 ）的字段，左侧填充零（前导 0 ）
yr_20xx = (r'\b(?P<yr_20xx>' +
           '|'.join('{:02d}'.format(i) for i in range(10)) + '|' +
           '|'.join('{}'.format(i) for i in range(10, 30)) +
           r')\b')
# 3 位数或者 4 位数表示的年份的前几位数字，如“123 A.D.”中的“1”
# 或者“2018”中的“20”
yr_cent = r'\b(?P<yr_cent>' + '|'.join('{}'.format(i) for i in range(1, 40)) + r')'
# 位数或者 4 位数表示的年份的后两位数字，如“123 A.D.”中的“23”
# 或者“2018”中的“18”
yr_ccxx = r'(?P<yr_ccxx>' + '|'.join('{:02d}'.format(i) for i in range(0, 100)) + r')\b'
yr_xxxx = r'\b(?P<yr_xxxx>(' + yr_cent + ')(' + yr_ccxx + r'))\b'
yr = (r'\b(?P<yr>' +
      yr_19xx + '|' + yr_20xx + '|' + yr_xxxx +
      r')\b')
# finditer()函数实现每次只返回一个，并且返回所在的位置
groups = list(re.finditer(yr, "0, 17, 2000, 01, '08, 99, 1984, 2030/1970 85 47 `66"))
full_years = [g['yr'] for g in groups]
print(full_years)

# 用正则表达式识别月份名称
mon_words = 'January February March April May June July August September October November December'
mon = (r'\b(?P<mon>' + '|'.join('{}|{}|{}|{}|{:02d}'.format(m, m[:4], m[:3], i + 1, i + 1) for i, m in enumerate(mon_words.split())) + r')\b')
print(re.findall(mon, 'January has 31 days, February the 2nd month of 12, has 28, except in a Leap Year.'))

# 组合信息提取正则表达式
day = r'(?P<day>' + '|'.join('{:02d}|{}'.format(i, i) for i in range(1, 32)) + r')\b'
eu = (r'\b(' + day.replace('<day', '<eu_day') + r')\b[-,/ ]{0,2}\b(' + mon.replace('<mon', '<eu_mon') + r')\b[-,/ ]{0,2}\b(' + yr.replace('<yr', '<eu_yr') + r')\b')
us = (r'\b(' + mon.replace('<mon', '<us_mon') + r')\b[-,/ ]{0,2}\b(' + day.replace('<day', '<us_day') + r')\b[-,/ ]{0,2}\b(' + yr.replace('<yr', '<us_yr') + r')\b')
date_pattern = r'\b(' + eu + '|' + us + r')\b'
print(list(re.finditer(date_pattern, '31 Oct, 1970 25/12/2017')))

# 验证日期
dates = []
es_groups = list(re.finditer(date_pattern, "0, 12/25/2017, 2000, 01, '08, 99, 1984, 31/10/1970, 85 47 `66"))
for g in es_groups:
    month_num = (g['us_mon'] or g['eu_mon']).strip()
    try:
        month_num = int(month_num)
    except ValueError:
        month_num = [w[:len(month_num)] for w in mon_words].index(month_num) + 1
    date = datetime.date(int(g['us_yr'] or g['eu_yr']), month_num, int(g['us_day'] or g['eu_day']))
    dates.append(date)
print("dates:", dates)

 
 

 

  

  

   

    

     

      

       

        ♚
        

       
       
作者：jclian，喜欢算法，热爱分享，希望能结交更多志同道合的朋友，一起在学习Python的道路上走得更远！  
      
     
    
   
  
  
在我们的日常生活和工作中，从文本中提取时间是一项非常基础却重要的工作，因此，本文将介绍如何从文本中有效地提取时间。
  

   
6月28日，杭州市统计局权威公布《2019年5月月报》，杭州市医保参保人数达到1006万，相比于2月份的989万，三个月暴涨16万人参保，傲视新一线城市。
  
  
我们可以从文本有提取6月28日，2019年5月， 2月份这三个有效时间。cws.model和词性标注pos.model这两个模型文件。
  
# -*- coding: utf-8 -*-

import os
from pyltp import Segmentor
from pyltp import Postagger

class LTP(object):
    def __init__(self):
        cws_model_path = os.path.join(os.path.dirname(__file__), 'cws.model')  # 分词模型路径，模型名称为`cws.model`
        pos_model_path = os.path.join(os.path.dirname(__file__), 'pos.model')  # 词性标注模型路径，模型名称为`pos.model`
        self.segmentor = Segmentor()  # 初始化实例
        self.segmentor.load(cws_model_path) # 加载模型
        self.postagger = Postagger()  # 初始化实例
        self.postagger.load(pos_model_path)  # 加载模型

    # 分词
    def segment(self, text):
        words = list(self.segmentor.segment(text))
        return words

    # 词性标注
    def postag(self, words):
        postags = list(self.postagger.postag(words))
        return postags

    # 获取文本中的时间
    def get_time(self, text):

        # 开始分词及词性标注
        words = self.segment(text)
        postags = self.postag(words)

        time_lst = []

        i = 0
        for tag, word in zip(postags, words):
            if tag == 'nt':
                j = i
                while postags[j] == 'nt' or words[j] in ['至', '到']:
                    j += 1
                time_lst.append(''.join(words[i:j]))
            i += 1

        # 去重子字符串的情形
        remove_lst = []
        for i in time_lst:
            for j in time_lst:
                if i != j and i in j:
                    remove_lst.append(i)

        text_time_lst = []
        for item in time_lst:
            if item not in remove_lst:
                text_time_lst.append(item)

        # print(text_time_lst)
        return text_time_lst

    # 释放模型
    def free_ltp(self):
        self.segmentor.release()
        self.postagger.release()

if __name__ == '__main__':
    ltp = LTP()

    # 输入文本
    sent = '6月28日，杭州市统计局权威公布《2019年5月月报》，杭州市医保参保人数达到1006万，相比于2月份的989万，三个月暴涨16万人参保，傲视新一线城市。'
    time_lst = ltp.get_time(sent)
    ltp.free_ltp()

    # 输出文本中提取的时间
    print('提取时间： %s' % str(time_lst))

  
接着，我们测试几个例子。
  
输入文本为：
  

   
今天，央行举行了2019年6月份金融统计数据解读吹风会，发布了2019年6月份金融统计数据并就当前的一些热点问题进行了解读和回应。
  
  
文本中提取的时间为：
  
提取时间： ['今天', '2019年6月份', '2019年6月份', '当前']

  
输入文本为：
  

   
2006年，上海的国内生产总值达到10296.97亿元，是中国内地第一个GDP突破万亿元的城市。2008年，北京GDP破万亿。两年后，广州GDP超过万亿。2011年，深圳、天津、苏州、重庆4城的GDP也进入了万亿行列。武汉、成都在2014年跻身“万亿俱乐部”，杭州、南京和青岛、无锡和长沙的GDP依次在2015年、2016年和2017年过万亿。宁波和郑州则成为2018年万亿俱乐部的新成员。
  
  
文本中提取的时间为：
  
提取时间： ['2006年', '2008年', '2011年', '2014年', '2015年', '2016年', '2018年']

  
输入文本为：
  

   
此后，6月28日、7月9日和7月11日下午，武威市政协、市人大、市政府分别召开坚决全面彻底肃清火荣贵流毒和影响专题民主生活会。
  
  
文本中提取的时间为：
  
提取时间： ['此后', '6月28日', '7月9日', '7月11日下午']

  
输入文本为：
  

   
姜保红出生于1974年4月，她于2016年11月至2018年9月任武威市副市长，履新时，武威市的一把手正是火荣贵。
  
  
文本中提取的时间为：
  

  
本次分享到此结束，欢迎大家批评指正。
  

 
 

  在我们的日常生活和工作中，从文本中提取时间是一项非常基础却重要的工作，因此，本文将介绍如何从文本中有效地提取时间。
   举个简单的例子，我们需要从下面的文本中提取时间：
 
 
 
6月28日，杭州市统计局权威公布《2019年5月月报》，杭州市医保参保人数达到1006万，相比于2月份的989万，三个月暴涨16万人参保，傲视新一线城市。
 
 
我们可以从文本有提取6月28日，2019年5月， 2月份这三个有效时间。
   通常情况下，较好的解决思路是利用深度学习模型来识别文本中的时间，通过一定数量的标记文本和合适的模型。本文尝试利用现有的NLP工具来解决如何从文本中提取时间。
   本文使用的工具为哈工大的pyltp，可以在Python的第三方模块中找到，实现下载好分词模型cws.model和词性标注pos.model这两个模型文件。
   话不多说，我们直接上Python代码，如下：
 
# -*- coding: utf-8 -*-

import os
from pyltp import Segmentor
from pyltp import Postagger

class LTP(object):
    def __init__(self):
        cws_model_path = os.path.join(os.path.dirname(__file__), 'cws.model')  # 分词模型路径，模型名称为`cws.model`
        pos_model_path = os.path.join(os.path.dirname(__file__), 'pos.model')  # 词性标注模型路径，模型名称为`pos.model`
        self.segmentor = Segmentor()  # 初始化实例
        self.segmentor.load(cws_model_path) # 加载模型
        self.postagger = Postagger()  # 初始化实例
        self.postagger.load(pos_model_path)  # 加载模型

    # 分词
    def segment(self, text):
        words = list(self.segmentor.segment(text))
        return words

    # 词性标注
    def postag(self, words):
        postags = list(self.postagger.postag(words))
        return postags

    # 获取文本中的时间
    def get_time(self, text):

        # 开始分词及词性标注
        words = self.segment(text)
        postags = self.postag(words)

        time_lst = []

        i = 0
        for tag, word in zip(postags, words):
            if tag == 'nt':
                j = i
                while postags[j] == 'nt' or words[j] in ['至', '到']:
                    j += 1
                time_lst.append(''.join(words[i:j]))
            i += 1

        # 去重子字符串的情形
        remove_lst = []
        for i in time_lst:
            for j in time_lst:
                if i != j and i in j:
                    remove_lst.append(i)

        text_time_lst = []
        for item in time_lst:
            if item not in remove_lst:
                text_time_lst.append(item)

        # print(text_time_lst)
        return text_time_lst

    # 释放模型
    def free_ltp(self):
        self.segmentor.release()
        self.postagger.release()

if __name__ == '__main__':
    ltp = LTP()

    # 输入文本
    sent = '6月28日，杭州市统计局权威公布《2019年5月月报》，杭州市医保参保人数达到1006万，相比于2月份的989万，三个月暴涨16万人参保，傲视新一线城市。'
    time_lst = ltp.get_time(sent)
    ltp.free_ltp()

    # 输出文本中提取的时间
    print('提取时间： %s' % str(time_lst))
 
  接着，我们测试几个例子。
 
输入文本为：
 
 
 
今天，央行举行了2019年6月份金融统计数据解读吹风会，发布了2019年6月份金融统计数据并就当前的一些热点问题进行了解读和回应。
 
 
文本中提取的时间为：
 
提取时间： ['今天', '2019年6月份', '2019年6月份', '当前']
 
输入文本为：
 
 
 
2006年，上海的国内生产总值达到10296.97亿元，是中国内地第一个GDP突破万亿元的城市。2008年，北京GDP破万亿。两年后，广州GDP超过万亿。2011年，深圳、天津、苏州、重庆4城的GDP也进入了万亿行列。武汉、成都在2014年跻身“万亿俱乐部”，杭州、南京和青岛、无锡和长沙的GDP依次在2015年、2016年和2017年过万亿。宁波和郑州则成为2018年万亿俱乐部的新成员。
 
 
文本中提取的时间为：
 
提取时间： ['2006年', '2008年', '2011年', '2014年', '2015年', '2016年', '2018年']
 
输入文本为：
 
 
 
此后，6月28日、7月9日和7月11日下午，武威市政协、市人大、市政府分别召开坚决全面彻底肃清火荣贵流毒和影响专题民主生活会。
 
 
文本中提取的时间为：
 
提取时间： ['此后', '6月28日', '7月9日', '7月11日下午']
 
输入文本为：
 
 
 
姜保红出生于1974年4月，她于2016年11月至2018年9月任武威市副市长，履新时，武威市的一把手正是火荣贵。
 
 
文本中提取的时间为：
 
提取时间： ['1974年4月', '2016年11月至2018年9月']
 
  本次分享到此结束，欢迎大家批评指正。
 
 
 
注意：不妨了解下笔者的微信公众号： Python爬虫与算法（微信号为：easy_web_scrape）， 欢迎大家关注~