用Python进行一些简单的自然语言处理的教程

本月的每月挑战会主题是NLP，我们会在本文帮你开启一种可能：使用pandas和python的自然语言工具包分析你Gmail邮箱中的内容。

NLP-风格的项目充满无限可能：

将Gmail收件箱加载到pandas

让我们从项目实例开始！首先我们需要一些数据。准备你的Gmail的数据存档（包括你最近的垃圾邮件和垃圾文件夹）。

https://www.google.com/settings/takeout

现在去散步吧，对于5.1G大小的信箱，我2.8G的存档需要发送一个多小时。

当你得到数据并为工程配置好本地环境之后好，使用下面的脚本将数据读入到pandas（强烈建议使用IPython进行数据分析）
 

from mailbox import mboximport pandas as pd def store_content(message, body=None): if not body:  body = message.get_payload(decode=True) if len(message):  contents = {   "subject": message['subject'] or "",   "body": body,   "from": message['from'],   "to": message['to'],   "date": message['date'],   "labels": message['X-Gmail-Labels'],   "epilogue": message.epilogue,  }  return df.append(contents, ignore_index=True) # Create an empty DataFrame with the relevant columnsdf = pd.DataFrame( columns=("subject", "body", "from", "to", "date", "labels", "epilogue")) # Import your downloaded mbox filebox = mbox('All mail Including Spam and Trash.mbox') fails = []for message in box: try:  if message.get_content_type() == 'text/plain':   df = store_content(message)  elif message.is_multipart():   # Grab any plaintext from multipart messages   for part in message.get_payload():    if part.get_content_type() == 'text/plain':     df = store_content(message, part.get_payload(decode=True))     break except:  fails.append(message)

上面使用Python的mailbox模块读取并解析mbox格式的邮件。当然还可以使用更加优雅的方法来完成（比如，邮件中包含大量冗余、重复的数据，像回复中嵌入的“>>>”符号）。另外一个问题是无法处理一些特殊的字符，简单起见，我们进行丢弃处理；确认你在这一步没有忽略信箱中重要的部分。