首页 > 编程 > Python > 正文

python设置检查点简单实现代码

2020-02-23 05:31:37
字体:
来源:转载
供稿:网友

说检查点,其实就是对过去历史的记录,可以认为是log.不过这里进行了简化.举例来说,我现在又一段文本.文本里放有一堆堆的链接地址.我现在的任务是下载那些地址中的内容.另外因为网络的问题或者网站的问题,每次下载可能不会非常的成功.有可能出现断链或者socket异常错误。不过不管产生什么样的错误,我都希望我的程序能够一直跑下去。或者能停掉后,继续从为下载的链接处跑。而不是从开始的地方跑。这个问题非常简单。因为这些链接是上下文无关的(上下文有关的情况要另外分析)。所以我只要记录程序运行停止前的最后一条,就有希望能够延续前面的工作。这里实现中使用的是记录原有的链接,大家也可以使用计数器的方法来记录。代码如下:

# 这个异常是原文本内容中未出现检查点内容出现造成的  class CheckPointMissContentError:   pass # 将文件读取指针fd移至到检查点对应的内容处  # check point 的规则为,读取文件一行或者多行,进行操作后,将此一行或多行送入  # 检查文件check_point中。以后再次运行程序,即可从该检查点处继续运行。  def GoCheckPoint(fd,check_point):   if not os.path.isfile(check_point):     f_check = open(check_point,'w')     f_check.close()   f_check = open(check_point,'r')   lines = f_check.readlines()   if len(lines) > 0:     check_content = lines[-1] #找到检查点最后一行      check_content = check_content.strip(' /n/r')     # go to check point      while True:       content = fd.readline()       if content == '': # eof          raise CheckPointMissContentError       if content.strip(' /n/r') == check_content:         break            f_check.close()#关闭检查点 

有了上面一段还是不够的,需要下面的代码补充:

# 伪代码  def Download(downloadlist,sleep_time):      if os.path.isfile(downloadlist):     f = open(downloadlist)     # check_point file name,这里为自动生成一个检查点文件      check_point = file[0:file.rfind('.')]+'_check.txt'     Util.GoCheckPoint(f,check_point) #这就是上面代码中的GoCheckPoint函数      f_check = open(check_point,'a')# 以追加方式写入           try:       while True:         content = f.readline()         if content == '': # eof            break         content = content.strip(' /n/r')         if content != '':           # has download url            time.sleep(sleep_time)           DownloadOper(path,url) #这里是伪代码..可以认为是urllib.request.retrieve()函数或者是urllib.request.urlopen()啥的          # 作为响应的操作后再将内容写入检查点文件            f_check.write(content+'/n')           f_check.flush() # 必须的,否则会缓存,不会写入硬盘中      except : # 蹦个异常也不怕,以后再次按F5执行即可        raise Exception()       return Util.FAILURE # 这是我设置的常量,大家认为是0或者1就可以了      finally:       f.close()       f_check.close()# 关闭文件      print('Downloading is done........................')     return Util.SUCCESS             
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表