圆月山庄资源网 Design By www.vgjia.com

当我们使用Python从MongoDB里面读取数据时,可能会这样写代码:

import pymongo

handler = pymongo.MongoClient().db.col

for row in handler.find():
 parse_data(row)

短短4行代码,读取MongoDB里面的每一行数据,然后传入parse_data做处理。处理完成以后再读取下一行。逻辑清晰而简单,能有什么问题?只要parse_data(row)不报错,这一段代码就完美无缺。

但事实并非这样。

你的代码可能会在for row in handler.find()这一行报错。它的原因,说来话长。

要解释这个问题,我们首先就需要知道,handler.find()返回的并不是数据库里面的数据,而是一个游标(cursor)对象。如下图所示:

MongoDB游标超时问题的4种解决方法

只有当你使用for循环开始迭代它的时候,游标才会真正去数据库里面读取数据。

但是,如果每一次循环都连接数据库,那么网络连接会浪费大量时间。

所以pymongo会一次性获取100行,for row in handler.find()循环第一次的时候,它会连上MongoDB,读取一百条数据,缓存到内存中。于是第2-100次循环,数据都是直接从内存里面获取,不会再连接数据库。

当循环进行到底101次的时候,再一次连接数据库,再读取第101-200行内容……

这个逻辑非常有效地降低了网络I/O耗时。

但是,MongoDB默认游标的超时时间是10分钟。10分钟之内,必需再次连接MongoDB读取内容刷新游标时间,否则,就会导

致游标超时报错:

pymongo.errors.CursorNotFound: cursor id 211526444773 not found

如下图所示:

MongoDB游标超时问题的4种解决方法

所以,回到最开始的代码中来,如果parse_data每次执行的时间超过6秒钟,那么它执行100次的时间就会超过10分钟。此时,当程序想读取第101行数据的时候,程序就会报错。

为了解决这个问题,我们有4种办法:

  1. 修改MongoDB的配置,延长游标超时时间,并重启MongoDB。由于生产环境的MongoDB不能随便重启,所以这个方案虽然有用,但是排除。
  2. 一次性把数据全部读取下来,再做处理:
all_data = [row for row in handler.find()]

for row in all_data:
 parse(row)

这种方案的弊端也很明显,如果数据量非常大,你不一定能全部放到内存里面。即使能够全部放到内存中,但是列表推导式遍历了所有数据,紧接着for循环又遍历一次,浪费时间。

  3.让游标每次返回的数据小于100条,这样消费完这一批数据的时间就会小于10分钟:

# 每次连接数据库,只返回50行数据
for row in handler.find().batch_size(50): 
 parse_data(row)

但这种方案会增加数据库的连接次数,从而增加I/O耗时。

  4.让游标永不超时。通过设定参数no_cursor_timeout=True,让游标永不超时:

cursor = handler.find(no_cursor_timeout=True)
for row in cursor:
 parse_data(row)
cursor.close() # 一定要手动关闭游标

然而这个操作非常危险,因为如果你的Python程序因为某种原因意外停止了,这个游标就再也无法关闭了!除非重启MongoDB,否则这些游标会一直留在MongoDB上,占用资源。

当然可能有人会说,使用try...except把读取数据的地方包住,只要抛出了异常,在处理异常的时候关闭游标即可:

cursor = handler.find(no_cursor_timeout=True)
try:
 for row in cursor:
 parse_data(row)
except Exception:
 parse_exception()
finally:
 cursor.close() # 一定要手动关闭游标

其中finally里面的代码,无论有没有异常,都会执行。

但这样写会让代码非常难看。为了解决这个问题,我们可以使用游标的上下文管理器:

with handler.find(no_cursor_timeout=True) as cursor:
 for row in cursor:
  parse_data(row)

只要程序退出了with的缩进,游标自动就会关闭。如果程序中途报错,游标也会关闭。

它的原理可以用下面两段代码来解释:

class Test:
 def __init__(self):
  self.x = 1

 def echo(self):
  print(self.x)

 def __enter__(self):
  print('进入上下文')
  return self

 def __exit__(self, *args):
  print('退出上下文')
  
with Test() as t:
 t.echo()
print('退出缩进')

运行效果如下图所示:

MongoDB游标超时问题的4种解决方法

接下来在with的缩进里面人为制造异常:

class Test:
 def __init__(self):
  self.x = 1

 def echo(self):
  print(self.x)

 def __enter__(self):
  print('进入上下文')
  return self

 def __exit__(self, *args):
  print('退出上下文')
  
with Test() as t:
 t.echo()
 1 + 'a' # 这里一定会报错
print('退出缩进')

运行效果如下图所示:

MongoDB游标超时问题的4种解决方法

无论在with的缩进里面发生了什么,Test这个类中的__exit__里面的代码始终都会运行。

我们来看看pymongo的游标对象里面,__exit__是怎么写的,如下图所示:

MongoDB游标超时问题的4种解决方法

可以看到,这里正是关闭游标的操作。

因此,如果我们使用上下文管理器,就可以放心大胆地使用no_cursor_timeout=True参数了。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对的支持。

标签:
mongodb游标超时,mongodb,游标

圆月山庄资源网 Design By www.vgjia.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
圆月山庄资源网 Design By www.vgjia.com

《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线

暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。

艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。

《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。