圆月山庄资源网

python爬虫中的url下载器用法详解
脚本专栏 2024/11/1 佚名
3 2
圆月山庄资源网 Design By www.vgjia.com

前期的入库筛选工作已经由url管理器完成了，整理的工作自然要由url下载器接手。当我们需要爬取的数据已经去重后，下载器的主要任务的是这些数据下载下来。所以它的使用也并不复杂，不过需要借助到我们之前所学过的一个库进行操作，相信之前的基础大家都学的很牢固。下面小编就来为大家介绍url下载器及其使用的方法。

下载器的作用就是接受URL管理器传递给它的一个url，然后把该网页的内容下载下来。python自带有urllib和urllib2等库（这两个库在python3中合并为urllib），它们的作用就是获取指定的网页内容。不过，在这里我们要使用一个更加简洁好用而且功能更加强大的模块：Requests。

Requests并非python自带模块，需要安装。关于其具体使用方法请查看以往文章，在此不多做介绍。

下载器接受一个url作为参数，返回值为下载到的网页内容（格式为str）。下面就是一个简单的下载器，其中只有一个简单的函数download()：

'''
-----------------------------------------------------------------
HtmlDownloader
'''
class HtmlDownloader(object):
  def download(self, url):
    print "start download"
    if url is None:
      return None
      print "url is None"
    user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36'
    headers = {'User-Agent':user_agent}
    print "start requests"
    r = requests.get(url, headers=headers)
    #判断响应状态
    if r.status_code == 200:
      r.encoding = 'utf-8'
      print "该页面下载成功！{}".format(url)
      return r.text
    else:
      print "该页面下载失败！{}".format(url)
    return None

在requests请求中设置User-Agent的目的是伪装成浏览器，这是一只优秀的爬虫应该有的觉悟。

有些小伙伴已经猜出来了，requests库和我们的爬取数据密不可分，搭配着url下载器我们就可以成功抓取想要的数据了

知识点扩展：

url下载器

  • URL下载器应该包含两个仓库，分别存放没有爬取过的链接和已经爬取过的链接。
  • 应该有一些函数负责往上述两个仓库里添加链接
  • 应该有一个函数负责从新url仓库中随机取出一条链接以便下载器爬取
  • URL下载器应该能识别重复的链接，已经爬取过的链接就不需要放进仓库了
标签：
python爬虫,url,下载器
圆月山庄资源网 Design By www.vgjia.com
广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
圆月山庄资源网 Design By www.vgjia.com
www.vgjia.com 圆月山庄资源网
139,976互联网资源
144,792高清电影
21,817无损音乐
631,128技术资源

更新日志

友情链接

杰晶网络 DDR爱好者之家 桃源资源网 杰网资源 富贵资源网 南强小屋 铁雪资源网 幽灵资源网 万梅资源网 狼山资源网 白云岛资源网 昆仑资源网 相思资源网 明霞山资源网 内蒙古资源网 黑松山资源网 茶园资源网 饿虎岗资源网 大旗谷资源网 常春岛资源网 岱庙资源网 兴国资源网 快活林资源网 蝙蝠岛资源网 帝王谷资源网 白云城资源网 伏龙阁资源网 清风细雨楼 天枫庄资源网 圆月山庄资源网 无争山庄资源网 神水资源网 移花宫资源网 神剑山庄资源网 无为清净楼资源网 金钱帮资源网 丐帮资源网 华山资源网 极乐门资源网 小李飞刀资源网 凤求凰客栈 风云阁资源网 金狮镖局 鸳鸯亭资源网 千金楼资源网 更多链接