圆月山庄资源网

Scrapy使用的基本流程与实例讲解
脚本专栏 2024/11/6 佚名
3 2
圆月山庄资源网 Design By www.vgjia.com

前面已经介绍过如何创建scrapy的项目，和对项目中的文件功能的基本介绍。

这次，就来谈谈使用的基本流程：

（1）首先第一点，打开终端，找到自己想要把scrapy工程创建的路径。这里，我是建立在桌面上的。打开终端，输入：
cd Desktop 就进入了桌面文件存储位置。

Scrapy使用的基本流程与实例讲解

（2）创建scrapy工程。终端输入：scrapy startproject image

Scrapy使用的基本流程与实例讲解

终端输入：cd image

继续输入：scrapy genspider imageSpider pic.netbian.com

Scrapy使用的基本流程与实例讲解

（3）在pycharm中打开刚才桌面的文件，进入settings.py设置爬虫规则。可以将规则直接注释掉，或者改为False。

Scrapy使用的基本流程与实例讲解

（4） 回到爬虫文件。

Scrapy使用的基本流程与实例讲解

更改start_url,将爬虫默认的第一个网址更改为需要爬取的网站网址即可。

（5）下面就可以爬取数据了，这里选择了下载图片。

爬取完数据之后，要在存储数据的items.py文件中传输给管道

接下来在爬虫文件中引入管道模型。

from ..items import ImageItem

在爬虫文件中的parse函数中使用在items.py文件中创建的数据模型。

item = ImageItem()

注意点：

有时候在终端输出的时候，如果返回内容是scrapy.selector ,如果对象类型是scrapy.selector，那么这个对象可以被继续迭代，也可以用xpath继续寻找里面的内容。

如果终端遇到这个问题：

# ValueError:Missing scheme in request url:h

那么就需要使用extract（）将xpath对象转化成列表对象。而列表对象，可以继续被迭代，但是不可以使用xpath来寻找里面的对象。

在下载之前还需要在settings.py文件中，对图片下载的路径和存储位置进行设置。

Scrapy使用的基本流程与实例讲解

下面附代码如下。仅有爬虫文件的代码：

# -*- coding: utf-8 -*-
import scrapy
from ..items import ImageItem
class ImagespiderSpider(scrapy.Spider):
  name = 'imageSpider'
  allowed_domains = ['pic.netbian.com']
  start_urls = ['http://pic.netbian.com/4kmeinv/']
 
  def parse(self, response):
    img_list = response.xpath('//ul[@class="clearfix"]/li/a/img/@src')
    # 找到了很多src属性值，现在进行遍历，分别使用每一个
    for img in img_list:
      # 使用在items.py中创建的数据模型item
      item = ImageItem()
      print('--------------------')
      img = img.extract()
      # 拼接图片的url，得到完整的下载地址
      src = 'http://pic.netbian.com' +img
      # 将得到的数据放入到模型中
      # 因为是下载地址，所以要用列表包起来，否则会报错。
      item['src'] = [src]
      yield item
    next_url = response.xpath('//div[@class="page"]/a[text()="下一页"]/@href').extract()
    print('*****************************************************************')
    if len(next_url)!=0:
      url = 'http://pic.netbian.com'+next_url[0]
      # 将url传给scrapy.Request 得到的结果继续用self.parse进行处理
      yield scrapy.Request(url=url,callback=self.parse)

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对的支持。如果你想了解更多相关内容请查看下面相关链接

标签：
python,scrapy,scrapy,基本流程,scrapy,实例
圆月山庄资源网 Design By www.vgjia.com
广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
圆月山庄资源网 Design By www.vgjia.com
www.vgjia.com 圆月山庄资源网
139,976互联网资源
144,792高清电影
21,817无损音乐
631,128技术资源

更新日志

友情链接

杰晶网络 DDR爱好者之家 桃源资源网 杰网资源 富贵资源网 南强小屋 铁雪资源网 幽灵资源网 万梅资源网 狼山资源网 白云岛资源网 昆仑资源网 相思资源网 明霞山资源网 内蒙古资源网 黑松山资源网 茶园资源网 饿虎岗资源网 大旗谷资源网 常春岛资源网 岱庙资源网 兴国资源网 快活林资源网 蝙蝠岛资源网 帝王谷资源网 白云城资源网 伏龙阁资源网 清风细雨楼 天枫庄资源网 圆月山庄资源网 无争山庄资源网 神水资源网 移花宫资源网 神剑山庄资源网 无为清净楼资源网 金钱帮资源网 丐帮资源网 华山资源网 极乐门资源网 小李飞刀资源网 凤求凰客栈 风云阁资源网 金狮镖局 鸳鸯亭资源网 千金楼资源网 更多链接