python爬取内容存入Excel实例

脚本专栏 2024/12/23 佚名

3 2 1

圆月山庄资源网 Design By www.vgjia.com

最近老师布置了个作业，爬取豆瓣top250的电影信息。按照套路，自然是先去看看源代码了，一看，基本的信息竟然都有，心想这可省事多了。简单分析了下源代码，标记出所需信息的所在标签，ok，开始干活！

鉴于正则表达式的资料已经看了不少，所以本次除了beautifulsoup外，还有些re的使用，当然，比较简单。而爬到信息后，以往一般是存到txt文件，或者数据库中，老是重样的操作，难免有些‘厌倦'。心想，干嘛不存到Excel表呢？对啊，可以存到Excel表。

环境准备：pip install openpyxl (假设你已配好了python环境)

好了，废话少说，上代码。

# coding=UTF-8
'''
 function:爬取豆瓣top250的电影信息，并写入Excel文件
'''
import requests
import re
from openpyxl import workbook # 写入Excel表所用
from openpyxl import load_workbook # 读取Excel表所用
from bs4 import BeautifulSoup as bs
import os
os.chdir('C:\Users\Administrator\Desktop') # 更改工作目录为桌面
 
 
def getHtml(src):
 html = requests.get(src).content
 getData(html, src) # 首页链接和其他页不同，所以单独获取信息
 urls = re.findall('href="(.*filter="换行"都算作是子节点！莫名地有点方...不知各位有没有遇到过。

如图，我按列表下标标记，0,2,4,6,8是换行，但也被算作子节点...
2.还是contents方法，代码中的 '#得到电影所有名称' 处的代码 n.contents[1]获取的除了a标签外，还有其下的span标签，这是为何？它们算一个整体？

3.对如下图的电影信息处理时，出现了几处错误，原因有以下几点：
(1)部分电影没有主演信息...
(2)主演信息为这样'主演: '，就一个主演字样，无内容
(3)部分电影没有简介
(4)当主演信息中没有'...'时，获取主演信息受阻
 解决方案:(1)(2)都是主演问题，判断是否存在即可。（我以捕获异常处理）
(3)是简介问题，我无法给出具体哪部电影没有简介，但给了该电影所在的页面链接，可访问核查。（貌似有点笨）
(4)获取受阻是因为后面没有精确定位点，最后以re.split('[1-2]+')方法解决，匹配年份第一位作为分片点

本次分享就到这儿了，最后，照旧放几张结果图吧。


以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。