Python爬虫实现（伪）球迷速成

脚本专栏 2024/11/7 佚名

3 2 1

圆月山庄资源网 Design By www.vgjia.com

还有4天就世界杯了，作为一个资深（伪）球迷，必须要实时关注世界杯相关新闻，了解各个球队动态，这样才能在一堆球迷中如（大）鱼（吹）得（特）水（吹），迎接大家仰慕的目光!

给大家分享一个快速了解相关信息的办法：刷论坛！我们来一起做个虎扑论坛的爬虫吧！

抓包获取虎扑论坛相关帖子内容，逐条显示！

先来观察下网页，打开论坛首页，选择国际足球

然后往下拉，找到世界杯相关内容

这里就是我们的目标了，所有相关的新闻都会在这里显示，用F12打开“开发者工具”然后往下浏览看看数据包

注意箭头指向的那几个地方！

这就是刚才浏览的新闻所在的json包，来看看具体数据是什么

ok，标题、地址、发布时间包括来源都已经出现了!我们可以直接抓取json数据然后取出相关内容！

再进入具体新闻页面看看

世界杯快到了，看我用Python爬虫实现（伪）球迷速成！

所有的文本内容，都在<div class="artical-main-content">这个标签下的<p></p>标签内，我们可以用xpath直接取div下的所有文本内容!

这里就不一一说明了，直接上代码，并录个小的GIF图片给大家看看效果

#Q群542110741
# -*- coding:utf-8 -*-
import requests
from lxml import etree

header = {
  'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:60.0) Gecko/20100101 Firefox/60.0',
  'Host':'soccer.hupu.com',
  'Referer':'https://soccer.hupu.com/'}
i = 0
while 1:
  #构建循环页面翻页
  url = 'https://soccer.hupu.com/home/latest-news"artical-content-read"]')[0].xpath('string(.)').strip()
    print('\n'+'内容：'+'\n'*2,datas,'\n')
    #可由用户手动退出循环
    if input('任意键继续，“q”退出') in ['q', 'Q']:
      exit()

总结

以上所述是小编给大家介绍的Python爬虫实现（伪）球迷速成，希望对大家有所帮助，如果大家有任何疑问欢迎给我留言，小编会及时回复大家的！

python,爬虫实现球迷,python,爬虫

标签：

python,爬虫实现球迷,python,爬虫

圆月山庄资源网 Design By www.vgjia.com

广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com

圆月山庄资源网 Design By www.vgjia.com

评论“Python爬虫实现（伪）球迷速成”

暂无评论...

P70系列延期，华为新旗舰将在下月发布

3月20日消息，近期博主@数码闲聊站透露，原定三月份发布的华为新旗舰P70系列延期发布，预计4月份上市。

而博主@定焦数码爆料，华为的P70系列在定位上已经超过了Mate60，成为了重要的旗舰系列之一。它肩负着重返影像领域顶尖的使命。那么这次P70会带来哪些令人惊艳的创新呢？
根据目前爆料的消息来看，华为P70系列将推出三个版本，其中P70和P70 Pro采用了三角形的摄像头模组设计，而P70 Art则采用了与上一代P60 Art相似的不规则形状设计。这样的外观是否好看见仁见智，但辨识度绝对拉满。

更新日志

2024年11月07日

Python爬虫实现（伪）球迷速成

python,爬虫实现球迷,python,爬虫

pandas 对每一列数据进行标准化的方法

Python实现读写INI配置文件的方法示例

评论“Python爬虫实现（伪）球迷速成”

P70系列延期，华为新旗舰将在下月发布

更新日志

友情链接