Scrapy框架中如何更改下载中间件里的headers？

点击上方“Python共享之家”，进行关注

回复“资源”即可获赠Python学习资料

今

日

鸡

汤

日光斜照集灵台，红树花迎晓露开。

大家好，我是我是皮皮。

一、前言

前几天在Python最强王者交流群有个叫【麦当】的粉丝问了一个关于Scrapy框架中如何更改下载中间件里的headers问题，这里拿出来给大家分享下，一起学习。

二、解决过程

如果只是单纯的一次性添加，那么可以使用下面这个方式，直接在settings.py文件中设置：

但是他想动态的修改，这样的话，单纯的修改就有点力不从心了。

不过不慌，这个这里给出【小王】大佬的解答，一起来看看吧，下面是他给的一个示例代码，下面这个代码写在middleware.py文件。

fromfake_useragentimportUserAgentclassRandomUserAgentMiddleware:defprocess_request(self,request,spider):request.headers.setdefault("User-Agent",UserAgent().chrome)

下面这个代码写在settings.py文件里边，如下所示：

settings.pyDOWNLOADER_MIDDLEWARES={#"anjuke.middlewares.RandomProxyMiddleware":543,"anjuke.middlewares.RandomUserAgentMiddleware":400,}

三、总结

大家好，我是皮皮。这篇文章基于粉丝提问，针对Scrapy框架中如何更改下载中间件里的headers问题，给出了具体说明和演示，顺利的帮助粉丝解决了问题。

最后感谢粉丝【麦当】提问，感谢【dcpeng】和【小王】大佬给出的示例和代码支持。

小伙伴们，快快用实践一下吧！如果在学习过程中，有遇到任何问题，欢迎加我好友，我拉你进Python学习交流群共同探讨学习。

-------------------End-------------------

往期精彩文章推荐：

拼刀刀店铺后台的参数anti-content逆向分析

盘点一个名为摸鱼的Python库，一起来摸鱼吧！

Jsrpc学习——网易云热评加密函数逆向

Jsrpc学习——Cookie变化的网站破解教程

欢迎大家点赞，留言，转发，转载，感谢大家的相伴与支持

想加入Python学习群请在后台回复【入群】

万水千山总是情，点个【在看】行不行

关键词： 万水千山总是情 学习交流 力不从心