一日一技：Scrapy如何发起假请求？

在使用Scrapy的时候，我们可以通过在pipelines.py里面定义一些数据处理流程，让爬虫在爬到数据以后，先处理数据再储存。这本来是一个很好的功能，但容易被一些垃圾程序员拿来乱用。

我看到过一些Scrapy爬虫项目，它的代码是这样写的：

1
2
3
4
5
6
7
8
9
10
11

...

def start_requests(self):
    yield scrapy.Request('https://baidu.com')

def parse(self,...
剩余内容已隐藏
查看完整文章以阅读更多
查看完整文章