scrapy关闭ssl,请给出详细步骤,及修改的代码块
时间: 2023-04-02 07:04:07 浏览: 273
可以通过在settings.py文件中设置以下代码来关闭ssl:
DOWNLOADER_CLIENT_TLS_METHOD = 'TLSv1'
如果需要在代码中关闭ssl,可以在spider中添加以下代码:
import scrapy
class MySpider(scrapy.Spider):
custom_settings = {
'DOWNLOADER_CLIENT_TLS_METHOD': 'TLSv1',
}
def start_requests(self):
yield scrapy.Request(url='https://www.example.com', callback=self.parse)
def parse(self, response):
# 解析代码
这样就可以在scrapy中关闭ssl了。
阅读全文