def parse(self, response): global count html = response.text movies_name = re.findall(r'class="m-b-sm">(.*?)</h2>',html)[0] rating = re.findall(r'm-b-n-sm">\n *(.*?)</p>',html) plot_summary = re.findall(r'<p data-v-63864230="">\n *(.*?)\n *</p></div>',html) url=self.start_urls[count] count += 1

这段代码是一个 Scrapy 爬虫的解析函数，用于从响应中提取数据。具体来说，它做了以下几个事情：

1. 将响应的 HTML 文本提取到变量 html 中。
2. 使用正则表达式从 html 中提取电影名称（第一条 re.findall 的结果），评分和剧情概述（第二、三条 re.findall 的结果）。
3. 将爬取到的数据存储到对应的变量（movies_name、rating、plot_summary）中。
4. 获取当前爬虫正在爬取的 URL，并将 count 值加 1，以便下次解析下一个 URL。

需要注意的是，这里使用了全局变量 count，这意味着该爬虫只能单线程运行，否则可能会出现多个请求同时修改 count 值的情况。

相关问题

def main(self): start_response = self.get_response(url=self.start_url) self.parse_start_url(response=start_response) [pool.submit(self.parse_book_info, self.queue.get()) for i in range(self.queue.qsize())]

这是一个主函数`main()`的代码片段。在这个函数中，首先调用`get_response()`方法获取起始页面的响应，并将响应保存在`start_response`变量中。然后，调用`parse_start_url()`方法对起始页面的响应进行解析。

接下来，使用列表推导式并发地提交任务到线程池中。使用`self.queue.get()`从队列中获取待处理的任务，并调用`parse_book_info()`方法对任务进行解析。`range(self.queue.qsize())`指定了循环的次数，确保每个任务都被处理。

这段代码的目的是通过多线程并发地解析图书信息。通过使用线程池和队列来管理任务，可以提高解析的效率。

请注意，这只是代码片段的一部分，缺少了前面的方法定义和可能的变量声明。完整的代码可能包含更多的逻辑和功能。

import requests from bs4 import BeautifulSoup import openpyxl class LianJiaSpider(): def __init__(self): self.url = 'https://bj.lianjia.com/ershoufang/pg{0}/' self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36 SLBrowser/8.0.0.12022 SLBChan/109'} def send_request(self, url): resp = requests.get(url, headers=self.headers) if resp.status_code == 200: return resp def parse_html(self, resp): lst = [] html = resp.text bs = BeautifulSoup(html, 'lxml') ul = bs.find('ul', class_='sellListContent') li_list = ul.find_all('li') for item in li_list: title = item.find('div', class_='title').text positionInfo = item.find('div', class_='positionInfo').text address = item.find('div', class_='address').text followInfo = item.find('div', class_='followInfo').text tag = item.find('div', class_='tag').text totalPrice = item.find('div', class_='totalPrice totalPrice2').text unitPrice = item.find('div', class_='unitPrice').text # print(unitPrice) lst.append((title, positionInfo, address, followInfo, tag, totalPrice, unitPrice)) print(lst) self.save(lst) def save(self, lst): wb = openpyxl.Workbook() sheet = wb.active for row in lst: sheet.append(row) continue wb.save('D:/爬虫/链家.csv') def start(self): for i in range(1, 5): full_url = self.url.format(i) resp = self.send_request(full_url) #print(resp.text) self.parse_html(resp) if __name__ == '__main__': lianjia = LianJiaSpider() lianjia.start()使用以上代码爬取数据保存到文件中只显示最后一页30条数据，前面页码的数据都被覆盖了，如何更改

在 `save` 方法中，每次循环都重新创建了一个新的 `Workbook` 对象，因此在保存数据时会覆盖之前的数据。您可以将 `Workbook` 对象的创建放在 `__init__` 方法中，这样每次保存数据时都可以使用同一个 `Workbook` 对象。另外，您还可以将文件名中的页码部分替换为变量 `i`，这样每次保存的文件都会有不同的文件名，不会被覆盖。修改后的代码如下：

import requests
from bs4 import BeautifulSoup
import openpyxl 

class LianJiaSpider():
    def __init__(self):
        self.url = 'https://bj.lianjia.com/ershoufang/pg{0}/'
        self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36 SLBrowser/8.0.0.12022 SLBChan/109'}
        self.wb = openpyxl.Workbook()
        self.sheet = self.wb.active
        self.sheet.append(('标题', '位置', '地址', '关注信息', '标签', '总价', '单价'))

    def send_request(self, url):
        resp = requests.get(url, headers=self.headers)
        if resp.status_code == 200:
            return resp

    def parse_html(self, resp):
        html = resp.text
        bs = BeautifulSoup(html, 'lxml')
        ul = bs.find('ul', class_='sellListContent')
        li_list = ul.find_all('li')
        for item in li_list:
            title = item.find('div', class_='title').text
            positionInfo = item.find('div', class_='positionInfo').text
            address = item.find('div', class_='address').text
            followInfo = item.find('div', class_='followInfo').text
            tag = item.find('div', class_='tag').text
            totalPrice = item.find('div', class_='totalPrice totalPrice2').text
            unitPrice = item.find('div', class_='unitPrice').text
            self.sheet.append((title, positionInfo, address, followInfo, tag, totalPrice, unitPrice))
        print('第{}页数据爬取完成'.format(i))

    def save(self):
        self.wb.save('D:/爬虫/链家_{}.csv'.format(i))

    def start(self):
        for i in range(1, 5):
            full_url = self.url.format(i)
            resp = self.send_request(full_url)
            self.parse_html(resp)
            self.save()

if __name__ == '__main__':
    lianjia = LianJiaSpider()
    lianjia.start()

在修改后的代码中，我将文件名改为了 `"D:/爬虫/链家_{}.csv".format(i)`，这样每次保存的文件名都会包含页码，不会被覆盖。同时，我将保存数据的操作从 `parse_html` 方法中分离出来，放在了单独的 `save` 方法中，并且在 `__init__` 方法中创建了 `Workbook` 对象和表头。这样就可以避免每次循环都重新创建一个新的 `Workbook` 对象，从而避免了数据被覆盖的问题。