scrpay爬取网页中的url

您可以使用Scrapy框架来爬取网页中的URL。下面是一个简单的示例代码：

import scrapy

class MySpider(scrapy.Spider):
    name = 'my_spider'

    def start_requests(self):
        urls = ['http://www.example.com']  # 要爬取的网页URL
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        # 在这里处理网页响应
        # 提取URL并进行处理
        urls = response.css('a::attr(href)').getall()
        for url in urls:
            # 处理提取到的URL，可以发送请求或者保存数据
            # 例如：yield scrapy.Request(url=url, callback=self.parse)
            pass

您可以将上述代码保存为一个Python文件，并在命令行中运行以下命令来启动爬虫：

scrapy runspider your_spider.py

在`parse`方法中，您可以使用Scrapy选择器（如`response.css`）来提取网页中的URL。您可以根据需要进行进一步处理，例如发送请求或保存数据。请注意，这只是一个简单的示例，您可能需要根据具体的需求进行适当的修改和扩展。