scrapy 获取tag

Scrapy可以使用XPath来获取HTML页面中的标签。在给定的代码示例中，可以通过使用`etree.HTML(response.body).xpath()`来获取标签的内容。

例如，要获取页面中所有`<a>`标签的内容，可以使用以下代码：

link_text = etree.HTML(response.body).xpath('//a/text()')

如果要获取某个具体标签下的内容，可以使用该标签的XPath路径。例如，要获取页面中所有`<h1>`标签下的文本内容，可以使用以下代码：

h1_text = etree.HTML(response.body).xpath('//h1/text()')

以上是获取标签的文本内容的示例。如果你想获取标签的属性值，可以使用类似的方法，只需要将`text()`替换为对应的属性名称即可。

相关问题

java获取iframe,Scrapy+Selenium 获取iframe下的document

要获取页面中的 iframe，可以使用 WebDriver 的 `switchTo()` 方法来切换到 iframe 中。以下是一个示例代码：

WebElement iframeElement = driver.findElement(By.tagName("iframe"));
driver.switchTo().frame(iframeElement);

这将将 WebDriver 的焦点切换到找到的 iframe 中。之后，您可以使用 WebDriver 执行任何您需要的操作，例如查找 iframe 中的元素或执行相关的操作。

对于 Scrapy+Selenium 获取 iframe 下的 document，可以使用以下代码：

from scrapy import Spider
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

class MySpider(Spider):
    name = "my_spider"

    def start_requests(self):
        yield SeleniumRequest(
            url='http://example.com',
            wait_time=3,
            callback=self.parse
        )

    def parse(self, response):
        driver = response.meta['driver']
        iframe = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.TAG_NAME, "iframe")))
        driver.switch_to_frame(iframe)
        iframe_doc = driver.page_source
        
        # 处理 iframe_doc 中的内容
        # ...

在这个示例中，我们使用 Scrapy 和 Selenium，首先找到 iframe 元素，然后使用 `switch_to_frame()` 方法将 WebDriver 的焦点切换到 iframe 中。最后，我们可以使用 `driver.page_source` 来获取 iframe 中的 HTML 文档，并在之后的代码中进行处理。

scrapy爬虫代码实例

好的，这里给你一个简单的Scrapy爬虫代码实例，可以爬取豆瓣图书的信息：

import scrapy

class DoubanSpider(scrapy.Spider):
    name = 'douban'
    allowed_domains = ['book.douban.com']
    start_urls = ['https://book.douban.com/tag/']

    def parse(self, response):
        tags = response.css('.tagCol td a::attr(href)').getall()
        for tag in tags:
            yield response.follow(tag, callback=self.parse_books)

    def parse_books(self, response):
        books = response.css('.subject-item')
        for book in books:
            yield {
                'title': book.css('h2 a::text').get(),
                'author': book.css('.pub::text').get(),
                'rating': book.css('.rating_nums::text').get(),
                'cover': book.css('.nbg img::attr(src)').get()
            }

        next_page = response.css('.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, callback=self.parse_books)

这个爬虫会首先访问豆瓣图书标签页，获取所有标签的链接，然后依次访问每个标签的页面，提取页面上的图书信息。最后，如果有下一页的话，会继续访问下一页。

注意，这个代码仅供参考，如果你要使用它爬取数据，请先确认是否符合网站的爬取规则，避免触发反爬虫机制。