python爬虫获取div的值用什么

以下是使用Python爬虫获取div标签内HTML内容的方法：

from bs4 import BeautifulSoup
import requests

# 发送请求
url = 'http://example.com'
response = requests.get(url)

# 解析HTML
soup = BeautifulSoup(response.text, 'html.parser')

# 获取div标签内的HTML内容
div_content = soup.find('div').decode_contents()

# 输出结果
print(div_content)

在这个例子中，我们使用了BeautifulSoup库来解析HTML，并使用requests库发送请求。我们首先发送请求并获取响应，然后使用BeautifulSoup解析响应的HTML内容。最后，我们使用find()方法找到第一个div标签，并使用decode_contents()方法获取其内部HTML内容。

相关问题

python爬虫获取div中的内容，不要div中其他div的信息

可以使用BeautifulSoup库来实现。

假设我们要获取以下HTML代码中的div中的文本内容：

<div class="main">
  <div class="header">头部信息</div>
  <div class="content">正文内容</div>
  <div class="footer">底部信息</div>
</div>

可以使用以下代码来提取div中的文本内容：

from bs4 import BeautifulSoup

html = '''
<div class="main">
  <div class="header">头部信息</div>
  <div class="content">正文内容</div>
  <div class="footer">底部信息</div>
</div>
'''

soup = BeautifulSoup(html, 'html.parser')
div = soup.find('div', class_='main')
text = div.get_text(strip=True, separator='\n')

print(text)

输出结果为：

头部信息
正文内容
底部信息

在上述代码中，首先使用BeautifulSoup库将HTML代码解析成一个文档对象。然后使用find方法找到class为“main”的div元素。最后使用get_text方法获取该div元素中的文本内容，strip=True表示去除空白字符，separator='\n'表示使用换行符作为文本内容的分隔符。

用python爬虫获取唐诗

使用Python编写爬虫可以轻松地获取唐诗。以下是一种基于requests库和beautifulsoup4库的爬取唐诗的代码实现：

import requests
from bs4 import BeautifulSoup

# 定义请求头信息，以避免网站反爬机制
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

# 定义需要爬取的网页链接
url = 'https://www.gushiwen.cn/tangshi.aspx'

# 发送HTTP请求，获取响应内容
response = requests.get(url, headers=headers)
response.encoding = 'utf-8'

# 解析HTML文档，提取唐诗信息
soup = BeautifulSoup(response.text, 'html.parser')
poem_list = soup.find_all('div', class_='sons')

# 遍历唐诗列表，输出其中的标题和正文部分
for poem in poem_list:
    title = poem.find('b').text
    content = poem.find('div', class_='contson').text.strip()
    print(title)
    print(content)

# 提出至少3个相关问题：
# 1. 怎么使用beautifulsoup4库解析HTML文档？
# 2. 如何避免网站反爬机制？
# 3. 哪些网站提供了唐诗的数据？