python爬虫获取div的值用什么

以下是使用Python爬虫获取div标签内HTML内容的方法：

from bs4 import BeautifulSoup
import requests

# 发送请求
url = 'http://example.com'
response = requests.get(url)

# 解析HTML
soup = BeautifulSoup(response.text, 'html.parser')

# 获取div标签内的HTML内容
div_content = soup.find('div').decode_contents()

# 输出结果
print(div_content)

在这个例子中，我们使用了BeautifulSoup库来解析HTML，并使用requests库发送请求。我们首先发送请求并获取响应，然后使用BeautifulSoup解析响应的HTML内容。最后，我们使用find()方法找到第一个div标签，并使用decode_contents()方法获取其内部HTML内容。

相关问题

用python爬虫获取唐诗

使用Python编写爬虫可以轻松地获取唐诗。以下是一种基于requests库和beautifulsoup4库的爬取唐诗的代码实现：

import requests
from bs4 import BeautifulSoup

# 定义请求头信息，以避免网站反爬机制
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

# 定义需要爬取的网页链接
url = 'https://www.gushiwen.cn/tangshi.aspx'

# 发送HTTP请求，获取响应内容
response = requests.get(url, headers=headers)
response.encoding = 'utf-8'

# 解析HTML文档，提取唐诗信息
soup = BeautifulSoup(response.text, 'html.parser')
poem_list = soup.find_all('div', class_='sons')

# 遍历唐诗列表，输出其中的标题和正文部分
for poem in poem_list:
    title = poem.find('b').text
    content = poem.find('div', class_='contson').text.strip()
    print(title)
    print(content)

# 提出至少3个相关问题：
# 1. 怎么使用beautifulsoup4库解析HTML文档？
# 2. 如何避免网站反爬机制？
# 3. 哪些网站提供了唐诗的数据？

用python爬虫获取房原码

使用Python进行爬虫获取房源码，一般需要以下步骤：

1. 选择爬取的网站，并分析该网站的HTML结构及数据获取方式。

2. 使用Python中的requests库向目标网站发送HTTP请求，获取网页源代码。

3. 使用正则表达式或者BeautifulSoup等库，从网页源代码中提取所需的数据。

4. 保存数据到本地或者数据库中。

下面是一个简单的示例代码，以爬取链家网站上北京市二手房信息为例：

import requests
from bs4 import BeautifulSoup

url = 'https://bj.lianjia.com/ershoufang/'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}

response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
house_list = soup.find('ul', class_='sellListContent').find_all('li')

for house in house_list:
    title = house.find('div', class_='title').text.strip()
    link = house.find('a')['href']
    price = house.find('div', class_='totalPrice').text.strip()
    print(title, link, price)