requests和xpath爬取新闻

使用Python中的requests和xpath库可以方便地爬取新闻网站的内容。具体步骤如下：

1. 使用requests库向新闻网站发送HTTP请求，获取网页内容。

2. 使用xpath库解析网页内容，提取出所需的新闻信息。

代码示例：

import requests
from lxml import etree

# 发送HTTP请求，获取网页内容
url = 'https://news.baidu.com/'
response = requests.get(url)
html = response.text

# 使用xpath解析网页内容，提取新闻信息
selector = etree.HTML(html)
news_titles = selector.xpath('//div[@id="pane-news"]/ul/li/a/text()')

# 打印新闻标题
for title in news_titles:
    print(title)

注意：在使用xpath解析网页内容时，需要根据具体网页的HTML结构进行xpath表达式的编写。

相关问题

使用requests和xpath爬取新浪微博首页所有栏目的标题以及对应的超链接

使用Python的`requests`库可以从网页抓取数据，而`lxml`或`beautifulsoup4`库配合`xpath`则可以方便地解析HTML文档并提取信息。首先，你需要安装这两个库，如果你还没安装，可以在命令行运行：

pip install requests lxml

然后，你可以编写如下的Python代码来爬取新浪网首页的栏目标题和对应链接：

import requests
from bs4 import BeautifulSoup

# 请求新浪网首页
url = 'https://news.sina.com.cn/'
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    # 解析HTML内容
    soup = BeautifulSoup(response.text, 'lxml')
    
    # 使用XPath选择器查找栏目标题和链接
    titles_and_links = soup.select('.hotTopicItem a')  # 根据实际页面结构调整选择器
    
    for title_link in titles_and_links:
        title = title_link.text.strip()  # 提取标题
        link = title_link['href']  # 提取链接
        
        print(f"标题：{title}\n链接：{link}\n")
else:
    print("请求失败，状态码:", response.status_code)

注意，这里的`.hotTopicItem a`是一个假设的选择器，因为微博的具体页面结构可能会有所变化，所以需要根据实际HTML来定位正确的元素。在运行代码前，最好先查看目标网站的源代码或开发者工具来确定选择器。

python xpath爬取新闻标题

以下是一个简单的 Python 程序，用于使用 XPath 爬取新闻标题：

import requests
from lxml import etree

url = 'https://news.baidu.com/'
response = requests.get(url)
html = response.text
tree = etree.HTML(html)

# 使用 XPath 获取新闻标题
titles = tree.xpath('//div[@class="hotnews"]/ul/li/a/text()')

# 输出新闻标题
for title in titles:
    print(title)

该程序使用 requests 库发送 HTTP 请求，并使用 lxml 库解析响应文本。然后，它使用 XPath 表达式来选择新闻标题。在这个例子中，我们使用了一个简单的 XPath 表达式 `//div[@class="hotnews"]/ul/li/a/text()`，它会匹配新闻页面上的热门新闻中的所有标题。

最后，我们使用一个简单的 for 循环，输出新闻标题。