python网络爬虫案例源码

Python网络爬虫是一种常用的技术，用于从网站上抓取数据。以下是一个简单的Python爬虫案例，使用了`requests`库来发送HTTP请求，`BeautifulSoup`库来解析HTML内容：

# 导入需要的库
import requests
from bs4 import BeautifulSoup

# 定义目标URL
url = 'https://www.example.com'

# 发送GET请求
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    # 解析HTML内容
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 查找并提取特定的数据，例如所有链接
    links = [a['href'] for a in soup.find_all('a', href=True)]
    
    # 打印提取到的链接
    for link in links:
        print(link)
else:
    print(f"请求失败，状态码：{response.status_code}")

相关问题

python爬虫案例源码

Python爬虫是一种常见的网络数据抓取技术，它通过编写脚本去自动化访问网站并提取所需信息。下面是一个简单的Python爬虫案例，使用了requests库获取网页内容，BeautifulSoup解析HTML：

# 导入所需的库
import requests
from bs4 import BeautifulSoup

def simple_scraper(url):
    # 发送GET请求
    response = requests.get(url)
    
    # 检查请求是否成功
    if response.status_code == 200:
        # 解析响应的HTML内容
        soup = BeautifulSoup(response.text, 'html.parser')
        
        # 找到需要的数据，比如标题
        title = soup.find('title').text
        
        # 输出结果
        print(f"Title: {title}")
    else:
        print("Failed to fetch the webpage.")

# 使用爬虫
url_to_crawl = "https://www.example.com"
simple_scraper(url_to_crawl)

python爬虫案例源码csv

Python爬虫案例源码CSV通常涉及到使用像`requests`库获取网页内容，然后使用`BeautifulSoup`或`Scrapy`解析HTML数据，并将结果保存到CSV文件中。这里是一个简单的例子，我们将抓取一个网站上的商品名称和价格并存储在CSV文件：

import requests
from bs4 import BeautifulSoup
import csv

# 目标URL
url = 'https://example.com/products'

# 发送请求
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# 提取商品信息（这里假设每个商品信息在HTML中的class是'msg')
items = soup.find_all('div', class_='msg')

data = []
for item in items:
    name = item.find('h2').text
    price = item.find('span', class_='price').text
    data.append((name, price))

# 写入CSV文件
with open('products.csv', mode='w', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    writer.writerow(['Name', 'Price'])  # 写表头
    writer.writerows(data)