写一个python爬虫的例子

好的，以下是一个简单的 Python 爬虫例子，用于获取某个网站的文章标题和链接：

import requests
from bs4 import BeautifulSoup

url = 'https://www.example.com/articles'

response = requests.get(url)

soup = BeautifulSoup(response.text, 'html.parser')

articles = []

for article in soup.find_all('article'):
    title = article.find('h2').text.strip()
    link = article.find('a')['href']
    articles.append({'title': title, 'link': link})

print(articles)

这个爬虫会向指定的网站发送请求，然后使用 BeautifulSoup 库解析 HTML 页面，查找所有文章的标题和链接，并将它们保存到一个列表中。最后，打印出这个列表。需要注意的是，爬虫在访问网站时应该遵循网站的 robots.txt 文件，以确保不会对网站造成不必要的影响。

相关问题

python爬虫例子

Python 爬虫是利用 Python 编程语言编写的一种网络爬虫，可以自动化地从互联网上获取所需数据。下面是几个常见的 Python 爬虫例子：

1. 爬取豆瓣电影 Top250：使用 requests 库发起请求获取页面源码，再使用 BeautifulSoup 库进行解析，提取出电影名称、评分等信息。

2. 爬取新浪新闻：使用 requests 库获取新闻列表页的页面源码，再使用正则表达式或 BeautifulSoup 库进行解析，提取出新闻标题、时间等信息。

3. 爬取知乎热榜：使用 requests 库获取知乎热榜页面的源码，再使用 BeautifulSoup 库进行解析，提取出热门问题和对应的回答等信息。

4. 爬取淘宝商品信息：使用 Selenium 库模拟浏览器操作，获取搜索结果页面的源码，再使用正则表达式或 BeautifulSoup 库进行解析，提取出商品名称、价格、销量等信息。

5. 爬取网易云音乐歌曲：使用 requests 库获取歌曲列表页的源码，再使用 BeautifulSoup 库进行解析，提取出歌曲名称、歌手、专辑等信息。

python 爬虫例子

以下是一些Python爬虫的例子：

1. 使用requests库进行简单的网页爬取：

import requests

url = 'https://www.example.com'
response = requests.get(url)
print(response.text)

2. 使用BeautifulSoup库解析HTML页面：

import requests
from bs4 import BeautifulSoup

url = 'https://www.example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
print(soup.title)

3. 使用Selenium库模拟浏览器行为：

from selenium import webdriver

driver = webdriver.Chrome()
driver.get('https://www.example.com')
print(driver.title)
driver.quit()

4. 使用Scrapy框架进行高级的网页爬取：

import scrapy

class MySpider(scrapy.Spider):
    name = 'example'
    start_urls = ['https://www.example.com']

    def parse(self, response):
        # 解析网页内容
        title = response.css('title::text').get()
        print(title)

5. 使用API进行数据爬取：

import requests

url = 'https://api.example.com/data'
response = requests.get(url)
data = response.json()
print(data)

这些例子只是爬虫的冰山一角，你可以根据自己的需求和兴趣进一步探索更多的爬虫技术和案例。