请写一个使用Python的爬虫代码
时间: 2023-06-27 16:06:57 浏览: 92
网页源代码获取——Python程序_爬虫_URLpython_boundvk4_
好的,这里是一个使用Python的爬虫代码,可以爬取指定网站的文章标题和链接:
```python
import requests
from bs4 import BeautifulSoup
url = "https://www.example.com" # 指定要爬取的网站的URL
response = requests.get(url) # 发送GET请求获取网页内容
soup = BeautifulSoup(response.text, "html.parser") # 解析HTML内容
articles = soup.find_all("h2", class_="article-title") # 找到所有文章标题元素
for article in articles:
title = article.text.strip() # 获取文章标题
link = article.find("a")["href"] # 获取文章链接
print(title, link) # 输出文章标题和链接
```
需要安装 `requests` 和 `beautifulsoup4` 模块,可以使用以下命令安装:
```
pip install requests beautifulsoup4
```
当然,具体的爬取方式需要根据不同网站的HTML结构来调整代码。同时,使用爬虫时需要注意遵守相关法律法规和网站的使用条款。
阅读全文