帮我写一个python爬虫脚本
时间: 2023-08-25 09:53:24 浏览: 170
当然可以!以下是一个简单的 Python 爬虫脚本的示例,用于爬取指定网页的标题和链接:
```python
import requests
from bs4 import BeautifulSoup
def crawl_website(url):
# 发送 HTTP 请求
response = requests.get(url)
# 解析 HTML 内容
soup = BeautifulSoup(response.text, 'html.parser')
# 提取标题和链接
titles = soup.find_all('a')
for title in titles:
print('标题:', title.text)
print('链接:', title['href'])
print('---')
# 要爬取的网页 URL
url = 'https://example.com'
# 调用爬取函数
crawl_website(url)
```
以上代码通过使用 `requests` 库发送 HTTP 请求,并使用 `BeautifulSoup` 库解析 HTML 内容。然后,我们使用 `find_all` 方法找到所有的链接,并逐个打印标题和链接。
您可以将 `url` 替换为您要爬取的网页 URL。此外,您还可以根据需要扩展代码,以满足您的具体需求,例如添加更多字段的提取或存储爬取结果到文件等。
请注意,在编写和运行爬虫脚本时,请遵守网站的使用条款和法律法规,确保您的行为合法和道德。
阅读全文
相关推荐











