使用python访问菜鸟教程首页获取python3课程链接,抓取所有教程的名称和网址,并把结果保存到csv文件中
时间: 2024-06-09 09:09:33 浏览: 52
可以使用Python的requests和BeautifulSoup库来实现这个任务。以下是一个示例代码:
```python
import csv
import requests
from bs4 import BeautifulSoup
# 发送请求并获取页面内容
url = "http://www.runoob.com/python3/python3-tutorial.html"
response = requests.get(url)
html = response.content
# 使用BeautifulSoup解析页面内容
soup = BeautifulSoup(html, 'html.parser')
course_list = soup.find_all('ul', class_='course-list')[0]
courses = course_list.find_all('a')
# 保存结果到csv文件
with open('python3_courses.csv', 'w', newline='') as csvfile:
writer = csv.writer(csvfile)
writer.writerow(['Course Name', 'Course Link'])
for course in courses:
writer.writerow([course.text, course['href']])
```
这段代码会访问菜鸟教程Python3课程的首页,抓取所有课程名称和网址,并将结果保存到一个名为`python3_courses.csv`的csv文件中。你可以根据自己的需求修改代码。