写一个python爬虫爬取github的java项目
时间: 2024-04-12 07:08:41 浏览: 263
以下是一个简单的Python爬虫代码,可以爬取GitHub上的Java项目:
```python
import requests
from bs4 import BeautifulSoup
url = "https://github.com/search?l=Java&q=stars%3A%3E1&s=stars&type=Repositories"
response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser")
repos = soup.find_all("a", class_="v-align-middle")
for repo in repos:
print(repo["href"])
```
这个代码使用了Requests库来发送HTTP请求并获取页面内容,使用BeautifulSoup库来解析HTML页面。代码的URL是GitHub的搜索页面,搜索Java项目并按照星级排序。然后,我们使用BeautifulSoup库来查找所有的仓库链接,并将它们打印出来。你可以将这个代码改写成你需要的形式,例如保存链接到文件中或者获取仓库的其他信息。
阅读全文