python爬虫爬取https://www.ygdy8.net/html/gndy/jddy/20190112/58049.html网页链接
时间: 2023-12-20 18:05:23 浏览: 133
python爬虫,爬取页面
以下是使用Python爬虫爬取网页链接的示例代码:
```python
import requests
from bs4 import BeautifulSoup
# 定义目标网页链接
url = "https://www.ygdy8.net/html/gndy/jddy/20190112/58049.html"
# 发送HTTP请求获取网页内容
response = requests.get(url)
html_content = response.text
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(html_content, "html.parser")
# 获取所有电影详情页的地址
movie_links = []
a_tags = soup.find_all("a")
for a_tag in a_tags:
href = a_tag.get("href")
if href and href.startswith("ftp://"):
movie_links.append(href)
# 打印电影详情页的地址
for link in movie_links:
print(link)
```
运行以上代码,你将得到该网页中所有电影详情页的地址。
阅读全文