用python编写一段简单的爬虫代码
时间: 2023-04-08 12:05:02 浏览: 116
好的,我可以回答这个问题。以下是一个简单的Python爬虫代码示例:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
print(soup.prettify())
```
这段代码使用了requests库和BeautifulSoup库,可以获取指定网页的HTML代码并打印出来。当然,具体的爬虫代码还需要根据具体的需求进行编写。
相关问题
用Python语言编写一段爬虫代码
好的,以下是一个简单的爬虫代码,用于爬取指定网站的标题和链接:
```python
import requests
from bs4 import BeautifulSoup
url = "https://www.example.com"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
for link in soup.find_all('a'):
print(link.get('href'))
print(link.string)
```
这个爬虫通过requests库发送HTTP请求获取网页内容,然后使用BeautifulSoup库解析网页内容,从中提取出所有的链接和标题,并打印出来。当然,具体的爬取方式和目标网站的结构有关,需要根据实际情况做出相应的调整。
请用Python编写一个网络爬虫代码
好的,以下是一个简单的Python网络爬虫代码,用于爬取网页内容:
```python
import requests
url = 'https://www.example.com'
response = requests.get(url)
if response.status_code == 200:
content = response.content
print(content)
else:
print("Error: ", response.status_code)
```
这段代码使用了Python的requests库,向指定的URL发送了一个GET请求,获取到了该网页的HTML内容。如果请求成功(即状态码为200),则将内容打印出来。如果请求失败,则打印状态码。当然,这只是一个最基本的爬虫代码,实际上需要考虑更多的细节,比如请求头、反爬机制、数据解析等等。
阅读全文