简单的python爬虫代码
时间: 2023-09-05 10:04:26 浏览: 103
### 回答1:
以下是一个简单的Python爬虫代码示例,它使用BeautifulSoup和requests库:
```
import requests
from bs4 import BeautifulSoup
# 请求页面
url = 'https://www.example.com'
r = requests.get(url)
# 解析页面
soup = BeautifulSoup(r.content, 'html.parser')
# 获取页面标题
title = soup.title.string
print('Page title: ' + title)
# 获取页面中所有的链接
links = []
for link in soup.find_all('a'):
links.append(link.get('href'))
# 输出链接
print('Links:')
for link in links:
print(link)
```
这段代码首先通过requests库获取一个页面的HTML代码,然后通过BeautifulSoup解析HTML代码并提取需要的信息。在这个例子中,我们获取了页面的标题和所有链接,并将它们输出到控制台。
### 回答2:
下面是一个简单的Python爬虫代码示例:
```python
import requests
from bs4 import BeautifulSoup
# 发起HTTP请求获取网页内容
url = 'https://www.example.com' # 要爬取的网页URL
response = requests.get(url)
html = response.content
# 解析HTML
soup = BeautifulSoup(html, 'html.parser')
# 提取需要的信息
title = soup.find('h1').text # 提取网页标题
links = soup.find_all('a') # 提取所有链接
# 输出结果
print('网页标题:', title)
print('所有链接:')
for link in links:
print(link['href'])
```
以上示例使用了`requests`库发起HTTP请求获取网页内容,并使用`BeautifulSoup`库解析HTML。通过`find`和`find_all`方法提取所需信息,然后将结果打印输出。
请注意,在实际应用中,可能需要处理一些异常情况,如处理网络请求失败或因网页结构变化而导致的解析错误等。这个示例只是一个简单的入门代码,具体的爬虫代码会根据具体的需求和网站的结构而有所不同。
### 回答3:
下面是一个简单的Python爬虫代码示例:
```python
import requests
from bs4 import BeautifulSoup
# 定义要爬取的目标网页URL
url = "https://example.com"
# 发送GET请求 获取网页内容
response = requests.get(url)
# 解析网页内容
soup = BeautifulSoup(response.text, "html.parser")
# 找到所有<a>标签
links = soup.find_all("a")
# 遍历所有<a>标签,并输出链接文本和URL
for link in links:
text = link.text
href = link.get('href')
print(f"链接文本: {text} URL: {href}")
```
以上代码使用`requests`库发送GET请求,获取网页内容。然后使用`BeautifulSoup`库解析网页内容。通过`find_all`方法找到所有`<a>`标签,并使用`text`属性获取链接文本,使用`get`方法获取链接URL。最后遍历所有链接,输出链接文本和URL。
请注意替换代码中的`url`变量为你要爬取的目标网页URL。