写一个pycharm 的爬虫代码
时间: 2024-03-15 07:41:28 浏览: 64
用Python语言编写一个爬虫程序
下面是一个简单的PyCharm爬虫代码示例,用于爬取百度首页的HTML源代码。
```python
import requests
url = 'https://www.baidu.com/'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
html = response.text
print(html)
```
首先,我们需要导入requests库,用于发送HTTP请求和接收HTTP响应。然后,我们定义了一个URL变量,它指向百度首页。接下来,我们定义了一个headers变量,它用于模拟浏览器请求,防止被百度封禁。最后,我们发送HTTP GET请求,并将响应的HTML文本打印到控制台上。
当您运行此代码时,将在控制台上看到百度首页的HTML源代码。请注意,这只是一个简单的示例,您可以根据自己的需求修改此代码。
阅读全文