python爬虫爬取文字
时间: 2023-10-08 20:07:01 浏览: 145
python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、微信读书、豆瓣、QQ等网站。
你可以使用 Python 编写爬虫来爬取网页上的文字。以下是一个简单的示例:
```python
import requests
def fetch_text(url):
response = requests.get(url)
if response.status_code == 200:
return response.text
else:
return None
url = 'https://www.example.com' # 替换成你要爬取的网页的 URL
text = fetch_text(url)
if text:
print(text)
else:
print('获取网页内容失败')
```
在这个示例中,我们使用了 `requests` 库来发送 HTTP 请求获取网页内容。`fetch_text` 函数发送 GET 请求并返回网页的文本内容。你需要将 `url` 变量替换成你要爬取的网页的 URL。最后,我们通过调用 `fetch_text` 函数来获取网页的内容,并输出到控制台。
请注意,爬取网页内容需要遵守网站的使用政策和法律法规。在进行爬取操作之前,请确保你有合法的权限和了解相关法律规定。
阅读全文