python爬虫爬取句子
时间: 2023-11-08 18:46:34 浏览: 90
python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、微信读书、豆瓣、QQ等网站。
要使用Python爬虫来爬取句子,你可以使用以下代码作为参考:
```python
import requests
from bs4 import BeautifulSoup
def get_sentences(url):
# 发送GET请求获取网页内容
response = requests.get(url)
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到包含句子的元素
sentence_elements = soup.find_all('p', class_='sentence')
# 提取句子文本
sentences = [element.text for element in sentence_elements]
return sentences
# 调用函数并传入要爬取的网页URL
sentences = get_sentences('https://www.example.com')
# 打印爬取到的句子
for sentence in sentences:
print(sentence)
```
这段代码使用了requests库发送GET请求获取网页内容,并使用BeautifulSoup库解析网页内容。然后,根据网页的结构,使用find_all方法找到包含句子的元素,并提取其中的文本内容。最后,将爬取到的句子打印出来。
请注意,代码中的URL是示例URL,你需要将其替换为你要爬取的网页的URL。此外,根据目标网页的结构,你可能需要调整代码中的选择器和提取逻辑。
阅读全文