python爬取央视新闻文本

可以使用Python的requests库和BeautifulSoup库来爬取央视新闻的文本。

首先，我们需要使用requests库来获取网页的HTML代码：

import requests

url = 'http://news.cctv.com/'
response = requests.get(url)
html = response.content

然后，我们可以使用BeautifulSoup库来解析HTML代码，并提取出新闻文本：

from bs4 import BeautifulSoup

soup = BeautifulSoup(html, 'html.parser')
news_list = soup.find_all('a', class_='title')
for news in news_list:
    news_title = news.text.strip()
    news_link = news['href']
    print(news_title)
    print(news_link)

这段代码会输出央视新闻网首页上的所有新闻标题和链接。你可以根据自己的需要对代码进行修改，以提取出你需要的新闻文本。

相关问题

python爬取中文网站文本

要爬取中文网站的文本，你可以使用Python中的第三方库BeautifulSoup和Requests来实现。下面是一个简单的示例代码：

import requests
from bs4 import BeautifulSoup

# 发送请求获取网页内容
url = 'http://example.com'  # 替换为你要爬取的网站的URL
response = requests.get(url)
html = response.text

# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(html, 'html.parser')

# 提取中文文本
chinese_text = ''
for text in soup.find_all(text=True):
    if text.strip() != '':
        chinese_text += text.strip()

print(chinese_text)

这段代码首先使用`requests`库发送请求获取网页内容，然后使用`BeautifulSoup`库解析网页内容。最后，通过遍历`find_all(text=True)`方法返回的文本节点，提取其中的中文文本。

python爬取外网文本

要爬取外网文本，可以使用 Python 的 requests 库来发起 HTTP 请求，获取网页内容，然后使用 BeautifulSoup 或者正则表达式等方式来解析网页内容，获取文本。

以下是一个简单的示例代码，可以用来爬取某个网页的文本内容：

import requests
from bs4 import BeautifulSoup

# 指定要爬取的网页 URL
url = "https://www.example.com"

# 发起 HTTP 请求，获取网页内容
response = requests.get(url)

# 使用 BeautifulSoup 解析网页内容
soup = BeautifulSoup(response.text, "html.parser")

# 获取文本内容
text = soup.get_text()

# 打印文本内容
print(text)

需要注意的是，爬取外网文本需要遵守网站的爬虫协议，不要频繁访问网站，也不要过度爬取网站内容。此外，一些网站可能会对爬虫行为进行检测和限制，请务必尊重网站规定。