import requests from bs4 import BeautifulSoup # 定义主函数 if __name__ == '__main__': # 定义需要爬取的页面链接 urls = ['https://www.bernama.com/bm/am/news.php?id=2194049', 'https://www.bernama.com/bm/news.php?id=2194090'] # 循环遍历页面链接，并调用爬虫函数 for url in urls: spider(url) # 定义爬虫函数 def spider(url): response = requests.get(url) # 使用BeautifulSoup解析网页内容 soup = BeautifulSoup(response.text, 'html.parser') # 获取需要爬取的数据 data = soup.find_all('div', class_='col-12 col-sm-12 col-md-12 col-lg-8') # 将数据写入TXT文件中 with open('2.txt', 'a', encoding='utf-8') as f: for d in data: f.write(d.text + '\n') # 间隔一秒再进行下一次爬取 time.sleep(1)txt里面没有数据该如何改善

首先需要检查一下爬取的网页是否存在数据，可以在浏览器中手动访问这些链接，看看是否能够正常显示数据。如果网页中存在数据，可以尝试加入异常处理，捕获可能出现的异常。另外，可以加入一些调试信息，输出日志或者打印一些中间结果，以帮助定位问题。最后，也可以尝试使用其他的爬虫工具或者框架，比如Scrapy等，看看能否更好地爬取数据。

相关问题

以下代码爬取的内容是乱码，什么原因？from bs4 import BeautifulSoup import requests if __name__ == '__main__': url = 'https://www.pincai.com/article/2320333.htm' response = requests.get(url).text soup = BeautifulSoup(response, 'lxml')

爬取的内容出现乱码的原因可能有以下几种情况：

1. 编码问题：网页的编码与你用于解析的编码方式不一致。你可以尝试指定正确的编码方式来解决这个问题。例如，如果网页使用UTF-8编码，你可以将 `response` 的编码设置为UTF-8：`response.encoding = 'utf-8'`。

2. 动态内容：如果网页中的内容是通过JavaScript动态加载的，那么直接使用requests库获取的源代码可能无法获取到动态加载的内容。你可以尝试使用模拟浏览器行为的库，如Selenium来获取完整页面。

3. 反爬虫机制：网站可能有一些反爬虫机制，如验证码、频率限制等，导致你无法获取到正确的内容。你可以尝试模拟浏览器行为、设置请求头部信息以绕过反爬虫机制。

请检查以上情况，并根据实际情况进行调整，以解决乱码的问题。

import requests from bs4 import BeautifulSoup import datetime import time def get_fund_nav(fund_code): url = f'https://fundf10.eastmoney.com/jjjz_{fund_code}.html' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') nav_table = soup.find('table', class_='w782 comm tzxq') nav_rows = nav_table.find_all('tr') latest_nav = nav_rows[1].find_all('td')[1].text.strip() return latest_nav def main(): fund_code = '400015' # 指定基金代码 target_time = datetime.datetime(2023, 7, 16, 17, 0, 0) # 指定爬取时间 while True: current_time = datetime.datetime.now() if current_time >= target_time: nav = get_fund_nav(fund_code) print(f"在 {target_time} 爬取到的 {fund_code} 基金的单位净值为：{nav}") break else: print(f"当前时间为 {current_time}，尚未到达指定的爬取时间 {target_time}。") time.sleep(60) # 每隔60秒检查一次当前时间 if __name__ == '__main__': main()

这段代码是一个简单的基金净值爬虫，它使用requests库发送HTTP请求，使用BeautifulSoup库解析HTML页面。主要功能是根据指定的基金代码，在指定的时间到达后爬取该基金的最新单位净值。

在`get_fund_nav`函数中，它首先构造了基金净值页面的URL，然后发送HTTP请求获取网页内容。接着使用BeautifulSoup库解析网页内容，找到包含净值信息的表格，并提取最新的净值数据。

在`main`函数中，它设置了一个目标时间，在目标时间到达之前，循环检查当前时间。如果当前时间大于等于目标时间，就调用`get_fund_nav`函数获取基金净值，并打印出来。否则，打印当前时间并等待60秒后再次检查。

这样就实现了一个简单的基金净值爬虫。你可以将指定的基金代码和爬取时间修改为自己感兴趣的基金，以及想要爬取的时间。