import requests from bs4 import BeautifulSoup # 定义主函数 if __name__ == '__main__': # 定义需要爬取的页面链接 urls = ['https://www.bernama.com/bm/am/news.php?id=2194049', 'https://www.bernama.com/bm/news.php?id=2194090'] # 循环遍历页面链接,并调用爬虫函数 for url in urls: spider(url) # 定义爬虫函数 def spider(url): response = requests.get(url) # 使用BeautifulSoup解析网页内容 soup = BeautifulSoup(response.text, 'html.parser') # 获取需要爬取的数据 data = soup.find_all('div', class_='col-12 col-sm-12 col-md-12 col-lg-8') # 将数据写入TXT文件中 with open('2.txt', 'a', encoding='utf-8') as f: for d in data: f.write(d.text + '\n') # 间隔一秒再进行下一次爬取 time.sleep(1)txt里面没有数据该如何改善
时间: 2024-04-28 14:26:05 浏览: 90
import reimport requestsfrom bs4 import BeautifulSoupimport t
首先需要检查一下爬取的网页是否存在数据,可以在浏览器中手动访问这些链接,看看是否能够正常显示数据。如果网页中存在数据,可以尝试加入异常处理,捕获可能出现的异常。另外,可以加入一些调试信息,输出日志或者打印一些中间结果,以帮助定位问题。最后,也可以尝试使用其他的爬虫工具或者框架,比如Scrapy等,看看能否更好地爬取数据。
阅读全文