用python语言编写网络爬虫程序爬取网页数据，要求爬取300+条数据存储于txt

在Python中编写网络爬虫程序抓取网页数据并保存到文本文件通常涉及到使用像`requests`库获取网页内容，`BeautifulSoup`解析HTML，以及`csv`或`open()`函数将数据写入文件。下面是一个基本步骤的概述：

1. **安装必要的库**：
使用pip安装`requests`, `beautifulsoup4`库：

   pip install requests beautifulsoup4

2. **编写爬虫脚本**：

   import requests
   from bs4 import BeautifulSoup

   def fetch_data(url):
       response = requests.get(url)
       soup = BeautifulSoup(response.text, 'html.parser')
       data = []  # 用于存放抓取的数据

       # 模拟选择你需要的数据节点，例如class或id
       nodes = soup.find_all('div', class_='your_class') or soup.find_all('a', href=True)

       for node in nodes:
           # 提取你需要的字段，比如href、text等
           data.append({
               'link': node['href'] if 'href' in node else '',
               'content': node.text.strip()
           })

       return data[:300]  # 返回前300条数据

   target_url = "http://example.com"  # 替换为你想爬取的网页地址
   result = fetch_data(target_url)

   # 存储数据到txt文件
   with open('data.txt', 'w', encoding='utf-8') as f:
       for item in result:
           f.write(str(item) + '\n')