python爬虫抓取txt文件
时间: 2023-11-08 10:18:28 浏览: 65
Python爬虫可以用来抓取网页上的文本内容,并将其保存为txt文件。通过查看网页源码,可以找到目标文本的位置,然后使用Python的爬虫库或框架,如BeautifulSoup或Scrapy,来提取并保存文本数据。
以下是一个简单的Python爬虫抓取txt文件的示例代码:
```python
import requests
def crawl_txt(url, save_path):
response = requests.get(url) # 发送GET请求获取网页内容
text = response.text # 获取网页的文本内容
with open(save_path, 'w', encoding='utf-8') as f:
f.write(text) # 将文本内容写入txt文件中
url = "http://example.com/sample.txt" # 要抓取的txt文件的URL地址
save_path = "sample.txt" # 保存txt文件的路径和文件名
crawl_txt(url, save_path)
```
在这个示例中,我们使用`requests`库发送GET请求获取网页内容,并将其保存到`response`变量中。然后,我们使用`response.text`方法获取网页的文本内容,并将其写入到指定的txt文件中。
请注意,实际应用中,你可能需要根据具体的网页结构和目标文本的位置,使用相应的方法和工具来提取文本内容。以上仅仅是一个简单的示例,具体的实现方式可能会根据情况而有所不同。<span class="em">1</span><span class="em">2</span>
#### 引用[.reference_title]
- *1* [零基础写python爬虫之抓取百度贴吧并存储到本地txt文件改进版](https://download.csdn.net/download/weixin_38713412/13770071)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
- *2* [Python爬虫系列:爬取小说并写入txt文件](https://blog.csdn.net/a55656aq/article/details/122956411)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]