python云听爬虫
时间: 2023-08-12 07:09:43 浏览: 127
Python云听爬虫是一个用Python编写的简单的网络爬虫工具,用于爬取一些特定规则的音乐网站和小说网站上的标题、关键字和摘要信息。它只能针对那些在<head>标签中具有这三个信息且<meta>标签中name参数在文本信息前面的网站进行爬取。这个爬虫并不是通用网络爬虫,它只针对特定的网站和特定的信息进行爬取,而通用网络爬虫则是用于在全互联网中爬取目标资源的爬虫,性能要求较高,主要应用于大型搜索引擎中。在爬虫开发过程中,常见的技术手段包括分布式(代理IP)、异步数据解析(内置浏览器内核)、光学图片识别、模拟验证(模拟请求Header、User-Agent、Token)等。网络爬虫需要注意资源开销,避免对Web服务器造成干扰。<em>1</em><em>2</em><em>3</em>
#### 引用[.reference_title]
- *1* [python简单实现网络爬虫](https://blog.csdn.net/xiexieyuchen/article/details/128193159)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}} ] [.reference_item]
- *2* *3* [{ 硬货 } python爬虫:爬虫与反爬虫,再不看就没了](https://blog.csdn.net/weixin_39641103/article/details/111753560)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}} ] [.reference_item]
[ .reference_list ]
阅读全文