自动化抓取：配资与股票相关内容的关键词段落

自动化需求文档-202110111明确了两个关键任务：一是针对配资行业原创文章的关键词段落抓取，二是寻找与股票相关的信息段落来提升文章的相关性。 1. 关键词段落抓取： - 数据源：包括配资资讯网站如[配资头条](https://www.peizitoutiao.com/)、[魔法遮阳网](https://www.magic-sunshading.com/)、[博客CMS](https://www.blogcms.cn/)、[美食分享](https://www.shmeishida.com/)以及[安心咨询](https://www.anxinsc.com/)。 - 抓取策略： - 爬虫首先判断文章是否包含关键词“配资”，确保内容相关性。 - 去除文章首尾段落，只提取中间段落，段落长度限制在100-500字符之间。 - 标注选定段落的关键词，将“配资”作为替换关键词。 - 检查并替换开头为链接的词语。 - 接口调用：通过Post地址`http://121.40.187.51:8088/api/key_paragraph_api`，使用MD5加密的key（例如：`md5('datapool' + 当前日期)`）发送请求获取内容。 2. 关联段落抓取： - 数据源：专注于财经资讯，如[南方财富网](http://www.southmoney.com/zhishi/gprm/)的股票知识板块。 - 抓取条件： - 仅抓取最近三天内（截至2021年8月27日）的文章段落。 - 段落长度要求大于250字符且小于500字符。 - 必须包含股票关键词，如个股、股市、A股、港股等。 - 标注匹配的股票关键词，确保不重复。 - 自动化执行： - 需要编写脚本，按照每小时执行一次的频率自动更新抓取的数据。 - 新增筛选条件：排除包含“图”字的段落，以及未提及股票的段落。 这份自动化需求文档旨在利用网络爬虫技术定期抓取相关财经网站的特定段落，确保内容的精准性和时效性，同时通过关键词和股票关键词的匹配，提升文章的质量和相关性。这些抓取规则和脚本设计将有助于高效地收集和整合有价值的信息，供后续处理和分析使用。