.NET WebForm网站爬虫：手动登录与信息采集记

在本文档中，作者分享了在.NET WebForm架构的网站上进行爬虫开发的一次经历。首先，作者提到由于无法直接访问数据库，他们选择采用间接的方法，即编写一个工具来模拟登录并抓取所需的数据。WebForm网站通常因其特有的动态交互性使得数据采集更为复杂，与RESTful风格相比，工作难度增加。 文档开始介绍了两个核心的HTTP请求方法：GET和POST。GET用于预备阶段，创建了一个名为`Get`的静态方法，该方法接收URL、成功回调函数和失败回调函数作为参数。它使用`HttpWebRequest`来发送GET请求，设置了User-Agent、Accept头、保持连接等配置，同时利用CookieContainer存储可能需要的cookie信息，并通过`HttpWebResponse`获取响应内容。如果请求成功，将读取响应流并返回内容。 接下来是POST方法，尽管没有在文档中给出，但可以推测其作用是用来处理登录过程，因为通常在登录时需要POST数据到服务器。POST方法会涉及设置请求头、构造请求体（包含用户名和密码等），以及处理可能的认证机制。 在登录成功后，作者的目标是抓取人员信息。这涉及到解析HTML或JSON格式的网页内容，可能使用正则表达式、HTML Agility Pack或其他DOM解析库来提取所需的数据，如工号等。这个步骤需要对网页结构有深入了解，以便定位到正确的HTML元素。 采集完人员信息后，数据需要存储到系统中。这可能涉及到数据清洗、格式转换，然后根据需求入库。由于未提及具体数据库技术，我们可以假设作者可能会使用ADO.NET、Entity Framework或其他.NET框架来操作数据库。 总结部分，作者反思了WebForm网站爬虫的挑战，对比了它与RESTful风格网站的差异，并强调了手工编写HTTP请求的重要性。这次经历虽然坎坷，但通过实际操作，作者提升了对.NET和WebForm网站结构的理解，同时也展示了爬虫开发过程中遇到的问题解决策略。 文档提供了关于如何在.NET WebForm环境中进行网站爬虫开发的具体步骤和技术细节，包括网络请求、登录处理、数据抓取和存储，以及对不同网站架构的优缺点分析。这对于其他想要进行类似项目的人具有参考价值。