新浪微博爬虫工具：结合urllib2和beautifulsoup的实现

资源摘要信息:"sina_weibo_crawler:利用urllib2加beautifulsoup爬取新浪微博" 知识点: 1. 爬虫概念: 爬虫是一种自动提取网页数据的程序，主要用于数据采集。在本项目中，使用Python语言编写的爬虫程序，主要目标是爬取新浪微博的数据。 2. urllib2库: Python的urllib2库是一个用于获取URL的模块，可以打开和阅读URL。urllib2提供了丰富的API，可以处理重定向、授权、代理等常见网络问题，是网络爬虫程序中非常重要的一个库。 3. BeautifulSoup库: BeautifulSoup是一个用于解析HTML和XML文档的Python库，它能够将复杂的XML/HTML文档转换为Python对象，方便用户进行处理。在本项目中，BeautifulSoup用于解析新浪微博网页，提取用户信息、微博内容等数据。 4. MongoDB数据库: MongoDB是一个开源的NoSQL数据库，用于存储和管理大量的结构化数据。在本项目中，使用MongoDB作为数据库，用于存储从新浪微博爬取的数据。 5. 登录机制: 在本项目中，实现了模拟登录和cookie登录两种机制。模拟登录通过人工输入验证码，将相关参数编码到urllib2中，产生请求。而cookie登录则利用已有的cookie信息，免去登录过程。 6. 数据存储: 在本项目中，原始数据以txt格式存储，然后转换为csv格式。最后，将数据直接插入MongoDB数据库。 7. 爬取内容: 本项目爬取的内容包括用户的发送数据（如发送时间、发送来源、转发来源）、用户资料（如性别、年龄、住址、图像、昵称、ID）、用户的关注和粉丝名单、某条消息的评论和转发数据等。 8. 多进程爬取: 在本项目中，采用了多进程技术，在多核服务器上并行爬取数据，大大提高了爬虫的效率。 9. Python语言: 本项目完全使用Python语言编写，Python语言简洁易读，拥有丰富的库支持，非常适合编写网络爬虫。 10. DEMO环境: 本项目提供了架构环境，供开发者学习和测试。 以上就是sina_weibo_crawler项目的详细知识点解析。