Python实现人人网爬虫获取用户信息

cj = cookielib.LWPCookieJar()  
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj)) #将Cookie记录保存到cj对象中  
urllib2.install_opener(opener)  #用自己生成的opener替代urllib2中的全局变量  
   
#构造Post数据，并提交  
args = {'domain':'renren.com', 'origURL':'http://www.renren.com/SysHome.do',  
                        'email':'****@**.com', 'password':'********'}  
req = urllib2.Request('http://www.renren.com/PLogin.do', urllib.urlencode(args))

   #获取用户ID及用户名  
    page=urllib2.urlopen('http://www.renren.com/home').read()  
    soup=BeautifulSoup(page)  
    content=soup.find(name='p',attrs={'class':'name-and-icons'})  
    idnamestr=content.find('a',attrs={'class':'name'})  
    hostname=idnamestr.text  
    idPattern=re.compile(r'/d+')  
    match=idPattern.search(idnamestr['href'])  
    hostid=match.group()  
    dict[hostid]=hostname #使用一个字典保存用户ID、名称映射 

g_IDs=[]    #要处理、已处理的ID，数据结构为（ID，处理层数，处理状态）  
threadnum=10    #最大线程数  
g_mutex=threading.RLock()    #共享资源锁，设为可重入锁对象，即单个线程可以多次获得锁（递归锁）  
count=0 #处理的层数  
dict={} #维护ID，name之间的关系  
g_ignore=['265359909'] #需要祛除的用户ID  
WAIT=0  #等待处理  
DONE=1  #已处理  
FAIL=2  #处理失败