使用使用BeautifulSoup爬虫程序获取百度搜索结果的标题和爬虫程序获取百度搜索结果的标题和url示示
例例
熟悉Java的jsoup包的话，对于Python的BeautifulSoup库应该很容易上手。
复制代码 代码如下:
#coding: utf-8
import sys
import urllib
import urllib2
from BeautifulSoup import BeautifulSoup
question_word = “吃货 程序员”
url = “http://www.baidu.com/s?wd=” + urllib.quote(question_word.decode(sys.stdin.encoding).encode(‘gbk’))
htmlpage = urllib2.urlopen(url).read()
soup = BeautifulSoup(htmlpage)
print len(soup.findAll(“table”, {“class”: “result”}))
for result_table in soup.findAll(“table”, {“class”: “result”}):
a_click = result_table.find(“a”)
print “—–标题—-” + a_click.renderContents()#标题
print “—-链接—-” + str(a_click.get(“href”))#链接
print “—-描述—-” + result_table.find(“div”, {“class”: “c-abstract”}).renderContents()#描述
print
您可能感兴趣的文章您可能感兴趣的文章:使用python BeautifulSoup库抓取58手机维修信息python BeautifulSoup使用方法详解python 解析html之
BeautifulSouppython使用beautifulsoup从爱奇艺网抓取视频播放
评论0