python实现爬虫系统

要实现一个爬虫系统，你需要掌握以下几个方面的知识：

1. 网络通信：Python提供了socket和urllib等模块，可以用于网络通信；
2. HTML解析：Python提供了BeautifulSoup、lxml等库，可以用于解析HTML；
3. 数据存储：可以使用Python内置的sqlite3模块或者第三方模块如MySQLdb等来存储数据；
4. 多线程/多进程：可以使用Python的threading、multiprocessing等模块来实现多线程/多进程；
5. 反爬虫：需要了解一些反爬虫的方法，如设置User-Agent、IP代理等。

下面是一个简单的Python爬虫示例，用于抓取指定网页的标题和正文内容：

import urllib.request
from bs4 import BeautifulSoup

url = 'http://www.example.com'
response = urllib.request.urlopen(url)
html_doc = response.read()
soup = BeautifulSoup(html_doc, 'html.parser')
title = soup.title.string
content = soup.get_text()
print('Title:', title)
print('Content:', content)

这段代码首先使用urllib.request模块获取网页内容，然后用BeautifulSoup解析HTML，最后获取网页的标题和正文内容并输出。