编写一个定期爬取boss直聘招聘信息的程序
时间: 2024-06-09 21:09:30 浏览: 136
爬取boss招聘数据
以下是一个简单的 Python 程序,可以定期爬取 Boss 直聘上的招聘信息:
```python
import requests
from bs4 import BeautifulSoup
import time
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 获取页面内容
def get_content(url):
response = requests.get(url, headers=headers)
response.encoding = 'utf-8'
return response.text
# 解析页面
def parse_content(content):
soup = BeautifulSoup(content, 'html.parser')
job_list = soup.select('.job-list li')
for job in job_list:
job_name = job.select('.job-name')[0].text.strip()
salary = job.select('.red')[0].text.strip()
company = job.select('.company-text .name a')[0].text.strip()
company_url = job.select('.company-text .name a')[0]['href']
print(job_name, salary, company, company_url)
# 主函数
def main():
url = 'https://www.zhipin.com/c101010100-p100109/'
while True:
content = get_content(url)
parse_content(content)
time.sleep(3600) # 每隔一个小时爬取一次
if __name__ == '__main__':
main()
```
以上程序使用 requests 库和 BeautifulSoup 库进行网页内容的获取和解析。程序每隔一个小时爬取一次。你可以根据自己的需要修改程序,比如更改爬取的城市、搜索的职位等。
阅读全文