帮我用python写一个爬取企查查公司名称和地址
时间: 2024-06-10 08:06:18 浏览: 72
python爬取招聘数据保存到mysql数据库
好的,下面是 Python 代码:
```python
import requests
from lxml import html
# 设置需要爬取的页面 URL
url = 'https://www.qichacha.com/search?key='
# 设置搜索关键词(这里以“企查查”为例)
search_terms = '企查查'
# 构建完整的 URL
url += search_terms
# 构造请求头部
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 发送 GET 请求并获取响应
response = requests.get(url, headers=headers)
# 解析响应内容
tree = html.fromstring(response.text)
# 获取公司信息的列表
company_list = tree.xpath('//div[@class="panel panel-default"]/table/tbody/tr')
# 遍历列表并输出公司的名称和地址
for company in company_list:
name = company.xpath('.//td[@class="text-left"]/a/text()')[0]
address = company.xpath('.//td[@class="text-left"]')[1]
address = address.xpath('string(.)')
print('公司名称:', name)
print('公司地址:', address)
```
这段代码可以通过企查查网站的搜索功能,爬取与关键词相匹配的公司名称和地址。需要注意的是,企查查网站有一定的反爬虫机制,可以设置一定的爬取频率,以避免被网站屏蔽。同时,也要注意商业道德,避免爬取他人的商业机密。
阅读全文