python 爬取http://q.10jqka.com.cn/thshy/所有的行业名称
时间: 2023-06-29 07:08:33 浏览: 139
可以使用 Python 的 requests 和 BeautifulSoup 库来实现爬取。
以下是示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'http://q.10jqka.com.cn/thshy/'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
industry_list = []
for item in soup.select('.cate_items a'):
industry_list.append(item.text)
print(industry_list)
```
解释一下代码:
1. 使用 requests 库发送 GET 请求,获取页面内容。
2. 使用 BeautifulSoup 解析页面内容。
3. 使用 CSS 选择器选取页面中所有的行业名称元素,并将它们添加到一个列表中。
4. 将列表打印出来。
运行代码后,会输出所有行业名称。
阅读全文