去哪儿网旅游景点数据爬虫

编写爬取去哪儿网旅游景点数据的 Python 爬虫
为了有效地从去哪儿网获取旅游景点的相关信息，可以采用 requests 和 BeautifulSoup 库来进行网页内容解析。考虑到目标网站可能存在的反爬机制，建议设置合理的请求间隔并模拟浏览器行为。
准备工作
安装必要的库可以通过 pip 完成：
pip install requests beautifulsoup4 lxml
登录后复制
请求页面与解析HTML结构
使用 requests.get() 方法发送 HTTP GET 请求到指定 URL 地址，并利用 BeautifulSoup 解析返回的内容。对于静态页面而言，这一步骤足以获得所需的信息[^1]。
提取具体字段
根据 HTML 文档中的标签属性定位各个元素位置，提取出包括但不限于以下几项的关键信息：

景点名称
图片链接
英文名字
排名情况
描述文字
经纬度坐标

下面是一个简单的例子展示如何实现上述功能：
import requests
from bs4 import BeautifulSoup
import json
import time

def fetch_page(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)',
}

response = requests.get(url, headers=headers)
if response.status_code != 200:
raise Exception('Failed to load page {}'.format(url))

soup = BeautifulSoup(response.text, "lxml")
return soup

def parse_sights(soup):
sights_list = []

items = soup.find_all('li', class_='item')
for item in items:
sight_info = {}

try:
name_tag = item.select_one('.name a')
img_url = item.img['src']
en_name = item.span.string.strip()
rank = int(item.em.string.replace('#',''))
desc = ''.join([p.text for p in item.find('div',class_="desc").find_all('p')])

location_data = item.script.string.split('=')[1].strip().rstrip(';').replace("'",'"')
loc_dict = json.loads(location_data)

lng,lat=loc_dict["lng"],loc_dict["lat"]

sight_info.update({
'中文名': name_tag.text,
'图片URL':img_url ,
'英文名':en_name,
'排名':rank,
'简介':desc,
'经度':lng,
'维度': lat})

sights_list.append(sight_info)
except AttributeError as e:
continue

return sights_list

if __name__ == '__main__':
base_url = 'https://www.qunar.com/sight/list.htm?keyword=%E9%83%A8%E7%BD%AA&region=&from=mpl_search_suggest&page={}'
all_sights = []

for i in range(1, 12): # 假设共有11页
url = base_url.format(i)
print(f'Processing {url}')
html_doc = fetch_page(url)
parsed_result = parse_sights(html_doc)
all_sights.extend(parsed_result)
time.sleep(2) # 防止被封IP

print(json.dumps(all_sights[:], ensure_ascii=False))
登录后复制
这段脚本会遍历多页的结果集，每一页都会调用一次 fetch_page() 来获取完整的 HTML 内容；接着由 parse_sights() 负责处理单个列表条目内的各项细节。最后将所有的记录保存在一个 JSON 数组里输出显示出来[^3]。