使用python爬取天天基金的所有基金收益率

由于天天基金网站的反爬虫措施比较严格，需要使用一些技巧才能成功爬取数据。以下是一个基本的爬取基金收益率的示例代码：

import requests
from bs4 import BeautifulSoup

# 构造请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
    'Referer': 'http://fund.eastmoney.com/',
    'Host': 'fund.eastmoney.com'
}

# 构造请求参数
params = {
    'fundType': '0,1,2,3,4,5,6,7,8,9',  # 基金类型
    'sort': '-1',  # 排序方式：按基金代码升序排列
    'pageSize': '9999',  # 每页显示的数据量
}

# 发送HTTP请求，获取响应内容
url = 'http://fund.eastmoney.com/data/Fund_JJJZ_Data.aspx'
response = requests.get(url, headers=headers, params=params)
response.encoding = 'utf-8'
html = response.text

# 解析HTML内容，提取基金收益率数据
soup = BeautifulSoup(html, 'html.parser')
table = soup.find('table')
rows = table.find_all('tr')
for row in rows[1:]:
    cols = row.find_all('td')
    code = cols[0].text.strip()  # 基金代码
    name = cols[1].text.strip()  # 基金名称
    profit = cols[3].text.strip()  # 基金收益率
    print(code, name, profit)

该示例代码使用requests库发送HTTP请求，并设置了请求头和请求参数。请求参数中指定了基金类型、排序方式和每页显示的数据量。使用BeautifulSoup库解析HTML内容，并找到包含基金收益率数据的表格。最后，遍历表格中的每一行，并提取基金代码、基金名称和基金收益率数据。

需要注意的是，天天基金网站的反爬虫措施较为严格，如果频繁地请求数据，可能会触发反爬虫机制，导致爬取失败或被封IP。因此，在爬取数据时需要注意控制请求频率，避免对网站造成过大的负担。