用Python写一个爬虫,爬取双色球开奖记录
时间: 2023-02-22 16:09:24 浏览: 172
好的,下面是一个简单的爬虫代码,它爬取了双色球开奖记录:
```
import requests
from bs4 import BeautifulSoup
url = "http://kaijiang.500.com/ssq.shtml"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
records = []
for tr in soup.find_all('tr')[2:]:
tds = tr.find_all('td')
date = tds[0].text
red_balls = [td.text for td in tds[2:8]]
blue_ball = tds[8].text
records.append({'date': date, 'red': red_balls, 'blue': blue_ball})
print(records)
```
这段代码使用了 `requests` 库爬取了网页内容,并使用 `BeautifulSoup` 库对网页内容进行解析。在解析后的网页内容中,通过遍历所有的 `<tr>` 标签,获取每次开奖的日期以及红球和蓝球的号码,最后将这些信息存入列表 `records` 中。
相关问题
python爬虫爬取双色球网页数据并存入excel表格
Python爬虫是一种用于自动化获取网页数据的技术,可以用来爬取双色球网页数据并存入Excel表格。下面是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
import openpyxl
# 发送HTTP请求获取网页内容
url = "http://www.cwl.gov.cn/cwl_admin/kjxx/findKjxx/forIssue?name=ssq&code=2021010"
response = requests.get(url)
html = response.text
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(html, "html.parser")
table = soup.find("table", class_="kj_tablelist02")
# 创建Excel表格并写入数据
wb = openpyxl.Workbook()
ws = wb.active
rows = table.find_all("tr")
for row in rows:
data = []
cols = row.find_all("td")
for col in cols:
data.append(col.text.strip())
ws.append(data)
# 保存Excel表格
wb.save("双色球数据.xlsx")
```
相关问题:
1. Python爬虫是什么?
2. 如何发送HTTP请求获取网页内容?
3. 如何使用BeautifulSoup解析网页内容?
4. 如何使用openpyxl创建和写入Excel表格?
5. 如何保存Excel表格?
写一段爬虫程序爬取双色球往期开奖号码
好的,以下是一个简单的 Python 爬虫程序,用于爬取中国彩票双色球往期开奖号码:
```python
import requests
from bs4 import BeautifulSoup
url = 'http://datachart.500.com/ssq/history/newinc/history.php?start=01001&end=21116'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
table = soup.find('table', attrs={'class': 't1'})
rows = table.tbody.find_all('tr')
for row in rows:
data = row.find_all('td')
if len(data) == 0:
continue
issue_num = data[0].text.strip() # 期号
red_balls = [data[i].text.strip() for i in range(1, 7)] # 红球
blue_ball = data[7].text.strip() # 蓝球
print(issue_num, red_balls, blue_ball)
```
这个程序使用 requests 库发送 HTTP 请求,并使用 BeautifulSoup 库解析 HTML 页面。我们找到表格元素并遍历每一行,提取期号、红球和蓝球,最后打印输出。这个程序可以爬取从 2001 年到现在的所有双色球开奖号码。
阅读全文