编写Python程序,从键盘输入一个 ip 地 址 ( 如 :218.193.175.255 ),爬取网页的查询结果,并写入文件"ip.html"(注意编码格式)。注意:如果爬取不成功,添加请求头 headers。
时间: 2024-03-01 08:49:18 浏览: 22
好的,以下是Python程序的代码实现:
``` python
import requests
# 从键盘输入 ip 地址
ip = input("请输入 ip 地址: ")
# 构造请求头 headers
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 发送 GET 请求,并将响应的 HTML 写入文件 ip.html
try:
response = requests.get('http://ip.tool.chinaz.com/' + ip, headers=headers)
response.encoding = 'utf-8'
with open('ip.html', 'w', encoding='utf-8') as f:
f.write(response.text)
print('查询结果已写入文件 ip.html 中!')
except:
print('查询失败,请检查网络连接或确认输入的 ip 地址是否正确!')
```
运行程序后,会提示输入 ip 地址。输入后,程序会发送 GET 请求,爬取网页的查询结果,并将响应的 HTML 写入文件"ip.html"中。如果爬取不成功,程序会提示查询失败,请检查网络连接或确认输入的 ip 地址是否正确。
相关问题
请帮我编写一个python程序对当当网的书籍信息进行爬取:1.要求爬取的书籍含有关键
字"Python",并且包含书籍名称、作者、价格、出版社、出版日期等信息。2.将爬取到的信息存储到excel文件中。
这是一个简单的Python爬虫程序,使用beautifulsoup4库和requests库来爬取当当网的书籍信息,并将其存储到Excel文件中。
```python
import requests
from bs4 import BeautifulSoup
import xlsxwriter
# 设置爬取的URL和关键字
url = 'http://search.dangdang.com/?key=python&act=input'
keyword = 'Python'
# 发送请求并获取响应内容
response = requests.get(url)
html = response.text
# 使用beautifulsoup4库解析网页内容
soup = BeautifulSoup(html, 'html.parser')
# 获取所有包含关键字的书籍信息
book_list = soup.find_all('a', {'class': 'pic'})
# 创建Excel文件
workbook = xlsxwriter.Workbook('book_info.xlsx')
worksheet = workbook.add_worksheet()
# 设置Excel文件表头
worksheet.write(0, 0, '书籍名称')
worksheet.write(0, 1, '作者')
worksheet.write(0, 2, '价格')
worksheet.write(0, 3, '出版社')
worksheet.write(0, 4, '出版日期')
# 遍历每一本书籍,获取书籍信息并存储到Excel文件中
for i, book in enumerate(book_list):
# 判断书籍名称是否包含关键字
if keyword in book['title']:
# 获取书籍价格
price = book.find('span', {'class': 'search_now_price'}).text
# 获取书籍作者和出版信息
book_info = book.find('p', {'class': 'search_book_author'}).text.split('/')
author = book_info[0].strip()
publisher = book_info[-3].strip()
date = book_info[-2].strip()
# 获取书籍名称
name = book['title']
# 将书籍信息存储到Excel文件中
worksheet.write(i+1, 0, name)
worksheet.write(i+1, 1, author)
worksheet.write(i+1, 2, price)
worksheet.write(i+1, 3, publisher)
worksheet.write(i+1, 4, date)
# 关闭Excel文件
workbook.close()
print('爬取完成!')
```
运行程序后,程序将会自动爬取当当网上所有包含关键字"Python"的书籍信息,并将其存储到名为"book_info.xlsx"的Excel文件中。
用Python编写一个爬取'https://www.mh4.cc'网页数据的爬虫
您好,我可以回答这个问题。要编写一个爬取'https://www.mh4.cc'网页数据的爬虫,您可以使用Python中的requests和BeautifulSoup库。首先,使用requests库发送GET请求获取网页内容,然后使用BeautifulSoup库解析网页内容,提取需要的数据。具体实现可以参考以下代码:
import requests
from bs4 import BeautifulSoup
url = 'https://www.mh4.cc'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 提取需要的数据
data = soup.find_all('div', class_='item')
# 处理数据
for item in data:
# 处理每个item的数据
pass
当然,具体的数据提取和处理需要根据网页结构和需求进行调整。希望对您有所帮助。
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)