import requests import re import pymysql def save_sql(content): con = pymysql.connect( host='localhost', port='3306', user='root', password='123456', db='test' ) db = con.cursor() sql = f'insert into danmu values (content)' db.execute(sql) # 数据库执行sql con.commit() db.close() con.close() url="https://api.bilibili.com/x/v1/dm/list.so?oid=1147917986" headers={ 'referer':'https://www.bilibili.com/', 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.37' } response=requests.get(url=url,headers=headers) #解决网页数据乱码 response.encoding = 'utf-8' print(response.text) content_list=re.findall('<d p=".*?">(.*?)</d>',response.text) print(content_list) #for 循环遍历弹幕 for content in content_list: with open('弹幕.text', mode='a', encoding='utf-8') as f: f.write(content) f.write('\n') print(content) save_sql(content)

时间: 2024-03-15 14:43:11 浏览: 15
这段代码是一个从B站获取弹幕并保存到MySQL数据库中的程序。程序先使用requests库从B站获取指定视频的弹幕信息,然后使用正则表达式从返回的数据中提取出所有的弹幕文本内容。接着,程序使用for循环遍历所有的弹幕,并将每条弹幕分别写入文件和MySQL数据库中。 其中,save_sql函数是用于将弹幕保存到MySQL数据库的函数。在函数中,程序使用pymysql库连接到指定的MySQL数据库,并执行一条INSERT语句将弹幕文本内容插入到指定的数据表中。 需要注意的是,如果您需要运行这段代码,需要安装requests库和pymysql库。另外,您需要将代码中的数据库连接信息修改为您自己的数据库连接信息。
相关问题

import requests if __name__=="__main__": url ='https://www.sogou.com/' requests.get()

在您的代码中,您需要在 `requests.get()` 函数中传入一个 URL 参数来发起 GET 请求。以下是一个示例,演示如何使用 `requests` 库发送 GET 请求: ```python import requests if __name__ == "__main__": url = 'https://www.sogou.com/' response = requests.get(url) print(response.status_code) # 打印响应状态码 print(response.text) # 打印响应内容 ``` 在上面的示例中,`response` 变量将保存从指定 URL 获取的响应对象。您可以使用 `response.status_code` 获取响应的状态码,使用 `response.text` 获取响应的内容。记得替换 `url` 变量的值为您要请求的实际 URL。

def get_mnnu_text(url): response = requests.get(url) soup = BeautifulSoup(response.content.decode('utf-8'), 'html.parser') content = soup.find_all('p') text = '\n'.join([p.get_text() for p in content]) 返回文本 URL = 'http://www.mnnu.edu.cn/' 文本 = get_mnnu_text(URL) 打印(文本) def save_to_navicat(text): connection = pymysql.connect( host='localhost', user='root', password='root', database='pa', charset='utf8' ) try: 使用connection.cursor()作为光标: SQL = “INSERT INTO () VALUES (%S)” encoded_text = TEXT.ENCODE('UTF8') cursor.execute(sql, (encoded_text,)) connection.commit() 最后: connection.close() save_to_navicat(text),我要修改url为 https://movie.douban.com/subject/30391186/comments?status=P

好的,你可以按照以下方式修改代码: ```python import requests from bs4 import BeautifulSoup import pymysql def get_movie_comments(url): response = requests.get(url) soup = BeautifulSoup(response.content.decode('utf-8'), 'html.parser') content = soup.find_all('span', class_='short') comments = '\n'.join([c.get_text() for c in content]) return comments url = 'https://movie.douban.com/subject/30391186/comments?status=P' comments = get_movie_comments(url) def save_to_navicat(text): connection = pymysql.connect( host='localhost', user='root', password='root', database='pa', charset='utf8' ) try: with connection.cursor() as cursor: sql = "INSERT INTO `my_table` (`content`) VALUES (%s)" encoded_text = text.encode('utf8') cursor.execute(sql, (encoded_text,)) connection.commit() finally: connection.close() save_to_navicat(comments) ``` 这样就可以获取豆瓣电影《误杀》的所有评论并保存到数据库中了。

相关推荐

帮我把一下代码设置一个合理请求头,并加入一个延时import requests import os from bs4 import BeautifulSoup class NovelDownloader: def __init__(self, root_url): self.root_url = root_url self.book_list = [] self.chapter_list = [] def get_url(self, url): while True: try: res = requests.get(url) if res.status_code == 200: print("页面获取成功!") return res.text else: print("页面返回异常!", res.status_code) except: print("页面获取错误!") def get_book_list(self): res = self.get_url(self.root_url) html = BeautifulSoup(res, "html.parser") a_list = html.find_all("a", {"class": "name"}) for a in a_list: self.book_list.append(a["href"]) self.book_list = [self.root_url + i for i in self.book_list] self.book_list.remove('http://www.biquge5200.cc/') def get_chapter_list(self, url): res = self.get_url(url) html = BeautifulSoup(res, "html.parser") a_list = html.find_all("a", {"class": "chapter"}) for a in a_list: self.chapter_list.append((a["href"], a.text.replace("\n", ""))) def get_content(self, chapter): url = self.root_url + chapter[0] print(url) book_name = chapter[0].split("/")[1] print(book_name) if not os.path.exists(book_name): os.mkdir(book_name) res = self.get_url(url) html = BeautifulSoup(res, "html.parser") content = html.find("div", {"id": "content"}).text print(content) path = os.path.join(book_name, chapter[1]) with open(path, "w", encoding="utf8") as f: f.write(content) def main(self): self.get_book_list() for book in self.book_list: self.get_chapter_list(book) for chapter in self.chapter_list: self.get_content(chapter) if __name__ == '__main__': root_url = "http://www.biquge5200.cc/" nd = NovelDownloader(root_url) nd.main()

import socket import time import requests import tkinter as tk HOST = "192.168.185.60" # 服务器端可以写"localhost",可以为空字符串"",也为本机IP地址 PORT = 8888 # 端口号 class ChatWindow: def __init__(self, master): self.master = master self.master.geometry('500x500') self.master.title('英文翻译聊天室') self.master.protocol('WM_DELETE_WINDOW', self.close_window) self.create_widgets() self.connect_to_server() def create_widgets(self): self.chat_label = tk.Label(self.master, text='聊天记录') self.chat_label.pack() self.chat_text = tk.Text(self.master, height=20) self.chat_text.pack() self.input_label = tk.Label(self.master, text='输入框') self.input_label.pack() self.input_text = tk.Text(self.master, height=5) self.input_text.pack() self.send_button = tk.Button(self.master, text='发送', command=self.send_message) self.send_button.pack() def connect_to_server(self): self.sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) self.sock.connect((HOST, PORT)) self.chat_text.insert(tk.END, '已连接到服务器\n') def send_message(self): message = self.input_text.get('1.0', tk.END).strip() self.input_text.delete('1.0', tk.END) if not message: return self.sock.sendall(message.encode()) self.chat_text.insert(tk.END, f'发送:{message}\n') self.receive_message() def receive_message(self): data = self.sock.recv(1024) data = data.decode() if data: self.chat_text.insert(tk.END, f'接收:{data}\n') def close_window(self): self.sock.close() self.master.destroy() def translate(text): data1 = {'doctype': 'json', 'type': 'zh_TW', 'i': text} r = requests.get("http://fanyi.youdao.com/translate", params=data1) result = r.json() t1 = result.setdefault('translateResult') t2 = t1[0] t3 = t2[0] return t3.setdefault('tgt') if __name__ == '__main__': root = tk.Tk() chat_window = ChatWindow(root) while True: root.update() try: chat_window.receive_message() except socket.error: break time.sleep(0.05)这串代码有什么问题吗

import requests from bs4 import BeautifulSoup import openpyxl class LianJiaSpider(): def __init__(self): self.url = 'https://bj.lianjia.com/ershoufang/pg{0}/' self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36 SLBrowser/8.0.0.12022 SLBChan/109'} def send_request(self, url): resp = requests.get(url, headers=self.headers) if resp.status_code == 200: return resp def parse_html(self, resp): lst = [] html = resp.text bs = BeautifulSoup(html, 'lxml') ul = bs.find('ul', class_='sellListContent') li_list = ul.find_all('li') for item in li_list: title = item.find('div', class_='title').text positionInfo = item.find('div', class_='positionInfo').text address = item.find('div', class_='address').text followInfo = item.find('div', class_='followInfo').text tag = item.find('div', class_='tag').text totalPrice = item.find('div', class_='totalPrice totalPrice2').text unitPrice = item.find('div', class_='unitPrice').text # print(unitPrice) lst.append((title, positionInfo, address, followInfo, tag, totalPrice, unitPrice)) print(lst) self.save(lst) def save(self, lst): wb = openpyxl.Workbook() sheet = wb.active for row in lst: sheet.append(row) continue wb.save('D:/爬虫/链家.csv') def start(self): for i in range(1, 5): full_url = self.url.format(i) resp = self.send_request(full_url) #print(resp.text) self.parse_html(resp) if __name__ == '__main__': lianjia = LianJiaSpider() lianjia.start()使用以上代码爬取数据保存到文件中只显示最后一页30条数据,前面页码的数据都被覆盖了,如何更改

最新推荐

recommend-type

grpcio-1.63.0-cp38-cp38-linux_armv7l.whl

Python库是一组预先编写的代码模块,旨在帮助开发者实现特定的编程任务,无需从零开始编写代码。这些库可以包括各种功能,如数学运算、文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库,如NumPy、Pandas和Requests,极大地丰富了Python的应用领域,从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径,而且为经验丰富的开发者提供了强大的工具,以高效率、高质量地完成复杂任务。例如,Matplotlib和Seaborn库在数据可视化领域内非常受欢迎,它们提供了广泛的工具和技术,可以创建高度定制化的图表和图形,帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。
recommend-type

SQLyog-13.1.3-0.x86Community.exe

SQLyog-13.1.3-0.x86Community
recommend-type

VB自动出题题库系统设计(源代码+系统).rar

计算机专业毕业设计VB精品论文资源
recommend-type

zigbee-cluster-library-specification

最新的zigbee-cluster-library-specification说明文档。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

MATLAB柱状图在信号处理中的应用:可视化信号特征和频谱分析

![matlab画柱状图](https://img-blog.csdnimg.cn/3f32348f1c9c4481a6f5931993732f97.png) # 1. MATLAB柱状图概述** MATLAB柱状图是一种图形化工具,用于可视化数据中不同类别或组的分布情况。它通过绘制垂直条形来表示每个类别或组中的数据值。柱状图在信号处理中广泛用于可视化信号特征和进行频谱分析。 柱状图的优点在于其简单易懂,能够直观地展示数据分布。在信号处理中,柱状图可以帮助工程师识别信号中的模式、趋势和异常情况,从而为信号分析和处理提供有价值的见解。 # 2. 柱状图在信号处理中的应用 柱状图在信号处理
recommend-type

用Spring boot和vue写一个登录注册界面

好的,这是一个比较常见的技术问题,我可以为您提供一些参考资料和思路。首先,您可以使用Spring Boot作为后端框架来处理用户认证和注册的逻辑,比如使用Spring Security实现用户登录认证。同时,您还需要设计相应的数据模型和数据库表结构来存储用户信息。在前端方面,您可以使用Vue.js作为框架来构建登录注册页面,使用Axios来发起API请求并和后端进行交互。当然,在实现过程中,还需要考虑一些具体细节,比如数据校验、安全性和用户体验等方面。希望这些信息能够帮助到您。
recommend-type

JSBSim Reference Manual

JSBSim参考手册,其中包含JSBSim简介,JSBSim配置文件xml的编写语法,编程手册以及一些应用实例等。其中有部分内容还没有写完,估计有生之年很难看到完整版了,但是内容还是很有参考价值的。
recommend-type

"互动学习:行动中的多样性与论文攻读经历"

多样性她- 事实上SCI NCES你的时间表ECOLEDO C Tora SC和NCESPOUR l’Ingén学习互动,互动学习以行动为中心的强化学习学会互动,互动学习,以行动为中心的强化学习计算机科学博士论文于2021年9月28日在Villeneuve d'Asq公开支持马修·瑟林评审团主席法布里斯·勒菲弗尔阿维尼翁大学教授论文指导奥利维尔·皮耶昆谷歌研究教授:智囊团论文联合主任菲利普·普雷教授,大学。里尔/CRISTAL/因里亚报告员奥利维耶·西格德索邦大学报告员卢多维奇·德诺耶教授,Facebook /索邦大学审查员越南圣迈IMT Atlantic高级讲师邀请弗洛里安·斯特鲁布博士,Deepmind对于那些及时看到自己错误的人...3谢谢你首先,我要感谢我的两位博士生导师Olivier和Philippe。奥利维尔,"站在巨人的肩膀上"这句话对你来说完全有意义了。从科学上讲,你知道在这篇论文的(许多)错误中,你是我可以依
recommend-type

MATLAB柱状图在数据分析中的作用:从可视化到洞察

![MATLAB柱状图在数据分析中的作用:从可视化到洞察](https://img-blog.csdnimg.cn/img_convert/1a36558cefc0339f7836cca7680c0aef.png) # 1. MATLAB柱状图概述** 柱状图是一种广泛用于数据可视化的图表类型,它使用垂直条形来表示数据中不同类别或组别的值。在MATLAB中,柱状图通过`bar`函数创建,该函数接受数据向量或矩阵作为输入,并生成相应的高度条形。 柱状图的优点在于其简单性和易于理解性。它们可以快速有效地传达数据分布和组别之间的比较。此外,MATLAB提供了广泛的定制选项,允许用户调整条形颜色、