用Python写一个抓取抖音视频的程序

时间: 2023-05-25 09:01:42 浏览: 177
A: 需要用到的库:requests、re、json、os 1. 导入所需库 ```python import requests import re import json import os ``` 2. 定义一个函数,用于获取指定用户的用户ID ```python def get_user_id(username): url = 'https://www.douyin.com/user/' + username headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36' } response = requests.get(url, headers=headers) user_id = re.findall(r'"user_id":"(.*?)"', response.text) if user_id: return user_id[0] else: return None ``` 3. 定义一个函数,用于获取指定用户的抖音作品列表 ```python def get_aweme_list(user_id, max_cursor=0): url = 'https://www.iesdouyin.com/web/api/v2/aweme/post/?user_id={}&count=21&max_cursor={}&aid=1128&_signature=7X9l0AAs-SbOlcL1l0VEm5o5nf&dytk='.format( user_id, max_cursor) headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36', 'Referer': 'https://www.douyin.com/user/{}'.format(user_id), } response = requests.get(url, headers=headers) aweme_list = json.loads(response.text)['aweme_list'] next_max_cursor = json.loads(response.text)['max_cursor'] return aweme_list, next_max_cursor ``` 4. 调用上面两个函数来获取指定用户的所有作品列表,并下载视频文件 ```python if __name__ == '__main__': username = '抖音号' user_id = get_user_id(username) if not user_id: print('未找到该用户') else: page = 0 max_cursor = 0 while True: aweme_list, next_max_cursor = get_aweme_list(user_id, max_cursor) if not aweme_list: break page += 1 for aweme in aweme_list: video_url = aweme['video']['play_addr']['url_list'][0].replace('playwm', 'play') video_name = '{}_{}.mp4'.format(username, aweme['aweme_id']) video_path = os.path.join(os.path.abspath('.'), 'videos', video_name) if not os.path.exists(video_path): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36' } response = requests.get(video_url, headers=headers, stream=True) with open(video_path, 'wb') as f: for chunk in response.iter_content(1024): f.write(chunk) print('第{}页 第{}个视频 {} 下载成功'.format(page, aweme['rank'], video_name)) else: print('第{}页 第{}个视频 {} 已存在'.format(page, aweme['rank'], video_name)) max_cursor = next_max_cursor ``` 说明: - 第1行:判断当前脚本是否为主程序入口,如果是,则执行下面的代码 - 第7-12行:使用requests库发送GET请求,获取指定用户的主页HTML源码,并使用正则表达式解析出用户ID - 第14-26行:使用requests库发送GET请求,获取指定用户的抖音作品列表,并解析出每个作品的信息 - 第28-44行:循环遍历作品列表中的每个作品,并下载对应的视频文件到本地 - 第32行:由于抖音的视频文件是分片的,所以需要在URL中将playwm替换为play,以获取高清视频文件 - 第34行:构造本地视频文件的名称和路径 - 第36-41行:如果本地视频文件不存在,则使用requests库下载视频文件,并保存到本地 - 第43-44行:如果本地视频文件已存在,则跳过下载过程,直接输出提示信息

相关推荐

最新推荐

recommend-type

基于Python的一个自动录入表格的小程序

主要介绍了基于Python的一个自动录入表格的小程序,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
recommend-type

一个简单的python程序实例(通讯录)

/usr/bin/python#Filename:friendbook.pyimport cPickle as pimport sysimport timeimport os ab={‘Xdex’:’cneds@fnedf.com’, ‘Laexly’:’fev@fe.com’, ‘Fukc’:’fexok@ver.com’, ‘Stifu’:’stif@qq....
recommend-type

使用Python写一个量化股票提醒系统

主要介绍了小白用Python写了一个股票提醒系统,迷你版量化系统,完美的实现了实时提醒功能,代码简单易懂,非常不错,具有一定的参考借鉴价值,需要的朋友可以参考下
recommend-type

Python实现爬虫抓取与读写、追加到excel文件操作示例

主要介绍了Python实现爬虫抓取与读写、追加到excel文件操作,结合具体实例形式分析了Python针对糗事百科的抓取与Excel文件读写相关操作技巧,需要的朋友可以参考下
recommend-type

Python实现保证只能运行一个脚本实例

主要介绍了Python实现保证只能运行一个脚本实例,本文直接给出实现代码,需要的朋友可以参考下
recommend-type

RTL8188FU-Linux-v5.7.4.2-36687.20200602.tar(20765).gz

REALTEK 8188FTV 8188eus 8188etv linux驱动程序稳定版本, 支持AP,STA 以及AP+STA 共存模式。 稳定支持linux4.0以上内核。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

Redis验证与连接:快速连接Redis服务器指南

![Redis验证与连接:快速连接Redis服务器指南](https://img-blog.csdnimg.cn/20200905155530592.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNTg5NTEw,size_16,color_FFFFFF,t_70) # 1. Redis验证与连接概述 Redis是一个开源的、内存中的数据结构存储系统,它使用键值对来存储数据。为了确保数据的安全和完整性,Redis提供了多
recommend-type

gunicorn -k geventwebsocket.gunicorn.workers.GeventWebSocketWorker app:app 报错 ModuleNotFoundError: No module named 'geventwebsocket' ]

这个报错是因为在你的环境中没有安装 `geventwebsocket` 模块,可以使用下面的命令来安装: ``` pip install gevent-websocket ``` 安装完成后再次运行 `gunicorn -k geventwebsocket.gunicorn.workers.GeventWebSocketWorker app:app` 就不会出现这个报错了。
recommend-type

c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf

校园超市商品信息管理系统课程设计旨在帮助学生深入理解程序设计的基础知识,同时锻炼他们的实际操作能力。通过设计和实现一个校园超市商品信息管理系统,学生掌握了如何利用计算机科学与技术知识解决实际问题的能力。在课程设计过程中,学生需要对超市商品和销售员的关系进行有效管理,使系统功能更全面、实用,从而提高用户体验和便利性。 学生在课程设计过程中展现了积极的学习态度和纪律,没有缺勤情况,演示过程流畅且作品具有很强的使用价值。设计报告完整详细,展现了对问题的深入思考和解决能力。在答辩环节中,学生能够自信地回答问题,展示出扎实的专业知识和逻辑思维能力。教师对学生的表现予以肯定,认为学生在课程设计中表现出色,值得称赞。 整个课程设计过程包括平时成绩、报告成绩和演示与答辩成绩三个部分,其中平时表现占比20%,报告成绩占比40%,演示与答辩成绩占比40%。通过这三个部分的综合评定,最终为学生总成绩提供参考。总评分以百分制计算,全面评估学生在课程设计中的各项表现,最终为学生提供综合评价和反馈意见。 通过校园超市商品信息管理系统课程设计,学生不仅提升了对程序设计基础知识的理解与应用能力,同时也增强了团队协作和沟通能力。这一过程旨在培养学生综合运用技术解决问题的能力,为其未来的专业发展打下坚实基础。学生在进行校园超市商品信息管理系统课程设计过程中,不仅获得了理论知识的提升,同时也锻炼了实践能力和创新思维,为其未来的职业发展奠定了坚实基础。 校园超市商品信息管理系统课程设计的目的在于促进学生对程序设计基础知识的深入理解与掌握,同时培养学生解决实际问题的能力。通过对系统功能和用户需求的全面考量,学生设计了一个实用、高效的校园超市商品信息管理系统,为用户提供了更便捷、更高效的管理和使用体验。 综上所述,校园超市商品信息管理系统课程设计是一项旨在提升学生综合能力和实践技能的重要教学活动。通过此次设计,学生不仅深化了对程序设计基础知识的理解,还培养了解决实际问题的能力和团队合作精神。这一过程将为学生未来的专业发展提供坚实基础,使其在实际工作中能够胜任更多挑战。