爬虫必备：多样化的用户代理与IP代理集合

需积分: 13 33 浏览量更新于2024-09-09 收藏 5KB TXT 举报

在爬虫开发中，用户代理（User-Agent）是一种关键的请求头信息，它模拟了浏览器或其他网络客户端向服务器发送请求时携带的身份标识。使用特定的用户代理有助于模拟不同设备、操作系统或浏览器的行为，使得爬虫在访问网站时能够更接近真实用户的请求，从而提高数据抓取的效率和成功率。在这个文件中，提供了五十多条常见的用户代理字符串，它们按照不同的设备和操作系统进行了分类： 1. Android 用户代理：例如 `Mozilla/5.0(Linux;Android4.1.1;Nexus7Build/JRO03D)` 和 `Mozilla/5.0(Linux;U;Android4.0.4;en-gb;GT-I9300Build/IMM76D)`，这些是针对Android设备编写的，包含了浏览器类型（如Chrome、WebKit）、操作系统版本以及设备型号信息。 2. Firefox 用户代理：`Mozilla/5.0(WindowsNT6.2;WOW64;rv:21.0)Gecko/20100101Firefox/21.0` 是针对Windows系统上的Firefox浏览器，还有 `Mozilla/5.0(Android;Mobile;rv:14.0)Gecko/14.0Firefox/14.0` 用于Android设备的Firefox版本。 3. Google Chrome 用户代理：`Mozilla/5.0(WindowsNT6.2;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/27.0.1453.94Safari/537.36` 表示运行在Windows 6.2（Windows 8）环境下的Chrome浏览器。 4. iOS 用户代理：如 `Mozilla/5.0(iPad;CPUOS5_0likeMacOSX)AppleWebKit/534.46(KHTML,likeGecko)Version/5.1Mobile/9A334Safari/7534.48.3`，这是针对iPad的iOS设备，表明浏览器类型和版本。 5. Firefox Go：这个标签可能是对Firefox的一个轻量级版本或者特别优化的版本，用于低带宽或入门级设备。在编写Python爬虫时，使用这些用户代理可以帮助开发者构建更加智能化和适应性的爬虫，避免因过于频繁或明显地模拟同一类型的请求而被目标网站识别为机器人。通过动态随机选择这些用户代理，可以提高爬虫的隐蔽性和数据抓取的多样性。当然，在实际应用中，还要遵守网站的Robots协议，并确保爬虫行为符合法律法规，尊重网站的爬虫策略。

常见的User Agent

1.Android

Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19
Mozilla/5.0 (Linux; U; Android 4.0.4; en-gb; GT-I9300 Build/IMM76D) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30
Mozilla/5.0 (Linux; U; Android 2.2; en-gb; GT-P1000 Build/FROYO) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1
2.Firefox

Mozilla/5.0 (Windows NT 6.2; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0
Mozilla/5.0 (Android; Mobile; rv:14.0) Gecko/14.0 Firefox/14.0
3.Google Chrome

Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36
Mozilla/5.0 (Linux; Android 4.0.4; Galaxy Nexus Build/IMM76B) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.133 Mobile Safari/535.19
4.iOS

Mozilla/5.0 (iPad; CPU OS 5_0 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9A334 Safari/7534.48.3
Mozilla/5.0 (iPod; U; CPU like Mac OS X; en) AppleWebKit/420.1 (KHTML, like Gecko) Version/3.0 Mobile/3A101a Safari/419.3
上面列举了Andriod、Firefox、Google Chrome、iOS的一些User Agent，直接copy就能用。

UserAgents = [
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36",
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36",
"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36",
"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
"Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
"Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",

下载后可阅读完整内容，剩余1页未读，立即下载

啊啊平

粉丝: 185
资源: 1

爬虫必备：多样化的用户代理与IP代理集合

爬虫个代理池主要是免费的代理

脸书爬虫IP及用户代理

Bilibili 用户爬虫.zip

js 判断蜘蛛 跳转

python爬虫设置代理

在爬虫中隧道代理是什么？有什么用？

python 反爬虫指纹

爬取微博用户数据爬虫概述

seleniumwire 和selenium一样吗?我使用爬虫,但是代理只支持seleniumwire使用账号密码登录

请用php编写代码：要求防止用户频繁访问以及防止爬虫攻击网站

最新资源

js 判断蜘蛛跳转