使用wget下载网站时如何避免下载重复文件？

当你使用 `wget` 下载网站时，可以设置 `-U` 参数来模拟浏览器用户代理，这可以帮助避免服务器识别到你是机器人并重复提供已下载过的资源。另外，如果你知道文件的校验和或者版本信息，可以在命令中添加 `-O` 参数指定文件名，并检查现有文件的校验和是否匹配。

例如，你可以先运行一次 `wget` 来获取文件的原始校验和，然后在下次下载时加上 `-I` 参数指明这个校验和：

# 第一次下载并保存校验和
wget -O file.zip --spider --header="User-Agent: Mozilla/5.0" http://example.com/file.zip

# 下次下载前检查校验和
curl -I http://example.com/file.zip | grep "Content-MD5:" > file.zip.md5
md5sum file.zip > file.zip.md5.md5
wget -O file.zip --spider --header="User-Agent: Mozilla/5.0" -I file.zip.md5 http://example.com/file.zip

这里假设服务器返回了Content-MD5头信息。如果校验和匹配，就不会再次下载相同的文件。如果不匹配，就会下载新的内容。