GO colly爬取图片

时间: 2024-01-25 12:03:23 浏览: 28
GO语言中的colly框架可以用于爬取图片。下面是一个使用colly框架爬取图片的示例代码: ```go package main import ( "fmt" "log" "net/http" "os" "strings" "github.com/gocolly/colly" ) func main() { c := colly.NewCollector() // 设置要爬取的网站 c.AllowedDomains = []string{"example.com"} // 在请求之前执行的操作 c.OnRequest(func(r *colly.Request) { fmt.Println("Visiting", r.URL.String()) }) // 在响应中查找图片链接 c.OnHTML("img[src]", func(e *colly.HTMLElement) { imgURL := e.Attr("src") if strings.HasPrefix(imgURL, "http") { // 下载图片 err := DownloadImage(imgURL) if err != nil { log.Println("Failed to download image:", err) } } }) // 开始爬取 err := c.Visit("http://example.com") if err != nil { log.Println("Failed to visit website:", err) } } // 下载图片 func DownloadImage(url string) error { response, err := http.Get(url) if err != nil { return err } defer response.Body.Close() fileName := GetFileName(url) file, err := os.Create(fileName) if err != nil { return err } defer file.Close() _, err = io.Copy(file, response.Body) if err != nil { return err } fmt.Println("Downloaded", fileName) return nil } // 获取文件名 func GetFileName(url string) string { parts := strings.Split(url, "/") return parts[len(parts)-1] } ``` 上述代码使用colly框架创建了一个爬虫,它会访问指定的网站,并在响应中查找图片链接。如果找到了以"http"开头的图片链接,就会下载该图片并保存到本地。 请注意,上述代码中的`"example.com"`应该替换为你要爬取图片的网站域名。

相关推荐

最新推荐

recommend-type

天然气汽车供气系统减压装置毕业设计(cad+设计方案).zip

天然气汽车供气系统减压装置毕业设计(cad+设计方案)
recommend-type

PHP+SQL考勤系统安全性实现(源代码+论文+答辩PPT+指导书)

PHP+SQL考勤系统安全性实现(源代码+论文+答辩PPT+指导书)
recommend-type

NumPy 的用途是什么

NumPy 的用途是什么
recommend-type

毕业设计 基于javaweb的在线答题平台

毕业设计 基于javaweb的在线答题平台
recommend-type

基于MATLAB的pca人脸识别.zip

基于MATLAB的pca人脸识别.zip
recommend-type

zigbee-cluster-library-specification

最新的zigbee-cluster-library-specification说明文档。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

实现实时数据湖架构:Kafka与Hive集成

![实现实时数据湖架构:Kafka与Hive集成](https://img-blog.csdnimg.cn/img_convert/10eb2e6972b3b6086286fc64c0b3ee41.jpeg) # 1. 实时数据湖架构概述** 实时数据湖是一种现代数据管理架构,它允许企业以低延迟的方式收集、存储和处理大量数据。与传统数据仓库不同,实时数据湖不依赖于预先定义的模式,而是采用灵活的架构,可以处理各种数据类型和格式。这种架构为企业提供了以下优势: - **实时洞察:**实时数据湖允许企业访问最新的数据,从而做出更明智的决策。 - **数据民主化:**实时数据湖使各种利益相关者都可
recommend-type

解答下列问题:S—>S;T|T;T—>a 构造任意项目集规范族,构造LR(0)分析表,并分析a;a

对于这个文法,我们可以构造以下项目集规范族: I0: S -> .S S -> .T T -> .a I1: S -> S. [$ T -> T. [$ I2: S -> T. I3: S -> S.;S S -> S.;T T -> T.;a 其中,点(.)表示已经被扫描过的符号,;$表示输入串的结束符号。 根据项目集规范族,我们可以构造出LR(0)分析表: 状态 | a | $ ---- | - | - I0 | s3| I1 | |acc I2 | | 其中s3表示移进到状态3,acc表示接受。在分析字符串a;a时,我们可以按照以下步骤进行
recommend-type

JSBSim Reference Manual

JSBSim参考手册,其中包含JSBSim简介,JSBSim配置文件xml的编写语法,编程手册以及一些应用实例等。其中有部分内容还没有写完,估计有生之年很难看到完整版了,但是内容还是很有参考价值的。