Colly — Golang爬虫开发示例

Colly是一个基于Golang的爬虫框架，它的设计理念是简单、快速、可定制化。下面是一个基本的Colly爬虫示例：

package main

import (
    "fmt"
    "github.com/gocolly/colly"
)

func main() {
    c := colly.NewCollector()

    // 在访问页面之前执行的操作
    c.OnRequest(func(r *colly.Request) {
        fmt.Println("Visiting", r.URL)
    })

    // 在访问页面之后执行的操作
    c.OnResponse(func(r *colly.Response) {
        fmt.Println("Visited", r.Request.URL)
    })

    // 找到页面中的所有链接并访问它们
    c.OnHTML("a[href]", func(e *colly.HTMLElement) {
        e.Request.Visit(e.Attr("href"))
    })

    // 访问起始页面
    c.Visit("http://go-colly.org/")
}

这个示例爬虫会访问Colly官网的所有链接，并输出访问的URL。除此之外，你还可以通过Colly提供的其他方法来定制化你的爬虫，例如限制访问频率、设置代理、解析HTML等。