爬取fr.oppein.com内容
时间: 2023-11-27 20:06:24 浏览: 85
为了爬取 fr.oppein.com 的内容,我们可以使用 Go 语言中的第三方库,如 `github.com/PuerkitoBio/goquery` 和 `net/http`,以下是一个示例代码:
```go
package main
import (
"fmt"
"log"
"net/http"
"github.com/PuerkitoBio/goquery"
)
func main() {
// 发送 GET 请求
res, err := http.Get("https://fr.oppein.com/")
if err != nil {
log.Fatal(err)
}
defer res.Body.Close()
// 解析 HTML
doc, err := goquery.NewDocumentFromReader(res.Body)
if err != nil {
log.Fatal(err)
}
// 查找标题
title := doc.Find("title").Text()
fmt.Println("Title:", title)
// 查找所有链接
doc.Find("a").Each(func(i int, s *goquery.Selection) {
href, exists := s.Attr("href")
if exists {
fmt.Println("Link:", href)
}
})
}
```
在上述代码中,我们使用 `http.Get` 函数发送 GET 请求,并使用 `goquery.NewDocumentFromReader` 函数解析 HTML。然后,我们使用 `Find` 函数查找标题和所有链接,并使用 `Text` 和 `Attr` 函数获取它们的文本和链接地址。
需要注意的是,上述代码只演示了如何获取页面的标题和所有链接。如果你需要获取其他内容,你需要对上述代码进行修改。另外,我们需要注意网站的 robots.txt 文件,确保我们在爬取时不违反网站的规定。
阅读全文