goLang 获取网页内容
时间: 2023-02-23 17:52:18 浏览: 324
golang抓取网页并分析页面包含的链接方法
Go 语言提供了内置的 `net/http` 库可以用来访问网络资源。
你可以使用 `http.Get` 函数来获取网页内容:
```
resp, err := http.Get("http://www.example.com")
if err != nil {
// 处理错误
}
defer resp.Body.Close()
body, err := ioutil.ReadAll(resp.Body)
if err != nil {
// 处理错误
}
fmt.Println(string(body))
```
在这段代码中,`http.Get` 函数会发送一个 HTTP GET 请求到指定的 URL,并返回响应结构体。然后我们使用 `ioutil.ReadAll` 函数来读取响应体的内容,最后使用 `fmt.Println` 函数将内容输出到控制台。
注意:确保在使用完响应体后关闭它,这样可以释放资源。
如果你需要更多控制,也可以使用 `http.NewRequest` 函数创建一个自定义的 HTTP 请求,然后使用 `http.DefaultClient.Do` 函数发送请求并获取响应。
```
req, err := http.NewRequest("GET", "http://www.example.com", nil)
if err != nil {
// 处理错误
}
req.Header.Set("User-Agent", "MyUserAgent")
resp, err := http.DefaultClient.Do(req)
if err != nil {
// 处理错误
}
defer resp.Body.Close()
body, err := ioutil.ReadAll(resp.Body)
if err != nil {
// 处理错误
}
fmt.Println(string(body))
```
在这段代码中,我们使用了自定义的 HTTP 请求头来设置 User-Agent 字段,并使用默认的 HTTP 客
阅读全文