golang &http.Client 自定义请求超时

在 Go 语言中，可以通过设置 `http.Client` 的 `Timeout` 字段来自定义请求的超时时间，示例如下：

package main

import (
    "net/http"
    "time"
)

func main() {
    client := http.Client{
        Timeout: 5 * time.Second, // 设置超时时间为 5 秒
    }

    req, err := http.NewRequest("GET", "https://www.example.com", nil)
    if err != nil {
        // 处理错误
    }

    resp, err := client.Do(req)
    if err != nil {
        // 处理错误
    }
    defer resp.Body.Close()

    // 处理响应
}

在上面的示例中，我们通过设置 `http.Client` 的 `Timeout` 字段为 5 秒来自定义请求的超时时间。如果请求超时，`client.Do()` 方法会返回一个错误。需要注意的是，在实际使用中，要根据自己的需求和网络环境来设置合理的超时时间。

相关问题

golang抓取请求

### 使用 Golang 进行 HTTP 请求抓取

对于希望利用 Go 语言执行 HTTP 请求抓取的任务，存在多种方式和库可供选择。

#### 推荐的 HTTP 请求库

`request` 是一款专为开发者设计、友好且高效的 Golang HTTP 请求库[^1]。此库简化了发起 GET 和 POST 请求的过程，并提供了丰富的功能来处理复杂的网络交互需求。它支持设置超时时间、自定义头部信息以及管理 Cookies 等特性，非常适合用于构建 Web 客户端应用或自动化脚本。

package main

import (
	"fmt"
	request "github.com/go-resty/resty/v2"
)

func main() {
	client := request.New()
	resp, err := client.R().
		SetHeader("User-Agent", "Mozilla/5.0").
		Get("https://example.com")

	if err != nil {
		fmt.Println(err)
		return
	}

	fmt.Printf("Response Status Code: %d\n", resp.StatusCode())
}

除了 `request` 外，标准库中的 `net/http` 包也能够满足基本的 HTTP 请求发送需求。其内部实现细节涉及到了服务器处理器函数 `ServeHTTP()` 的调用逻辑[^2]：

// serve.go 文件第 2686 行附近展示了服务端如何响应客户端请求的核心流程。
func (sh serverHandler) ServeHTTP(rw ResponseWriter, req *Request) {
	handler := sh.srv.Handler
	if handler == nil {
		handler = DefaultServeMux
	}
	if req.RequestURI == "*" && req.Method == "OPTIONS" {
		handler = globalOptionsHandler{}
	}
	handler.ServeHTTP(rw, req)
}

当涉及到更复杂的应用场景比如文章信息抓取时，则可能需要用到额外的技术手段如读写锁、goroutine 间的 channel 通信机制、URL 解析技术、HTML 文档解析能力等[^3]。具体到 HTML 页面内链接提取方面的工作可以借助如下所示的小型辅助程序完成[^4]：

package main

import (
	"golang.org/x/net/html"
	"strings"
)

func visit(links []string, n *html.Node) []string {
	if n.Type == html.ElementNode && n.Data == "a" {
		for _, a := range n.Attr {
			if a.Key == "href" && strings.HasPrefix(a.Val, "http") {
				links = append(links, a.Val)
			}
		}
	}
	for c := n.FirstChild; c != nil; c = c.NextSibling {
		links = visit(links, c)
	}
	return links
}