如何使用C#从网页中抓取并提取包含中文的链接和相关文本

在C#中，我们可以利用HttpClient或者第三方库如HtmlAgilityPack或AngleSharp等来从网页中抓取数据，特别是包括中文的链接和文本。以下是使用HtmlAgilityPack的一个简单示例：

首先，需要安装HtmlAgilityPack库，可以通过NuGet包管理器添加，命令如下：

Install-Package HtmlAgilityPack

然后，你可以编写一个函数来进行网页抓取：

using HtmlAgilityPack;
using System;
using System.Net.Http;
using System.Threading.Tasks;

public async Task<(List<string> links, List<string> texts)> ExtractLinksAndText(string url)
{
    var links = new List<string>();
    var texts = new List<string>();

    try
    {
        using (var httpClient = new HttpClient())
        {
            var html = await httpClient.GetStringAsync(url);
            
            var doc = new HtmlDocument();
            doc.LoadHtml(html);

            foreach (var node in doc.DocumentNode.SelectNodes("//a[@href]")) // 搜索所有有href属性的a标签
            {
                string href = node.GetAttributeValue("href", string.Empty); // 获取链接
                if (!string.IsNullOrEmpty(href) && !href.Contains("javascript:"))
                    links.Add(href); // 如果链接有效，添加到列表

                if (node.InnerText != string.Empty) // 检查节点是否有文本内容
                    texts.Add(node.InnerText.Trim()); // 提取并清洗文本
            }
        }

        return (links, texts);
    }
    catch (Exception ex)
    {
        Console.WriteLine($"Error extracting data from URL: {ex.Message}");
        return (null, null);
    }
}

这个函数返回两个列表，一个是链接，另一个是对应的文本。注意这只是一个基本的示例，实际操作可能会更复杂，比如处理编码、反爬虫机制等。