爬虫，网页源代码中同一行div里面有class也有id，怎么用select筛选

可以通过以下方式筛选：
1. 通过class属性筛选：使用".class名"的方式，例如：".classname"；
2. 通过id属性筛选：使用"#id名"的方式，例如："#idname"；
3. 如果要同时筛选class和id，可以使用".class名#id名"的方式，例如：".classname#idname"。

如果同一行有多个div，可以通过父元素来限制范围，例如："div.parent-classname div.classname#idname"。

相关问题

使用java设计一个爬虫爬取豆瓣评论信息，应该怎么用代码实现

使用Java设计一个爬虫爬取豆瓣评论信息的话，可以按照以下步骤进行：

1. 首先，需要选择一个网络爬虫框架，比较常用的有Jsoup、HttpClient、Selenium等，这里以Jsoup为例。

2. 然后，需要确定需要爬取的页面和其对应的URL。以豆瓣电影评论页面为例，URL可以是：https://movie.douban.com/subject/电影ID/comments?start=0&limit=20&sort=new_score&status=P

3. 根据URL，使用Jsoup发送HTTP请求，获取网页源代码。

4. 使用Jsoup解析网页源代码，获取需要的数据。比如，可以使用CSS选择器或正则表达式来获取评论内容、评分、用户名等信息。

5. 如果需要爬取多页数据，可以通过循环改变URL中的start参数来获取多页数据。

6. 最后，将获取的数据保存到数据库或者文件中。

下面是一个简单的示例代码，用于获取豆瓣电影《肖申克的救赎》的前20条评论：

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;

public class DoubanSpider {
    public static void main(String[] args) throws IOException {
        String url = "https://movie.douban.com/subject/1292052/comments?start=0&limit=20&sort=new_score&status=P";
        Document document = Jsoup.connect(url).get();
        Elements elements = document.select("div.comment-item");
        for (Element element : elements) {
            String username = element.select("a").first().text();
            String rating = element.select("span.rating").attr("title");
            String content = element.select("span.short").text();
            System.out.println("用户名：" + username);
            System.out.println("评分：" + rating);
            System.out.println("评论内容：" + content);
            System.out.println("---------------------------");
        }
    }
}

以上代码中，我们使用Jsoup连接到豆瓣电影《肖申克的救赎》的评论页面，然后使用CSS选择器获取每个评论的用户名、评分和评论内容，并将其输出到控制台。

python爬虫获取http://www.826226.com/lstq/110100_2020_1/网页的天气数据

要爬取http://www.826226.com/lstq/110100_2020_1/网页的天气数据，可以参考以下步骤：

1. 导入必要的库，如requests、BeautifulSoup等。

2. 发送HTTP请求，获取网页的HTML源代码。

3. 使用BeautifulSoup库解析HTML源代码，获取所需的数据。

4. 对获取到的数据进行处理和存储。

以下是一个简单的Python代码示例，用于从http://www.826226.com/lstq/110100_2020_1/网页上获取北京市今天到7天的天气预报：

import requests
from bs4 import BeautifulSoup

# 请求头，模拟浏览器请求
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

# 获取HTML源代码
url = 'http://www.826226.com/lstq/110100_2020_1/'
response = requests.get(url, headers=headers)
html = response.content.decode('utf-8')

# 解析HTML源代码，获取所需的数据
soup = BeautifulSoup(html, 'html.parser')
data_list = soup.select('div[class="weather6"] ul')[0].find_all('li')
for data in data_list:
    date = data.select('h1')[0].text
    weather = data.select('p[class="wea"]')[0].text
    temperature = data.select('p[class="tem"]')[0].text
    print(date, weather, temperature)

该代码会输出形如下面的结果：

今天 今天阵雨 22℃ / 13℃
明天 明天多云 19℃ / 10℃
后天 后天多云 18℃ / 9℃
周五 周五晴 19℃ / 9℃
周六 周六多云 17℃ / 10℃
周日 周日多云 20℃ / 10℃
周一 周一多云 21℃ / 12℃