pycharm爬虫代码

以下是一个简单的 Python 爬虫程序示例，使用 PyCharm 编写：

import requests
from bs4 import BeautifulSoup

url = 'https://www.example.com/'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
links = soup.find_all('a')

for link in links:
    print(link.get('href'))

这个程序会请求指定 URL 的网页并使用 BeautifulSoup 库解析 HTML 内容，然后找到所有链接并打印输出。在 PyCharm 中，你可以使用 Python Console 进行交互式测试和调试。

相关问题

pycharm爬虫代码案例

以下是一个使用 PyCharm 编写的简单爬虫代码案例，可以爬取知乎的热门问题和对应的回答：

import requests
from bs4 import BeautifulSoup

url = 'https://www.zhihu.com/hot'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
hot_list = soup.find_all('section', attrs={'class': 'HotItem'})

for hot in hot_list:
    title = hot.find('h2').text.strip()
    desc = hot.find('p').text.strip()
    print('问题：', title)
    print('回答：', desc)
    print('----------------------------------')

该代码使用了 requests 库向知乎发送请求，获取热门问题页面的 HTML，然后使用 BeautifulSoup 库解析 HTML，提取出热门问题和对应的回答，并输出到控制台上。在 PyCharm 中，可以直接创建一个 Python 项目，然后将该代码粘贴到一个 Python 文件中，运行即可。

pycharm爬虫代码爬取京东

以下是一个使用 requests 和 BeautifulSoup 库爬取京东商品列表的代码示例：

import requests
from bs4 import BeautifulSoup

# 发送请求并获取响应
url = 'https://search.jd.com/Search?keyword=python&enc=utf-8'
response = requests.get(url)

# 使用 BeautifulSoup 解析 HTML
soup = BeautifulSoup(response.text, 'html.parser')

# 获取商品列表
products = soup.select('#J_goodsList > ul > li')
for product in products:
    name = product.select_one('.p-name > a > em').text.strip()
    price = product.select_one('.p-price > strong').text.strip()
    link = product.select_one('.p-name > a')['href']
    print(name)
    print(price)
    print(link)

请注意，京东的使用协议禁止对网站进行爬取，请遵守相关规定。