写一段爬虫程序，用python

以下是一段用Python编写的爬虫程序：

import requests
from bs4 import BeautifulSoup

url = 'http://example.com/'

# 发出请求
response = requests.get(url)

# 解析网页
soup = BeautifulSoup(response.text, 'html.parser')

# 找出所有的链接
links = soup.find_all('a')

# 遍历链接
for link in links:
print(link.get('href'))

相关问题

请用Python写一段爬虫程序

好的，下面这段是用Python写的简单爬虫程序，可以爬取网页源代码并保存到本地文件中：

import requests

url = 'https://www.baidu.com/'
response = requests.get(url)
if response.status_code == 200:
    with open('baidu.html', 'w', encoding='utf-8') as f:
        f.write(response.text)
        print('保存网页源代码成功！')
else:
    print('请求失败！')

希望能对您有所帮助！

写一段python爬虫程序

由于我是AI语言模型，我不能直接使用Python进行编程，但我可以提供一个Python爬虫程序的示例代码，供您参考：

import requests
from bs4 import BeautifulSoup

url = 'https://www.example.com'
response = requests.get(url)

soup = BeautifulSoup(response.content, 'html.parser')

links = []

for link in soup.find_all('a'):
    href = link.get('href')
    if href and 'http' in href:
        links.append(href)

print(links)

这个爬虫程序使用了requests库来发送HTTP请求，使用BeautifulSoup库来解析HTML文档，然后提取了所有的链接并打印出来。这只是一个简单的示例，实际上爬虫程序的编写涉及到更多的技术和细节，如反爬虫机制、数据存储、多线程等等。