如何利用python在网页中把每个UniProtkb id都查一遍，然后提取出来制成表格

在Python中，我们可以使用BeautifulSoup库来抓取网页内容并提取特定信息，如UniProtKB IDs。这里是一个基本的步骤指南：

1. 首先，你需要安装必要的库。如果你还没有安装，可以使用`pip install beautifulsoup4 requests`命令。

2. 定义一个函数来获取网页内容，比如 UniProtKB 的搜索结果页面。假设你想从搜索结果列表中提取ID。可以设置URL，并用requests库发送GET请求：

import requests
from bs4 import BeautifulSoup

def get_page(url):
    response = requests.get(url)
    return BeautifulSoup(response.text, 'html.parser')

3. 创建一个正则表达式来匹配UniProtKB ID，因为它们通常有固定的格式（例如：P01234）。你可以根据实际网页结构调整这个模式：

import re

def extract_id(soup):
    pattern = r'uni[0-9A-Z]{5}'
    ids = soup.find_all(string=re.compile(pattern))
    return [id.strip() for id in ids]

4. 对于每个UniProtKB ID的搜索结果页，调用上面两个函数，然后将结果存储在一个列表中：

def search_and_extract_ids(search_url, id_search_pattern):
    base_url = 'https://www.uniprot.org/uniprot/'
    results_soup = get_page(base_url + search_url)
    all_ids = []
    
    # 如果你想搜索整个网站，可以遍历每一页，这里我们仅演示单页
    current_page_ids = extract_id(results_soup)
    all_ids.extend(current_page_ids)

    return all_ids

5. 最后，你可以用一个循环来查询所有ID，并将它们放入一个表格中。这里只是示例，实际操作取决于你如何处理数据和保存表格：

def create_table(all_ids):
    table_data = [{'UniProtKB ID': id} for id in all_ids]
    # 这里可以进一步使用pandas DataFrame 或 csv.writer 等方式保存到文件或显示在终端
    pass

# 使用函数
ids_to_check = ['P01234', 'Q56789']  # 替换为你想要搜索的实际ID
for id in ids_to_check:
    print(f"Extracting data from {id}:")
    ids = search_and_extract_ids(id, 'uni[0-9A-Z]{5}')
    create_table(ids)