如何添加爬虫启动脚本，实现在脚本中使用执行命令行的方式启动爬虫

在Python中，通常我们会创建一个包含爬虫程序的脚本，并通过命令行参数来控制它的运行。你可以使用argparse库来解析命令行输入，然后在脚本中根据这些参数执行相应的爬取任务。以下是一个基本的例子：

1. 首先，安装`argparse`库，如果你还没有安装，可以使用`pip install argparse`。

pip install argparse

2. 创建一个名为`spider.py`的文件，编写你的爬虫核心代码。例如：

import requests
from bs4 import BeautifulSoup

def fetch_data(url):
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    # 这里处理抓取的数据...
    return data

if __name__ == '__main__':
    import argparse

    parser = argparse.ArgumentParser(description='Web Scraper')
    parser.add_argument('-u', '--url', help='The URL to scrape', required=True)
    args = parser.parse_args()

    url = args.url
    data = fetch_data(url)
    print(data)

3. 然后，在命令行中，通过`python spider.py -u <your_url>`的形式启动爬虫，其中`<your_url>`是你想要爬取的网址。

4. 如果你想将这个脚本变成可执行的，可以在项目的根目录下创建一个`setup.py`文件，并添加如下的内容来打包成可执行文件：

from setuptools import setup

setup(
    name='web_scraper',
    version='0.1',
    scripts=['spider.py'],
    entry_points={
        'console_scripts': ['web_scraper=spider:run_from_command_line']
    },
)

之后运行`python setup.py bdist_wininst` (Windows) 或 `python setup.py bdist_wheel` (跨平台)，生成的whl或exe文件可以直接双击运行。