VirtualBox CentOS7.7 搭建Python3.8 Scrapy开发环境图文教程

0 下载量 125 浏览量 更新于2024-09-01 收藏 282KB PDF 举报
本教程详细阐述了如何在VirtualBox虚拟环境中使用CentOS 7.7.1908操作系统和Python 3.8版本搭建Scrapy爬虫开发环境。通过图文教程的方式,适合初学者参考。 首先,我们需要安装VirtualBox v6.0.14,这是一款虚拟机软件,它允许我们在Windows主机上运行CentOS操作系统。CentOS 7.1908是Linux发行版,提供了一个稳定的基础来构建开发环境。Python 3.8.0是Python编程语言的最新稳定版本,对于Scrapy框架的支持非常完善。 在安装CentOS时,我们推荐配置两个虚拟网卡,确保虚拟机与宿主机之间的双向通信。第一个网卡应设置为"NAT"模式,使虚拟机能够访问外部网络和宿主机。第二个网卡设置为"桥接网卡"模式,以便宿主机可以直接访问虚拟机。在CentOS安装过程中,请确保两块网卡都被启用。安装完成后,使用`ip addr`命令检查网卡的IP地址信息。 如果发现某个网卡的IP信息缺失,可能是因为系统安装时未启用该网卡。此时,你需要在`/etc/sysconfig/network-scripts/ifcfg-enp0s3`和`/etc/sysconfig/network-scripts/ifcfg-enp0s8`文件中将`ONBOOT`参数设置为`yes`,然后重启网络服务,如`systemctl start network.service`或`service network restart`。 CentOS安装完成后,默认已经启用了SSH服务,这对于从宿主机远程连接到虚拟机非常重要。为了允许SSH连接,你需要通过防火墙命令`firewall-cmd --zone=public --add-port=22/tcp --permanent`永久开启22端口。 接下来,我们将安装Python 3.8。由于系统自带Python 2.7.5,但本教程将专注于Python 3环境。避免使用pyenv导致的问题,我们选择手动编译安装Python 3.8。安装完成后,使用pip v19.3.1安装Scrapy和其他必要的依赖库。MongoDB v3.2.22作为数据库支持,用于存储Scrapy爬取的数据。 在PyCharm(推荐使用企业版,但社区版也可用于开发)中设置远程解释器,连接到虚拟机上的Python 3.8环境,这样就可以在Windows环境下使用强大的IDE进行Scrapy项目的开发和调试。 本教程详细地指导了如何配置一个完整的Scrapy开发环境,包括虚拟机的设置、网络配置、Python环境的搭建以及开发工具的连接。通过遵循这些步骤,开发者可以在一个隔离且稳定的环境中开始他们的Scrapy项目。