假如同事修改了common模块的代码，但是未deploy到远程仓库，这个时候我拉取最新代码之后运行项目，会获取到最新的common包吗

如果您的同事修改了common模块的代码，但是未将其deploy到远程仓库，那么当您拉取最新代码并运行项目时，您将无法获取到最新的common包。这是因为Maven或Gradle会尝试从本地仓库或远程仓库中查找common包，并使用已经存在的包来编译和运行项目，而不会自动下载最新的代码。如果您需要使用同事修改后的最新代码，可以要求您的同事使用Maven deploy或Gradle publish命令将其部署到远程仓库中，或者将其打包成jar文件并手动安装到本地仓库中。然后，您可以使用Maven或Gradle来更新依赖关系并重新编译和运行项目，以获取最新的common包。

相关问题

我的项目依赖自己写的模块为什么需要下载到本地仓库才可以运行

在 Maven 项目中，如果你的项目依赖了自己写的模块，那么在构建项目时，Maven 会从本地仓库或者远程仓库中查找该模块的依赖，如果找不到就会报错。所以你需要将自己写的模块安装到本地仓库或者远程仓库中，让 Maven 可以正确地找到它的依赖。

你可以使用以下命令将自己写的模块安装到本地仓库：

mvn install

该命令会将该模块打包并安装到本地仓库中。一旦安装完成，该模块就可以被其他项目依赖使用了。如果你希望将该模块安装到远程仓库中，可以使用以下命令：

mvn deploy

该命令会将该模块打包并安装到远程仓库中，其他项目就可以从远程仓库中获取该模块的依赖了。

但是我需要将这串代码打包到虚拟机上运行的

好的，如果需要将这段代码打包到虚拟机上运行，可以按照以下步骤进行：

1. 在本地开发环境中编写代码，并将代码保存为Python文件，例如incremental_load.py。

2. 将Python文件上传到虚拟机上，并安装必要的依赖包。可以使用以下命令安装pyspark和mysql-connector-python：

pip install pyspark mysql-connector-python

需要确保虚拟机已经正确安装了Java和Hadoop，并且已经正确配置了Spark和Hive的环境变量。

3. 在虚拟机上执行以下命令，使用spark-submit命令提交任务：

spark-submit --master yarn --deploy-mode client incremental_load.py

需要将incremental_load.py替换为实际的Python文件名，并确保文件名和路径正确。--master和--deploy-mode参数根据实际情况进行调整。

4. 等待任务执行完成，可以在Spark集群的Web UI上查看任务进度和日志输出。

完成以上步骤后，就可以将Python代码打包到虚拟机上运行，并且通过Spark将shtd_store库中的sku_info表增量数据抽取到Hive的ods.sku_info表中。