fastapi如何设置robots.txt

在 FastAPI 中设置 robots.txt 非常简单，只需按照以下步骤操作：

1. 在你的 FastAPI 项目根目录下创建一个名为 static 的文件夹，并在其中创建一个名为 robots.txt 的文件。

2. 在 robots.txt 文件中编写你希望搜索引擎爬取或忽略的 URL 路径规则。

例如，如果你希望搜索引擎忽略所有页面，可以在 robots.txt 文件中写入以下内容：

User-agent: *
Disallow: /

3. 在 FastAPI 中添加一个路由，将 /robots.txt 请求映射到你刚刚创建的 robots.txt 文件。

例如，可以使用以下代码创建路由：

from fastapi import FastAPI
from fastapi.responses import FileResponse

app = FastAPI()

@app.get("/robots.txt")
async def get_robots():
    return FileResponse("static/robots.txt")

这将返回一个包含你编写的 robots.txt 规则的响应。现在，当你访问 /robots.txt 路径时，将看到你所定义的规则。