如何将 AI 应用程序（包含大型部门）部署到 AWS Lambda

php中文网 2024-10-15 12:13:55

我最近花了两个小时在 aws lambda 上运行一个简单的 llamaindex 应用程序。虽然函数本身仅由几行 python 代码组成（如下所示），但管理依赖项和部署可能很棘手。

import json
from llama_index.llms.openai import openai

llm=openai(model="gpt-4o-mini")

def lambda_handler(event, context):
    response = llm.complete("what public transportation might be available in a city?")
    return {
        'statuscode': 200,
        'body': str(response),
    }

以下是一些对我有帮助的关键提示：

首先，安装适用于正确平台的软件包。安装“manylinux2014_x86_64”目标平台的所有软件包非常重要。否则，某些包可能与 aws lambda 运行时不兼容。为了确保兼容性，请使用以下命令安装依赖项：

pip install -r requirements.txt --platform manylinux2014_x86_64 --target ./deps --only-binary=:all:

其次，lambda 对总代码包大小有 250mb 的限制，如果您使用 llamaindex 或其他大型依赖项，这很快就会成为问题。如果您的包超出此限制，请检查依赖项文件夹中最大的文件：

du -h -d 2 | sort -hr | head -n20

就我而言，我发现 pandas/tests 目录占用了大约 35mb 的空间，这对于我的功能来说是不必要的，因此我删除了它以使包大小回到限制范围内。

rm -r deps/pandas/tests

然后，压缩所有内容并通过 s3 上传。修剪掉不必要的文件后，创建一个包含代码和依赖项的 zip 存档。由于 lambda 的 web 控制台有 50mb 的上传限制，因此您需要将较大的 zip 文件上传到 s3 存储桶并使用 s3 uri 来部署该函数。

zip -r test_lambda.zip data/ lambda_function.py
cd deps/
zip -r ../test_lambda.zip .

最后，在部署之前调整您的 lambda 设置。默认情况下，lambda 函数仅分配 128mb 内存和 3 秒超时，这对于许多涉及大量依赖项和调用 llm 的 ai 应用程序来说是不够的。我会将内存增加到 512mb，并将超时时间延长到 30 秒。此外，不要忘记设置必要的环境变量，例如 openai api 密钥。

我花了好几次尝试才找到为 lambda 安装软件包并将所有内容捆绑在一起的正确方法。 aws lambda 对于基本脚本来说是用户友好的，但是一旦添加更大的依赖项，事情就会变得更加复杂。

这是最终的步骤序列：

# install dependencies
pip install -r requirements.txt --platform manylinux2014_x86_64 --target ./deps --only-binary=:all:

# create a zip file for code and data
zip -r test_lambda.zip data/ lambda_function.py

# include dependencies in the zip file, while removing large unused files
cd deps/
rm -r pandas/tests
zip -r ../test_lambda.zip .

p.s.，我也尝试在 dbos cloud 上部署类似的功能，只需要一个命令：