我正在使用Python3.6开发一个项目，我使用AWS Lambda在python中实现了一些功能。我编写了一个buildspec.yml文件来“构建”并将我的函数从存储库部署到lambda函数。这是代码：
version: 0.2
phases:
install:
commands:
- echo "install step"
- apt-get update
- apt-get install zip -y
- apt-get install python3-pip -y
pre_build:
commands:
- echo "pre_build step"
- pip install --upgrade pip
- pip install --upgrade awscli
- pip install --upgrade virtualenv
# Define directories
- export HOME_DIR=`pwd`
- export PREPROCESSING_DIR=$HOME_DIR/preprocessing
- export COMPARE_DIR=$HOME_DIR/compareHilightGood
- export LAUNCH_HILIGHT_DIR=$HOME_DIR/LaunchHiLight
- export NLTK_DATA=$HOME_DIR/nltk_data
- mkdir nltk_data
# create virtual environements
- cd $HOME_DIR
- virtualenv venv_preprocessing
- virtualenv venv_compare
- export SITE_PACKAGE_PREPROCESSING=$HOME_DIR/venv_preprocessing/lib/python3.6/site-packages
- export SITE_PACKAGE_COMPARE=$HOME_DIR/venv_compare/lib/python3.6/site-packages
build:
commands:
- echo "build step"
- cd $HOME_DIR
# Configure preprocessing virtual environement
- . venv_preprocessing/bin/activate
pip install requests
pip install nltk
python -m nltk.downloader -d $NLTK_DATA wordnet stopwords punkt
deactivate
- mv $NLTK_DATA $SITE_PACKAGE_PREPROCESSING
- mv $PREPROCESSING_DIR/* $SITE_PACKAGE_PREPROCESSING
- cd $SITE_PACKAGE_PREPROCESSING
- sudo zip -r9 -q $HOME_DIR/preprocessing.zip .
# Configure compare virtual environement
- cd $HOME_DIR
- . venv_compare/bin/activate
pip install gensim
pip install pandas
deactivate
- mv $COMPARE_DIR/* $SITE_PACKAGE_COMPARE
- cd $SITE_PACKAGE_COMPARE
- sudo zip -r9 -q $HOME_DIR/compare.zip .
# Launch hilight
- cd $LAUNCH_HILIGHT_DIR
- sudo zip -r9 -q $HOME_DIR/launchHilight.zip .
post_build:
commands:
- echo "post_build step"
- cd $HOME_DIR
- ls
# preprocessing
- aws s3 rm s3://lambda-preprocessing --recursive
- aws s3 cp --acl public-read preprocessing.zip s3://lambda-preprocessing/preprocessing.zip
- aws lambda update-function-code --function-name arn:aws:lambda:eu-west-3:671560023774:function:preprocessing --s3-bucket lambda-preprocessing --s3-key preprocessing.zip
- aws lambda update-function-configuration --function-name arn:aws:lambda:eu-west-3:671560023774:function:preprocessing --environment 'Variables={NLTK_DATA=/var/task/nltk_data}'
# compare hilight good
- aws s3 rm s3://lambda-comparehilightgood --recursive
- aws s3 cp --acl public-read compare.zip s3://lambda-comparehilightgood/compare.zip
- aws lambda update-function-code --function-name arn:aws:lambda:eu-west-3:671560023774:function:compareHilightGood --s3-bucket lambda-comparehilightgood --s3-key compare.zip
# launchHilight
- aws s3 rm s3://hilightalgo --recursive
- aws s3 cp --quiet --acl public-read launchHilight.zip s3://hilightalgo/launchHilight.zip
- aws lambda update-function-code --function-name arn:aws:lambda:eu-west-3:671560023774:function:LaunchHilight --s3-bucket hilightalgo --s3-key launchHilight.zip
artifacts:
files:
- '**/*'
在这个构建过程中，我创建了两个virtualenv，将我的依赖项安装到它们中然后我压缩我的lambda部署包，由以下组成：
之后，我将我的zip包存储到S3桶中，并使用aws cli更新函数的代码。一切似乎工作正常，但我有两个问题：
首先，文件对我来说太轻了（3.8MB）。当我想测试我的lambda函数时，就像没有安装任何模块一样。请参阅以下错误：
Unable to import module 'lambda_function': No module named 'gensim'
我认为virtualenv没有安装模块，因为当我下载.zip文件时，我可以看到__pycache__文件夹只包含一个小的easy_install.cpython-36.pyc。
我不知道我做错了什么，但我认为问题来自我的部署包。有没有人有任何想法？
如果您要部署到AWS Lambda，最好使用Serverless或Zappa等框架将代码和依赖项打包成zip文件，以便通过S3进行部署。
两者都有效，虽然我更喜欢无服务器，因为它是可插拔的，跨语言，似乎更好地支持和Just Worked for me。 This post给出了如何开始的良好概述。
一旦你的无服务器包装工作，你的buildspec.yml变得非常简单：安装无服务器，运行serverless package。
如果您愿意，还可以使用Serverless来管理AWS基础架构。但我更喜欢使用Terraform分别做到这一点。
你是否在virtualenv中从lib和lib64压缩了网站包？我注意到有些包裹在一个地方或其他地方结束了，我必须从两个地方打包它们。
看看你是否能找到gensim是否安装在lib / ...或lib64 /中的site-packages中...