安装scrapyd服务
- pip install scrapyd -i https://pypi.tuna.tsinghua.edu.cn/simple 官方文档
- 安装 pip install scrapyd-client 官方文档
- scrapy-deploy 部署建setup.py
from setuptools import setup, find_packages
setup(
name='project',
version='1.0',
packages=find_packages(),
entry_points={'scrapy': ['settings = projectname.settings']},
)
- scrapyd-deploy
-p - 打包为egg文件scrapyd-deploy -p cybspider -v 1.0.0 --build-egg=cybspider.egg
- 安装spider-admin-pro界面工具 pip install spider-admin-pro spider-admin-pro文档
- 可以通过界面端进行上传，也可以按照命令上传egg文件
- scrapyd-deploy 20 -p DongCheDi