[原创]Ubuntu下 使用scrapyd+Supervisor管理爬虫

1、 安装 scrapyd

pip install scrapyd

2、 安装 scrapyd 客户端 scrapyd-client

pip install scrapyd-client

 3、 安装 supervisor. 这里一定要加sudo，否则会安装失败。我是root用户登录的，不知道为什么一定要加sudo？

sudo pip install supervisor

 4、 创建 supervisor 配置文件

echo_supervisord_conf > /etc/supervisord.conf

5、 在 supervisor 配置文件  /etc/supervisord.conf 末尾加入以下内容

[include]
files = /etc/supervisor/*.conf

 5、 在目录 /etc/supervisor/ 下创建项目配置文件 scrapyd.conf，参考配置如下

[program:scrapyd]
command=scrapyd
autorestart=true