4.3. crontab爬虫定时启动

• 4.3. crontab爬虫定时启动
  • 1. crontab的安装和介绍
  • 2. crontab在爬虫中的使用
  • 小结

目标

• 掌握crontab的使用

1. crontab的安装和介绍

2. crontab在爬虫中的使用

2.1 使用流程

1. 把爬虫启动命令写入.sh 文件
2. 给.sh脚本添加可执行权限
3. 把.sh 添加到crontab脚本正

2.2 myspier.sh例子

1. 执行命令写入脚本

   其中>>表示重定向，把print等信息导入log中

   2>&1表示把标准错误作为标准输出，输入用0表示，标准输出用1表示，标准错误用2标识，通过该命令能够把错误一起输出到log中

    cd `dirname $0` || exit 1
    python ./main.py >> run.log 2>&1
   

2. 添加可执行权限

   sudo chmod +x myspder.sh

3. 写入crontab中

   sh脚本文件也可能会报错，对应的可以把其输出和错误重定向到run2.log中

    0 6 * * * /home/ubuntu/..../myspider.sh >> /home/ubuntu/.../run2.log 2>&1
   

小结

• 本小结重点
  • 掌握crontab的使用