scrapy命令

发布时间 2023-04-20 09:22:06作者: linux星

scrapy常用命令:

1. scrapy startproject project_name:创建一个新的 Scrapy 项目。

2. scrapy genspider spider_name domain:创建一个新的 Scrapy 爬虫。

3. scrapy crawl spider_name:运行指定的 Scrapy 爬虫。

4. scrapy list:列出当前 Scrapy 项目中所有可用的爬虫。

5. scrapy shell url:打开一个 Scrapy shell,以便在命令行中进行调试和测试。

6. scrapy view url:在默认浏览器中打开指定的 URL。

7. scrapy version:显示当前 Scrapy 的版本信息。

scrapy高级命令:

1. scrapy crawl spider_name -o output_file.json:将爬取的数据保存到指定的 JSON 文件中。

2. scrapy crawl spider_name -o output_file.csv:将爬取的数据保存到指定的 CSV 文件中。

3. scrapy crawl spider_name -s LOG_FILE=log_file.log:将日志输出到指定的文件中。

4. scrapy crawl spider_name -s JOBDIR=job_directory:将作业的中间状态保存到指定的目录中。

5. scrapy crawl spider_name -a argument_name=value:将参数传递给 Scrapy 爬虫。

crawl模板命令:

1. scrapy startproject -d template_path project_name:使用指定的模板路径创建一个新的 Scrapy 项目。

2. scrapy genspider -t crawl spider_name domain:使用crawl模板创建一个新的 Scrapy 爬虫。

3. scrapy deploy -l:列出当前可用的 Scrapy 项目部署目标。

4. scrapy deploy -d target_name:将当前 Scrapy 项目部署到指定的目标。