评论

收藏

[JavaScript] python 实现汽车之家车型数据爬虫

开发技术 开发技术 发布于:2021-06-23 21:47 | 阅读数:292 | 评论:0

  爬虫保存数据库的样子: DSC0000.jpg 详细数据在json_text字段里面安装使用方法:
git clone https://github.com/shancang/spider.git
pip install -r requirements.txt
mysql spider< sql/createTable.sql
修改配置spider/config.py
# -*- coding: utf-8日志日志目录
LOG_DIR= "/tmp/spider"日志级别:debug,info,warning,error,critical
LOG_LEVEL = "info"processpid 文件
PID_FILE = "/tmp/spider/spider.pid"线程数量
THARED_NUMBER = 6数据库
DB_USER = "spider"
PASSWORD = "123456"
DB_HOST = "localhost"
PORT = "3306"
DB_NAME = "spider"
进程管理
python setup.py start #启动
python setup.py stop  #停止
python setup.py status # 查看运行状态
具体详细请移步https://github.com/shancang/spider   代码仅供学习交流,不得做商业使用,不得恶意使用,造成后果请自行负责。
关注下面的标签,发现更多相似文章