博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Python_scrapyRedis零散
阅读量:5129 次
发布时间:2019-06-13

本文共 1027 字,大约阅读时间需要 3 分钟。

1.

# Redis1.解压,配环境变量2.win上设置自启动    redis-server --service-install D:\redis\redis.windows.conf --loglevel verbose3.启动redis    redis-server E:\redis\redis-latest\redis.windows.conf4.进入数据库,另起一个cmd框    redis-cli -h 127.0.0.1 -p 63795.在 redis.windows.conf 中解注 “requirepass foobared”   将foobared改为密码;注:不能有空格6.重开始登陆     redis-cli -h 127.0.0.1 -p 6379 -a 123456---## 1.非关系型数据库 Nosql(not noly sql)不是典型数据库 / Key-Values存储系统- momgoDB 的优势:支持多种查询和支持创建索引- Redis 速度极快,价格高;持久化和热备时候消耗大量带宽和运力  → 5种数据类型的几种常用方法,默认不支持查询,可以在键上设置注:memcached 是sql中继器,不算Nosqlredis的字符类型1.string2.hash3.lsit4.set---十大算法 快速排序、多进程多线程---购物车 以前是session,现在是redis功能:    商品展示    购物车操作    添加删除商品    结算    ...---## scrapy### 1.解释scrapy的工作流程### 2.scrapy的优势    scrapy自带多进程,能执行整站采集,自动调度器### 3.多主机爬虫架构    待整理:...    一个起始spider(共享主队列)    一个主机多个从机    分布式进程### 在scrapy中使用redis,,去重    “指纹”:当前对象的唯一标示    redis每次执行前检查指纹是否存在,再进行添加任务### 分布式防止终端### 如何实现架构?    scrapy自带框架## scrapy-redis 的分布式实现    master  主机    slave    副机    可移植性好    ##

 

转载于:https://www.cnblogs.com/hellangels333/p/9046563.html

你可能感兴趣的文章
罗马数字与阿拉伯数字转换
查看>>
Eclipse 反编译之 JadClipse
查看>>
距离公式汇总以及Python实现
查看>>
Linux内核态、用户态简介与IntelCPU特权级别--Ring0-3
查看>>
第23月第24天 git命令 .git-credentials git rm --cached git stash clear
查看>>
java SE :标准输入/输出
查看>>
[ JAVA编程 ] double类型计算精度丢失问题及解决方法
查看>>
好玩的-记最近玩的几个经典ipad ios游戏
查看>>
PyQt5--EventSender
查看>>
Sql Server 中由数字转换为指定长度的字符串
查看>>
tmux的简单快捷键
查看>>
[Swift]LeetCode922.按奇偶排序数组 II | Sort Array By Parity II
查看>>
VC6.0调试技巧(一)(转)
查看>>
php match_model的简单使用
查看>>
SIP服务器性能测试工具SIPp使用指导(转)
查看>>
Vue_(组件通讯)子组件向父组件传值
查看>>
STM32单片机使用注意事项
查看>>
js window.open 参数设置
查看>>
032. asp.netWeb用户控件之一初识用户控件并为其自定义属性
查看>>
移动开发平台-应用之星app制作教程
查看>>