offer-redis6

Redis6

NoSQL数据库

解决性能的问题:

  1. 解决CPU及内存压力(如session问题)
  2. 解决IO压力(缓存数据库,减少IO的读操作)

概述

NoSQL(NoSQL = Not Only SQL ),意即“不仅仅是SQL”,泛指非关系型的数据库。
NoSQL不依赖业务逻辑方式存储,而以简单的key-value模式存储。因此大大的增加了数据库的扩展能力。

  • 不遵循SQL标准。
  • 不支持ACID。
  • 远超于SQL的性能。
    适用场景:
  • 对数据高并发的读写
  • 海量数据的读写
  • 对数据高可扩展性的
    不适用场景:
  • 需要事务支持
  • 基于sql的结构化查询存储,处理复杂的关系,需要即席查询。

具体数据库:Memcache、Redis、MongoDB等。

Redis概述

  • Redis是一个开源的key-value存储系统。
  • 它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set –有序集合)和hash(哈希类型)。
  • 这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。
  • 在此基础上,Redis支持各种不同方式的排序。
  • 与memcached一样,为了保证效率,数据都是缓存在内存中。
  • 区别的是Redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件。
  • 并且在此基础上实现了master-slave(主从)同步。
  1. 默认端口号:6379
  2. 默认16个数据库,类似数组下标从0开始,初始默认使用0号库;切换数据库如: select 8。统一密码管理,所有库同样密码。dbsize查看当前数据库的key的数量;flushdb清空当前库;flushall通杀全部库。
  3. 串行 vs 多线程+锁(memcached) vs 单线程+多路IO复用(Redis)

常用数据类型

http://www.redis.cn/commands.html

Redis键(key)

  • keys *查看当前库所有key (匹配:keys *1)
  • exists key判断某个key是否存在
  • type key 查看你的key是什么类型
  • del key 删除指定的key数据
  • unlink key 根据value选择非阻塞删除
    仅将keys从keyspace元数据中删除,真正的删除会在后续异步操作。
  • expire key 10 10秒钟:为给定的key设置过期时间
  • ttl key 查看还有多少秒过期,-1表示永不过期,-2表示已过期

字符串(String)

  1. String是Redis最基本的类型,你可以理解成与Memcached一模一样的类型,一个key对应一个value。
  2. String类型是二进制安全的。意味着Redis的string可以包含任何数据。比如jpg图片或者序列化的对象。
  3. String类型是Redis最基本的数据类型,一个Redis中字符串value最多可以是512M

常用命令:

  • set <key> <value> 添加键值对
    *NX:当数据库中key不存在时,可以将key-value添加数据库
    *XX:当数据库中key存在时,可以将key-value添加数据库,与NX参数互斥
    *EX:key的超时秒数
    *PX:key的超时毫秒数,与EX互斥

  • get <key> 查询对应键值

  • append <key> <value>将给定的<value>追加到原值的末尾

  • strlen <key>获得值的长度

  • setnx <key> <value>只有在 key 不存在时,才能设置 key 的值

  • incr <key> 将 key 中储存的数字值增1;只能对数字值操作,如果为空,新增值为1。(原子操作)

  • decr <key> 将 key 中储存的数字值减1;只能对数字值操作,如果为空,新增值为-1

  • incrby / decrby <key> <步长> 将 key 中储存的数字值增减。自定义步长。

  • mset key1 value1 key2 value2 ….. 同时设置一个或多个 key-value对

  • mget key1 key2 key3 ….. 同时获取一个或多个 value

  • msetnx key1 value1 key2 value2 ….. 同时设置一个或多个 key-value 对,当且仅当所有给定 key 都不存在。

  • getrange <key> <起始位置><结束位置> 获得值的范围,类似java中的substring,前包,后包

  • setrange <key> <起始位置> <value> 用 <value>覆写<key>所储存的字符串值,从<起始位置>开始(索引从0开始)。

  • setex <key> <过期时间> <value> 设置键值的同时,设置过期时间,单位秒。

  • getset <key> <value> 以新换旧,设置了新值同时获得旧值。

列表(List)

  1. 单键多值,Redis列表是简单的字符串列表,按照插入顺序排序。你可以添加一个元素到列表的头部(左边)或者尾部(右边)。
  2. 它的底层实际是个双向链表,对两端的操作性能很高,通过索引下标的操作中间的节点性能会较差。

常用命令:

  • lpush/rpush key value1 value2 value3 …. 从左边/右边插入一个或多个值。

  • lpop/rpop key 从左边/右边吐出一个值。值在键在,值光键亡。

  • rpoplpush key1 key2 从key1列表右边吐出一个值,插到key2列表左边。

  • lrange <key> <start> <stop> 按照索引下标获得元素(从左到右)

  • lrange mylist 0 -1 0左边第一个,-1右边第一个,(0-1表示获取所有)

  • lindex <key> <index> 按照索引下标获得元素(从左到右)

  • llen <key> 获得列表长度

  • linsert <key> before <value> <newvalue>在<value>的后面插入<newvalue>插入值

  • lrem <key> <n> <value> 从左边删除n个value(从左到右)

  • lset <key> <index> <value> 将列表key下标为index的值替换成value

集合(Set)

  1. Redis set对外提供的功能与list类似是一个列表的功能,特殊之处在于set是可以自动排重的,当你需要存储一个列表数据,又不希望出现重复数据时,set是一个很好的选择,并且set提供了判断某个成员是否在一个set集合内的重要接口,这个也是list所不能提供的。
  2. Redis的Set是string类型的无序集合。它底层其实是一个value为null的hash表,所以添加,删除,查找的复杂度都是O(1)。
  3. 一个算法,随着数据的增加,执行时间的长短,如果是O(1),数据增加,查找数据的时间不变。

常用命令:

  • sadd key value1 value2 ….. 将一个或多个 member 元素加入到集合 key 中,已经存在的 member 元素将被忽略
  • smembers key 取出该集合的所有值。
  • sismember key value 判断集合key是否为含有该value值,有1,没有0
  • scard key 返回该集合的元素个数。
  • srem key value1 value2 …. 删除集合中的某个元素。
  • spop key 随机从该集合中吐出一个值。
  • srandmember key n 随机从该集合中取出n个值。不会从集合中删除 。
  • smove source destination value 把集合中一个值从一个集合移动到另一个集合
  • sinter key1 key2 返回两个集合的交集元素。
  • sunion key1 key2 返回两个集合的并集元素。
  • sdiff key1 key2 返回两个集合的差集元素(key1中的,不包含key2中的)

哈希(Hash)

  1. Redis hash 是一个键值对集合。
  2. Redis hash是一个string类型的field和value的映射表,hash特别适合用于存储对象。
  3. 类似Java里面的Map<String,Object>
  4. 用户ID为查找的key,存储的value用户对象包含姓名,年龄,生日等信息,如果用普通的key/value结构来存储

常用命令:

  • hset key field value 给key集合中的field键赋值value
  • hget key1 field 从key1集合field取出value
  • hmset key1 field1 value field2 value2 … 批量设置hash的值
  • hexists key1 field 查看哈希表 key 中,给定域 field 是否存在。
  • hkeys key 列出该hash集合的所有field
  • hvals key 列出该hash集合的所有value
  • hincrby key field increment为哈希表 key 中的域 field 的值加上增量 1 -1
  • hsetnx key field value 将哈希表 key 中的域 field 的值设置为 value ,当且仅当域 field 不存在。

有序集合(Zset)

  1. Redis有序集合zset与普通集合set非常相似,是一个没有重复元素的字符串集合。
  2. 不同之处是有序集合的每个成员都关联了一个评分(score),这个评分(score)被用来按照从最低分到最高分的方式排序集合中的成员。集合的成员是唯一的,但是评分可以是重复了 。
  3. 因为元素是有序的, 所以你也可以很快的根据评分(score)或者次序(position)来获取一个范围的元素。
  4. 访问有序集合的中间元素也是非常快的,因此你能够使用有序集合作为一个没有重复成员的智能列表。
  5. 底层结构:跳跃表

常用命令:

  • zadd key score1 value1 score2 value2 …. 将一个或多个 member 元素及其 score 值加入到有序集 key 当中。
  • zrange key start stop WITHSCORES 返回有序集 key 中,下标在start stop之间的元素,带WITHSCORES,可以让分数一起和值返回到结果集。
  • zrangebyscore key min max withscores ‘limit offset count’ 返回有序集 key 中,所有 score 值介于 min 和 max 之间(包括等于 min 或 max )的成员。有序集成员按 score 值递增(从小到大)次序排列。
  • zrevrangebyscore key max min withscores ‘limit offset count’ 同上,改为从大到小排列。
  • zincrby key increment value 为元素的score加上增量
  • zrem key value 删除该集合下,指定值的元素
  • zcount key min max 统计该集合,分数区间内的元素个数
  • zrank key value 返回该值在集合中的排名,从0开始。

Bitmaps(new)

Redis提供了Bitmaps这个“数据类型”可以实现对位的操作:

  1. Bitmaps本身不是一种数据类型, 实际上它就是字符串(key-value) , 但是它可以对字符串的位进行操作。
  2. Bitmaps单独提供了一套命令, 所以在Redis中使用Bitmaps和使用字符串的方法不太相同。 可以把Bitmaps想象成一个以位为单位的数组, 数组的每个单元只能存储0和1, 数组的下标在Bitmaps中叫做偏移量。

常用命令:

  • setbit设置Bitmaps中某个偏移量的值(0或1)
  • getbit获取Bitmaps中某个偏移量的值
  • bitcount统计字符串被设置为1的bit数
  • bitop:是一个复合操作, 它可以做多个Bitmaps的and(交集) 、 or(并集) 、 not(非) 、 xor(异或) 操作并将结果保存在destkey中。

Bitmaps与set对比:
假设网站有1亿用户, 每天独立访问的用户有5千万,这种情况下使用Bitmaps能节省很多的内存空间, 尤其是随着时间推移节省的内存还是非常可观的。但Bitmaps并不是万金油, 假如该网站每天的独立访问用户很少, 例如只有10万(大量的僵尸用户),这时候使用Bitmaps就不太合适了, 因为基本上大部分位都是0。

HyperLogLog(new)

Redis HyperLogLog 是用来做基数(不重复元素)统计的算法,HyperLogLog 的优点是,在输入元素的数量或者体积非常非常大时,计算基数所需的空间总是固定的、并且是很小的。

常用命令:

  • pfadd添加指定元素到 HyperLogLog 中,如果执行命令后HLL估计的近似基数发生变化,则返回1,否则返回0。
  • pfcount计算HLL的近似基数,可以计算多个HLL,比如用HLL存储每天的UV,计算一周的UV可以使用7天的UV合并计算即可。
  • pfmerge将一个或多个HLL合并后的结果存储在另一个HLL中,比如每月活跃用户可以使用每天的活跃用户来合并计算可得。

Geospatial(new)

Redis 3.2 中增加了对GEO类型的支持。GEO,Geographic,地理信息的缩写。该类型,就是元素的2维坐标,在地图上就是经纬度。redis基于该类型,提供了经纬度设置,查询,范围查询,距离查询,经纬度Hash等常见操作。

常用命令:

  • geoadd添加地理位置(经度,纬度,名称)
  • geopos获得指定地区的坐标值
  • geodist获取两个位置之间的直线距离
  • georadius以给定的经纬度为中心,找出某一半径内的元素

Redis配置文件

redis.conf

  1. ###Units单位###

配置大小单位,开头定义了一些基本的度量单位,只支持bytes,不支持bit,大小写不敏感
2. ###INCLUDES包含###
类似jsp中的include,多实例的情况可以把公用的配置文件提取出来
3. ###网络相关配置###
默认情况bind=127.0.0.1只能接受本机的访问请求;不写的情况下,无限制接受任何ip地址的访问;生产环境肯定要写你应用服务器的地址;服务器是需要远程访问的,所以需要将其注释掉;如果开启了protected-mode,那么在没有设定bind ip且没有设密码的情况下,Redis只允许接受本机的响应。tcp-backlog设置tcp的backlog,backlog其实是一个连接队列,backlog队列总和=未完成三次握手队列 + 已经完成三次握手队列。在高并发环境下你需要一个高backlog值来避免慢客户端连接问题。timeout代表一个空闲的客户端维持多少秒会关闭,0表示关闭该功能。即永不关闭。tcp-keepalive代表对访问客户端的一种心跳检测,每个n秒检测一次。单位为秒,如果设置为0,则不会进行Keepalive检测,建议设置成60。
4. ###GENERAL通用###
daemonize是否为后台进程,设置为yes,守护进程,后台启动。pidfile存放pid文件的位置,每个实例会产生一个不同的pid文件。loglevel指定日志记录级别,Redis总共支持四个级别:debug、verbose、notice、warning,默认为notice。logfile日志文件名称。
5. ###SECURITY安全###
设置密码
6. ###LIMITS限制###
maxclients设置redis同时可以与多少个客户端进行连接。默认情况下为10000个客户端。如果达到了此限制,redis则会拒绝新的连接请求,并且向这些连接请求方发出“max number of clients reached”以作回应。maxmemory 建议必须设置,否则,将内存占满,造成服务器宕机。maxmemory-policy、maxmemory-samples。

Redis的发布和订阅

  1. Redis 发布订阅 (pub/sub) 是一种消息通信模式:发送者 (pub) 发送消息,订阅者 (sub) 接收消息。

  2. Redis 客户端可以订阅任意数量的频道。

命令行实现:


    SUBSCRIBE channel1  

    publish channel1 hello  

Jedis案例-模拟验证码发送

案例描述:

  1. 输入手机号,点击发送后随机生成6位数字码,2分钟有效
  2. 输入验证码,点击验证,返回成功或失败
  3. 每个手机号每天只能输入3次
    实现分析:
  4. 生成随机6位数字验证码:Random
  5. 验证码在两分钟内有效:把验证码放到redis里面,设置过期时间为120秒
  6. 判断验证码是否一直:从redis获取验证码和输入的验证码进行比较
  7. 每个手机每天只能发送3次验证码:incr每次发送之后+1,大于2时候,提交不能发送