利用Lua定制Redis命令的方法詳解

前言

Redis作為一個(gè)非常成功的數(shù)據(jù)庫(kù)，提供了非常豐富的數(shù)據(jù)類(lèi)型和命令，使用這些，我們可以輕易而高效地完成很多緩存操作，可是總有一些比較特殊的問(wèn)題或需求需要解決，這時(shí)候可能就需要我們自己定制自己的 Redis 數(shù)據(jù)結(jié)構(gòu)和命令。

Redis命令問(wèn)題

線程安全問(wèn)題

我們都知道 Redis 是單線程的，可是它怎么會(huì)有 線程安全 問(wèn)題呢？

我們正常理解的線程安全問(wèn)題是指單進(jìn)程多線程模型內(nèi)部多個(gè)線程操作進(jìn)程內(nèi)共享內(nèi)存導(dǎo)致的數(shù)據(jù)資源充突。而 Redis 的線程安全問(wèn)題的產(chǎn)生，并不是來(lái)自于 Redis 服務(wù)器內(nèi)部。

Redis 作為數(shù)據(jù)服務(wù)器，就相當(dāng)于多個(gè)客戶(hù)端的共享內(nèi)存，多個(gè)客戶(hù)端就相當(dāng)于同一進(jìn)程下的多個(gè)線程，如果多個(gè)客戶(hù)端之間沒(méi)有良好的數(shù)據(jù)同步策略，就會(huì)產(chǎn)生類(lèi)似線程安全的問(wèn)題。

典型場(chǎng)景是：

• Redis 內(nèi)存儲(chǔ)了一個(gè)用戶(hù)的狀態(tài)： user5277=idle；
• 客戶(hù)端連接 A 讀取了用戶(hù)狀態(tài)，獲取到用戶(hù)的空閑狀態(tài) status = get("user5277")；
• 客戶(hù)端連接 B 也同樣讀取了用戶(hù)狀態(tài)；
• 客戶(hù)端連接 A 給用戶(hù)安排了一個(gè)任務(wù)，并將 Redis 內(nèi)用戶(hù)狀態(tài)置為忙碌 set("user5277", "busy")；
• 客戶(hù)端連接 B 同樣設(shè)置用戶(hù)為忙碌狀態(tài)。
• 可是此時(shí)用戶(hù)卻被同時(shí)分配了兩個(gè)任務(wù)。

導(dǎo)致這個(gè)問(wèn)題的原因就是雖然 Redis 是單線程的，能保證命令的序列化，但由于其執(zhí)行效率很高，多個(gè)客戶(hù)端的命令之間不做好請(qǐng)求同步，同樣會(huì)造成命令的順序錯(cuò)亂。

當(dāng)然這個(gè)問(wèn)題也很好解決，給用戶(hù)狀態(tài)加鎖就行了，使同一時(shí)間內(nèi)只能有一個(gè)客戶(hù)端操作用戶(hù)狀態(tài)。不過(guò)加鎖我們就需要考慮鎖粒度、死鎖等問(wèn)題了，無(wú)疑添加了程序的復(fù)雜性，不利于維護(hù)。

效率問(wèn)題

Redis 作為一個(gè)極其高效的內(nèi)存數(shù)據(jù)服務(wù)器，其命令執(zhí)行速度極快，之前看過(guò)阿里云 Redis 的一個(gè)壓測(cè)結(jié)果，執(zhí)行效率可以達(dá)到 10W寫(xiě)QPS， 60W讀QPS，那么，它的效率問(wèn)題又來(lái)自何處呢？

答案是網(wǎng)絡(luò)，做 Web 的都知道，效率優(yōu)化要從網(wǎng)絡(luò)做起，服務(wù)端又是優(yōu)化代碼，又是優(yōu)化數(shù)據(jù)庫(kù)，不如網(wǎng)絡(luò)連接的一次優(yōu)化，而網(wǎng)絡(luò)優(yōu)化最有效的就是減少請(qǐng)求數(shù)。我們要知道執(zhí)行一次內(nèi)存訪問(wèn)的耗時(shí)約是 100ns，而不同機(jī)房之間來(lái)回一次約需要 500000ns，其中的差距可想而知。

Redis在單機(jī)內(nèi)效率超高，但工業(yè)化部署總不會(huì)把服務(wù)器和 Redis 放在同一臺(tái)機(jī)器上，如果觸碰到效率瓶頸的話(huà)，那就是網(wǎng)絡(luò)。

典型場(chǎng)景就是我們從 Redis 里讀出一條數(shù)據(jù)，再使用這條數(shù)據(jù)做鍵，讀取另外一條數(shù)據(jù)。這樣來(lái)來(lái)回回，便有兩次網(wǎng)絡(luò)往返。

導(dǎo)致這種問(wèn)題的原因就是 Redis 的普通命令沒(méi)有服務(wù)端計(jì)算的能力，無(wú)法在服務(wù)器進(jìn)行復(fù)合命令操作，雖然有 Redis 也提供了 pipeline 的特性，但它需要多個(gè)命令的請(qǐng)求和響應(yīng)之間沒(méi)有依賴(lài)關(guān)系。想簡(jiǎn)化多個(gè)相互依賴(lài)的命令就只能將數(shù)據(jù)拉回客戶(hù)端，由客戶(hù)端處理后再請(qǐng)求 Redis。

綜上，我們要更高效更方便的使用 Redis 就需要自己“定制”一些命令了。

內(nèi)嵌Lua的執(zhí)行

萬(wàn)幸 Redis 內(nèi)嵌了 Lua 執(zhí)行環(huán)境，支持 Lua 腳本的執(zhí)行，通過(guò)執(zhí)行 Lua 腳本，我們可以把多個(gè)命令復(fù)合為一個(gè) Lua 腳本，通過(guò) Lua 腳本來(lái)實(shí)現(xiàn)上文中提到的 Redis 命令的次序性和 Redis 服務(wù)端計(jì)算。

Lua

Lua 是一個(gè)簡(jiǎn)潔、輕量、可擴(kuò)展的腳本語(yǔ)言，它的特性有：

• 輕量：源碼包只有核心庫(kù)，編譯后體積很小。
• 高效：由 ANSI C 寫(xiě)的，啟動(dòng)快、運(yùn)行快。
• 內(nèi)嵌：可內(nèi)嵌到各種編程語(yǔ)言或系統(tǒng)中運(yùn)行，提升靜態(tài)語(yǔ)言的靈活性。如 OpenResty 就是將 Lua 嵌入到 nginx 中執(zhí)行。

而且完全不需要擔(dān)心語(yǔ)法問(wèn)題，Lua 的語(yǔ)法很簡(jiǎn)單，分分鐘使用不成問(wèn)題。

執(zhí)行步驟

Redis 在 2.6 版本后，啟動(dòng)時(shí)會(huì)創(chuàng)建 Lua 環(huán)境、載入 Lua 庫(kù)、定義 Redis 全局表格、存儲(chǔ) redis.pcall 等 Redis 命令，以準(zhǔn)備 Lua 腳本的執(zhí)行。

一個(gè)典型的 Lua 腳本執(zhí)行步驟如下：

1. 檢查腳本是否執(zhí)行過(guò)，沒(méi)執(zhí)行過(guò)使用腳本的 sha1 校驗(yàn)和生成一個(gè) Lua 函數(shù)；
2. 為函數(shù)綁定超時(shí)、錯(cuò)誤處理勾子；
3. 創(chuàng)建一個(gè)偽客戶(hù)端，通過(guò)這個(gè)偽客戶(hù)端執(zhí)行 Lua 中的 Redis 命令；
4. 處理偽客戶(hù)端的返回值，最終返回給客戶(hù)端；

交互時(shí)序如圖

雖然 Lua 腳本使用的是偽客戶(hù)端，但 Redis 處理它會(huì)跟普通客戶(hù)端一樣，也會(huì)將執(zhí)行的 Redis 命令進(jìn)行 rdb aof 主從復(fù)制等操作。

使用

Lua 腳本的使用可以通過(guò) Redis 的 EVAL 和 EVALSHA 命令。

EVAL 適用于單次執(zhí)行 Lua 腳本，執(zhí)行腳本前會(huì)由腳本內(nèi)容生成 sha1 校驗(yàn)和，在函數(shù)表內(nèi)查詢(xún)函數(shù)是否已定義，如未定義執(zhí)行成功后 Redis 會(huì)在全局表里緩存這個(gè)腳本的校驗(yàn)和為函數(shù)名，后續(xù)再次執(zhí)行此命令就不會(huì)再創(chuàng)建新的函數(shù)了。

而要使用 EVALSHA 命令，就得先使用 SCRIPT LOAD 命令先將函數(shù)加載到 Redis，Redis 會(huì)返回此函數(shù)的 sha1 校驗(yàn)和， 后續(xù)就可以直接使用這個(gè)校驗(yàn)和來(lái)執(zhí)行命令了。

以下是使用上述命令的例子：

127.0.0.1:6379> EVAL "return 'hello'" 0 0
"hello"

127.0.0.1:6379> SCRIPT LOAD "return redis.pcall('GET', ARGV[1])"
"20b602dcc1bb4ba8fca6b74ab364c05c58161a0a"

127.0.0.1:6379> EVALSHA 20b602dcc1bb4ba8fca6b74ab364c05c58161a0a 0 test
"zbs"

EVAL 命令的原型是 EVAL script numkeys key [key ...] arg [arg ...] ，在 Lua 函數(shù)內(nèi)部可以使用 KEYS[N] 和 ARGV[N] 引用鍵和參數(shù)，需要注意 KEYS 和 ARGV 的參數(shù)序號(hào)都是從 1 開(kāi)始的。

還需要注意在 Lua 腳本中，Redis 返回為空時(shí)，結(jié)果是 false，而 不是 nil；

Lua 腳本實(shí)例

下面寫(xiě)幾個(gè) Lua 腳本的實(shí)例，用來(lái)介紹語(yǔ)法的，僅供參考。

Redis 里 hashSet A 的 字段 B 的值是 C，取出 Redis 里鍵為 C 的值。

// 使用: EVAL script 2 A B

local tmpKey = redis.call('HGET', KEYS[1], KEYS[2]); 
return redis.call('GET', tmpKey); 

一次 lpop 出多個(gè)值，直到值為 n，或 list 為空（pipeline 也可輕易實(shí)現(xiàn)）；

// 使用: EVAL script 2 list count
local list = {};
local item = false;
local num = tonumber(KEYS[2]);
while (num > 0)
do
  item = redis.call('LPOP', KEYS[1]);
  if item == false then
    break;
  end;
  table.insert(list, item);
  num = num - 1;
end;
return list;

獲取 zset 內(nèi) score 最多的 n 個(gè)元素 對(duì)應(yīng) hashset 中的詳細(xì)信息；

local elements = redis.call('ZRANK', KEYS[1], 0, KEY[2]);
local detail = {};
for index,ele in elements do
  local info = redis.call('HGETALL', ele);
  table.insert(detail, info);
end;
return detail;

基本使用語(yǔ)法就是如此，更多應(yīng)用就看各個(gè)具體場(chǎng)景了。

一些思考

實(shí)現(xiàn)之外，還要一些東西要思考：

使用場(chǎng)景

首先來(lái)總結(jié)一下 Redis 中 Lua 的使用場(chǎng)景：

• 可以使用 Lua 腳本實(shí)現(xiàn)原子性操作，避免不同客戶(hù)端訪問(wèn) Redis 服務(wù)器造成的數(shù)據(jù)沖突。
• 在前后多次請(qǐng)求的結(jié)果有依賴(lài)時(shí)，可以使用 Lua 腳本把多個(gè)請(qǐng)求整合為一個(gè)請(qǐng)求。

注意點(diǎn)

使用 Lua 腳本，我們還需要注意：

• 要保證安全性，在 Lua 腳本中不要使用全局變量，以免污染 Lua 環(huán)境，雖然使用全局變量全報(bào)錯(cuò)，Lua 腳本停止執(zhí)行，但還是在定義變量時(shí)添加 local 關(guān)鍵字。
• 要注意 Lua 腳本的時(shí)間復(fù)雜度，Redis 的單線程同樣會(huì)阻塞在 Lua 腳本的執(zhí)行中。
• 使用 Lua 腳本實(shí)現(xiàn)原子操作時(shí)，要注意如果 Lua 腳本報(bào)錯(cuò)，之前的命令同樣無(wú)法回滾。
• 一次發(fā)出多個(gè) Redis 請(qǐng)求，但請(qǐng)求前后無(wú)依賴(lài)時(shí)，使用 pipeline，比 Lua 腳本方便。

小結(jié)

最近工作有了較大的變動(dòng)，從業(yè)務(wù)到技術(shù)棧都跟原來(lái)完全不同了，所有代碼和業(yè)務(wù)都脫離了自己掌控的感覺(jué)真的很不爽，工作中全是“開(kāi)局一個(gè)搜索引擎，語(yǔ)法全靠查”，每天還要熬到很晚熟悉新的東西，有點(diǎn)小累，果然換工作就是找罪受啊。不過(guò)走出舒適區(qū)后的充實(shí)感也在提醒自己正在不停進(jìn)步，倒也挺有成就感的。

剛接觸新的東西沒(méi)什么沉淀，又不想寫(xiě)一些《帶你三天精通 Java》這種水文，工作之余的時(shí)間都被拿去補(bǔ)充工作需要的技術(shù)棧了，也沒(méi)時(shí)間研究些自己覺(jué)得有意思的東西，寫(xiě)文章需要素材啊，為了不自砸招牌，最近可能會(huì)少更。。

總結(jié)

以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，如果有疑問(wèn)大家可以留言交流，謝謝大家對(duì)腳本之家的支持。