文章詳情頁
redis - 如何給輕量python程序、腳本制作緩存？
瀏覽：99日期：2022-06-30 14:23:37
問題描述
運維菜鳥，最近在做公司日志進行簡單處理之后，按一定數量加入一個list，然后使用ES的接口將數據批量添加到另外一臺ElasticSearch上，再通過一些方式進行展示。這里遇到一個問題，如果數據插入時，發生異常。比如要插入的es主機崩潰等，但是數據源沒有問題。這樣就應該把已經處理完的數據移到緩存中，然后停止程序。（數據源是kafka，即便停止了程序，重新啟動后仍可以消費之前沒有消費的）那么想問一下，對于比較輕量的python程序或者腳本，應該使用怎樣的方式存儲這些異常狀況發生時要先存儲下來的數據呢？
問題解答
回答1：可以在es異常時, py腳本捕獲到異常后, 使用cPickle或者pickle 將處理好的數據序列化后保存到一個文件上(你可以理解成寫入一個文件, 不同在于cPickle和pickle能夠將字典或者列表這樣的對象直接寫入文件), 然后等你es恢復了, 重新啟動該py腳本, 那么該腳本優先去檢測是否存在這個臨時文件, 如果有, 并非空, 則把里面的數據取出, 寫入es
上一條：python函數根據概率返回值下一條：兩個python的語法問題
相關文章：
1. Span標簽2. docker-machine添加一個已有的docker主機問題3. redis啟動有問題？4. 關docker hub上有些鏡像的tag被標記““This image has vulnerabilities””5. angular.js使用$resource服務把數據存入mongodb的問題。6. javascript - 計算面積函數代碼7. javascript - ng-options 設置默認選項，不是設置第一個哦，看清楚了！8. SessionNotFoundException：會話ID為null。調用quit（）后使用WebDriver嗎？（硒）9. java - Spring MVC無法識別Controller導致返回的結果是404？10. java - Collections類里的swap函數，源碼為什么要新定義一個final的List型變量l指向傳入的list？
排行榜
網公網安備