mysql優(yōu)化 - mysql 單表優(yōu)化求方案
問(wèn)題描述
背景數(shù)據(jù)量：數(shù)據(jù)量大約3000w+ ，數(shù)據(jù)大小10g，索引30g，如下圖。
需求：需要比較多的group by 操作和全量數(shù)據(jù)操作。
問(wèn)題：各種group by 特別慢。
已嘗試方案：1：嘗試放es，但操作非常不方便。
2：數(shù)據(jù)表分表，成本比較大，從時(shí)間和業(yè)務(wù)角度都沒(méi)有比較好的分表方案。
3：讀寫(xiě)分離，分離之后效果提升不大。
4：在嘗試postgresql，但需要業(yè)務(wù)較大的變動(dòng)，暫未試試。
求存儲(chǔ)或者優(yōu)化方案，最好是存儲(chǔ)在mysql上優(yōu)化，其他存儲(chǔ)介質(zhì)也可以。
問(wèn)題解答
回答1：大表優(yōu)化無(wú)非就建索引、數(shù)據(jù)水平切分、豎直切分，該用的你都測(cè)了，沒(méi)見(jiàn)你把表結(jié)構(gòu)和索引截出來(lái)也不好說(shuō)，索引不要建太多。建議是從業(yè)務(wù)層面上去優(yōu)化，看是否需要分頁(yè)，即使是全量數(shù)據(jù)操作，用預(yù)統(tǒng)計(jì)是否合適，是否需要冗余字段來(lái)讓group by更充分利用索引。
回答2：group by 優(yōu)化方案Loose Index Scan和Tight Index Scan 。中文叫做松散索引掃描和緊湊索引掃描具體可以參考官方文檔http://dev.mysql.com/doc/refm...
回答3：sphinx 試試？
回答4：postgresql對(duì)多表關(guān)聯(lián)和count支持速度怎樣？測(cè)試的mysql多表關(guān)聯(lián)，慢！索引優(yōu)化確實(shí)很關(guān)鍵;還有就是多表關(guān)聯(lián)后的視圖，排序、count分頁(yè)等速度更加難以想象。這里想回問(wèn)下你們?cè)趺唇鉀Q多表關(guān)聯(lián)、視圖、分頁(yè)的問(wèn)題，看樣索引是真沒(méi)少建啊。
回答5：該用的你都測(cè)試了，全量數(shù)據(jù)操作我也沒(méi)想出來(lái)什么好的辦法了。對(duì)于group by操作，如果是固定的sql（業(yè)務(wù)需要），
1）可以考慮用存儲(chǔ)過(guò)程將常用sql的結(jié)果定時(shí)生成新表的數(shù)據(jù)。2）將常用的sql字段分拆，再優(yōu)化
相關(guān)文章：
1. docker-machine添加一個(gè)已有的docker主機(jī)問(wèn)題2. css - 關(guān)于div自適應(yīng)問(wèn)題，大家看圖吧，說(shuō)不清3. 關(guān)docker hub上有些鏡像的tag被標(biāo)記““This image has vulnerabilities””4. docker images顯示的鏡像過(guò)多，狗眼被亮瞎了，怎么辦？5. angular.js使用$resource服務(wù)把數(shù)據(jù)存入mongodb的問(wèn)題。6. dockerfile - [docker build image失敗- npm install]7. docker-compose中volumes的問(wèn)題8. python - django如何每次調(diào)用標(biāo)簽的時(shí)候都取隨機(jī)數(shù)據(jù)9. linux - mysql源碼安裝遇到的問(wèn)題10. javascript - Vue 自定義控件v-model雙向綁定
網(wǎng)公網(wǎng)安備