2019-07-06
電商(shāng)行業技術特點;
①技術新:(NoSql推廣首在社區網站和電商(shāng)項目),發展快,需求推動技術的革新。
②技術範圍廣:除了java,像淘寶前端還使用了PHP,數據庫MySQL或者oracle,nosql,服務器端使用Linux,服務器安全、系統安全
③分(fēn)布式:以前是在一(yī)台機器上做運算,現在是分(fēn)散到很多機器上,最後彙總起來。(集中(zhōng)式向分(fēn)布式進行考慮)由需求來推動
④高并發、集群、負載均衡、高可用:由并發問題采用集群進行處理,其中(zhōng),集群會涉及服務器的主從以及分(fēn)布問題,使用負載均衡。(權重高低)高可用是對用戶而言,用戶的服務不中(zhōng)斷(系統升級,服務不中(zhōng)斷,淘寶每周更新2次)。
⑤海量數據:雙11,570億的背後,訂單有多少?浏覽次數有多少?商(shāng)品會有多少?活動相關數據?
⑥業務複雜(zá):不要簡單的認爲是:商(shāng)品展示出來後,加入購物(wù)車(chē)後購買就完成了。後台特别複雜(zá),比如優惠(包郵、滿減)
⑦系統安全:系統上線必須通過系統安全部門審核通過。前年CSDN數據洩露。快捷酒店(diàn)數據洩露(通過身份證就可以查看你的開(kāi)房記錄)。近幾年,安全意識逐步在提高。
電商(shāng)網站需求;
客戶需求:
建立一(yī)個全品類的電子商(shāng)務網站(B2C),用戶可以在線購買商(shāng)品,可以在線支付,也可以貨到付款;
用戶購買時可以在線與客服溝通;
用戶收到商(shāng)品後,可以給商(shāng)品打分(fēn),評價;
目前有成熟的進銷存系統;需要與網站對接;
希望能夠支持3~5年,業務的發展;
預計3~5年用戶數達到1000萬;
定期舉辦雙11,雙12,三八男人節等活動;
其他的功能參考京東或國美在線等網站。
客戶就是客戶,不會告訴你具體(tǐ)要什麽,隻會告訴你他想要什麽,我(wǒ)們很多時候要引導,挖掘客戶的需求。好在提供了明确的參考網站。因此,下(xià)一(yī)步要進行大(dà)量的分(fēn)析,結合行業,以及參考網站,給客戶提供方案。
需求功能矩陣
需求管理傳統的做法,會使用用例圖或模塊圖(需求列表)進行需求的描述。這樣做常常忽視掉一(yī)個很重要的需求(非功能需求),因此推薦大(dà)家使用需求功能矩陣,進行需求描述。
圖片存儲的要求(海量小(xiǎo)圖片)用戶可以在線購買商(shāng)品會員(yuán)管理,購物(wù)車(chē),結算功能良好購物(wù)體(tǐ)驗(可用性,性能)在線支付或貨到付款多種在線支付方式支付過程要安全,數據加密(安全性)多種支付接口靈活切換(靈活性,擴展性)可以在線與客服溝通在線客服功能可靠性:即時通訊商(shāng)品打分(fēn)評價商(shāng)品評論 目前有成熟的進銷存系統對接進銷存屬于約束條件對接時要考慮數據一(yī)緻性,魯棒性支持3~5年,業務的發展 屬于約束條件伸縮性,可擴展性3~5年用戶數達到1000萬 約束條件舉辦雙11,雙12,三八男人節等活動活動管理,秒殺突增訪問流量(可伸縮)實時性要求(高性能)參考京東或國美在線 參考條件
以上是對電商(shāng)網站需求的簡單舉例,目的是說明(1)需求分(fēn)析的時候,要全面,大(dà)型分(fēn)布式系統重點考慮非功能需求;(2)描述一(yī)個簡單的電商(shāng)需求場景,使大(dà)家對下(xià)一(yī)步的分(fēn)析設計有個依據。
、網站初級架構
一(yī)般網站,剛開(kāi)始的做法,是三台服務器,一(yī)台部署應用,一(yī)台部署數據庫,一(yī)台部署NFS文件系統。
這是前幾年比較傳統的做法,之前見到一(yī)個網站10萬多會員(yuán),垂直服裝設計門戶,N多圖片。使用了一(yī)台服務器部署了應用,數據庫以及圖片存儲。出現了很多性能問題。
如下(xià)圖:
但是,目前主流的網站架構已經發生(shēng)了翻天覆地的變化。一(yī)般都會采用集群的方式,進行高可用設計。至少是下(xià)面這個樣子。
(1) 使用集群對應用服務器進行冗餘,實現高可用;(負載均衡設備可與應用一(yī)塊部署)
使用數據庫主備模式,實現數據備份和高可用;
、系統容量預估
預估步驟:
注冊用戶數-日均UV量-每日的PV量-每天的并發量;
峰值預估:平常量的2~3倍;
根據并發量(并發,事務數),存儲容量計算系統容量。
客戶需求:3~5年用戶數達到1000萬注冊用戶;
每秒并發數預估:
每天的UV爲200萬(二八原則);
每日每天點擊浏覽30次;
PV量:200*30=6000萬;
集中(zhōng)訪問量:24*0.2=4.8小(xiǎo)時會有6000萬*0.8=4800萬(二八原則);
每分(fēn)并發量:4.8*60=288分(fēn)鍾,每分(fēn)鍾訪問4800/288=16.7萬(約等于);
每秒并發量:16.7萬/60=2780(約等于);
假設:高峰期爲平常值的三倍,則每秒的并發數可以達到8340次。
1毫秒=1.3次訪問;
沒好好學數學後悔了吧?!(不知(zhī)道以上算是否有錯誤,呵呵~~)
服務器預估:(以tomcat服務器舉例)
按一(yī)台web服務器,支持每秒300個并發計算。平常需要10台服務器(約等于);[tomcat默認配置是150]
高峰期:需要30台服務器;
容量預估:70/90原則
系統CPU一(yī)般維持在70%左右的水平,高峰期達到90%的水平,是不浪費(fèi)資(zī)源,并比較穩定的。内存,IO類似。
以上預估僅供參考,因爲服務器配置,業務邏輯複雜(zá)度等都有影響。在此CPU,硬盤,網絡等不再進行評估。
、網站架構分(fēn)析
根據以上預估,有幾個問題:
需要部署大(dà)量的服務器,高峰期計算,可能要部署30台Web服務器。并且這三十台服務器,隻有秒殺,活動時才會用到,存在大(dà)量的浪費(fèi)。
所有的應用部署在同一(yī)台服務器,應用之間耦合嚴重。需要進行垂直切分(fēn)和水平切分(fēn)。
大(dà)量應用存在冗餘代碼
服務器SESSION同步耗費(fèi)大(dà)量内存和網絡帶寬
數據需要頻(pín)繁訪問數據庫,數據庫訪問壓力巨大(dà)。
大(dà)型網站一(yī)般需要做以下(xià)架構優化(優化是架構設計時,就要考慮的,一(yī)般從架構/代碼級别解決,調優主要是簡單參數的調整,比如JVM調優;如果調優涉及大(dà)量代碼改造,就不是調優了,屬于重構):
業務拆分(fēn)
應用集群部署(分(fēn)布式部署,集群部署和負載均衡)
多級緩存
單點登錄(分(fēn)布式Session)
數據庫集群(讀寫分(fēn)離(lí),分(fēn)庫分(fēn)表)
服務化
消息隊列
其他技術
、網站架構優化
1業務拆分(fēn)
根據業務屬性進行垂直切分(fēn),劃分(fēn)爲産品子系統,購物(wù)子系統,支付子系統,評論子系統,客服子系統,接口子系統(對接如進銷存,短信等外(wài)部系統)。
根據業務子系統進行等級定義,可分(fēn)爲核心系統和非核心系統。核心系統:産品子系統,購物(wù)子系統,支付子系統;非核心:評論子系統,客服子系統,接口子系統。
業務拆分(fēn)作用:提升爲子系統可由專門的團隊和部門負責,專業的人做專業的事,解決模塊之間耦合以及擴展性問題;每個子系統單獨部署,避免集中(zhōng)部署導緻一(yī)個應用挂了,全部應用不可用的問題。
等級定義作用:用于流量突發時,對關鍵應用進行保護,實現優雅降級;保護關鍵應用不受到影響。
2應用集群部署(分(fēn)布式,集群,負載均衡)
分(fēn)布式部署:将業務拆分(fēn)後的應用單獨部署,應用直接通過RPC進行遠程通信;
集群部署:電商(shāng)網站的高可用要求,每個應用至少部署兩台服務器進行集群部署;
負載均衡:是高可用系統必須的,一(yī)般應用通過負載均衡實現高可用,分(fēn)布式服務通過内置的負載均衡實現高可用,關系型數據庫通過主備方式實現高可用。
3 多級緩存
緩存按照存放(fàng)的位置一(yī)般可分(fēn)爲兩類本地緩存和分(fēn)布式緩存。本案例采用二級緩存的方式,進行緩存的設計。一(yī)級緩存爲本地緩存,二級緩存爲分(fēn)布式緩存。(還有頁面緩存,片段緩存等,那是更細粒度的劃分(fēn))
一(yī)級緩存,緩存數據字典,和常用熱點數據等基本不可變/有規則變化的信息,二級緩存緩存需要的所有緩存。當一(yī)級緩存過期或不可用時,訪問二級緩存的數據。如果二級緩存也沒有,則訪問數據庫。
緩存的比例,一(yī)般1:4,即可考慮使用緩存。(理論上是1:2即可)。
4,單點登錄(分(fēn)布式Session)
系統分(fēn)割爲多個子系統,獨立部署後,不可避免的會遇到會話(huà)管理的問題。一(yī)般可采用Session同步,Cookies,分(fēn)布式Session方式。電商(shāng)網站一(yī)般采用分(fēn)布式Session實現。
再進一(yī)步可以根據分(fēn)布式Session,建立完善的單點登錄或賬戶管理系統。
流程說明
用戶第一(yī)次登錄時,将會話(huà)信息(用戶Id和用戶信息),比如以用戶Id爲Key,寫入分(fēn)布式Session;
用戶再次登錄時,獲取分(fēn)布式Session,是否有會話(huà)信息,如果沒有則調到登錄頁;
一(yī)般采用Cache中(zhōng)間件實現,建議使用Redis,因此它有持久化功能,方便分(fēn)布式Session宕機後,可以從持久化存儲中(zhōng)加載會話(huà)信息;
存入會話(huà)時,可以設置會話(huà)保持的時間,比如15分(fēn)鍾,超過後自動超時;
結合Cache中(zhōng)間件,實現的分(fēn)布式Session,可以很好的模拟Session會話(huà)。
數據庫集群(讀寫分(fēn)離(lí),分(fēn)庫分(fēn)表)
大(dà)型網站需要存儲海量的數據,爲達到海量數據存儲,高可用,高性能一(yī)般采用冗餘的方式進行系統設計。一(yī)般有兩種方式讀寫分(fēn)離(lí)和分(fēn)庫分(fēn)表。
讀寫分(fēn)離(lí):一(yī)般解決讀比例遠大(dà)于寫比例的場景,可采用一(yī)主一(yī)備,一(yī)主多備或多主多備方式。
本案例在業務拆分(fēn)的基礎上,結合分(fēn)庫分(fēn)表和讀寫分(fēn)離(lí)
業務拆分(fēn)後:每個子系統需要單獨的庫;
如果單獨的庫太大(dà),可以根據業務特性,進行再次分(fēn)庫,比如商(shāng)品分(fēn)類庫,産品庫;
分(fēn)庫後,如果表中(zhōng)有數據量很大(dà)的,則進行分(fēn)表,一(yī)般可以按照Id,時間等進行分(fēn)表;(高級的用法是一(yī)緻性Hash)
在分(fēn)庫,分(fēn)表的基礎上,進行讀寫分(fēn)離(lí);
相關中(zhōng)間件可參考Cobar(阿裏,目前已不在維護),TDDL(阿裏),Atlas(奇虎360),MyCat(在Cobar基礎上,國内很多牛人,号稱國内第一(yī)開(kāi)源項目)。
電商(shāng)網站後台功能模塊分(fēn)析;
後台:各類主要信息的概要統計,包括客戶信息、 訂單信息、商(shāng)品信息、庫存信息、評論和最近反饋等。
商(shāng)品模塊:
1.商(shāng)品管理:商(shāng)品和商(shāng)品包的添加、修改、 删除、複制、批處理、商(shāng)品計劃上下(xià)架、SEO、商(shāng)品多媒體(tǐ)上傳等,可以定義商(shāng)品是實體(tǐ)還是虛拟,可以定義是否預訂、是否缺貨銷售等。
2.商(shāng)品目錄管理:樹(shù)形的商(shāng)品目錄組織管理,并可以設置關聯/商(shāng)品推薦。
3.商(shāng)品類型管理:定義商(shāng)品的類型,設置自定義屬性項、SKU項和商(shāng)品評論項。
4.品牌管理:添加、修改、删除、上傳品牌 LOGO。
5.商(shāng)品評論管理:回複、删除。
銷售模塊:
1.促銷管理:分(fēn)爲目錄促銷、購物(wù)車(chē)促銷和 優惠券促銷三類,可以随意定義不同的促銷規則,滿足日常促銷活動:購物(wù)折扣、購物(wù)贈送積分(fēn)、購物(wù)贈送優惠券、購物(wù)免運輸費(fèi)、特價商(shāng)品、特定會員(yuán)購買特定商(shāng)品、折上折、買二送一(yī)等。 2.禮券管理:添加、發送禮券
3.關聯/推薦管理――基于規則引擎,可以支持多種推薦類型,可手工(gōng)添加或者自動評估商(shāng)品。
訂單模塊:
1.訂單管理:可以編輯、解鎖、取消訂單、 拆分(fēn)訂單、添加商(shāng)品、移除商(shāng)品、确認可備貨等,也可對因促銷規則發生(shēng)變化引起的價格變化進行調整。訂單處理完可發起退貨、換貨流程。
2.支付:常用于訂單支付信息的查看和手工(gōng) 支付兩種功能。手工(gōng)支付訂單,常用于“款到發貨”類型的訂單,可理解爲對款到發貨這類訂單的一(yī)種補登行爲。
3.結算:提供商(shāng)家與第三方物(wù)流公司的結算 功能,通常是月結。同時,結算功能也是常用來對“貨到付款”這一(yī)類型訂單支付後的數據進行對帳
庫存模塊:
1.庫存管理:引入庫存的概念,不包括銷售 規則爲永遠可售的商(shāng)品,一(yī)個SKU對應一(yī)個庫存量。庫存管理提供增加、減少等調整庫存量的功能;另外(wài),也可對具具體(tǐ)的SKU設置商(shāng)品的保留數量、***小(xiǎo)庫存量、再進貨數量。每條SKU商(shāng)品的具體(tǐ)庫存操作都會記錄在庫存明細記錄裏邊。
2.查看庫存明細記錄。
3.備貨/發貨:創建備貨單、打印備貨單、打印發貨單、打印EMS快遞單、完成發貨等一(yī)系列物(wù)流配送的操作。
4.退/換貨:對退/換貨的訂單進行收貨流程的處理。
内容模塊:
1.内容管理:包括内容管理以及内容目錄管理。内容目錄由樹(shù)形結構組織管理。類似于商(shāng)品目錄的樹(shù)形結構,可設置目錄是否爲鏈接目錄。
2.無限制創建獨立内容網頁,比如關于我(wǒ)們,聯系我(wǒ)們。
3.廣告管理:添加、修改、删除、上傳廣告、 定義廣告有效時限。
4.可自由設置商(shāng)城導航欄目以及欄目内容、欄目鏈接。
客戶模塊:
1.客戶管理:添加、删除、修改、重設密碼、 發送郵件等。 2.反饋管理:删除、回複。
3.消息訂閱管理:添加、删除、修改消息組 和消息、分(fēn)配消息組、查看訂閱人。 4.會員(yuán)資(zī)格:添加、删除、修改。
系統模塊:
1.安全管理:管理員(yuán)、角色權限分(fēn)配和安全日志(zhì)
2.系統屬性管理:用于管理自定義屬性。可關聯模塊包括商(shāng)品管理、商(shāng)品目錄管理、内容管理、客戶管理。
3.運輸與區域:運輸公司、運輸方式、運輸 地區。 4.支付管理:支付方式、支付曆史。 5.包裝管理:添加、修改、删除。
6.數據導入管理:商(shāng)品目錄導入、商(shāng)品導入、 會員(yuán)資(zī)料導入。 7.郵件隊列管理:監控郵件發送情況,删除 發送異常郵件。
報表模塊:
缺省數個統計報表,支持時間段過濾、支持按不同狀态過濾、支持HTML、PDF和Excel格式的導出和打印。 1.用戶注冊統計 2.低庫存彙總 3.缺貨訂單 4.訂單彙總 5.退換貨
責任編輯:中(zhōng)山網站建設
【網訊網絡】國家高新技術企業》十年專注軟件開(kāi)發,網站建設,網頁設計,APP開(kāi)發,小(xiǎo)程序,微信公衆号開(kāi)發,定制各類企業管理軟件(OA、CRM、ERP、訂單管理系統、進銷存管理軟件等)!服務熱線:0760-88610046、13924923903,http://www.wansion.net
上一(yī)篇:企業大(dà)型網站建設的系統架構
下(xià)一(yī)篇:如何做好Android開(kāi)發性能優化
*請認真填寫需求,我(wǒ)們會在24小(xiǎo)時内與您取得聯系。