ä»ä¹æ¯å¤§æ°æ®ï¼å¤§æ°æ®ï¼big dataï¼ï¼ææ æ³å¨ä¸å®æ¶é´èå´å
ç¨å¸¸è§è½¯ä»¶å·¥å
·è¿è¡ææã管çåå¤ççæ°æ®éåï¼æ¯éè¦æ°å¤ç模å¼æè½å
·ææ´å¼ºçå³çåãæ´å¯åç°ååæµç¨ä¼åè½åçæµ·éãé«å¢é¿çåå¤æ ·åçä¿¡æ¯èµäº§ã
大æ°æ®ç5Vç¹ç¹ï¼Volumeï¼å¤§éï¼ãVelocityï¼é«éï¼ãVarietyï¼å¤æ ·ï¼ãValueï¼ä½ä»·å¼å¯åº¦ï¼ãVeracityï¼çå®æ§ï¼ï¼ç¾åº¦é便æ¾æ¾é½æã
大æ°æ®å¤çæµç¨ï¼
1.æ¯æ°æ®éé,æ建æ°æ®ä»åºï¼æ°æ®ééå°±æ¯ææ°æ®éè¿å端åç¹ï¼æ¥å£æ¥å¿è°ç¨æµæ°æ®ï¼æ°æ®åºæåï¼å®¢æ·èªå·±ä¸ä¼ æ°æ®ï¼æè¿äºä¿¡æ¯åºç¡æ°æ®æåç§ç»´åº¦ä¿åèµ·æ¥ï¼æè§æäºæ°æ®æ²¡ç¨ï¼åå¼å§ååªæ³çåè½ï¼æäºæ°æ®æ²¡ééï¼ åæ¥è¢«è大è®äºä¸é¡¿ï¼ã
2.æ°æ®æ¸
æ´/é¢å¤çï¼å°±æ¯ææ¶å°æ°æ®ç®åå¤çï¼æ¯å¦æip转æ¢æå°åï¼è¿æ»¤æèæ°æ®çã
3.æäºæ°æ®ä¹åå°±å¯ä»¥å¯¹æ°æ®è¿è¡å å·¥å¤çï¼æ°æ®å¤ççæ¹å¼å¾å¤ï¼æ»ä½å为离线å¤çï¼å®æ¶å¤çï¼ç¦»çº¿å¤çå°±æ¯æ¯å¤©å®æ¶å¤çï¼å¸¸ç¨çæé¿éçmaxComputer,hive,MapReduce,离线å¤ç主è¦ç¨storm,spark,hadoop,éè¿ä¸äºæ°æ®å¤çæ¡æ¶ï¼å¯ä»¥å§æ°æ®è®¡ç®æåç§KPI,å¨è¿ééè¦æ³¨æä¸ä¸ï¼ä¸è¦åªæ³çåè½ï¼ä¸»è¦æ¯æåç§æ°æ®ç»´åº¦å»ºèµ·æ¥ï¼åºæ¬æ°æ®åå
¨ï¼è¿è¦å¯å¤ç¨ï¼åæå°±å¯ä»¥æåç§kpiéæç»åå±ç¤ºåºæ¥ã
4.æ°æ®å±ç°ï¼æ°æ®ååºæ¥æ²¡ç¨ï¼è¦å¯è§åï¼åå°MVPï¼å°±æ¯å¿«éååºæ¥ä¸ä¸ªææï¼ä¸åéåæ¶è°æ´ï¼è¿ç¹æç¹ç±»ä¼¼äºScrumææ·å¼åï¼æ°æ®å±ç¤ºçå¯ä»¥ç¨datavï¼ç¥ççï¼å端好çå¯ä»¥å¿½ç¥ï¼èªå·±æ¥ç»é¡µé¢ã
æ°æ®ééï¼
1.æ¹æ°æ®ééï¼å°±æ¯æ¯å¤©å®æ¶å»æ°æ®åºæåæ°æ®å¿«ç
§ï¼æ们ç¨çmaxComputerï¼å¯ä»¥æ ¹æ®éæ±ï¼è®¾ç½®æ¯å¤©å»æ°æ®åºå¤ä»½ä¸æ¬¡å¿«ç
§ï¼å¦ä½å¤ä»½ï¼å¦ä½è®¾ç½®æ°æ®æºï¼å¦ä½è®¾ç½®åºéï¼å¨maxComputeré½æææ¡£ä»ç»ï¼ä½¿ç¨maxComputeréè¦æ³¨åé¿éäºæå¡
2.å®æ¶æ¥å£è°ç¨æ°æ®ééï¼å¯ä»¥ç¨logHub,dataHub,æµæ°æ®å¤çææ¯,DataHubå
·æé«å¯ç¨ï¼ä½å»¶è¿ï¼é«å¯æ©å±ï¼é«ååçç¹ç¹ã
é«ååï¼æé«æ¯æå主é¢ï¼Topicï¼æ¯æ¥T级å«çæ°æ®éåå
¥ï¼æ¯ä¸ªåçï¼Shardï¼æ¯ææé«æ¯æ¥8000ä¸Record级å«çåå
¥éã
å®æ¶æ§ï¼éè¿DataHub ï¼æ¨å¯ä»¥å®æ¶çæ¶éåç§æ¹å¼çæçæ°æ®å¹¶è¿è¡å®æ¶çå¤çï¼
设计æè·¯ï¼é¦å
åä¸ä¸ªsdkæå
¬å¸ææåå°æå¡è°ç¨æ¥å£è°ç¨æ
åµè®°å½ä¸æ¥ï¼å¼è¾çº¿ç¨æ± ï¼æè®°å½ä¸æ¥çæ°æ®ä¸åçå¾dataHub,logHubåå¨ï¼åææ¯è®¾ç½®å¥½æ¥æ¶æ°æ®çdataHub表ç»æ
3.åå°æ°æ®åç¹ï¼è¿äºå°±è¦æ ¹æ®ä¸å¡éæ±æ¥è®¾ç½®äºï¼ä¹æ¯éè¿æµæ°æ®ä¼ è¾å°æ°æ®ä»åºï¼å¦ä¸è¿°ç¬¬äºæ¥ã
æ°æ®å¤çï¼
æ°æ®ééå®æå°±å¯ä»¥å¯¹æ°æ®è¿è¡å å·¥å¤çï¼å¯å为离线æ¹å¤çï¼å®æ¶å¤çã
1.离线æ¹å¤çmaxComputerï¼è¿æ¯é¿éæä¾çä¸é¡¹å¤§æ°æ®å¤çæå¡ï¼æ¯ä¸ç§å¿«éï¼å®å
¨æ管çTB/PB级æ°æ®ä»åºè§£å³æ¹æ¡ï¼ç¼åæ°æ®å¤çèæ¬ï¼è®¾ç½®ä»»å¡æ§è¡æ¶é´ï¼ä»»å¡æ§è¡æ¡ä»¶ï¼å°±å¯ä»¥æç
§ä½ çè¦æ±ï¼æ¯å¤©äº§çä½ éè¦æ°æ®
2.å®æ¶å¤çï¼éç¨storm/spark,ç®åæ¥è§¦çåªæstorm,stromåºæ¬æ¦å¿µç½ä¸ä¸å¤§æï¼å¨è¿é讲ä¸ä¸å¤§æ¦å¤çè¿ç¨ï¼é¦å
设置è¦è¯»åå¾æ°æ®æºï¼åªè¦å¯å¨stormå°±ä¼ä¸åæ¯ç读åæ°æ®æºãSpoutï¼ç¨æ¥è¯»åæ°æ®ãTupleï¼ä¸æ¬¡æ¶æ¯ä¼ éçåºæ¬åå
ï¼ç解为ä¸ç»æ¶æ¯å°±æ¯ä¸ä¸ªTupleãstream,ç¨æ¥ä¼ è¾æµï¼TupleçéåãBoltï¼æ¥åæ°æ®ç¶åæ§è¡å¤ççç»ä»¶,ç¨æ·å¯ä»¥å¨å
¶ä¸æ§è¡èªå·±æ³è¦çæä½ãå¯ä»¥å¨éè¾¹åä¸å¡é»è¾ï¼stormä¸ä¼ä¿åç»æï¼éè¦èªå·±å代ç ä¿åï¼æè¿äºå并起æ¥å°±æ¯ä¸ä¸ªææï¼æ»ä½æ¥è¯´å°±æ¯ææææ交å°æå¡å¨å¯å¨åï¼ä»ä¼ä¸å读åæ°æ®æºï¼ç¶åéè¿streamææ°æ®æµå¨ï¼éè¿èªå·±åçBolt代ç è¿è¡æ°æ®å¤çï¼ç¶åä¿åå°ä»»æå°æ¹ï¼å
³äºå¦ä½å®è£
é¨ç½²stormï¼å¦ä½è®¾ç½®æ°æ®æºï¼ç½ä¸é½ææç¨ï¼è¿éä¸å¤è¯´ã
æ°æ®å±ç°ï¼åäºä¸è¿°é£ä¹å¤ï¼ç»äºå¯ä»¥ç´è§çå±ç¤ºäºï¼ç±äºå端ææ¯ä¸è¡ï¼åç¨äºç¬¬ä¸æ¹å±ç¤ºå¹³å°datav,datavæ¯æ两ç§æ°æ®è¯»å模å¼ï¼ç¬¬ä¸ç§ï¼ç´æ¥è¯»åæ°æ®åºï¼æä½ è®¡ç®å¥½çæ°æ®ï¼éè¿sqlæ¥åºï¼éè¦é
ç½®æ°æ®æºï¼è¯»åæ°æ®ä¹åæç
§ç»å®çæ ¼å¼ï¼è¿è¡æ ¼å¼åå°±å¯ä»¥å±ç°åºæ¥
@jiaoready @jiaoready 第äºç§éç¨æ¥å£çå½¢å¼ï¼å¯ä»¥ç´æ¥éç¨apiï¼å¨æ°æ®åºåé
置为apiï¼å¡«åæ¥å£å°åï¼éè¦çåæ°å³å¯ï¼è¿éå°±ä¸å¤è¯´äºã
温馨提示:答案为网友推荐,仅供参考