21
2021
01

解释部署大数据解决方案时应遵循的步骤

答:以下是部署大数据解决方案所遵循的三个步骤

Ⅰ、数据摄取

部署大数据解决方案的第一步是数据提取,即从各种来源提取数据。数据源可以是像Salesforce这样的CRM,像SAP这样的企业资源规划系统,像MySQL这样的RDBMS或任何其他日志文件,文档,社交媒体源等。数据可以通过批处理作业或实时流来提取。然后将提取的数据存储在HDFS中。


II、数据存储

在数据摄取之后,下一步是存储提取的数据。数据存储在HDFS或NoSQL数据库(即HBase)中。HDFS存储适用于顺序访问,而HBase适用于随机读/写访问。

III、数据处理

部署大数据解决方案的最后一步是数据处理。数据通过Spark,MapReduce,Pig等处理框架之一进行处理。

« 上一篇 下一篇 »

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。