rhythmhiv
大数据开发和大数据平台开发是一个普通程序员和架构师的区别。大数据的开发只需要专注于某项功能的实现,而大数据平台的开发则需要着眼于全局来规划大数据平台的架构和整体实施,最终促成项目。
大数据已经成为以数据为核心的产业数据,并逐渐成为一种"钻石矿和钻石在本世纪,大数据是由数据生产、收集、存储、处理、分析和服务形成的产业链和经济活动。大数据产业包括数据资源的建设,大数据软硬件产品的开发、销售和租赁,以及相关的信息技术服务。对大量数据进行建模和处理,通过数据分析,可以发现大量看似不相关的数据之间的因果关系,并以此做出统计规律,推测未来趋势,从而减少试错成本,降低风险,解放很多无效的生产力。
大数据既然形成了大产业,必然会形成符合大数据产业结构的人才需求体系。目前大数据人才方向主要分为大数据架构、大数据开发、大数据分析三个方向。
大数据架构、大数据开发和大数据分析的区别。有没有想过为什么大数据架构放在前面,而不是大数据分析和大数据开发?做同一件事的时候,会有两种人。一种人不加思考地去做,他们就赢了。;不撞南墙不死。另一种会对这件事进行充分的评估,然后制定可行的方案,在具体的实时过程中不断优化实时方案,把这件事完成,形成一个完整的、可复制的体系。
大数据平台的开发重点是大数据的架构,重点是基础设施和架构。大数据架构师更关注hadoop、spark、storm等大数据框架的实现原理、部署、优化和稳定性。既要保证这些大数据架构与数据流工具(如flume、kafka)和可视化工具的巧妙结合,也要保证hive、prestodb、hbase、cassandra等商业应用的落地。大数据架构师首先要对这些概念有非常好的理解,能够辩证的结合这些技术的技巧,从而为大数据的收集和开发提供方向,最终最大化的利用软硬件,提供稳定的服务。
其实大数据发展和大数据架构有很多方向。不同的是大数据开发主要是开发,而大数据架构主要是一个应用。大数据开发更注重技术的掌握,以及如何快速实现功能。大数据架构需要控制这个产品能提供什么功能,以及它的优缺点,并做出取舍,最终落地到用户手中。
大数据分析侧重于数据建模和分析,从探索分析数据的方法中发现更多的规律,或者形成一种基于数据预测和预测未来的手段。
总结一个完整的大数据平台的建设,不是一两个人能做到的。大数据平台的发展不仅要靠技术,更要靠眼光、经验和对市场的敏感度。
以上个人观点,欢迎批评指正。
同意我的看法,请喜欢再走,谢谢!
如果你喜欢我,请关注我。再次感谢!