这是一个非常好的问题,作为一名it从业者,我来回答一下。
首先,随着大数据技术的落地应用,数据分析作为大数据的常见任务会逐渐增多,未来不仅it(互联网)行业会需要进行大量的数据分析,传统行业领域也会逐渐释放出大量的数据分析任务。
从当前的技术体系来看,目前常见的数据分析有两种,一种是统计学,另一种是机器学习,而无论采用哪种数据分析,通常都离不开程序设计。当前在生产环境下,数据分析任务通常都基于平台来展开,比如hadoop、spark就是比较常见的数据分析平台。
在hadoop和spark平台下,采用java和python都可以,同时也可以采用scala和r等编程语言,开发人员可以根据自身的知识结构来选择具体的编程语言,而对于初学者来说,当前学习python语言是不错的选择。
采用python进行数据分析有三方面好处,其一是python语言自身比较简单易学,初学者很容易上手;其二是python语言有众多的库可以使用,比如numpy、matplotlib、pandas等,这些库对于提升python数据分析能力有非常直接的帮助;其三是python语言本身就是一门全场景编程语言,具有较强的落地应用能力。
从当前的使用情况来看,在数据分析领域,python语言的上升趋势还是比较明显的,而且数据分析人员也比较愿意使用python,与java语言主要应用在it(互联网)行业不同,python语言在传统行业的应用也比较普遍。
我从事互联网行业多年,目前也在带计算机专业的研究生,主要的研究方向集中在大数据和人工智能领域,我会陆续写一些关于互联网技术方面的文章,感兴趣的朋友可以关注我,相信一定会有所收获。
如果有互联网、大数据、人工智能等方面的问题,或者是考研方面的问题,都可以在评论区留言,或者私信我!
专业软件开发,在学校主攻java,现在java开发工作一年半.想转大数据
1.先把linux环境搞熟,大数据很多技术都是部署在linux服务器的,熟练使用vi编辑文本
2.动手部署hadoop,把hdfs,mapreduce跑起来
3.部署zookeeper
4.部署hbase,了解列式存储的表设计方法
5.掌握hive的使用
6.sparkstreaming,storm流式计算
7.学学sparkmllib,python为数据分析做准备
有java基础转行大数据,需要学习:
1、大数据基础:linux、maven:linux系统管理、shell编程设计、maven部署/配置/仓库、mavenpom
2、hdfs分布式文件系统
3、mapreduce分布式计算模型yarn分布式资源管理器zookeeper分布式协调服务
4、hbase分布式数据库hive分布式数据仓库
5、flumeng分布式数据采集系统sqoop大数据迁移系统
6、scala大数据黄金语言kafka分布式总线系统
7、sparkcore大数据计算基石sparksql数据挖掘利器sparkstreaming流式计算平台
8、sparkmllib机器学习平台sparkgraphx图计算平台
9、项目实战
相关:
大数据开发工程师,所学习的知识是做什么的
大数据学习误区有哪些?大数据开发和数据分析如何避免学习误区?
、大数据基础:linux、maven:linux系统管理、shell编程设计、maven部署/配置/仓库、mavenpom