!
数据行业终极职业指南 !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! 8 !
!
数据工程师
数据工程师负责构建稳健、容错的数据渠道,并将杂乱无序的数据清理、转换和汇总成数据库或
数据源。数据工程师通常都是软件工程师。数据工程师的职责不再是数据分析,而是负责编译和
安装数据库系统、编写复杂的查询、扩展到多个机器上,并部署灾难恢复系统。
数据工程师本质上是为数据分析师或数据科学家打好基础,使他们能够轻松地检索所需的数据,
并进行评估和实验。
技能和工具
数据科学家会从数据中发现规律,而数据工程师负责确保数据能从源头流畅地抵达目的地,以便
处理数据。
因此,数据工程师需要熟练掌握以下知识和技能:
● 基于 Hadoop 的技术,例如 MapReduce、Hive 和 Pig
● 基于 SQL 的技术,例如 PostgreSQL 和 MySQL
● NoSQL 技术,例如 Cassandra 和 MongoDB
● 数据仓库解决方案
工作和职责
数据工程师负责幕后工作,使数据分析师和数据科学家能够更高效地完成他们的工作。
底线
对于数据行业来说,你有很多选择。如果你想要探索这一领域,则可以考虑以下三大主要选择:
数据分析师、数据科学家和数据工程师。
作为大数据分析和可视化初创企业 Datavore Labs 的联合创始人,Sanjay Venkateswarulu 对这
些分支领域的发展历史做出了以下比喻:
“数据分析师逐渐演变成了这三大学科或更专业的学科。我认为随着现代医学的诞生,医生
也经历了相同的专业化发展历程。一开始是村长或长者扮演着主要角色,但是随着工具越
来越细化,现在出现了普通医师、外科医生和神经外科医生。”