您现在的位置: 心水论坛 > 心水论坛 >

心水论坛

如何成为大数据工程师

发表时间:2019-08-11

  用阿里巴巴集团研究员薛贵荣的话来说,大数据工程师就是一群“玩数据”的人,玩出数据的商业价值,让数据变成生产力。大数据和传统数据的最大区别在于,它是在线的、实时的,规模海量且形式不规整,无章法可循,因此“会玩”这些数据的人就很重要。

  沈志勇认为如果把大数据想象成一座不停累积的矿山,那么大数据工程师的工作就是,“第一步,定位并抽取信息所在的数据集,相当于探矿和采矿。第二步,把它变成直接可以做判断的信息,相当于冶炼。最后是应用,把数据可视化等。”

  因此分析历史、预测未来、优化选择,这是大数据工程师在“玩数据”时最重要的三大任务。通过这三个工作方向,他们帮助企业做出更好的商业决策。

  大数据工程师一个很重要的工作,就是通过分析数据来找出过去事件的特征。比如,腾讯的数据团队正在搭建一个数据仓库,把公司所有网络平台上数量庞大、不规整的数据信息进行梳理,总结出可供查询的特征,来支持公司各类业务对数据的需求,包括广告投放、游戏开发、社交网络等。

  找出过去事件的特征,最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹,就能够了解这个人,并预测他的行为。“你可以知道他是什么样的人、他的年纪、兴趣爱好,是不是互联网付费用户、喜欢玩什么类型的游戏,平常喜欢在网上做什么事情。”腾讯云计算有限公司北京研发中心总经理郑立峰对《第一财经周刊》说。下一步到了业务层面,就可以针对各类人群推荐相关服务,比如手游,或是基于不同特征和需求衍生出新的业务模式,比如微信的电影票业务。

  通过引入关键因素,大数据工程师可以预测未来的消费趋势。在阿里妈妈的营销平台上,工程师正试图通过引入气象数据来帮助淘宝卖家做生意。“比如今年夏天不热,很可能某些产品就没有去年畅销,除了空调、电扇,背心、游泳衣等都可能会受其影响。那么我们就会建立气象数据和销售数据之间的关系,找到与之相关的品类,提前警示卖家周转库存。”薛贵荣说。

  在百度,沈志勇支持“百度预测”部分产品的模型研发,试图用大数据为更广泛的人群服务。已经上线的包括世界杯预测、高考预测、景点预测等。以百度景点预测为例,大数据工程师需要收集所有可能影响一段时间内景点人流量的关键因素进行预测,并为全国各个景点未来的拥挤度分级—在接下来的若干天时间里,它究竟是畅通、中彩堂蓝月亮报码结果,拥挤,还是一般拥挤?

  以腾讯来说,郑立峰认为能反映大数据工程师工作的最简单直接的例子就是选项测试(ABTest),即帮助产品经理在A、B两个备选方案中做出选择。在过去,决策者只能依据经验进行判断,但如今大数据工程师可以通过大范围地实时测试—比如,在社交网络产品的例子中,让一半用户看到A界面,另一半使用B界面,观察统计一段时间内的点击率和转化率,以此帮助市场部做出最终选择。

  作为电商的阿里巴巴,则希望通过大数据锁定精准的人群,帮助卖家做更好的营销。“我们更期待的是你能找到这样一批人,比起现有的用户,这些人对产品更感兴趣。”薛贵荣说。一个淘宝的实例是,某人参卖家原来推广的目标人群是产妇,但工程师通过挖掘数据之间的关联性后发现,针对孕妇群体投放的营销转化率更高。

  就我们采访过的BAT三家互联网大公司来说,对于大数据工程师的要求都是希望是统计学和数学背景的硕士或博士学历。沈志勇认为,缺乏理论背景的数据工作者,更容易进入一个技能上的危险区域(Danger Zone)—一堆数字,按照不同的数据模型和算法总能捯饬出一些结果来,但如果你不知道那代表什么,就并不是真正有意义的结果,并且那样的结果还容易误导你。“只有具备一定的理论知识,才能理解模型、复用模型甚至创新模型,来解决实际问题。”沈志勇说。

  实际开发能力和大规模的数据处理能力是作为大数据工程师的一些必备要素。“因为许多数据的价值来自于挖掘的过程,你必须亲自动手才能发现金子的价值。”郑立峰说。

  举例来说,现在人们在社交网络上所产生的许多记录都是非结构化的数据,如何从这些毫无头绪的文字、语音、图像甚至视频中攫取有意义的信息就需要大数据工程师亲自挖掘。即使在某些团队中,大数据工程师的职责以商业分析为主,但也要熟悉计算机处理大数据的方式。

  在颜莉萍看来,大数据工程师这个角色很重要的一点是,不能脱离市场,因为大数据只有和特定领域的应用结合起来才能产生价值。所以,在某个或多个垂直行业的经历能为应聘者积累对行业的认知,对于之后成为大数据工程师有很大帮助,因此这也是应聘这个岗位时较有说服力的加分项。

  “他不能只是懂得数据,还要有商业头脑,不论对零售、医药、游戏还是旅游等行业,能就其中某些领域有一定的理解,最好还是与公司的业务方向一致的,”就此薛贵荣还打了个比方,“过去我们说一些奢侈品店员势利,看人一眼就知道买得起买不起,但这群人恰恰是有敏锐度的,我们认为他们是这个行业的专家。又比如对医疗行业了解的人,他在考虑医疗保险业务时,不仅会和人们医院看病的记录相关,也会考虑饮食数据,这些都是基于对该领域的了解。”

  由于目前大数据人才匮乏,对于公司来说,很难招聘到合适的人才—既要有高学历,同时最好还有大规模数据处理经验。因此很多企业会通过内部挖掘。

  今年8月,阿里巴巴举办了一个大数据竞赛,把天猫平台上的数据拿出来,去除敏感问题后,放到云计算平台上交予7000多支队伍进行比赛,比赛分为内部赛和外部赛。“通过这个方式来激励内部员工,同时也发现外部人才,让各行业的大数据工程师涌现出来。”

  颜莉萍建议,目前长期从事数据库管理、挖掘、编程工作的人,包括传统的量化分析师、Hadoop方面的工程师,以及任何在工作中需要通过数据来进行判断决策的管理者,比如某些领域的运营经理等,都可以尝试该职位,而各个领域的达人只要学会运用数据,也可以成为大数据工程师。

  作为IT类职业中的“大熊猫”,大数据工程师的收入待遇可以说达到了同类的顶级。根据颜莉萍的观察,国内IT、通讯、行业招聘中,有10%都是和大数据相关的,且比例还在上升。颜莉萍表示,“大数据时代的到来很突然,在国内发展势头激进,而人才却非常有限,现在完全是供不应求的状况。”在美国,大数据工程师平均每年薪酬高达17.5万美元,而据了解,在国内顶尖互联网类公司,同一个级别大数据工程师的薪酬可能要比其他职位高20%至30%,且颇受企业重视。

  由于大数据人才数量较少,因此大多数公司的数据部门一般都是扁平化的层级模式,大致分为数据分析师、资深研究员、部门总监3个级别。大公司可能按照应用领域的维度来划分不同团队,而在小公司则需要身兼数职。有些特别强调大数据战略的互联网公司则会另设最高职位—如阿里巴巴的首席数据官。“这个职位的大部分人会往研究方向发展,成为重要数据战略人才。”颜莉萍说。另一方面,大数据工程师对商业和产品的理解,并不亚于业务部门员工,因此也可转向产品部或市场部,乃至上升为公司的高级管理层。

  继由硬件十万个为什么组织的2017电子工程师技术交流大会(EETC)·杭州站的召开,受到广大工程师的热烈欢迎和积极反响。

  在大数据、物联网等技术不断发展的背景下,智慧消防作为智慧城市延伸产业也越来越被提及,成为智慧城市建设....

  开源的代码里,有我自己亲手写的3万多行C代码,包括我自己一直很得意的定时器,RPC, 内存管理等一系....

  想成为大数据测试工程师之前,有些测试必备的技能,比如软件测试执行提出了我们开展软件测试的执行活动所需....

  除洞察市场趋势、了解互联网行业走向之外,我们还希望通过研究给目标受众带来更多价值,比如帮助成熟的TM....

  在大数据和云计算的帮助下,加强对“个人数据”的保护,近两年来人工智能再次在时代的浪潮中,成为一个不容....

  通常我们会提两个世界——物理世界和数字世界,数据是这两个世界的沟通介质。无论是做功于物理世界还是数字....

  人工智能和大数据都是当前的热点领域,从技术体系结构上来看,大数据与人工智能之间也有较为密切的关联关系....

  在谈及 AI 时代是否真正来临时,梁博士和刘女士都保持谨慎乐观的态度。梁博士认为,深度学习和大数据的....

  网站、APP,以及服务器每天都会遭受到DDOS流量攻击,据SINE安全统计,目前互联网2019年上半....

  要知道目前我们一直在探讨的就是大数据,比如智能推荐需要大数据,智慧城市,人工智能也是需要大数据,而这....

  通过种子模型对无标注数据解码获得标注后,如何从这些海量数据中挑选出有用的数据一直是半监督AM学习中的....

  首先,大数据在医疗领域的应用是目前大数据重要的落地应用之一,在众多的大数据落地应用场景中,医疗领域也....

  在社会分工的背景下,软件行业的工程师群体被划分成了开发、测试、产品等诸多岗位,以协作的方式共同完成价....

  监理这一行业,从1988年正式推行,已成为工程建设不可缺少的责任主体之一,为国家各项工程建设的质量控....

  这个浮躁的时代,我们身边被太多各色新闻所包围。比如企业裁员这种消息比比皆是,其中还不乏行业巨头,有人....

  一直以来互联网行业一直都是高薪的代言词,其中程序员又是工资最高的一职业,那么大家一直想很问问,请问前....

  未来5年,大数据市场依旧保持稳定增长,一方面是政策的支持,另一方面得益于人工智能、5G、区块链、边缘....

  从各地智慧城市建设实践来看,由于缺乏顶层设计和统一规范,智慧城市的快速复制和规模推进受到了影响。

  透过物联网,配备传感器的水管可侦测漏水,电表可追踪用电情况,停车表可自动标记逾时停车。

  当前学术界对人工智能尚无形成统一定义,但是在人工智能基本内容上达成的共识是:通过研究人类智能活动的规....

  安全问题是信息技术发展过程中始终伴随的问题,“技术还是要靠技术本身来解决”。

  随着全球人口的增加,天气的波动更加不稳定,以及依赖石油的农业对于石化燃料的价格越来越敏感,必然激励更多地运用新技术来提高...

  在采购预算上,智能驾驶当仁不让的占据了六成以上的比例。在此领域近几年来出现的无人驾驶汽车平地一声雷,....

  随着数据处理技术的不断进步,人们对于数据应用的意识不断提高,人们生活和各行业运行产生的数据呈现爆发式....

  本篇文章扣丁学堂Java培训小编和大家分享一下Java工程师需要掌握的技术点问题,我们不论是参加Ja....

  java语言在2017年就是一个备受争议的编程语言,有人说java语言已经过时了,java工程师已经....

  Java编程语言经历了20多年的发展,在C、C++语言占据大半江山的情况下横空出世,杀出了一条血路,....

  在移动互联网、云计算、人工智能等一系列先进信息技术的推动下,人类社会的发展进入了以海量数据集中化、精....

  与人工智能强劲的发展势头和旺盛的行业需求相对应的,是巨大的数据缺口。作为AI三大要素之一,数据是人工....

  罗德尼·席林(RodneySchilling)是美国伊利诺伊州的一个农场主,他和父亲二人经营着1300英亩(约7900亩)田地。他的父亲已经83岁了...

  近年来,物联网、大规模并行计算、大数据和深度学习算法这四大催化剂的发展,以及计算成本的降低,使得人工....

  数据的爆炸性增长已经是一个老调且不争的事实, 可是你真的知道每天产生的数据有多少吗?

  大数据对信息安全影响深刻,各种网络行为,日志都被记录下来,从而发现潜在的安全风险。

  物联网信息安全是物联网技术和产业发展的重要基础,信息安全没有可靠的保障,物联网技术很难实现规模化的商....

  思必驰,作为国内唯一一家专注智能硬件领域的企业,拥有十年的语音技术沉淀,也始终保持创业者心态,专注车....

  嵌入式是软件和硬件的配合,所以知识更新的没有那么的快,目前我国嵌入式人才缺口很大,嵌入式工程师薪资水....

  声音也能返老还童?当垂垂老矣语音混沌时,借助受损语音修复技术就能让声音完美再现,重返青春。记者近日从....

  吉林省文化和旅游厅副厅长陈守君介绍,在5G应用不断扩展的大背景下,吉林省将利用覆盖百货商超、餐饮酒店....

  互联网创业项目从萌芽、发展,再到成为独角兽,总会让人艳羡。但更多创业项目却陷入亏损、倒闭漩涡中,让人....

  如今,人工智能已成为国际竞争新焦点。数据显示,2018年,有12个国家和地区发布或加强了人工智能战略....

  电子工程师指从事各类电子设备和信息系统研究、教学、产品设计、科技开发、生产和管理等工作的高级工程技术....

  通过了解其生产的所有车辆情况,汽车制造商得以为车主提供更好的服务。例如,当汽车出现某些问题,用户可以....

  在传统互联网模式下,我们会经常发现,企业建立一套IT系统不仅需要购买硬件等基础设施,还要求拥有软件的....

  在医疗健康领域,大数据及AI等新兴技术也在被广泛推广和应用,为医药、医疗产业全面赋能,成为提升患者获....

  作为人工智能、大数据技术落地应用的典型行业领域,公安行业近几年来在相关技术的推动之下发生了较为显著的....

  随着科技的发展,如今人工智能也越来越流行了,进而引起的大数据等一系列技术现在也非常的火爆。对于人口众....

  大数据支撑并推进“互联网+医疗”医改进程,满足大发展环境下数据共享、互联互通的需求。

  【VIP福利四】资深电源工程师积累的设计资料,毫无保留都给你了!(初、中、高级)

  本资料为资深电源工程师整理的电源学习进阶资料,细心划分了入门篇、终极篇和高级篇,是一套价值极高的参考学习资料,方便每个阶...

  本期内容是接上期“工程师告诉你做PCB设计(上篇)”,“工程师告诉你做PCB设计(上篇)” ,如果您错过了前面内容可以点击...

  近日,德州仪器的Ahmad Bahai博士发表文章《Disruptive TI BAW technology accelerates big data on the information su...

  如果你在承担工作以外还另有研究兴趣;如果你面临或已经退休;如果你有科技制作或创造产品的愿望,为自己建一个业...

  大家在平时工作的时候,一定会有一些这样那样的问题。这些问题包含技术、概念,项目流程还有职业规划方面不等。我们都有“问题”...

  作者:Swarnab Banerje和Niranjan Chandrappa 根据电力研究院(EPRI)最近发布的研究报告,由于电力问题,包括电源波动和...

  本资料是专为电子工程师量身打造的模拟电子资料,包括书籍、案例、实用手册和精选电路,囊括众多模电知识点,但它绝不会是有着欺...


白小姐中特网| 香港开码结果| 香港挂牌彩图| 香港铁算盘| 九肖公式规律| 六合时代| www.38538.com| www.192kj.com| 香港正版免费资料大全| 彩乐网香港赛马会| 今天晚上开码吗| 775577现场开码|