大数据工程师是做什么的
发布网友
发布时间：2022-04-20 10:43
共13个回答
热心网友
时间：2022-04-10 09:33
大数据工程师主要是，分析历史、预测未来、优化选择，这是大数据工程师在“玩数据”时最重要的三大任务：
找出过去事件的特征：大数据工程师一个很重要的工作，就是通过分析数据来找出过去事件的特征。找出过去事件的特征，最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹，就能够了解这个人，并预测他的行为。
预测未来可能发生的事情：通过引入关键因素，大数据工程师可以预测未来的消费趋势。
找出最优化的结果：根据不同企业的业务性质，大数据工程师可以通过数据分析来达到不同的目的。
扩展资料
大数据工程师需要学习的知识
1、linux
大数据集群主要建立在linux操作系统上，Linux是一套免费使用和自由传播的类Unix操作系统。而这部分的内容是大家在学习大数据中必须要学习的，只有学好Linux才能在工作中更加的得心应手。
2、Hadoop
我觉的大家听过大数据就一定会听过hadoop。Hadoop是一个能够对大量数据进行离线分布式处理的软件框架，运算时利用maprece对数据进行处理。
参考资料来源：百度百科-大数据分析师
热心网友
时间：2022-04-10 10:51
介绍下大数据工程师所需的几项关键技能：
1.大数据架构的工具与组件
数据工程师更关注分析基础架构，因此所需的大部分技能都是以架构为中心的。
2.深入了解SQL和其它数据库解决方案
数据工程师需要熟悉数据库管理系统，深入了解SQL至关重要。同样其它数据库解决方案，例如Cassandra或BigTable也须熟悉，因为不是每个数据库都是由可识别的标准来构建。
3.数据仓库和ETL工具
数据仓库和ETL经验对于数据工程师至关重要。像Redshift或Panoply这样的数据仓库解决方案，以及ETL工具，比如StitchData或Segment都非常有用。此外，数据存储和数据检索经验同样重要，因为处理的数据量是个天文数字。
4.基于Hadoop的分析(HBase，Hive，MapRece等)
对基于Apache Hadoop的分析有深刻理解是这个领域的一个非常必要的需求，一般情况下HBase，Hive和MapRece的知识存储是必需的。
5.编码
说到解决方案，编码与开发能力是一个重要的优点(这也是许多职位的要求)，你要熟悉Python，C/C++，Java，Perl，Golang或其它语言，这会非常有价值。
6.机器学习
机器学习已经成为标准数据科学，该领域的知识可以帮我们构建同类产品的解决方案。这种知识还有一个好处，就是让你在这个领域极具市场价值，因为在这种情况下能够“戴上两顶帽子”会让你成为一个更强大的工具。
7.多种操作系统
最后，需要我们对Unix，Linux和Solaris系统有深入了解，许多数学工具基于这些操作系统，因为它们有Windows和Mac系统功能没有的访问权限和特殊硬件需求。
热心网友
时间：2022-04-10 12:26
付费内容限时免费查看回答大数据工程技术人员是指从事大数据采集、清洗、分析、治理、挖掘等技术研究，并加以利用、管理、维护和服务的工程技术人员。
主要工作任务：
大数据采集（爬虫）、大数据清洗（ETl工程师）、大数据建模（算法工程师）与大数据分析（数据分析员）；
管理、分析展现及应用等技术（大数据开发工程师）；
研究、应用大数据平台体系架构、技术和标准；
设计、开发、集成、测试大数据软硬件系统；
管理、维护并保障大数据系统稳定运行；
监控、管理和保障大数据安全；
提供大数据的技术咨询和技术服务。
热心网友
时间：2022-04-10 14:17
研究大数据工程师学习有哪些？之前，先来看看这个大数据以后的发展趋势。通过互联网的发展，各个行业都离不开互联网。大数据作为互联网有效的指引手段，起到了很好的作用。也正是因为这个原因，因此大数据人才的需求量增加，人才供需严重不平。企业更是会出高薪聘请大数据人才，这也给很多学员带来了商机，这也导致了很多学生开始转向学习大数据。
大数据工程师学习有哪些？这是很多朋友们都想要知道的。其实要想分辨出好的学习机构并不难，我们只需要看看其教学质量，老师的技术，还有课程的安排等这些指标，就可以找出适合与我们的优秀学习学校。
真正的大数据技术，讲授的是专业的大数据技术知识。真实的企业及项目，由企业中对应项目改写设计而成，贴近实战，贴近实际工作。采用真实的大数据数据源进行授课，数据本身具有一定商业价值。课程内容涉及数据获取、数据处理、数据存储、数据分析(核心)、数据展现和数据应用，可称为“全栈式大数据开发课程”。课程内容丰富，不仅具有大数据主流技术，更讲述大数据相关的热门技术，如云计算和机器学习，让学生就业更具有竞争力，具有发展空间。
大数据学习有哪些？哪家专业？相信通过本文的介绍，你已经有了一定的选择框架。其实真正的选择还是要去各个学习机构实地考察。
热心网友
时间：2022-04-10 16:25
1.找出过去事件的特征
大数据工程师一个很重要的工作，就是通过分析数据来找出过去事件的特征。比如，腾讯的数据团队正在搭建一个数据仓库，把公司所有网络平台上数量庞大、不规整的数据信息进行梳理，总结出可供查询的特征，来支持公司各类业务对数据的需求，包括广告投放、游戏开发、社交网络等。
找出过去事件的特征，最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹，就能够了解这个人，并预测他的行为。“你可以知道他是什么样的人、他的年纪、兴趣爱好，是不是互联网付费用户、喜欢玩什么类型的游戏，平常喜欢在网上做什么事情。”腾讯云计算有限公司北京研发中心总经理郑立峰说。下一步到了业务层面，就可以针对各类人群推荐相关服务，比如手游，或是基于不同特征和需求衍生出新的业务模式，比如微信的电影票业务。
2.预测未来可能发生的事情
通过引入关键因素，大数据工程师可以预测未来的消费趋势。在阿里妈妈的营销平台上，工程师正试图通过引入气象数据来帮助淘宝卖家做生意。“比如今年夏天不热，很可能某些产品就没有去年畅销，除了空调、电扇，背心、游泳衣等都可能会受其影响。那么我们就会建立气象数据和销售数据之间的关系，找到与之相关的品类，提前警示卖家周转库存。”薛贵荣说。
在百度，沈志勇支持“百度预测”部分产品的模型研发，试图用大数据为更广泛的人群服务。已经上线的包括世界杯预测、高考预测、景点预测等。以百度景点预测为例，大数据工程师需要收集所有可能影响一段时间内景点人流量的关键因素进行预测，并为全国各个景点未来的拥挤度分级—在接下来的若干天时间里，它究竟是畅通、拥挤，还是一般拥挤?
3.找出最优化的结果
根据不同企业的业务性质，大数据工程师可以通过数据分析来达到不同的目的。
以腾讯来说，郑立峰认为能反映大数据工程师工作的最简单直接的例子就是选项测试(AB Test)，即帮助产品经理在A、B两个备选方案中做出选择。在过去，决策者只能依据经验进行判断，但如今大数据工程师可以通过大范围地实时测试—比如，在社交网络产品的例子中，让一半用户看到A界面，另一半使用B界面，观察统计一段时间内的点击率和转化率，以此帮助市场部做出最终选择。
热心网友
时间：2022-04-10 18:50
一般的话大数据是负责公司互联网数据分析的一个职位，简单的说如购物网站上的根据你的浏览给你推荐一些商品，另外还有从海量的数据中分析出对公司发现有指引作用的信息等都是大数据需要做的，现在来说大数据需求非常大，很有发展前景
热心网友
时间：2022-04-10 21:31
为深入贯彻*《促进大数据发展行动纲要》（国发（2015)50号）文件精神，积极响应工信部《大数据产业发展规划（2016-2020年）》，推进技术先进、应用繁荣的大数据基础设施建设，进一步提高大数据工程专业技术人员理论与技能水平，经调查研究，专家论证，邮电通信人才交流中心决定开展大数据工程师专业技术等级培训考试。
热心网友
时间：2022-04-11 00:29
大数据工程师是大数据专业就业岗位中比较高级的一个职位，日常工作就是大数据统计，分析，
从数据上游到数据下游，大致可以分为：
数据采集 -> 数据清洗 -> 数据存储 -> 数据分析统计 -> 数据可视化 等几个方面
对大数据感兴趣 想学大数据？你算是找对人了 一起讨论一下
热心网友
时间：2022-04-11 03:44
首先，必须要肯定的一点是：大数据技术与应用专业或相关专业就业前景相当广阔。
原因是：近几年来，互联网行业发展风起云涌，而移动互联网、电子商务、物联网以及社交媒体的快速发展更促使我们快速进入了大数据时代。截止到目前，人们日常生活中的数据量已经从TB(1024GB=1TB)级别一跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别，数据将逐渐成为重要的生产因素，人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。大数据时代，专业的大数据人才必将成为人才市场上的香饽饽。
因此，当下大数据从业人员的两个主要趋势是：1、大数据领域从业人员的薪资将继续增长；2、大数据人才供不应求。
另外，大数据专业毕业生就业岗位非常多，比如：Java大数据分布式程序开发、大数据集成平台的应用与开发、大数据平台运维、Java海量数据分布式编程、大数据架构设计、大数据分析、Java大数据分布式开发、基于大数据平台的程序开发、数据可视化、大数据挖掘、Java海量数据分布式编程、大数据架构设计等。
热心网友
时间：2022-04-11 07:32
大数据开发工程师有几个不同的侧重点，大数据开发，大数据可视化，大数据分析等。成为大数据程序员需要一定的基础，最少掌握一种开发语言，最常见的是JAVA、python。
热心网友
时间：2022-04-11 11:36
主要是在海量的数据库中进行数据分析，处理，迁移等工作，另外还经行等
热心网友
时间：2022-04-11 15:58
什么是大数据呢？大数据（big data）,指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据实质上是全面、混杂的并且具有数据量大、输入和处理速度快、数据多样性、价值密度低特点的数据。
而DT工程师（软件开发+大数据）专业主要学习WEB技术、JAVA、JSP、大型数据库Oracle、LINUX集群、非关系数据库NoSql、Hadoop等技术，通过这些课程的学习，让学生具有JAVAEE开发能力的同时能够进行大数据的分析和挖掘能。这这个专业毕业的学生可以进入传统的软件公司，进行OA和ERP等传统软件项目开发，同时也能进行大数据的分析和大数据深度挖掘以及对服务器集群的组件等。
希望对你有所帮助哦。
热心网友
时间：2022-04-11 20:36
大数据工程师的日常工作内容
1、写SQL（很多入职一两年的大数据工程师主要的工作就是写 SQL ）
2、为集群搭大数据环境（一般公司招大数据工程师环境都已经搭好了，公司内部会有现成的大数据平台，但我这边会私下搞一套测试环境，毕竟公司内部的大数据系统权限*很多，严重影响开发效率）
3、维护大数据平台（这个应该是每个大数据工程师都做过的工作，或多或少会承担“运维”的工作）
4、数据迁移（有部分公司需要把数据从传统的数据库 Oracle、MySQL 等数据迁移到大数据集群中，这个是比较繁琐的工作，吃力不讨好）
5、应用迁移（有部分公司需要把应用从传统的数据库 Oracle、MySQL 等数据库的存储过程程序或者SQL脚本迁移到大数据平台上，这个过程也是非常繁琐的工作，无聊，高度重复且麻烦，吃力不讨好）
6、数据采集（采集日志数据、文件数据、接口数据，这个涉及到各种格式的转换，一般用得比较多的是 Flume 和 Logstash）
7、数据处理
1）离线数据处理（这个一般就是写写 SQL 然后扔到 Hive 中跑，其实和第一点有点重复了）
2）实时数据处理（这个涉及到消息队列，Kafka，Spark，Flink 这些，组件，一般就是 Flume 采集到数据发给 Kafka 然后 Spark 消费 Kafka 的数据进行处理）
8、数据可视化（这个我司是用 Spring Boot 连接后台数据与前端，前端用自己魔改的 echarts）
9、大数据平台开发（偏Java方向的，大概就是把开源的组件整合起来整成一个可用的大数据平台这样，常见的是各种难用的 PaaS 平台）
10、数据中台开发（中台需要支持接入各种数据源，把各种数据源清洗转换为可用的数据，然后再基于原始数据搭建起宽表层，一般为了节省开发成本和服务器资源，都是基于宽表层查询出业务数据）
11、搭建数据仓库（这里的数据仓库的搭建不是指 Hive ，Hive 是搭建数仓的工具，数仓搭建一般会分为三层 ODS、DW、DM 层，其中DW是最重要的，它又可以分为DWD,DWM,DWS，这个层级只是逻辑上的概念，类似于把表名按照层级区分开来的操作，分层的目的是防止开发数据应用的时候直接访问底层数据，可以减少资源，注意，减少资源开销是减少 内存 和 CPU 的开销，分层后磁盘占用会大大增加，磁盘不值钱所以没什么关系，分层可以使数据表的逻辑更加清晰，方便进一步的开发操作，如果分层没有做好会导致逻辑混乱，新来的员工难以接手业务，提高公司的运营成本，还有这个建数仓也分为建离线和实时的）
总之就是离不开写 SQL ...
