大数据采集技术 大数据采集技术涉及通过RFID、传感器、社交网络交互以及移动互联网等多种方式获取结构化、半结构化和非结构化的海量数据。这些数据是大数据知识服务模型的基础。技术突破包括高速数据爬取、数据整合技术以及数据质量评估模型开发。
数据库技术：包括数据建模、数据管理、数据挖掘等方面的技术，人工智能技术：包括机器学习、自然语言处理、图像识别等方面的技术，云计算技术：包括云计算架构、云存储、云安全等方面的技术。
大数据关键技术有数据存储、处理、应用等多方面的技术，根据大数据的处理过程，可将其分为大数据采集、大数据预处理、大数据存储及管理、大数据处理、大数据分析及挖掘、大数据展示等。
大数据技术包括数据收集、数据存取、基础架构、数据处理、统计分析、数据挖掘、模型预测、结果呈现。数据收集：在大数据的生命周期中，数据采集处于第一个环节。根据MapReduce产生数据的应用系统分类，大数据的采集主要有4种来源：管理信息系统、Web信息系统、物理信息系统、科学实验系统。
大数据采集技术 数据是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化（或称之为弱结构化）及非结构化的海量数据，是大数据知识服务模型的根本。大数据预处理技术 主要完成对已接收数据的辨析、抽取、清洗等操作。
1、大数据工程师和大数据开发工程师两者之间没有区别。大数据工程师指的就是大数据开发工程师。大数据工程师（即大数据开发工程师）从事大数据采集、清洗、分析、治理、挖掘等技术研究，并加以利用、管理、维护和服务。
2、大数据开发工程师在Linux和Java方面要熟练掌握，这是最基本的，需要同时掌握。学习顺序不分先后。熟悉与大数据处理相关的技术，包括但不限于Hadoop，Hbase，Hive等。有强大的开发能力，需要精通相关开发语言的使用，精通MapReduce设计方法或Spark计算框架。
3、大数据开发工程师 开发，建设，测试和维护架构，负责公司大数据平台的开发和维护，负责大数据平台持续集成相关工具平台的架构设计与产品开发等。数据分析师 收集，处理和执行统计数据分析；运用工具，提取、分析、呈现数据，实现数据的商业意义，需要业务理解和工具应用能力。
4、大数据工程师：从事数据采集与管理工作，需要较强的IT专业能力，这个岗位也有很多别名，如hadoop工程师、javag工程师（大数据）、ETL工程师等，关键看其岗位职责和技能需求，别看名字。应届生月薪平均在10k以上。
5、大数据工程师主要是，分析历史、预测未来、优化选择，这是大数据工程师在“玩数据”时最重要的三大任务：找出过去事件的特征：大数据工程师一个很重要的工作，就是通过分析数据来找出过去事件的特征。找出过去事件的特征，最大的作用是可以帮助企业更好地认识消费者。
6、大数据开发工程师主要工作：开发，建设，测试和维护架构，负责公司大数据平台的开发和维护，负责大数据平台持续集成相关工具平台的架构设计与产品开发等；大数据分析是大数据应用的一个重点。
具体涵盖以下技能：Linux操作系统、Linux常用命令、Linux常用软件安装、Linux网络、 防火墙、Shell编程等。Java 开发，掌握多线程、掌握并发包下的队列、掌握JVM技术、掌握反射和动态代理、了解JMS。Zookeeper分布式协调服务、Zookeeper集群的安装部署、Zookeeper数据结构、命令。
基本统计知识 统计的基本知识对于数据挖掘者至关重要，它可以帮助您识别问题，获得更准确的结论，区分因果关系和相关性以及量化发现结果的确定性。
数据挖掘工程师需要具备数学及统计学相关的背景、计算机编码能力、对特定应用领域或行业的知识。
一般来说需要具备以下技能：编程/统计语言操作系统大数据处理框架数据库知识基本统计知识数据结构与算法机器学习/深度学习算法自然语言处理。扎实的基础工程能力倾向于计算机底层系统研究的Java、C++语言是企业招聘过程中非常看重的，当然这并非唯一标准。
数据挖掘与机器学习：熟悉基本的数据挖掘和机器学习算法原理，能够应用常见的机器学习算法进行数据分析和建模。熟悉数据挖掘工具和库，如Scikit-learn、TensorFlow等。
做数据挖掘不可避免的要接触大数据，目前常用的大数据框架就两个，Hadoop和Spark，Hadoop的原生开发语言是Java，资料多，Spark的原生开发语言是Scala，不过也有Python的API。