专业数据分析软件：Office并不是全部，要从在数据分析方面做的比较好，你必须会用（至少要了解）一些比较常用的专业数据分析软件工具，比如SPSS、SAS、Matlab等等，这些软件可以很好地帮助我们完成专业性的算法或模型分析，还有高级的python、R等。
大数据分析常用的软件有：Excel、Python、SQL、Tableau和Power BI。Excel Excel是一款功能强大的数据处理和数据分析软件。对于日常的基础数据分析工作来说，Excel基本能满足需求。利用其公式、数据透视表等工具，可以有效地进行数据清洗、整理和初步分析。
大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。这里介绍一下大数据要学习和掌握的知识与技能：①java：一门面向对象的计算机编程语言，具有功能强大和简单易用两个特征。
大数据需要用到的软件有很多的，学习大数据的基础是java和linux，主流的大数据处理平台如hadoop，爬取数据如python，ETL常用sql，等等。
大数据需要用到的软件实在太多，不能一一进行详细说明，需要学习的内容主要分为三大类，即：编程语言、数据处理平台和数据库，其余的还有一些组件、插件等。其实，学习大数据何止要学习软件这么简单，一名合格的大数据工程师，需要精通的技能还是不少的，具体有一下这些内容。
1、大数据平台目前业界也没有统一的定义，但一般情况下，使用了Hadoop、Spark、Storm、Flink等这些分布式的实时或者离线计算框架，建立计算集群，并在上面运行各种计算任务，这就是通常理解上的大数据平台。
2、什么时候需要大数据平台？简单的说就是当数据总量大到传统单机数据解决方面没办法存储，分析，计算时就要用到大数据平台。
3、而大数据服务平台则是一个集数据接入、数据处理、数据存储、查询检索、分析挖掘等、应用接口等为一体的平台，然后通过在线的方式来提供数据资源、数据能力等来驱动业务发展的服务，国外如Amazon，Oracle，IBM，Microsoft...国内如华为，商理事等公司都是该服务的践行者。
4、大数据平台是指通过高速网络、大数据存储技术、数据处理技术等多种技术手段，为用户提供大规模数据处理、存储、管理和分析服务的一种计算平台。
1、解决方案：首先对kafka进行限速， 其次启用重试机制，重试间隔时间设置长一些，最后Kafka设置acks=all，即需要相应的所有处于ISR的分区都确认收到该消息后，才算发送成功。检测方法：使用重放机制，查看问题所在。
2、设置自动提交为false，接收到消息之后，首先commit，然后再进行消费。at least onece模式 基本思想是保证每一条消息处理成功之后，再进行commit。设置自动提交为false；消息处理成功之后，手动进行commit。采用这种模式时，最好保证消费操作的“幂等性”，防止重复消费。
3、如果自动提交的偏移量小于客户端处理的最后一个消息的偏移量，那么处于两个偏移量之间的消息就会被重复处理，假设我们采用了自动提交，且提交时间间隔为5s，在最近一次提交之后的3s发生了再均衡，再均衡之后，消费者从最后一次提交的偏移量位置开始读取消息。
4、为什么会重复消费：第一种可能是生产者重复发送消息。第二种可能是消费者手动提交时挂掉了，导致消费了数据但是没有提交offset。为什么会丢失数据：第一种可能是ack非-1的情况下，follower未同步完全，leader挂了。第二种可能是消费者自动提交，但其实还没完成消费。