1、MapReduce中定义的数据类型主要包括键值对（key-value pairs），这种数据类型可以方便地处理和分析大规模数据集。MapReduce中的键值对可以是任何类型的数据，包括基本类型（例如整型、浮点型和字符串），也可以是用户自定义的类型。MapReduce中的键值对可以通过映射和归约操作来进行处理和分析。
2、大数据的特点： （）体量巨大。按目前的发展趋势来看，大数据的体量已经到达PB级甚至EB级。 （）大数据的数据类型多样，以非结构化数据为主，如网络杂志，音频，视屏，图片，地理位置信息，交易数据，社交数据等。 （）价值密度低。有价值的数据仅占到总数据的一小部分。比如一段视屏中，仅有几秒的信息是有价值的。
3、Mapper层和DAO层都是数据访问层。Mapper层主要是将数据从数据库中取出来，进行数据映射，然后传递给业务逻辑层。它的主要作用是提供一种映射关系，将数据库中的数据映射到Java对象中，使得Java对象能够方便地操作数据库。Mapper层通常使用ORM框架实现。
4、而MapReduce的想法来自于函数式编程语言LISP。 尽管Spark的主要抽象是RDD（弹性分布式数据集），实现了Map，reduce等操作，但这些都不是Hadoop的Mapper或Reducer API的直接模拟。这些转变也往往成为开发者从Mapper和Reducer类平行迁移到Spark的绊脚石。
1、Sqoop导出到关系数据库 在某些场景下，需要把数据挖掘的结果导出到关系数据库，用于及时响应外部应用查询。
2、CounchDB：Apache CounchDB是一个使用JSON的文档数据库，使用Javascript做MapReduce查询，以及一个使用HTTP的API。（3）Couchbase：NoSQL文档数据库基于JSON模型。（4）RavenDB：RavenDB是一个基于.NET语言的面向文档数据库。
3、dataworks不支持oraclesql。据阿里云数据显示，自2022年10月13日起，DataWorks数据分析的SQL执行不再支持PostgreSQL、SQL Server、Oracle、DRDS的SQL查询服务，DataWorks SQL查询会加强对大数据相关引擎的支持，例如，MaxCompute、E-MapReduce、CDH、Hologres、AnalyticDB等。
4、数据清洗：MapReduce作为Hadoop的查询引擎，用于大规模数据集的并行计算。数据查询分析：Hive的核心工作就是把SQL语句翻译成MR程序，可以将结构化的数据映射为一张数据库表，并提供HQL（HiveSQL）查询功能。Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。
5、Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。
6、hadoop是个轻量级的产品，又是开源的，不像dpf那么复杂，还要购买商业软体，搭个DPF环境需要费挺大力气的。hadoop能处理半结构化，非结构化资料。但hadoop要写mapreduce函式，这个比起SQL来，方便灵活性差太多了。
1、百度为了更好地用Hadoop进行数据处理，在以下几个方面做了改进和调整：（1）调整MapReduce策略限制作业处于运行状态的任务数； 调整预测执行策略，控制预测执行量，一些任务不需要预测执行； 根据节点内存状况进行调度； 平衡中间结果输出，通过压缩处理减少I/O负担。
2、分配任务所属于的作业：在Jobtracker分配任务前需先确定任务所在的作业。后面会介绍到各种作业调度算法，默认是一个FIFO的作业调度。 分配Map和Reduce任务：tasktracker有固定数量的任务槽，一个tasktracker可以同时运行多个Map和Reduce任务，但其准确的数量由tasktracker的核的数量和内存大小决定。
3、任务的分配是有hadoop的调度器的调度策略决定的，默认为FIFO调度，商业集群一般使用多队列多用户调度器，可以参考参考《hadoop核心技术》高级篇 “第9章 Hadoop作业调度系统” 章节。 任务的执行顺序是有用户控制的，你自然可以定时启动，也可以手动启动。
4、描述一下 hadoop 中，有哪些地方使用到了缓存机制，作用分别是什么？缓存机制就是 DistributedCash ，就是在 job 任务执行前，将需要的文件拷贝到 Task 机器 上进行缓存，提高 mapreduce 的执行效率。
5、了解Hadoop运行机制，可以学习Hadoop权威指南或者Hadoop实战；了解Hadoop运行流程，看懂HADOOP_HOME/bin/下面主要执行脚本。
spark和hadoop的区别如下：诞生的先后顺序：hadoop属于第一代开源大数据处理平台，而spark属于第二代。属于下一代的spark肯定在综合评价上要优于第一代的hadoop。
首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施： 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务器硬件。
spark和hadoop的区别 据我了解Spark和Hadoop都是大数据处理框架，但它们在处理方式和使用场景上有所不同。 Spark是一个内存计算引擎。Spark支持多种编程语言。它适用于实时数据处理和迭代计算任务。 Hadoop是一个分布式计算框架，主要用于处理海量数据。Hadoop适用于离线数据处理、批处理和数据仓库等场景。
Hadoop和Spark都是集群并行计算框架，都可以做分布式计算，它们都基于MapReduce并行模型。Hadoop基于磁盘计算，只有map和reduce两种算子，它在计算过程中会有大量中间结果文件落地磁盘，这会显著降低运行效率。
Spark比MapReduce快的主要原因在于其内存计算模型和优化的执行引擎。首先，Spark支持内存计算，这意味着它可以将数据存储在内存中进行处理，而不需要频繁地读写磁盘。相比之下，MapReduce主要依赖磁盘存储，其在处理数据时需要进行大量的磁盘I/O操作，这会导致显著的性能开销。
Spark比MapReduce快的原因主要体现在以下几个方面：内存计算：Spark基于内存进行数据处理，而MapReduce则是基于磁盘的。Spark能够在内存中保留数据和计算结果，减少了磁盘I/O操作，从而显著提高了处理速度。这种内存计算的方式使得Spark在迭代计算和交互式查询等场景中表现尤为出色。
Spark计算比MapReduce快的根本原因在于DAG计算模型。一般而言，DAG相比Hadoop的MapReduce在大多数情况下可以减少shuffle次数（怎么体现？）。
Spark是基于内存的，而MapReduce是基于磁盘的，这使得Spark的I/O开销更小，计算速度更快。Spark可以并行化处理任务，而MapReduce则需要按照一定的作业顺序执行任务，无法充分利用计算资源。Spark提供了更丰富的数据处理和分析功能，如实时计算、机器学习、图计算等，而MapReduce则相对较少。
处理速度和性能 Spark扩展了广泛使用的MapReduce计算模型，支持循环数据流和内存计算。Hadoop进行计算时，需要从磁盘读或者写数据，同时整个计算模型需要网络传输，导致MapReduce具有高延迟的弱点。据统计，基于Spark内存的计算速度比Hadoop MapReduce快100倍以上，基于磁盘的计算速度也要快10倍以上。
Spark，是一种One Stackto rule them all的大数据计算框架，期望使用一个技术堆栈就完美地解决大数据领域的各种计算任务。Apache官方，对Spark的定义就是：通用的大数据快速处理引擎。
Spark是一个基于内存计算的开源集群计算系统，目的是更快速的进行数据分析。Spark由加州伯克利大学AMP实验室Matei为主的小团队使用Scala开发开发，其核心部分的代码只有63个Scala文件，非常轻量级。
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。
