全部 Python+大数据新闻动态 Python+大数据技术文章 Python+大数据学习常见问题 技术问答

• • 

    kafka什么时候会做rebalance重平衡?

    当一个新的消费者加入到群组中时，或者一个已经离开的消费者重新加入，都可能触发Rebalance。这可能是由于新的消费者希望加入消费者群组，或者旧的消费者重新加入，这样就需要重新分配分区。 查看全文>>

    Python+大数据学习常见问题2024-02-02 |传智教育 |kafka什么时候会做rebalance重平衡

  • 

    从原理上说一下mpp和mr的区别?

    MPP(Massively Parallel Processing)和MR(MapReduce)是两种不同的数据处理框架，用于处理大规模数据集。它们有一些相似之处，但在原理和实现上存在一些显著的区别。 查看全文>>

    Python+大数据学习常见问题2024-02-01 |传智教育 |从原理上说一下mpp和mr的区别

  • 

    简述Hive的行转列和列转行函数

    Hive是一个基于Hadoop的数据仓库工具，用于处理大规模的数据集。在Hive中，有一些函数可用于行转列(Pivot)和列转行(Unpivot)操作。这些函数主要用于将表中的数据在行和列之间进行转换。 查看全文>>

    Python+大数据学习常见问题2024-01-31 |传智教育 |Hive的行转列和列转行函数

  • 

    reduceBykey和groupBykey有啥区别吗?

    reduceByKey和groupByKey是Spark中的两个不同的转换操作，用于处理键值对(key-value pairs)的RDD(Resilient Distributed Dataset)。它们之间的主要区别在于它们执行的操作和结果的组织方式。 查看全文>>

    Python+大数据学习常见问题2024-01-30 |传智教育 |reduceBykey和groupBykey有啥区别

  • 

    fsimage和edit的区别是什么?

    在Hadoop分布式文件系统(HDFS)中，fsimage和edits是两个关键的元数据文件，用于记录文件系统的状态和变更。它们一起工作以维护文件系统的一致性和持久性。以下是它们的主要区别： 查看全文>>

    Python+大数据学习常见问题2024-01-29 |传智教育 |fsimage和edit的区别

  • 

    scrapy的去重原理是什么?

    Scrapy是一个用于爬取网站数据的Python框架，它内置了一个去重(Duplicate Removal)的机制，以确保在爬取过程中不会重复获取相同的数据。Scrapy的去重原理主要基于请求的指纹(fingerprint)来进行判断。以下是Scrapy去重的详细说明。 查看全文>>

    Python+大数据学习常见问题2024-01-26 |传智教育 |scrapy的去重原理

  • 

    Namenode、Job tracker和task tracker的端口号是?

    在Hadoop 1.x版本中，NameNode、JobTracker和TaskTracker的默认端口号如下。 查看全文>>

    Python+大数据学习常见问题2024-01-25 |传智教育 |Namenode、Job tracker和task tracker的端口号

  • 

    Map到Reduce默认的分区机制是什么?

    在MapReduce中，默认的分区机制是基于键(key)的哈希分区(Hash Partitioning)。MapReduce框架将Map阶段产生的键值对按照键进行哈希运算，然后将结果对分区数取模，从而确定每个键值对应的分区。这样可以确保具有相同键的键值对会被分配到相同的分区，方便后续的Reduce阶段进行处理。 查看全文>>

    Python+大数据学习常见问题2024-01-24 |传智教育 |Map到Reduce默认的分区机制

  << < 1 2 3 4 5 6 7 8 9 ... 48 > >>