首页 > 教育培训

pandas怎么设置数据表格的大小 Python程序员该如何准备面试？

实习编辑 • 2023-11-18 12:27:10 • 教育培训 • 阅读 3

python程序员该如何准备面试？

首先，你需要自己做好充分的准备。

第一块:准备学习一些基本的网络知识和算法。

第二块:扎实学习python的基础知识。

pandas怎么设置数据表格的大小 Python程序员该如何准备面试？

第三块:数据库mysql，oracl

如何用通俗形象的语言解释下：spark中的rdd到底是什么意思？

rdd是spark的灵魂。中文翻译是一个弹性的分布式数据集，一个rdd代表一个可以分区的只读数据集。rdd中可以有很多分区，每个分区都有大量的记录。

rdd本身是berkeley博士在写论文时抽象出来的概念，其本质与hadoopmapreduce处理中输入输出的key-value和flink的dataset没有本质区别。处理的时候还是用迭代器加载一些数据，同时执行操作(每个分区的实现其实就是一个迭代器)。

我个人认为，如果要通俗地解释rdd，第一步可以简单地把它想象成一个数组/链表，用迭代器类的东西遍历，可以是碎片化的，也可以是零散的；第二步，你可以找一些例子，看一些界面文档。毕竟用列表直接理解还是有优势的。之后，当你用例子理解了函数，就可以进一步阅读它的原理了。rdd运算符主要分为两类，动作和变换。也就是变换和一些运算。

关于rdd的特点，摘录一部分知乎的朋友:

rdd的五个特征:

dependenci:建立rdd的依赖关系，主要rdd有宽有窄。具有窄依赖性的rdd可以在同一阶段计算。

分区:一个rdd会有几个分区，分区的大小决定了这个rdd的计算粒度，每个rdd分区的计算都是在单独的任务中进行的。

根据"移动数据不如移动计算"在spark调度任务时，首选locations:优先将任务分配给存储数据块的位置。

compute:spark中的计算都是基于分区的，compute函数只复合迭代器，不保存单次计算的结果。

partitioner:只存在于类型(k，v)的rdd中，非类型(k，v)的partitioner的值为none。

rddrdd数据分区

原文标题：pandas怎么设置数据表格的大小 Python程序员该如何准备面试？，如若转载，请注明出处：https://www.bjtdsx.com/tag/6202.html
免责声明：此资讯系转载自合作媒体或互联网其它网站，「天地水秀」登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述，文章内容仅供参考。

pandas怎么设置数据表格的大小 Python程序员该如何准备面试？ pandas怎么设置数据表格的大小 Python程序员该如何准备面试？介绍
赞 ( )
打赏 微信扫一扫微信扫一扫
上一篇：tp 下一篇：django创建子应用 Python可以开发哪些程序？

相关推荐