ICode9

精准搜索请尝试: 精确搜索
  • ArcGIS统计各地区内路网密度2022-09-04 00:04:17

    1. 在行政区划数据属性表内添加area和路网数据的属性表内添加len两个字段,double精度,分别代表面积和长度,然后右键计算几何,分别计算格网的面积和道路长度(单位统一为m²)。 2. 将行政区划格网和路网数据进行相交,这样每段路都能标识到它属于哪个格网。ArcToolBox->Analysis Tools->Int

  • SparkCore中的Key-Value 类型 RDD 的数据分区器2022-02-01 23:02:41

    1.1 HashPartitioner HashPartitioner分区的原理:对于给定的key,计算其hashCode,并除以分区的个数取余,如果余数小于 0,则用余数+分区的个数(否则加0),最后返回的值就是这个key所属的分区ID。 1.2 RangePartitioner HashPartitioner 分区弊端: 可能导致每个分区中数据量的不均匀,极端情况下

  • 统计研究区内Landsat影像数量2021-08-28 17:33:34

    统计研究区内Landsat影像数量 2021-08-28 17:11:39 星期六 导出结果为数量csv文件 var ROI = ee.FeatureCollection("users/xxx/xxx"); function cloudmask(image) { // Remove edge pixels that don't occur in all bands var mask1 = image.mask().select('B.*').red

  • 把页面主体内容限定在安全区内2021-08-18 16:00:08

    padding-top: constant(safe-area-inset-top); padding-top: env(safe-area-inset-top); padding-bottom: constant(safe-area-inset-bottom); padding-bottom: env(safe-area-inset-bottom); padding-left: constant(safe-area-inset-left); padding

  • Spark第三篇:pyspark下的key-value函数2021-05-12 16:34:01

    partitionBy 目的:对源数据进行重新分区, def partitionBy(self, numPartitions, partitionFunc=portable_hash): 其中只需要指定numPartitions就可以了 reduceByKey 目的:可以将数据按照相同的Key对Value进行聚合 示例代码: from pyspark import SparkConf, SparkContext # 创

  • Spark算子笔记2021-01-31 16:29:30

    Spark算子 Transformation:   map:返回一个新的RDD,经过一个新的Fun函数转换之后组成 RDD=sc.parallelize(rdd) rdd2 = rdd.map(fun) mapPartitions:将数据分区为单位发送到计算节点(减少网络传输,可能造成内存不足) mapPartitionsWithIndex:以分区发送处理并能获得当前分区索

  • 在更改分区内的文件后刷新表2020-11-22 22:33:08

    refresh table tablename ;MSCK REPAIR TABLE table_name;在更改分区内的文件后刷新表 refresh table tablename ; 我们平时通常是通过alter table add partition方式增加Hive的分区的,但有时候会通过HDFS put/cp命令往表目录下拷贝分区目录,如果目录多,需要执行多条alter语句,非常麻

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有