bigdata 相关问题

大数据是处理极端数据集的概念。问题可能倾向于与基础设施，算法，统计数据和数据结构相关。

我有一个爬行平台（带有节点/javascript的微服务），我在其中索引了我爬行的文档（每个爬行的url/子页面是我的Mongodb中的单个文档），我想找出最好的

mongodb elasticsearch search bigdata

回答 1 投票 0

我在 x32 win xp 上使用 python x32 有时程序上线失败 fp = np.memmap('C:/memmap_test', dtype='float32', mode='w+', shape=(行,列)) memmap.py 中的错误追溯（最近的校准...

python arrays memory out-of-memory bigdata

回答 1 投票 0

从巨大的 csv 文件创建 kmer 数据库

我有一个巨大的csv文件（7.5GB），它由三列组成（无标题），第一个是一个包含7个字符的字符串（SSSSDKI），第二个是计数（100），第三个代表冷...

python sql r csv bigdata

回答 1 投票 0

如何构建像 Ahrefs 这样可扩展的网络抓取和数据分析基础设施？

我正在寻求构建一个可扩展的基础设施，用于网络抓取和数据分析，类似于 Ahrefs 所做的事情。我需要以下技术方面的建议：网页抓取框架：什么是...

mongodb web-scraping neo4j scrapy bigdata

回答 1 投票 0

Apache Ranger 构建错误：无法创建程序集：创建程序集存档架构注册表插件时出错：创建 jar 时出现问题

尝试使用 Java 1.8 在 Ubuntu 20.04 上构建 Apache Ranger 2.4.0 版本。我在 r 上运行 Maven 命令 mvn -Pall -DskipTests=false clean 编译包安装时收到错误...

maven bigdata maven-assembly-plugin apache-ranger apache-atlas

回答 1 投票 0

如何像我们在电子表格中看到的那样按列对 CSV 文件进行排序？

假设我有以下 CSV 文件：列 1、列 2、列 3 C,3,1 B,2,2 A,3,3 C,3,10 B,2,20 A,2,30 C,3,100 B,1,200 A,1,300 我想排序首先按 Column1 第二列（按 Column2）第三栏第三...

c# csv sorting bigdata

回答 1 投票 0

如何修改STRUCT类型列？

有一个名为newtest的表，列名是struct类型的source。我想将此结构类型更新/修改为 struct 有一个名为 newtest 的表，列名称为 source，类型为 struct<name:string, size:bigint>. 我想更新/修改这个结构类型为 struct<name:string, size:bigint, index:bigint> 如何更改/修改上面提到的source列。尝试使用下面的sql查询它不起作用： ALTER TABLE newtest MODIFY COLUMN source STRUCT<name: STRING, size: bigint, index:bigint> ALTER TABLE newtest ADD COLUMNS (source.index bigint AFTER size)

pyspark struct bigdata alter-table

回答 1 投票 0

如何使用 Apache Sedona 将 parquet 格式数据框中的纬度和经度列转换为点类型（几何）？

我有 100 TB 的 parquet 格式的数据。该数据有很多列，包括纬度和经度列。我想使用 Apache Sedona 将这些列转换为点类型列（

geometry bigdata parquet spatial apache-sedona

回答 1 投票 0

GeoMesa Accumulo 自定义迭代器

我想创建一个自定义迭代器并使用 GeoTools API 使用它。目前，我正在使用 DataStore 和 SimpleFeatures 对象检索数据，并尝试找到一种调用自定义迭代器的方法...

database bigdata geotools accumulo geomesa

回答 1 投票 0

Apache NiFi：在 UI 上默认删除用户名和密码登录

我目前正在设置 NiFi，我注意到作为版本 1.14.0 版本的一部分，默认情况下我们启用了安全功能，需要用户名和密码才能访问 UI....