presto读写alluxio中的表

2021-12-11 23:03:37 阅读：200 来源： 互联网

标签：presto 读写 bigdata101 hive 2.1 root alluxio

The tables must be created in the Hive metastore with the alluxio:// location prefix

CREATE TABLE u_user (
    userid INT,
    age INT,
    gender CHAR(1),
    occupation STRING,
    zipcode STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '|'
LOCATION 'alluxio://bigdata101:19998/ml-100k';

append the Alluxio configuration directory (${ALLUXIO_HOME}/conf) to the Presto JVM classpath

[root@bigdata101 etc]# cat jvm.config 
...
-Xbootclasspath/a:/opt/alluxio-2.1.0/conf

把 alluxio-2.1.0-client.jar 复制到 presto 的 plugin/hive-hadoop2/ 目录下

[root@bigdata101 hive-hadoop2]# pwd
/opt/presto-0.196/plugin/hive-hadoop2

[root@bigdata101 hive-hadoop2]# cp /opt/alluxio-2.1.0/client/alluxio-2.1.0-client.jar .

如果出现 No FileSystem for scheme: alluxio，说明 jar 包没复制。

把上面修改的两处同步到其他两个节点

重启，测试

[root@bigdata101 presto-0.196]# prestocli --server bigdata101:8881 --catalog hive --schema default

presto:default> select * from u_user limit 5;
 userid | age | gender | occupation | zipcode 
--------+-----+--------+------------+---------
      1 |  24 | M      | technician | 85711   
      2 |  53 | F      | other      | 94043   
      3 |  23 | M      | writer     | 32067   
      4 |  24 | M      | technician | 43537   
      5 |  33 | F      | other      | 15213   
(5 rows)

Query 20211210_151310_00006_j78ku, FINISHED, 2 nodes
Splits: 18 total, 18 done (100.00%)
0:13 [943 rows, 22.1KB] [71 rows/s, 1.68KB/s]

如果出现 failed: No worker nodes available，在 config.properties 增加 node-scheduler.include-coordinator=true

标签：presto,读写,bigdata101,hive,2.1,root,alluxio
来源： https://www.cnblogs.com/wasaier/p/15677590.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

presto读写alluxio中的表