标签：tmp 文件 pyspark hdfs sc model pickle

pyspark读取hdfs 二进制文件 pickle 模型文件 model

我们在python环境训练的机器学习、深度学习模型二进制文件，比如pickle

如果需要提交到spark-submit上，需要先把文件上传到hdfs目录下，然后读取

hadoop fs -put 模型文件  hdfs目录

如

hadoop fs -put /opt/tmp/model_phone.pkl /home/你的用户名/env/

from pyspark import SparkConf, SparkContext
conf = SparkConf().setAppName("My test App")
sc = SparkContext(conf=conf)
 
"""
lines = sc.textFile("/tmp/tmp.txt")
print lines.count()
print lines.first()
"""   
     
def load_model(sc, model_filename):
        rdd = sc.binaryFiles("/tmp/test.pkl")
        import pickle
        from io import BytesIO
        data_arr = rdd.values().map(lambda p: pickle.load(BytesIO(p))).collect()
        print(data_arr)
 
 
load_model(sc, None)  

参考：https://www.cnblogs.com/bonelee/p/11172280.html

标签：tmp,文件,pyspark,hdfs,sc,model,pickle
来源： https://www.cnblogs.com/cupleo/p/16248904.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。