ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

阿里云OSS上传大文件报错处理

2021-11-02 11:03:51  阅读:279  来源: 互联网

标签:String com OSS 报错 分片 import 上传


近期做文件上传到阿里云的OSS时,开始上传小文件没有任何问题,后来无意间上传了一些大于50M的文件,
浏览器中会出现如下错误提示:Failed to load resource: net::ERR_CONNECTION_RESET
在查看了阿里的文档后做了如下集成,改为阿里云的分片上传方式解决问题:贴上代码,仅供参考!!!
参考阿里文档:https://help.aliyun.com/document_detail/84786.htm?spm=a2c4g.11186623.0.0.738478e8y9l2hJ#concept-84786-zh

import com.aliyun.oss.OSS;
import com.aliyun.oss.OSSClient;
import com.aliyun.oss.OSSClientBuilder;
import com.aliyun.oss.internal.OSSHeaders;
import com.aliyun.oss.model.*;
import com.aliyuncs.DefaultAcsClient;
import com.aliyuncs.exceptions.ClientException;
import com.aliyuncs.http.MethodType;
import com.aliyuncs.profile.DefaultProfile;
import com.aliyuncs.profile.IClientProfile;
import com.aliyuncs.sts.model.v20150401.AssumeRoleRequest;
import com.aliyuncs.sts.model.v20150401.AssumeRoleResponse;
import com.ymkj.common.utils.StringUtils;
public class AliOssUtil {

//所在地域对应的Endpoint。以华东1(杭州)为例,Endpoint填写为 https://oss-cn-hangzhou.aliyuncs.com
private static String endpoint = "oss-cn-hangzhou.aliyuncs.com";

 // 阿里云账号AccessKey拥有所有API的访问权限,风险很高。强烈建议您创建并使用RAM用户进行API访问或日常运维,请登录RAM控制台创建RAM用户。
private static String accessKeyId = "xxxx";
private static String accessKeySecret = "yyyyy";

 //申请的阿里的空间名
private static String bucketName = "examplebucket";

/**
 * @Description: OSS文件分片上传的方法--要上传的较大文件(Object)分成多个数据块(Part)来分别上传
 * @Param:[path:分段上传的文件本地地址, 
 * 					objectName:完整路径,例如exampledir/exampleobject.MP4。完整路径中不能包含Bucket名称
 * 					]
 * @return:java.lang.String
 * @methodName:multipartUpload
 */
public static String multipartUpload(String path, String objectName) {
    try {
        // 创建OSSClient实例。
        OSS ossClient = new OSSClientBuilder().build(endpoint, accessKeyId, accessKeySecret);
        // 创建InitiateMultipartUploadRequest对象。
        InitiateMultipartUploadRequest request = new InitiateMultipartUploadRequest(bucketName, objectName);

        // 如果需要在初始化分片时设置文件存储类型,请参考以下示例代码。
        ObjectMetadata metadata = new ObjectMetadata();
        metadata.setHeader(OSSHeaders.OSS_STORAGE_CLASS, StorageClass.Standard.toString());
        request.setObjectMetadata(metadata);

        // 初始化分片。
        InitiateMultipartUploadResult upresult = ossClient.initiateMultipartUpload(request);
        // 返回uploadId,它是分片上传事件的唯一标识。您可以根据该uploadId发起相关的操作,例如取消分片上传、查询分片上传等。
        String uploadId = upresult.getUploadId();

        // partETags是PartETag的集合。PartETag由分片的ETag和分片号组成。
        List<PartETag> partETags = new ArrayList<PartETag>();
        // 每个分片的大小,用于计算文件有多少个分片。单位为字节。
        final long partSize = 1 * 1024 * 1024L;   //1 MB。
        // 填写本地文件的完整路径。如果未指定本地路径,则默认从示例程序所属项目对应本地路径中上传文件。
        final File sampleFile = new File(path);             //例如本地文件"D:\\localpath\\examplefile.mp4"
        long fileLength = sampleFile.length();
        int partCount = (int) (fileLength / partSize);
        if (fileLength % partSize != 0) {
            partCount++;
        }
        // 遍历分片上传。
        for (int i = 0; i < partCount; i++) {
            long startPos = i * partSize;
            long curPartSize = (i + 1 == partCount) ? (fileLength - startPos) : partSize;
            InputStream instream = new FileInputStream(sampleFile);
            // 跳过已经上传的分片。
            instream.skip(startPos);
            UploadPartRequest uploadPartRequest = new UploadPartRequest();
            uploadPartRequest.setBucketName(bucketName);
            uploadPartRequest.setKey(objectName);
            uploadPartRequest.setUploadId(uploadId);
            uploadPartRequest.setInputStream(instream);
            // 设置分片大小。除了最后一个分片没有大小限制,其他的分片最小为100 KB。
            uploadPartRequest.setPartSize(curPartSize);
            // 设置分片号。每一个上传的分片都有一个分片号,取值范围是1~10000,如果超出此范围,OSS将返回InvalidArgument错误码。
            uploadPartRequest.setPartNumber(i + 1);
            // 每个分片不需要按顺序上传,甚至可以在不同客户端上传,OSS会按照分片号排序组成完整的文件。
            UploadPartResult uploadPartResult = ossClient.uploadPart(uploadPartRequest);
            // 每次上传分片之后,OSS的返回结果包含PartETag。PartETag将被保存在partETags中。
            partETags.add(uploadPartResult.getPartETag());
        }
        // 创建CompleteMultipartUploadRequest对象。
        // 在执行完成分片上传操作时,需要提供所有有效的partETags。OSS收到提交的partETags后,会逐一验证每个分片的有效性。当所有的数据分片验证通过后,OSS将把这些分片组合成一个完整的文件。
        CompleteMultipartUploadRequest completeMultipartUploadRequest = new CompleteMultipartUploadRequest(bucketName, objectName, uploadId, partETags);
        // 如果需要在完成文件上传的同时设置文件访问权限,请参考以下示例代码。
        // completeMultipartUploadRequest.setObjectACL(CannedAccessControlList.PublicRead);
        // 完成上传。
        CompleteMultipartUploadResult completeMultipartUploadResult = ossClient.completeMultipartUpload(completeMultipartUploadRequest);
        System.out.println(completeMultipartUploadResult.getETag());
        // 关闭OSSClient。
        String eTag = completeMultipartUploadResult.getETag();
        ossClient.shutdown();
        return eTag;
    } catch (Exception e) {
        e.printStackTrace();
        return null;
    }
}
//测试
public static void main(String[] args) throws IOException {
    String path = "C:\\Users\\Administrator\\Pictures\\视频文件\\xxx.mp4";
    String uuid = UUID.randomUUID().toString();
    String objectName = "objectName/test/" + uuid + ".mp4";
    //上传成功后,可以通过下面的域名地址 + objectName 访问到文件
    String vipVideoOssUrl = "https://xxx.com/";
    String res = multipartUpload(path, objectName);
    System.out.println(res + "  上传后的文件oss地址 :  " + vipVideoOssUrl + objectName);
}

}
亲测成功!

标签:String,com,OSS,报错,分片,import,上传
来源: https://blog.csdn.net/weixin_43959459/article/details/121095824

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有