ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

热修复原理学习(4)冷启动类加载原理,flutter路由动画

2022-01-26 19:03:09  阅读:257  来源: 互联网

标签:dex vtable 补丁 t1 冷启动 原理 方法 flutter 加载


综上可知,如果类没有在加载时的verifyAndOptimizeClass()的方法打上 CLASS_ISPERVERIFIED/CLASS_ISOPTIMIZED这两个标识,则会在 类的初始化时去执行类的校验和优化。

由于类检验的任务可以认为是很重的,因为会对类的所有方法中的所有指令都做校验,单个类加载时耗时并不多,但是同一个时间点加载大量的类情况下,这种耗时就会被放大。所以这也是插桩给类的加载效率带来比较大影响的后果。(因为这些情况都是放在第一次安装Apk的时候做的)

我们知道若采用插桩,会导致所有类都非perverify,从而导致类校验和类优化会在类加载时触发。

平均每个类检验与优化的耗时并不长, 而且这个耗时每个类只有一次(类只会加载一次)。但是由于在应用刚启动这种场景下一般会同时加载大量的类,因此在这种情况下影响还是蛮大的,启动的时候就容易白屏,这一点用户是无法容忍的。

1.3 避免插桩的QFix方案


手机QQ热补丁轻量级 QFix方案提供了一种不同的思路:

在这里插入图片描述

上图是 dvmResolveClass()的内容,从1.2节中我们知道,如果不插桩,会走到上图的第二个方框的if语句内,该判断检验两个东西:

  • 类的CLASS_ISPERVERIFIED是否为true(插桩方案就是使这个判断为false)

  • fromUnverifiedConstant是否为false

而QFix的思路则是将着手点放在fromUnverifiedConstant上,如果它为true,那么就不用再使用 插桩的方案了。

那该怎样改变这个字段的值呢?

我们首先要保证 resClass不为null,即 dvmDexGetResolvedClass()的返回结果不为null,如果保证这个方法的返回值不为null呢?

我们只需要调用过一次 dvmDexSetResolvedClass(pDvmDex, classIdx, resClass);就可以了,下面举个例子来简单说明:

public class B {

public static void test() {

A.a();

}

}

我们此时需要打包的类A,所以类A被打入到一个独立的补丁 dex文件中。

那么执行到类B的test方法时,A.a(); 这行代码就会尝试去解析类A,此时进行 dvmResolveClass(const ClassObject* referrer, u4 classIdx, bool fromUnverifiedConstant).

  • referrer:实际上是类B

  • classIdx:类A在原dex文件结构类区中的索引ID

  • fromUnverifiedConstant:是否执行 const-class/instance-of 指令

此时调用的是类A的静态a方法, invoke-static指令不属于 const-class/instance-of这两个指令。如果不做任何处理,dvmDexGetResolvedClass()的返回值时null。因为类A是从补丁dex中解析加载的,类B是在原dex中,所以 B->pDvmDex != A->pDvmDex,接下来就会看到 dvmThrowIllegalAccessError从而导致运行异常。

为了避免异常,必须要在开始的时候,就把补丁类A添加到原有dex(pDvmDex)的pResClasses数组中。这样就确保了在执行类B的test方法时,dvmDexGetResolvedClass()返回值不为null了。这样就会在图片中注释3的下面一行,直接返回这个resClass,而不会去执行后续类A和类B的dex一致性校验了。

具体实现,首先通过补丁工具反编译dex为smali文件拿到以下文件。

  • preResolveClz

需要打包的类A的描述符,非必须,为了调试方便加上该参数而已

  • referClz

需要打包的类A所在的dex文件的任何一个类描述符,注意,这里不限定必须是引用补丁类A的某个类,实际上只要是同一个dex中的任意一个类都可以。所以我们直接拿原dex中的第一个类即可。

  • classIdx

需要打包的类A在原有dex文件中的类索引ID。

然后通过dlopen 拿到 libdvm.so库的句柄,通过 dlsym拿到该so库的 dvmResolveClass/dvmFindLoadedClass函数指针。首先需要预加载引用类xxx/xxx/class,这样dvmFindLoadedClass(xxx/xxx/class)返回值才不为null,然后 dvmFindLoadedClass()的执行结果得到的 ClassObejct作为第一个参数执行 dvmResolvedClass(class,id ,true)即可。

下面来看下JNI层代码实现。实际上可以看到 preResolveClz参数是非必须的:

jboolean resolveClodPatchClasses(JNIEnv *env, jclass clz, jstring preResolveClz, jstring refererClz, jlong classIdx, dexstuff_t *dexstuff) {

LOGD(“start resolveClodPatchClasses”);

ClassObject *refererObj = dexstuff->dvmFindLoadedClass_fnPtr(

Jstring2CStr(env, refererClz)); //通过refererClz 调用dvmFindLoadedClass加载补丁类

LOGD(“referrer ClassObject: %s\n”, refererObj->decriptor);

if (strlen(refererObj->descriptor) == 0) {

return JNI_FALSE;

}

ClassObject *resolveClass = dexstuff->dvmResolveClass-fnPtr(refererObj, classIdx, true); //调用dvmResolveClass方法

LOGD(“classIDx ClassObject: %s\n”, resolveClass->descriptor);

if (strlen(resolveClass->descriptor) == 0) {

return JNI_FLASE;

}

return JNI_TRUE;

}

这个思路不同于去Hook某个系统方法,而是从native层直接调用,同时更不需要插桩。具体实现需要注意以下3点:

  • dvmResolveClass的第三个参数 fromUnverifiedConstant必须为true。

  • 在Apk多dex的情况下,dvmResolveClass()的第一个参数referrer类必须跟需要打包的类在同一个dex中,但是它们两个类不需要存在任何引用关系,任何一个在同一个dex中的类作为referrer都可以。

  • referrer类必须提前加载。

然而,QFix的方案有它独特的缺陷,由于是在dexopt后绕过的,dexopt会改变原有的很多逻辑,许多odex层面的优化会固定字段和方法的访问偏移,这就会导致比较严重的bug,在2.2节会详细讲解这一影响。最后采用的是自研的全量dex方案,具体在下一章讲解。

1.4 Art下冷启动实现


前面说过补丁在热部署模式下是一个完整的类,补丁的粒度是类。现在的需求是补丁既能走热部署模式也能走冷启动模式,为了减小补丁包的大小,并没有为热部署和冷启动分别准备一套补丁,而是在同一个热部署模式下补丁能够降级直接走冷启动,所以不需要做dex merge。

但是通过前面的阅读,我们知道了为了解决Art下类地址写死的问题,Tinker通过 dex merge成一个全新完整的新dex整体替换掉旧的dexElements数组。事实上,Art虚拟机下面默许已经支持多dex压缩文件的加载。

下面分别来看一下 DVM和ART对 DexFile.loadDex()尝试把一个dex文件解析加载到native中,内存都发生了什么。实际上都是调用了 DexFile.openDexFileNative()这个native方法。看下 native层对应的 C/C++代码具体实现。

(1)在DVM中的实现:

// dalvik/vm/native/dalvik_system_DexFile.cpp

static void Dalvik_dalvik_system_DexFile_openDexFileNative(const u4* args,

JValue* pResult)

{

if (hasDexExtension(sourceName)

&& dvmRawDexFileOpen(sourceName, outputName, &pRawDexFile, false) == 0) { //加载一个原始dex文件

ALOGV(“Opening DEX file ‘%s’ (DEX)”, sourceName);

pDexOrJar = (DexOrJar*) malloc(sizeof(DexOrJar));

pDexOrJar->isDex = true;

pDexOrJar->pRawDexFile = pRawDexFile;

pDexOrJar->pDexMemory = NULL;

} else if (dvmJarFileOpen(sourceName, outputName, &pJarFile, false) == 0) { //加载一个压缩文件

ALOGV(“Opening DEX file ‘%s’ (Jar)”, sourceName);

pDexOrJar = (DexOrJar*) malloc(sizeof(DexOrJar));

pDexOrJar->isDex = false;

pDexOrJar->pJarFile = pJarFile;

pDexOrJar->pDexMemory = NULL;

} else {

ALOGV(“Unable to open DEX file ‘%s’”, sourceName);

dvmThrowIOException(“unable to open DEX file”);

}

}

int dvmJarFileOpen(…){

entry = dexZipFindEntry(&archive, kDexInJarName); /* kDexInJarName==“classes.dex”,说明只加载一个dex */

}

dvmJarFileOpen()方法中,Dalvik尝试加载一个压缩文件的时候只会去把 classes.dex加载到内存中。如果此时压缩文件中有多个dex文件,那么除了classes.dex之外的其他dex文件将会被直接忽略掉。

在Art虚拟机下:方法调用链 DexFile_openDexFileNative -> OpenDex.FilesFromOat -> LoadDexFiles

具体代码就不展示了,我们只需要知道,在Art下默认已经支持加载压缩文件中包含多个dex,首先肯定加载primary dex也就是 classes.dex,后续会加载其他的dex。所以补丁类只需要放到classes.dex中即可,后续出现在其他dex中的“补丁类”是不会被重复加载的。

所以Sophix得到在Art最终的冷启动方案:我们只要把补丁dex命名为classes.dex。原Apk中的dex依次命名为 classes(2,3,4...).dex就可以了,然后一起打包为一个压缩文件,在通过 DexFile.loadDex()得到DexFile对象,最后用该DexFile对象整体替换旧的dexElements数组就可以了。

Sophix方案和Tinker方案的不同点如下所示:

在这里插入图片描述

需要注意:

  • 补丁dex必须命名为classes.dex

  • loadDex()得到的DexFile完整替换掉 dexElements数组而不是插入。

1.5 不得不说的其他点


我们知道DexFile.loadDex()尝试把一个dex文件解析并加载到native内存, 在加载到native内存之前, 如果dex不存在对应的odex, 那么Dalvik下会执行dexopt, Art下会执行dexoat, 最后得到的都是一个优化后的odex。 实际上最后虚拟机执行的是这个odex而不是dex。

现在有这么一个问题,如果dex足够大那么dexopt/dexoat实际上是很耗时的,根据上面我们提到的方案, Dalvik下实际上影响比较小, 因为loadDex仅仅是补丁包。 但是Art下影响是非常大的, 因为loadDex是补丁dex和apk中原dex合并成的一个完整补丁压缩包, 所以dexoat非常耗时。

所以如果优化后的odex文件没生成或者没生成一个完整的odex文件, 那么loadDex便不能在应用启动的时候进行的, 因为会阻塞loadDex线程, 一般是主线程。 所以为了解决这个问题, 我们把loadDex当做一个事务来看, 如果中途被打断, 那么就删除odex文件, 重启的时候如果发现存在odex文件, loadDex完之后, 反射注入/替换dexElements数组, 实现patch。 如果不存在odex文件, 那么重启另一个子线程loadDex, 重启之后再生效。

另外一方面为了patch补丁的安全性, 虽然对补丁包进行签名校验, 这个时候能够防止整个补丁包被篡改, 但是实际上因为虚拟机执行的是odex而不是dex, 还需要对odex文件进行md5完整性校验, 如果匹配, 则直接加载。 不匹配,则重新生成一遍odex文件, 防止odex文件被篡改。

1.6 完整的方案考虑


代码修复冷启动方案由于它的高兼容性, 几乎可以修复任何代码修复的场景, 但是注入前被加载的类(比如:Application类)肯定是不能被修复的。 所以我们把它作为一个兜底的方案, 在没法走热部署或者热部署失败的情况, 最后都会走代码冷启动重启生效, 所以我们的补丁是同一套的。 具体实施方案对Dalvik下和Art下分别做了处理:

  • Dalvik下通过巧妙的方式避免插桩, 没有带来任何类加载效率的影响。

  • Art下本质上虚拟机已经支持多dex的加载, 我们要做的仅仅是把补丁dex作为主dex(classes.dex)加载而已。

2 多态对冷启动类加载的影响

===============================================================================

前面我们知道冷启动方案几乎可以修复任何场景的代码缺陷,但Dalvik下的QFix方案存在很大的限制,下面将深入介绍在目前方案下为什么会有这些限制,同时给出具体的解决方案。

2.1 重新认识多态


实现多态的技术一般叫做动态绑定,是指在执行期间判断所引用对象的实际类型,根据其实际的类型调用其相应的方法。多态一般指的是非静态私有方法的多态,field和静态方法不具有多态性。示例如下:

public class B extends A {

Strign name = “B name”;

@Override

void a_t1() {

System.out.println(“B a_t1”);

}

void b_t1(){}

public static void main(String[] args) {

A obj = new B();

System.out.println(obj.name);

obj.a_t1();

}

}

class A {

String name = “A name”;

void a_t1() {

System.out.println(“A a_1…”);

}

void a_t2();

}

输出结果: A name / B a_t1

可以看到name这个field没有多态性,print这个方法具有多态性,这里先分析一下方法多态性的实现。首先 new B()的执行会尝试加载类B,方法调用链 dvmResolveClass->dvmLinkClass->createVtable,此时会为类B创建一个vtable,其实在虚拟机中加载每个类都会为这个类生成一张vtable表,vtable表就是当前类的所有virtual方法的一个数组,当前类和所有继承父类的public/protected/default方法就是virtual方法,因为public/protected/default修饰的方法是可以被继承的。private/static方法不属于这个范畴,因为不能被继承。

这里就不放 createVtable()的代码了,有兴趣的可以自行上网查阅,这里来大概说一下它做了什么,子类vtable的大小等于子类virtual方法数+父类vtable的大小:

  • 整体复制父类的vtable到子类的vtable

  • 遍历子类的virtual方法集合,如果方法原型一致,说明是重写父类方法,那么在相同索引位置处,子类重写方法覆盖掉vtable中父类的方法

  • 若方法原型不一致,那么把该方法添加到vtable末尾。

所以在上述示例中,假如父类A的vtable是 vtable[0]=A.a_t1, vtable[1]=A.a_t2,那么B类的vtable就是 vtable[0]=B.a_t1, vtable[1]=A.a_t2, vtable[2]=B.b_t1。接下来 obj.a_t1()发生了什么。invoke-virtual指令的解释如下:

if(methodCallRange) {

thisPtr = (Object*) GET_REGISTER(vdst);

} else {

thisPtr = (Object*) GET_REGISTER(vdst & 0x0f); //当前对象

}

baseMethod = dvmDexGetReslvedMethod(methodClassDex, ref); //是否已经解析过该方法

if(baseMethod == NULL) {

baseMethod = dvmResolveMethod(curMethod->clazz, ref, METHOD_VIRTUAL);

//没有解析过该方法调用 dvmResolveMethod,baseMethod得到的当然是A.a_t1方法

}

methodToCall = thisPtr->clazz->vtable[baseMethod->methodIndex]; /* A.a_t1方法在类A的vtable中的索引去类B的vtable中查找

首先 obj 引用类型是基类A,所以上述代码中 baseMethod拿到的是 A.a_t1()baseMethod->methodIndex是该方法在类A的vtable中的索引0,obj的实际类型是类B,所以thisPtr->clazz就是类B,那么 B.vtable[0]就是 B.a_t1()方法,所以 obj.a_t1()实际上最后调用的是 B.a_t1()方法。这样就实现了方法的多态。

至于field/static方法为什么不具有多态性,这里不进行详细的代码分析,有需要的可以看 iget/invoke-static的指令解释,简单来讲,是从当前变量的引用类型而不是实际类型中查找,如果找不到,再去父类中递归查找。

所以field和static方法不具备多态性。

2.2 冷启动方案限制


obj 引用类型是基类A,所以上述代码中 baseMethod拿到的是 A.a_t1()baseMethod->methodIndex是该方法在类A的vtable中的索引0,obj的实际类型是类B,所以thisPtr->clazz就是类B,那么 B.vtable[0]就是 B.a_t1()方法,所以 obj.a_t1()实际上最后调用的是 B.a_t1()方法。这样就实现了方法的多态。

至于field/static方法为什么不具有多态性,这里不进行详细的代码分析,有需要的可以看 iget/invoke-static的指令解释,简单来讲,是从当前变量的引用类型而不是实际类型中查找,如果找不到,再去父类中递归查找。

所以field和static方法不具备多态性。

2.2 冷启动方案限制


标签:dex,vtable,补丁,t1,冷启动,原理,方法,flutter,加载
来源: https://blog.csdn.net/m0_65321095/article/details/122707087

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有