成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

遠程熱部署的落地與思考-動態編譯篇

開發
遠程熱部署是參考美團Sonic并結合轉轉的業務場景研發的一款熱部署組件,由Java Agent與IDEA插件組成。整個熱部署全流程涉及知識范圍廣泛,三言兩語無法描述清楚,全流程會拆分成專題的形式進行分享。本文主要選講在落地過程中遇到的一些Sonic未提及的問題與自己的思考感悟。

遠程熱部署(代號名稱Mark42、Jarvis)是參考美團Sonic并結合轉轉的業務場景研發的一款熱部署組件,由Java Agent與IDEA插件組成。

整個熱部署全流程涉及知識范圍廣泛,三言兩語無法描述清楚,全流程會拆分成專題的形式進行分享。本文主要選講在落地過程中遇到的一些Sonic未提及的問題與自己的思考感悟。

通讀前建議閱讀美團原文:遠程熱部署在美團的落地實踐,原文講述到相關技術介紹、原理、實現方案等不再贅述。

1、背景

1.1 、真實工作場景

某次前后端聯調時的對話(部分內容存在虛構):

H師傅:果子果子,你這接口返回的結果好像不太對啊,是不是寫反了啊~

:啊,不能吧,稍等我看看哈~

H師傅:你看一下~

:woc,大于等于寫反了,我改一下~

H師傅:好小子,抓緊抓緊~

:改完了,就一個符號,已經在編譯部署了~

??五分鐘后......

:部署完了,你再看一下~

H師傅:好了,沒問題了~

H師傅:果子,這里返回的文案要不要把最后一句刪掉,不太通順~

:有道理,PM同意了,我刪一下~

??又過了五分鐘......

:編譯部署完了,你在看一下~

H師傅:可以的 可以的~


原本一兩分鐘可以完成的工作,由于代碼的改動、編譯部署等待導致前后端同學各自浪費了十多分鐘,極大的影響了協作效率。

如果能擁有一種“魔法”,使得后端的代碼像前端一樣“熱更新”,那該是一件多么幸福的事情!

1.2、項目背景

作為一名業務側的一線開發同學,一直把高優支持業務放在首位。由于業務系統相對復雜,且受限于公司架構歷史原因,使得開發者在開發過程中往往都是“一次性編寫”代碼,等業務邏輯實現的差不多,“看”上去沒問題,就部署到Docker容器中進行自測查漏補缺,當遇到極為復雜的場景,就需要進行遠程Debug協助,發現問題后修改代碼,再次部署,反反復復。

正因如此我們每天少不了Beetle(公司內部編譯管理及發布管理輕量級效率平臺)多次編譯與部署的循環反復的操作,一行小小的代碼改動就需要走完一整個流程才能使得代碼生效,嚴重影響了開發自測、聯調、提測的效率。

圖片

現有流程

面對如此“長”的流程,能否對其進行簡化,盡可能的減少編譯部署次數,使得修改后的代碼快速生效,減少用戶等待時間。

圖片

期望流程

2、預期目標

日常開發場景中,最大限度的幫助開發者減少代碼提交、編譯、部署的次數,節省因等待而造成的碎片化時間,使得開發者只需把主要精力放在編碼實現,間接提升開發效率。

3、選講問題分析

“熱部署”簡單講就是在Java程序運行時更新Java類文件,即JVM的字節碼重載,通過新的字節碼二進制流和舊的Class對象生成ClassDefinition定義,同時重載或初始化Spring容器以及第三方框架,達到“不停機”狀態更新

思考一個問題:新的字節碼二進制流也就是字節碼文件(.class 文件)從何而來呢?

無非存在兩種解法:

1、本地編譯Java源代碼,將生成的.class文件推到遠端服務器;

2、直接將Java源代碼推到遠端服務器,由遠端服務器進行編譯生成.class文件;

我們來逐一解析兩種方案成本與利弊:

方案1:成本低,易實現,用戶在本地先執行編譯操作,通過IDEA開發工具完成,但由于IDEA工具和Maven等構建工具之間的兼容性問題,經常出現本地編譯不通過的情況,當然也可以通過Maven的Install命令編譯整個服務文件,但是這種方案操作時間長,不人性化。其次還存在潛在的安全性問題:本地開發Jdk環境與服務器Jdk環境不一致等。

圖片

本地編譯失敗

方案2:難度系數高,實現復雜,但卻是更優解。首先由用戶將修改后的Java源代碼推到遠端服務器,由遠端服務器進行動態編譯生成.class文件,整個過程對用戶透明。

問題:

①極多數服務都是Springboot - Fat Jar(將一個Jar及其依賴的三方Jar全部打到一個包中,這個包即為FatJar)這種結構方式。想要動態編譯則需要從ClassLoader中恢復ClassPath,但Springboot - Fat Jar是一個整體的jar包,恢復出來的路徑不合法(Url轉換成File不存在),這就導致動態編譯時找不到代碼中引用的各種類。

圖片

Fat-Jar

②LomBok依賴丟失問題:Lombok主要是在編譯.class文件期間,生成Get/Set/Hash/Equals/ToString等方法,使實體對象更簡潔,所以像Lombok這樣的依賴只作用于編譯階段,編譯完成就沒用了,對于有“代碼潔癖”的同學會選擇從依賴Jar包里排除掉。這樣子可能會導致我們修改、新增實體類時動態編譯失敗,找不到依賴。

Maven如下配置:

<dependency>
    <groupId>org.projectlombok</groupId>
    <artifactId>lombok</artifactId>
    <version>1.18.6</version>
    <scope>provided</scope>
</dependency>
 
 
<plugins>
     <plugin>
         <groupId>org.springframework.boot</groupId>
         <artifactId>spring-boot-maven-plugin</artifactId>
         <configuration>
             <excludes>
                 <exclude>
                     <groupId>org.projectlombok</groupId>
                     <artifactId>lombok</artifactId>
                 </exclude>
             </excludes>
         </configuration>
     </plugin>
 </plugins>

③動態編譯時ClassLoader的處理。美團熱部署作者龍哥說:所有的遠程和本地執行不一致的問題,百分之99在ClassLoader的問題上找。動態編譯需兼容目前公司現有服務類型以及后續可能存在類型。

公司內部Java服務類型分為三種:SpringBoot服務、SCF服務、ZZJava服務,不同服務類型打包方式不同。

SpringBoot:Spring Boot服務,LaunchedURLClassLoader加載依賴資源

SCF服務:歷史SCF(內部RPC)框架內嵌Spring服務模式,服務啟動前需解壓服務所有依賴,得到絕對路徑后作為-classpath參數,通過AppClassLoader加載依賴資源(查看完整啟動命令足有2-3W字符,可怕??)

ZZJava服務:基于SpringBoot自定義的一種項目結構、打包及啟動、停止標準,依舊為Spring Boot服務,通過LaunchedURLClassLoader加載依賴資源

4、方案選擇

方案1:每次打包Docker鏡像時添加Dockerfile命令,解壓服務Jar包到指定位置,獲得BOOT-INF絕對路徑,并在JVM啟動命令中添加絕對路徑參數,服務運行時可取得BOOT-INF絕對路徑,并將其作為options -classpath參數調用getTask方法編譯代碼。

CompilationTask getTask(Writer out,
                            JavaFileManager fileManager,
                            DiagnosticListener<? super JavaFileObject> diagnosticListener,
                            Iterable<String> options,
                            Iterable<String> classes,
                            Iterable<? extends JavaFileObject> compilationUnits);

實現方案雖簡單,但目前架構不支持自定義Dockerfile命令,無法做到通用解壓服務,且依然無法解決像Lombok、Mapstruct等問題,某些情景下編譯還會報錯,可用性低。

方案2:解決Fatjar模式下的動態編譯

思考一下SpringBoot服務為什么可以讀取Fatjar的資源

一句話描述可以總結為SpringBoot自定義了URL Handler處理邏輯,將嵌套的jar轉換為URL,通過URLClassLoader的addURL方法添加獲取資源,完整細節可以翻閱SpringBoot源碼查看。

public URL getUrl() throws MalformedURLException {
        if (this.url == null) {
            String file = this.rootFile.getFile().toURI() + this.pathFromRoot + "!/";
            file = file.replace("file:////", "file://"); // Fix UNC paths
            // 這里返回的時候 new了一個Handler來處理URL
            this.url = new URL("jar", "", -1, file, new Handler(this));
        }
        return this.url;
    }

Handler繼承了URLStreamHandler,重寫了openConnection方法來處理獲取JarURLConnection,最終通過JarURLConnection的getInputStream方法返回字節流。

@Override
    protected URLConnection openConnection(URL url) throws IOException {
        if (this.jarFile != null && isUrlInJarFile(url, this.jarFile)) {
            return JarURLConnection.get(url, this.jarFile);
        }
        try {
            return JarURLConnection.get(url, getRootJarFileFromUrl(url));
        } catch (Exception ex) {
            return openFallbackConnection(url, ex);
        }
    }

我們回到URLClassLoader,URLClassLoader重寫了findClass方法,通過雙親委托加載資源

protected Class<?> findClass(final String name) throws ClassNotFoundException
    {
        final Class<?> result;
        try {
            result = AccessController.doPrivileged(
                new PrivilegedExceptionAction<Class<?>>() {
                    public Class<?> run() throws ClassNotFoundException {
                        String path = name.replace('.', '/').concat(".class");
                        // 這里調用URLClassPath的getResource方法
                        Resource res = ucp.getResource(path, false);
                        if (res != null) {
                            try {
                                return defineClass(name, res);
                            } catch (IOException e) {
                                throw new ClassNotFoundException(name, e);
                            } catch (ClassFormatError e2) {
                                if (res.getDataError() != null) {
                                    e2.addSuppressed(res.getDataError());
                                }
                                throw e2;
                            }
                        } else {
                            return null;
                        }
                    }
                }, acc);
        } catch (java.security.PrivilegedActionException pae) {
            throw (ClassNotFoundException) pae.getException();
        }
        if (result == null) {
            throw new ClassNotFoundException(name);
        }
        return result;
    }

最終調用到URLClassPath的getResource方法

Resource getResource(final String name, boolean check) {
            final URL url;
            try {
                url = new URL(base, ParseUtil.encodePath(name, false));
            } catch (MalformedURLException e) {
                throw new IllegalArgumentException("name");
            }
            final URLConnection uc;
            try {
                if (check) {
                    URLClassPath.check(url);
                }
                // 這里就會調用到URLStreamHandler的openConnection方法
                uc = url.openConnection();
                InputStream in = uc.getInputStream();
                if (uc instanceof JarURLConnection) {
                    /* Need to remember the jar file so it can be closed
                     * in a hurry.
                     */
                    JarURLConnection juc = (JarURLConnection)uc;

                    boolean firstLoad = jarfile == null;

                    jarfile = JarLoader.checkJar(juc.getJarFile());

                    if (firstLoad && JarLoadEvent.isEnabled()) {
                        Tooling.notifyEvent(JarLoadEvent.jarLoadEvent(url, jarfile));
                    }
                }
            } catch (Exception e) {
                return null;
            }
            return new Resource() {
                public String getName() { return name; }
                public URL getURL() { return url; }
                public URL getCodeSourceURL() { return base; }
                public InputStream getInputStream() throws IOException {
                    //JarURLConnection的getInputStream方法
                    return uc.getInputStream();
                }
                public int getContentLength() throws IOException {
                    return uc.getContentLength();
                }
            };
        }

既然SpringBoot已經幫我們處理好Fatjar的資源讀取,我們將直接復用其能力獲取加載的資源。

5、探索實踐

Agent啟動時,通過字節碼增強Spring框架。在Spring框架初始化時獲取其ClassLoader并反射存儲到Agent全局靜態字段(SpringBoot服務為LaunchedURLClassLoader,SCF服務為AppClassLoader)。當觸發動態編譯時(Agent運行期),針對于SpringBoot服務,我們將復用SpringBoot解析Fatjar的這個能力,通過LaunchedURLClassLoader獲取完整的URL資源,通過URL解析來得到JavaFileObject,從而完成動態編譯。

針對于缺失的Lombok、Mapstruct等依賴以及自定義添加的jar包,我們可以手動添加URL資源。

public DynamicCompiler(ClassLoader userClassLoader) {
        if (javaCompiler == null) {
            throw new IllegalStateException("Can not load JavaCompiler from javax.tools.ToolProvider#getSystemJavaCompiler(), please confirm the application running in JDK not JRE.");
        }

        standardFileManager = javaCompiler.getStandardFileManager(null, null, null);

        options.add("-Xlint:unchecked");
        options.add("-g");

        List<URL> urlList = new ArrayList<>();
        //添加自定義jar資源
        urlList.addAll(getCustomJarUrl());
        //獲取userClassLoader加載的資源(SpringBoot服務 LaunchedURLClassLoader)
        urlList.addAll(getClassLoaderUrl(userClassLoader));

        // 向上查找父類
        ClassLoader appClassLoader = getAppClassLoader(userClassLoader);

        //DynamicClassLoader同樣繼承URLClassLoader
        dynamicClassLoader = new DynamicClassLoader(urlList.toArray(new URL[0]), appClassLoader);
    }

解析URL獲取JavaFileObject

private List<JavaFileObject> processJar(URL packageFolderURL) {
        List<JavaFileObject> result = new ArrayList<>();
        try {
            String jarUri = packageFolderURL.toExternalForm().substring(0, packageFolderURL.toExternalForm().lastIndexOf("!/"));

            JarURLConnection jarConn = (JarURLConnection) packageFolderURL.openConnection();
            String rootEntryName = jarConn.getEntryName();
            if (StringUtils.isBlank(rootEntryName)){
                return new ArrayList<>();
            }

            int rootEnd = rootEntryName.length() + 1;

            Enumeration<JarEntry> entryEnum = jarConn.getJarFile().entries();
            while (entryEnum.hasMoreElements()) {
                JarEntry jarEntry = entryEnum.nextElement();
                String name = jarEntry.getName();
                if (name.startsWith(rootEntryName) && name.indexOf('/', rootEnd) == -1 && name.endsWith(CLASS_FILE_EXTENSION)) {
                    URI uri = URI.create(jarUri + "!/" + name);
                    String binaryName = name.replaceAll("/", ".");
                    binaryName = binaryName.replaceAll(CLASS_FILE_EXTENSION + "$", "");

                    result.add(new CustomJavaFileObject(binaryName, uri));
                }
            }
        } catch (Exception e) {
            throw new RuntimeException("Wasn't able to open " + packageFolderURL + " as a jar file", e);
        }
        return result;
    }

動態編譯獲取字節碼

public Map<String, byte[]> buildGetByteCodes() {

        errors.clear();
        warnings.clear();

        JavaFileManager fileManager = new DynamicJavaFileManager(standardFileManager, dynamicClassLoader);

        DiagnosticCollector<JavaFileObject> collector = new DiagnosticCollector<>();
        JavaCompiler.CompilationTask task = javaCompiler.getTask(null, fileManager, collector, options, null, compilationUnits);

        try {

            if (!compilationUnits.isEmpty()) {
                boolean result = task.call();

                if (!result || collector.getDiagnostics().size() > 0) {

                    for (Diagnostic<? extends JavaFileObject> diagnostic : collector.getDiagnostics()) {
                        switch (diagnostic.getKind()) {
                            case NOTE:
                            case MANDATORY_WARNING:
                            case WARNING:
                                warnings.add(diagnostic);
                                break;
                            case OTHER:
                            case ERROR:
                            default:
                                errors.add(diagnostic);
                                break;
                        }

                    }
                    if (!errors.isEmpty()) {
                        return new HashMap<>();
                    }
                }
            }

            return dynamicClassLoader.getByteCodes();
        } catch (ClassFormatError e) {
            throw new DynamicCompilerException(e, errors);
        } finally {
            compilationUnits.clear();
        }
    }

Mapstruct編譯過程較為特殊,首先會根據接口生成接口的實現類,進而生成字節碼,getJavaFileForOutput方法需要根據kind類型判斷一下,不能忽略SOURCE類型,不然會導致Mapstruct接口的字節碼文件里存儲的是實現類的Java代碼,進而導致JVM的字節碼重載錯誤。

@Override
    public JavaFileObject getJavaFileForOutput(Location location, String className, JavaFileObject.Kind kind, FileObject sibling) {

        if (JavaFileObject.Kind.SOURCE.equals(kind)) {
            // 源碼
            for (StringSource stringSource : this.sourceCodes) {
                if (stringSource.getClassName().equals(className)) {
                    return stringSource;
                }
            }

            StringSource stringSource = new StringSource(className);
            sourceCodes.add(stringSource);
            //這里可以存一下動態生成的源代碼,編譯完成后輸出到文件夾
            //            classLoader.registerCompiledSource(stringSource);
            return stringSource;

        } else {
            // 字節碼
            for (MemoryByteCode byteCode : this.byteCodes) {
                if (byteCode.getClassName().equals(className)) {
                    return byteCode;
                }
            }

            MemoryByteCode innerClass = new MemoryByteCode(className);
            byteCodes.add(innerClass);
            classLoader.registerCompiledSource(innerClass);
            return innerClass;
        }
    }

注:動態編譯時一定要添加-g參數生成完整調試信息,不然熱部署代碼Debug會發現方法棧內變量沒有名字、Jacoco布爾數組透出、slot對不上等問題。(坑了我半年多一直沒發現原因)

做完以上動作,你就可以任意的動態編譯Java源代碼,得到字節碼文件了。

到這就完成了遠程熱部署準備工作了。

6、總結與展望

經常被問到做熱部署的夙愿是什么:

遠程熱部署的初心不是代替掉Beetle發布部署流程,而是盡可能減少用戶編譯部署次數,節省用戶碎片化的時間,希望可以做到一次部署,“任意”修改

初版交互圖:

圖片

部分功能UI交互展示圖:圖片


目前Mark42已經支持以下功能

框架/功能

狀態

遠程熱部署

?

遠程動態編譯

?

熱部署代碼遠程Debug

?

遠程Agent日志

?

遠程服務日志

?

批量熱部署

?

IDEA插件集成

?

修改方法體內容

?

新增方法體

?

新增泛型方法

?

新增非靜態字段

?

新增修改靜態字段

?

新增修改繼承類

?

新增修改接口方法

?

新增修改匿名內部類

?

新增修改靜態塊

?

FastJson

?

Jackson

?

Jdk代理

?

Spring

?

Spring MVC

?

Avenger

?

Fsmx狀態機

?

ZZMQ

?

MyBatis

?

Mapstruct

?

XXL-JOB

?

SCF

?

......



熱部署還有很長的路要走,跟美團Sonic相比,這僅僅是剛開始

ToDoList:

框架/功能

狀態

Configuration配置bean支持

已支持、測試中

xml文件配置bean支持

已支持、測試中

SCF Agent級別調用

待開發

遠程單測支持

待開發

遠程反編譯

待開發

究極體 Spring loader替換dcevm

待開發

關于作者

譚金果 22屆校招生,現任轉轉B2C技術部供應鏈后端研發工程師

責任編輯:龐桂玉 來源: 轉轉技術
相關推薦

2022-03-17 21:42:20

美團插件技術

2016-10-21 15:58:51

容器容器技術Docker

2020-03-09 15:40:27

RSACDevSecOps懸鏡安全

2024-06-17 08:22:31

GenAI技術人工智能

2016-11-07 18:27:32

云計算阿里云

2011-12-05 12:59:22

JavaJVM

2022-04-13 12:20:21

零信任網絡安全

2018-07-19 06:23:37

物聯網IOT網絡

2022-02-09 15:02:01

ideadocker遠程熱部署

2020-08-03 11:38:08

數據中臺數據平臺互聯網

2018-06-27 15:59:33

2016-12-29 14:06:08

SDNFV技術商用部署

2021-11-08 10:24:05

智能自動駕駛汽車

2020-07-03 19:48:24

區塊鏈區塊鏈技術

2019-11-08 08:53:26

HDFS監控架構

2018-01-18 06:34:46

2022-01-21 16:14:41

汽車底盤技術

2019-08-26 11:03:32

互聯網研發落地

2021-10-28 10:10:44

人工智能

2010-06-18 15:03:12

BGP路由協議
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 国产精品一区二区久久 | 免费高清av | 欧美日韩三区 | h肉视频| 久久久高清 | 中文字幕1区2区3区 日韩在线视频免费观看 | 中文字幕第一页在线 | 国产中文字幕在线观看 | 国内精品免费久久久久软件老师 | 女女爱爱视频 | 久久爆操 | 麻豆久久久久 | 亚洲精品黄色 | 国产东北一级毛片 | 亚洲视频www | 精品国产欧美 | 一区二区视频 | 毛片免费观看 | 亚洲一区在线播放 | 亚洲一区视频在线播放 | 在线中文字幕日韩 | 欧美日韩大片 | 91中文视频 | 91久久伊人| 欧美日韩精品综合 | 午夜精品久久久久久久久久久久久 | www.久久久久久久久 | www.一级毛片 | 久久国产精品久久久久久 | 日韩欧美国产精品 | 久久成人精品一区二区三区 | 精品三级在线观看 | 亚洲综合一区二区三区 | 国内精品久久久久久 | 欧美精品一区二区三区在线 | 自拍中文字幕 | 国产精品久久av | 亚洲一区二区三区在线观看免费 | 欧美一区二区在线免费观看 | 久久久久高清 | 日韩视频在线观看一区二区 |