成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

如何實現 Python 的惰性導入-lazy import

開發 前端
眾所周知,Python 應用程序在執行用戶的實際操作之前,會執行 import 操作,不同的模塊可能來自不同的位置,某些模塊的運行可能非常耗時,某些模塊可能根本不會被用戶調用,因此很多模塊的導入純粹是浪費時間。

如果你的 Python 程序程序有大量的 import,而且啟動非常慢,那么你應該嘗試懶導入,本文分享一種實現惰性導入的一種方法。雖然 PEP0690[1] 已經提案讓 Python 編譯器(-L) 或者標準庫加入這個功能,但目前的 Python 版本還未實現。

眾所周知,Python 應用程序在執行用戶的實際操作之前,會執行 import 操作,不同的模塊可能來自不同的位置,某些模塊的運行可能非常耗時,某些模塊可能根本不會被用戶調用,因此很多模塊的導入純粹是浪費時間。

因此我們需要惰性導入,當應用惰性導入時,運行 import foo 僅僅會把名字 foo 添加到全局的全名空間(globals())中作為一個懶引用(lazy reference),編譯器遇到任何訪問 foo 的代碼時才會執行真正的 import 操作。類似的,from foo import bar 會把 bar 添加到命名空間,當遇到調用 bar 的代碼時,就把 foo 導入。

寫代碼實現

那怎么寫代碼實現呢?其實不必寫代碼實現,已經有項目實現了懶導入功能,那就是 TensorFlow,它的代碼并沒有任何三方庫依賴,我把它放到這里,以后大家需要懶導入的時候直接把 LazyLoader[2] 類復制到自己的項目中去即可。

源代碼如下:

# Code copied from https://github.com/tensorflow/tensorflow/blob/master/tensorflow/python/util/lazy_loader.py
"""A LazyLoader class."""

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

import importlib
import types


class LazyLoader(types.ModuleType):
"""Lazily import a module, mainly to avoid pulling in large dependencies.

`contrib`, and `ffmpeg` are examples of modules that are large and not always
needed, and this allows them to only be loaded when they are used.
"""

# The lint error here is incorrect.
def __init__(self, local_name, parent_module_globals, name): # pylint: disable=super-on-old-class
self._local_name = local_name
self._parent_module_globals = parent_module_globals

super(LazyLoader, self).__init__(name)

def _load(self):
# Import the target module and insert it into the parent's namespace
module = importlib.import_module(self.__name__)
self._parent_module_globals[self._local_name] = module

# Update this object's dict so that if someone keeps a reference to the
# LazyLoader, lookups are efficient (__getattr__ is only called on lookups
# that fail).
self.__dict__.update(module.__dict__)

return module

def __getattr__(self, item):
module = self._load()
return getattr(module, item)

def __dir__(self):
module = self._load()
return dir(module)

代碼說明:

類 LazyLoader 繼承自 types.ModuleType,初始化函數確保惰性模塊將像真正的模塊一樣正確添加到全局變量中,只要真正用到模塊的時候,也就是執行 __getattr__ 或 __dir__ 時,才會真正的 import 實際模塊,更新全局變量以指向實際模塊,并且將其所有狀態(__dict__)更新為實際模塊的狀態,以便對延遲加載的引用,加載模塊不需要每次訪問都經過加載過程。

代碼使用:

正常情況下我們這樣導入模塊:

import tensorflow.contrib as contrib

其對應的惰性導入版本如下:

contrib = LazyLoader('contrib', globals(), 'tensorflow.contrib')

PEP0690 建議的做法

PEP0690 的提案是在編譯器( C 代碼)層面實現,這樣性能會更好。其使用方法有兩種。

其一

一種方式是執行 Python 腳本時加入 -L 參數,比如有兩個文件 spam.py 內容如下:

import time
time.sleep(10)
print("spam loaded")

egg.py 內容如下:

import spam
print("imports done")

正常導入情況下,會等 10 秒后先打印 "spam loaded",然后打印 "imports done",當執行 python -L eggs.py 時,spam 模塊永遠不會導入,應用 spam 模塊壓根就沒有用到。如果 egg.py 內容如下:

import spam
print("imports done")
spam

當執行 python -L eggs.py 時會先打印 "imports done",10 秒之后打印 "spam loaded")。

其二

另一種方式是調用標準庫 importlib 的方法:

import importlib 
importlib.set_lazy_imports(True)

如果某些模塊不能懶加載,需要排除,可以這樣

import importlib 
importlib.set_lazy_imports(True,excluding=["one.mod", "another"])

還可以這樣:

from importlib import eager_imports

with eager_imports():
import foo
import bar

最后的話

經過專業人士在真實的 Python 命令行程序上做測試,應用惰性導入后,可以使啟動時間提高 70%,內存使用減少 40%,非常可觀了。

參考資料

[1]PEP0690: https://github.com/python/peps/blob/main/pep-0690.rst

[2]LazyLoader: https://github.com/tensorflow/tensorflow/blob/master/tensorflow/python/util/lazy_loader.py

責任編輯:武曉燕 來源: Python七號
相關推薦

2021-08-12 15:45:23

Pythonimport模塊

2025-01-16 08:17:36

2017-05-02 11:30:44

JavaScript數組惰性求值庫

2010-03-18 16:51:00

python語法入門

2020-11-19 10:50:43

ImportPython代碼

2022-02-17 14:34:10

viewport項目API

2009-07-02 09:34:05

hibernate的l

2023-12-13 10:12:40

Python函數lambda

2022-04-01 07:14:13

模塊Pythonimport

2022-08-26 13:56:30

模塊JavaScript

2010-11-24 11:13:07

MySQL批量導入

2010-06-09 10:09:39

MySQL 數據庫導入

2010-11-04 13:50:20

DB2在線導入

2017-04-24 20:30:47

數據庫工具導入數據

2014-01-23 10:04:04

Python趣聞

2010-02-26 15:22:55

.NET Framew

2017-01-12 15:42:53

HookPythonImport

2010-04-16 10:18:10

Import性能

2009-06-18 11:25:26

Hibernate L

2020-02-06 13:06:52

人工智能自行車啤酒
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 国产精品久久久久久久久久免费看 | 毛片网在线观看 | 激情在线视频网站 | 久久香焦 | av一级久久| 男女午夜免费视频 | 亚洲精品国产精品国自产在线 | gogo肉体亚洲高清在线视 | 国产99久久| 国产1区2区3区 | 国产一区二区三区高清 | 亚洲精品一区二区另类图片 | 欧美日韩精品在线免费观看 | 天天色av | 亚洲三区在线 | 激情一区二区三区 | 日韩中文字幕视频在线观看 | 欧美aaa一级片 | 国产精品不卡一区 | 午夜视频网 | 久久亚洲一区二区三区四区 | 欧美日韩国产一区二区三区 | 亚洲入口 | 99久久久久 | 国产精品2 | 91久久精品国产 | 丁香五月网久久综合 | 龙珠z在线观看 | 九九在线| 国产精品一区在线观看你懂的 | 亚洲最大福利网 | 精品久久久久久久人人人人传媒 | 久久久国产一区二区三区四区小说 | 成人在线中文字幕 | 亚洲欧美日本在线 | 91国在线 | 一级欧美一级日韩片免费观看 | 一级黄色夫妻生活 | 国产精品欧美一区二区三区 | 美女视频. | 三级免费|