成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

動手實踐:使用Docker設置數據科學環境

開發 前端
每當您開始一個新的數據項目或有一個很好的數據處理想法時,可能都需要初步的概念證明來啟動。 您當然不想要,并且可能甚至沒有時間花時間來建立全新的數據環境,而無需了解數據本身。 在下一篇文章中,您將學習Docker如何在不浪費時間一遍又一遍的情況下幫助您設置可復制的數據環境。

 每當您開始一個新的數據項目或有一個很好的數據處理想法時,可能都需要初步的概念證明來啟動。 您當然不想要,并且可能甚至沒有時間花時間來建立全新的數據環境,而無需了解數據本身。 在下一篇文章中,您將學習Docker如何在不浪費時間一遍又一遍的情況下幫助您設置可復制的數據環境。

 

動手實踐:使用Docker設置數據科學環境

 

什么是Docker?為什么要嘗試一下?

Docker是在指定環境(稱為容器)中創建,部署和運行所需應用程序的最簡單,最靈活的方法之一。 當然,你問自己什么是容器?

非技術性的解釋:就像上圖所示,在我們的情況下,您的本地機器是一個已經在生產東西的島。 為了改善這一點,您需要其他工具,這些工具(就像Docker徽標一樣)裝在小容器中。 一旦設置好并運行它們,它們就可以使用了。

技術說明:容器是打包代碼及其所有依賴項的軟件的標準單元,因此應用程序可以從一個計算環境快速運行到另一個計算環境。 Docker容器映像是一個輕量級的,獨立的,可執行的軟件軟件包,其中包含運行應用程序所需的一切:代碼,運行時,系統工具,系統庫和設置。 其他重要術語:

  • 圖片:只是容器的快照。
  • Dockerfile:這是一個Yaml文件,用于構建您的映像。 在本課程的最后,您將擁有一個yaml文件模板,并將其用于您自己的容器規范。
  • DockerHub:在這里您可以推拉Docker映像并將其用于您自己的需求。 基本上,GitHub僅用于Docker。

為什么要使用Docker?

 

動手實踐:使用Docker設置數據科學環境

 

讓我向您概述我喜歡使用Docker的主要原因:

  • 對于您作為數據科學家或數據分析師而言,泊塢窗意味著您可以專注于探索,轉換和建模數據,而無需首先考慮您的數據環境所運行的系統。 通過使用準備在Docker容器中運行的數千種應用程序之一,您不必擔心分別安裝和連接它們。 Docker允許您在需要時在幾秒鐘內部署所選的工作環境。
  • 假設您不是項目中唯一的工作人員,但是您的團隊成員也需要掌握代碼。 現在,一個選擇是,每個隊友都可以在具有不同體系結構,不同庫和不同版本應用程序的環境中運行代碼。 docker選項是每個成員都可以訪問相同的容器映像,并使用docker啟動該映像并準備就緒。 Docker為團隊中的每個人提供了可重復的數據環境,因此您可以立即開始進行協作。

Docker當然還有其他幾個好處,特別是如果您使用的是Enterprise版本。 絕對值得探索,不僅會使您作為數據科學家受益。

安裝和運行Docker

您可以立即安裝Docker桌面,這是您入門所需的內容:在此處訪問Docker Hub,為Mac或Windows選擇Docker版本并進行安裝。 在您的本地機器上啟動Docker之后,您就可以在頂部導航欄上看到這只可愛的小鯨魚-做得很好。

 

動手實踐:使用Docker設置數據科學環境

 

通過單擊Docker徽標,您可以查看Docker是否正在運行。 另一種選擇是打開命令行并輸入" docker info",以便您看到正在運行的內容。 以下是一些基本的Docker命令:

  • docker login#登錄Docker注冊表
  • docker run#創建一個新容器并啟動
  • docker start #啟動一個現有的容器
  • docker stop #停止一個正在運行的容器
  • docker ps [-a] #顯示所有容器
  • docker rm #按名稱或ID刪除容器
  • docker rmi $(docker images -q)#刪除所有鏡像

您可以從一個簡單的示例開始,嘗試使用Jupyter筆記本。 您要做的就是在Docker Hub中查找映像,打開終端并運行docker。 在下面的示例中,您可以找到在localhost:8888上運行的Jupyter —簡單!

docker run -p 8888:8888 jupyter/scipy-notebook:2c80cf3537ca

 

動手實踐:使用Docker設置數據科學環境

 

雖然我們現在可以在容器中試用我們的應用程序,但它并不是高級數據科學家正在尋找的完整數據環境。 您可能想要使用更高級的工具,例如Nifi進行數據攝取和處理,Kafka進行數據流傳輸,以及使用SQL或NonSQL數據庫在兩者之間存儲一些表。 我們還能使用Docker嗎? 答案:是的,當然可以-Docker在這里為您管理所有工作。

Docker Compose:將它們組合在一起

 

動手實踐:使用Docker設置數據科學環境

 

要設置所需的數據環境,您可能希望在我們的本地計算機上運行多個容器。 這就是為什么我們使用Docker Compose。 Compose是用于定義和運行多容器Docker應用程序的工具。 雖然單獨連接每個容器可能很耗時,但docker compose允許多個容器的集合以非常直接的方式通過其自己的網絡進行交互。 使用compose時,您首先使用yaml文件配置應用程序的服務,然后使用單個命令(docker compose up)來創建并啟動先前定義的所有服務。*

在下面的內容中,您可以找到入門的主要步驟:

  • 使用Dockerfile定義您的應用環境,以便輕松復制
  • 在docker-compose.yml中指定構成數據環境的所有服務
  • 在保存yaml文件的文件夾中打開終端,然后運行docker-compose up

docker-compose.yml可能類似于以下內容。 并且盡管您可以肯定使用以下內容作為模板,但絕對應該為自己配置一次:

 

  1. version: '3' 
  2. services: 
  3.   zookeeper: 
  4.     hostname: zookeeper 
  5.     container_name: zookeeper_dataenv 
  6.     image: 'bitnami/zookeeper:latest' 
  7.     environment: 
  8.       - ALLOW_ANONYMOUS_LOGIN=yes 
  9.   nifi: 
  10.     image: mkobit/nifi 
  11.     container_name: nifi_dataenv 
  12.     ports: 
  13.       - 8080:8080 
  14.       - 8081:8081 
  15.     environment: 
  16.       - NIFI_WEB_HTTP_PORT=8080 
  17.       - NIFI_ZK_CONNECT_STRING=zookeeper:2181 
  18.   minimal-jupyter-notebook: 
  19.     image: jupyter/minimal-notebook:latest 
  20.     ports: 
  21.       - 8888:8888 
  22.   mongodb: 
  23.     image: mongo:latest 
  24.     container_name: mongodb_dataenv 
  25.     environment: 
  26.       - MONGO_DATA_DIR=/data/db 
  27.       - MONGO_LOG_DIR=/dev/null 
  28.     ports: 
  29.         - 27017:27017 
  30.   grafana: 
  31.     image: bitnami/grafana:latest 
  32.     container_name: grafana_dataenv 
  33.     ports: 
  34.       - 3000:3000 
  35.   db: 
  36.     image: 'postgres:9.6.3-alpine' 
  37.     container_name: psql_dataenv 
  38.     ports: 
  39.       - 5432:5432 
  40.     environment: 
  41.       POSTGRES_DB: psql_data_environment 
  42.       POSTGRES_USER: psql_user 
  43.       POSTGRES_PASSWORD: psql 
  44.       PGDATA: /opt/psql_data 
  45.     restart: "no" 

而已! 您剛剛了解了如何在幾秒鐘內隨時隨地部署自己的數據環境的基礎知識,這意味著浪費更少的時間進行設置,而將更多的時間用于生產。

請注意,還有許多其他容器軟件選項。 我只是喜歡與Docker合作,并想與您分享我的經驗

責任編輯:華軒 來源: 今日頭條
相關推薦

2020-11-10 13:40:01

Python數據科學環境

2020-10-22 09:09:41

Python數據科學代碼

2020-05-20 13:53:41

HTTP環境安裝

2012-09-24 11:45:28

IBMdw

2019-07-08 15:38:56

FedoraJupyter數據科學家

2020-08-11 07:00:00

大數據IT技術

2022-11-02 14:45:24

Python數據分析工具

2015-10-08 14:03:01

TCP網絡協議

2021-05-10 11:33:11

數字化

2014-08-07 10:25:15

DockerPython

2019-03-26 09:18:54

數據科學數據數據分析

2023-03-20 15:07:00

數據科學家質量保證

2019-10-22 08:00:22

數據科學AWSDC

2019-11-11 14:09:17

Swift數據科學語言

2018-04-16 11:11:56

2016-09-08 16:04:59

JavaDocker前端

2010-01-08 13:15:07

ibmdwSOA

2010-03-05 16:20:38

Ubuntu中文環境

2011-12-13 14:30:24

IBM

2020-03-03 19:00:50

C語言數據科學
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 久久久久久亚洲精品 | 国产精品亚洲成在人线 | 91精品国产一区 | 亚洲视频在线播放 | 成人久久18免费网站 | 久久婷婷香蕉热狠狠综合 | 99久久电影| 国产一区二区三区四区五区加勒比 | 青青久久久 | 亚洲h视频 | 国产免费又黄又爽又刺激蜜月al | 国产成人免费网站 | 视频一区在线 | 日本精品一区二区三区四区 | 美女人人操 | 羞视频在线观看 | 欧美日韩在线免费观看 | 精品成人一区二区 | 99久久国产免费 | www.99热这里只有精品 | 国产日韩欧美精品一区二区三区 | 韩日视频在线观看 | 欧美一区二区 | 91精品国产乱码久久久久久 | 成人免费视屏 | 久久国内 | 99精品电影 | 亚洲精品一区二区 | www.奇米| 国产精品不卡 | 狠狠狠色丁香婷婷综合久久五月 | 香蕉久久网 | 日本成人福利视频 | 黄色一级特级片 | 亚洲精品视频免费观看 | 国产精品一区二区久久精品爱微奶 | 欧美一区二区黄 | 天天干夜夜操 | 涩涩视频网站在线观看 | 亚洲欧美中文日韩在线v日本 | 一区二区三区高清不卡 |