成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

Linux下如何切割與合并大文件

作者：Linux開發(fā)那些事兒
系統(tǒng) Linux
我們傳輸一個(gè)大文件時(shí)，有時(shí)網(wǎng)絡(luò)比較慢，需要花費(fèi)很長時(shí)間才能傳輸完成，或者傳輸?shù)倪^程中，網(wǎng)絡(luò)不穩(wěn)定，有可能導(dǎo)致此次傳輸失敗，針對這種情況，我們可以把大文件切分成小文件，再逐個(gè)的傳輸?shù)侥康牡?，最后再把它們合并成一個(gè)文件

我們傳輸一個(gè)大文件時(shí)，有時(shí)網(wǎng)絡(luò)比較慢，需要花費(fèi)很長時(shí)間才能傳輸完成，或者傳輸?shù)倪^程中，網(wǎng)絡(luò)不穩(wěn)定，有可能導(dǎo)致此次傳輸失敗，針對這種情況，我們可以把大文件切分成小文件，再逐個(gè)的傳輸?shù)侥康牡?，最后再把它們合并成一個(gè)文件。

[[437011]]

小文件傳輸有什么優(yōu)點(diǎn)呢?當(dāng)出現(xiàn)網(wǎng)絡(luò)閃斷導(dǎo)致傳輸失敗了，也只需要重新傳輸失敗的一個(gè)文件，由于文件比較小，重新傳輸相對大文件要快很多，另外，切割成小文件，可以增加傳輸?shù)牟l(fā)量，也就是說多個(gè)小文件同時(shí)傳輸，比傳輸單個(gè)文件速度更快

Linux下切割文件的命令是 split 合并文件可以使用 cat 命令，下面將介紹這兩個(gè)命令的使用以及切割和合并文件的方法

語法

split 命令的語法如下：

 

  1. split [OPTION]... [INPUT [PREFIX]] 

INPUT 表示標(biāo)準(zhǔn)輸入或者文件

PREFIX 表示大文件分割后產(chǎn)生的小文件名字的前綴，默認(rèn)是小寫字母 x，前綴后跟一組字符 , 按照類似 aa、ab、ac 字母順序組成一個(gè)一個(gè)的文件名，比如：切割成三個(gè)文件，它們的文件名默認(rèn)就是 xaa、 xab、 xac

OPTION 表示命令的選項(xiàng)，比如：按字節(jié)切割文件，按文件行切割文件等，下面列出了一些常用的選項(xiàng)

 

 

切割文件實(shí)例

下面來看幾組 split 命令的使用實(shí)例吧

  • 按文件大小切割

首先創(chuàng)建一個(gè) 10M 大小的文件

關(guān)于如何創(chuàng)建指定大小的文件可以參考 1s 創(chuàng)建100G文件，最快的方法是?

 

  1. [root@localhost split_test]# fallocate -l 10M myfile 
  2. [root@localhost split_test]# ls -lh 
  3. 總用量 10M 
  4. -rw-r--r-- 1 root root 10M 9月  30 11:18 myfile 
  5. [root@localhost split_test]#  

把 myfile 文件分割成若干個(gè)小文件，每個(gè)文件大小為 2M

 

  1. [root@localhost split_test]# split -b 2M myfile  
  2. [root@localhost split_test]# ls -lh 
  3. 總用量 20M 
  4. -rw-r--r-- 1 root root  10M 9月  30 11:18 myfile 
  5. -rw-r--r-- 1 root root 2.0M 9月  30 11:23 xaa 
  6. -rw-r--r-- 1 root root 2.0M 9月  30 11:23 xab 
  7. -rw-r--r-- 1 root root 2.0M 9月  30 11:23 xac 
  8. -rw-r--r-- 1 root root 2.0M 9月  30 11:23 xad 
  9. -rw-r--r-- 1 root root 2.0M 9月  30 11:23 xae 

 

從上述結(jié)果可以看出，輸入文件 myfile 大小為 10M , 選項(xiàng) " -b 2M " 表示每個(gè)輸出文件 2M, 總共切割成 5 個(gè)文件，文件名分別是 xaa、xab、xac、xad、xae

  • 按文件行數(shù)切割

首先創(chuàng)建一個(gè) 10K 大小的文件, 文件的每一行內(nèi)容都是 "this is a test file"

 

  1. [root@localhost split_test]# yes "this is a test file" | head -c 10K > numfile  
  2. [root@localhost split_test]# ls -lh 
  3. 總用量 12K 
  4. -rw-r--r-- 1 root root 10K 9月  30 11:46 numfile 
  5. [root@localhost split_test]# wc -l numfile  
  6. 512 numfile 

 

從結(jié)果可以得知，numfile 文件大小為 10K, 總共有 512 行， 命令 wc -l numfile 是查詢 numfile 文件的總行數(shù)

把 numfile 文件切割成若干文件，每個(gè)文件 100 行, 并且新生成的文件名字前綴為 "split_file_"， 具體的命令以及執(zhí)行結(jié)果如下：

 

  1. [root@localhost split_test]# split -l 100 numfile split_file_ 
  2. [root@localhost split_test]# ls -lh 
  3. 總用量 36K 
  4. -rw-r--r-- 1 root root  10K 9月  30 11:46 numfile 
  5. -rw-r--r-- 1 root root 2.0K 9月  30 11:54 split_file_aa 
  6. -rw-r--r-- 1 root root 2.0K 9月  30 11:54 split_file_ab 
  7. -rw-r--r-- 1 root root 2.0K 9月  30 11:54 split_file_ac 
  8. -rw-r--r-- 1 root root 2.0K 9月  30 11:54 split_file_ad 
  9. -rw-r--r-- 1 root root 2.0K 9月  30 11:54 split_file_ae 
  10. -rw-r--r-- 1 root root  240 9月  30 11:54 split_file_af 
  11. [root@localhost split_test]# wc -l split_file_aa 
  12. 100 split_file_aa 
  13. [root@localhost split_test]# wc -l split_file_ab 
  14. 100 split_file_ab 
  15. [root@localhost split_test]# wc -l split_file_ac 
  16. 100 split_file_ac 
  17. [root@localhost split_test]# wc -l split_file_ad 
  18. 100 split_file_ad 
  19. [root@localhost split_test]# wc -l split_file_ae 
  20. 100 split_file_ae 
  21. [root@localhost split_test]# wc -l split_file_af 
  22. 12 split_file_af 

 

從結(jié)果可以知道，總共512行的文件 numfile 被分成了 6 個(gè)文件，文件名分別是 split_file_aa、 split_file_ab、 split_file_ac、 split_file_ad、 split_file_ae、 split_file_af , 其中前5個(gè)文件每個(gè)文件都是 100 行，最后一個(gè)文件只有剩下的 12 行

  • 按文件數(shù)量切割

選項(xiàng) -n 可以控制文件切割成小文件的數(shù)量

 

  1. [root@localhost split_test]# fallocate -l 5M cntfile 
  2. [root@localhost split_test]# ls -lh 
  3. 總用量 5.0M 
  4. -rw-r--r-- 1 root root 5.0M 9月  30 12:51 cntfile 
  5. [root@localhost split_test]# split -d -n 5 cntfile  
  6. [root@localhost split_test]# ls -lh 
  7. 總用量 10M 
  8. -rw-r--r-- 1 root root 5.0M 9月  30 12:51 cntfile 
  9. -rw-r--r-- 1 root root 1.0M 9月  30 12:58 x00 
  10. -rw-r--r-- 1 root root 1.0M 9月  30 12:58 x01 
  11. -rw-r--r-- 1 root root 1.0M 9月  30 12:58 x02 
  12. -rw-r--r-- 1 root root 1.0M 9月  30 12:58 x03 
  13. -rw-r--r-- 1 root root 1.0M 9月  30 12:58 x04 

 

fallocate -l 5M cntfile 命令是創(chuàng)建一個(gè) 5M 大小的文件 cntfile

split -d -n 5 cntfile 命令是把 cntfile 文件切割成 5 個(gè)小文件, -d 選項(xiàng)表示文件名使用數(shù)字后綴

通過切割后的結(jié)果可以知道，切割后生成了 5 個(gè)文件，他們分別是 x00、x01、x02、x03、x04 ，每個(gè)文件大小是 1M

  • 禁止生成 0 長度的文件

在上面 按文件數(shù)量切割 小節(jié)中，存在一種特殊情況，文件的大小不足以分成指定數(shù)量的小文件，比如：一個(gè) 5 字節(jié)的文件，要切割成 8 個(gè)文件，切割的最小單位是 1 字節(jié)，所以最多只能切割成 5 個(gè)文件，要切割成 8 個(gè)文件的話，那么剩下的 3 個(gè)文件大小只能是 0 字節(jié)

上述空文件即使生成了，也沒什么意義，我們可以用 -e 選項(xiàng)來禁止生成空文件，請看下面的實(shí)例

 

 

上圖中 fallocate -l 5 testfile 表示創(chuàng)建一個(gè)大小為 5 字節(jié)大小的文件 testfile

split --verbose -n 8 testfile 表示把 testfile 文件切割成 8 個(gè)小文件， --verbose 選項(xiàng)是輸出創(chuàng)建新文件的日志

從上圖可以看出，執(zhí)行命令后，共創(chuàng)建了 8 個(gè)文件，它們分別是 xaa、 xab、 xac 、xad 、xae、 xaf、 xag、 xah ， 每個(gè)文件的大小是怎樣的呢， 繼續(xù)看下圖

 

 

上圖中 ls -lh 命令結(jié)果輸出了切割之后各個(gè)文件的詳細(xì)信息， 從中可以得出， 前 5 個(gè)文件 ( xaa、 xab、 xac 、xad 、xae ) 大小均為 1 字節(jié)， 后三個(gè)文件，也就是圖中紅框中的文件 ( xaf、 xag、 xah ) 大小均為 0 字節(jié)

0 字節(jié)的文件并不包含任何內(nèi)容，也不需要進(jìn)行傳輸，所以，不需要生成它們， 我們可以用 -e 選項(xiàng)來禁止生成 0 字節(jié)的文件

我們先刪除切割之后的小文件，再執(zhí)行 split --verbose -e -n 8 testfile命令，具體的結(jié)果如下：

 

 

從上圖可以看出，加上 -e 選項(xiàng)之后，只生成了 5 個(gè)文件，分別是 xaa、 xab、 xac 、xad 、xae, 每個(gè)文件的大小為 1 字節(jié)， 沒有出現(xiàn) 0 字節(jié)大小的文件了

切割與合并

大文件切割成許多小文件，通過網(wǎng)絡(luò)全部傳輸?shù)竭h(yuǎn)程機(jī)器上之后，需要把它們合并成一個(gè)大文件，并且合并之后的大文件與原始的大文件要一模一樣，下面我們通過一個(gè)實(shí)例來說明整個(gè)過程

1、在本地生成一個(gè) 1G 大小的文件

 

  1. [root@localhost split_test]# dd if=/dev/urandom of=bigfile bs=1M count=1024 
  2. 記錄了1024+0 的讀入 
  3. 記錄了1024+0 的寫出 
  4. 1073741824字節(jié)(1.1 GB)已復(fù)制，87.5173 秒，12.3 MB/秒 
  5. [root@localhost split_test]# ls -lh 
  6. 總用量 1.0G 
  7. -rw-r--r-- 1 root root 1.0G 9月  30 14:41 bigfile 

 

2、計(jì)算出本地文件 bigfile 的 MD5， 用于后面與遠(yuǎn)程機(jī)器上大文件的校驗(yàn)

 

  1. [root@localhost split_test]# md5sum bigfile  
  2. 4b06ddf4eeecbf26f36fd3ddad331deb  bigfile 

 

3、把 bigfile 文件切割成 100M 大小的小文件

 

  1. [root@localhost split_test]# split -b 100M bigfile  
  2. [root@localhost split_test]# ls -lh 
  3. 總用量 2.0G 
  4. -rw-r--r-- 1 root root 1.0G 9月  30 14:41 bigfile 
  5. -rw-r--r-- 1 root root 100M 9月  30 14:44 xaa 
  6. -rw-r--r-- 1 root root 100M 9月  30 14:44 xab 
  7. -rw-r--r-- 1 root root 100M 9月  30 14:44 xac 
  8. -rw-r--r-- 1 root root 100M 9月  30 14:44 xad 
  9. -rw-r--r-- 1 root root 100M 9月  30 14:44 xae 
  10. -rw-r--r-- 1 root root 100M 9月  30 14:44 xaf 
  11. -rw-r--r-- 1 root root 100M 9月  30 14:44 xag 
  12. -rw-r--r-- 1 root root 100M 9月  30 14:44 xah 
  13. -rw-r--r-- 1 root root 100M 9月  30 14:44 xai 
  14. -rw-r--r-- 1 root root 100M 9月  30 14:44 xaj 
  15. -rw-r--r-- 1 root root  24M 9月  30 14:44 xak 

 

4、將切割之后的文件 xaa、 xab、 xac、 xad、 xae、 xaf、 xag、 xah、 xai、 xaj、 xak 逐個(gè)傳輸?shù)竭h(yuǎn)程機(jī)器的 merge_test 目錄中，這里省略了傳輸過程

5、進(jìn)入遠(yuǎn)程機(jī)器的 merge_test 目錄，把 xaa、 xab、 xac、 xad、 xae、 xaf、 xag、 xah、 xai、 xaj、 xak 合并成一個(gè)文件

 

  1. [root@localhost merge_test]# cat x* > remote_bigfile 
  2. [root@localhost merge_test]# ls -lh 
  3. 總用量 2.0G 
  4. -rw-r--r-- 1 root root 1.0G 9月  30 14:54 remote_bigfile 
  5. -rw-r--r-- 1 root root 100M 9月  30 14:53 xaa 
  6. -rw-r--r-- 1 root root 100M 9月  30 14:53 xab 
  7. -rw-r--r-- 1 root root 100M 9月  30 14:53 xac 
  8. -rw-r--r-- 1 root root 100M 9月  30 14:53 xad 
  9. -rw-r--r-- 1 root root 100M 9月  30 14:53 xae 
  10. -rw-r--r-- 1 root root 100M 9月  30 14:53 xaf 
  11. -rw-r--r-- 1 root root 100M 9月  30 14:53 xag 
  12. -rw-r--r-- 1 root root 100M 9月  30 14:53 xah 
  13. -rw-r--r-- 1 root root 100M 9月  30 14:53 xai 
  14. -rw-r--r-- 1 root root 100M 9月  30 14:53 xaj 
  15. -rw-r--r-- 1 root root  24M 9月  30 14:53 xak 

 

6、計(jì)算合并后 remote_bigfile 文件的 MD5

 

  1. [root@localhost merge_test]# md5sum remote_bigfile  
  2. 4b06ddf4eeecbf26f36fd3ddad331deb  remote_bigfile 

 

7、比較本地機(jī)器上 bigfile 文件和 遠(yuǎn)程機(jī)器上 remote_bigfile 文件的 MD5， 如果相同，表示傳輸成功，如果不一樣，表示傳輸失敗

根據(jù) 步驟 2 和 步驟 6 的結(jié)果， bigfile 和 remote_bigfile 的 MD5 都是4b06ddf4eeecbf26f36fd3ddad331deb， 所以此次傳輸成功

小結(jié)

 

本文介紹了文件切割命令的用法，以及切割、傳輸、合并、校驗(yàn)的整個(gè)流程，文中實(shí)例中用到的 利用 fallocate、dd 以及 yes 創(chuàng)建文件可以參考 1s 創(chuàng)建100G文件，最快的方法是?

 

責(zé)任編輯：華軒 來源： 今日頭條
Linux傳輸網(wǎng)絡(luò)
相關(guān)推薦

2021-06-10 09:05:43

Linux命令大文件切割

2019-10-11 08:00:00

Linux命令最大文件

2023-04-17 16:17:19

LinuxPDF

2015-08-25 15:53:08

LinuxcURL

2011-04-14 17:03:50

Linuxsplitcat

2022-08-26 07:02:57

Python工具分割

2023-02-07 09:49:26

Linux命令行合并文件

2010-04-09 15:34:41

Unix操作系統(tǒng)

2016-12-13 23:08:48

Linux命令

2020-06-22 07:47:18

Linux系統(tǒng)磁盤

2014-03-20 10:31:02

Linuxbin

2020-11-22 06:20:53

命令行Linux

2021-12-29 15:02:48

Linux清空文件

2019-10-21 08:56:36

Linux日志文件拆分

2020-08-23 09:16:46

Linux文件合并和排序

2020-08-24 17:26:09

Linux合并文件排序文件

2009-12-07 09:45:23

PHP上傳大文件設(shè)置

2021-04-19 05:41:04

JavaScript大文件下載

2020-04-02 20:07:17

前端vuenote.js

2017-05-04 14:43:43

惡意文件WinLinux
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號

主站蜘蛛池模板： 国产一区二区 | 国产免费福利小视频 | 日韩国产一区二区三区 | 成人深夜福利 | 日本又色又爽又黄的大片 | 日韩一区二区视频 | 亚洲视频网| 国产高清一区二区 | 久久精品二区 | 日韩视频在线免费观看 | 精品在线观看入口 | 亚洲精品视频一区二区三区 | 一区二区三区国产 | 麻豆av一区二区三区久久 | 亚洲影音 | 国产在线1 | 国产精品婷婷 | 亚洲区视频 | 欧美综合一区 | 国产伦精品一区二区三区高清 | 免费视频色 | 日日夜夜操天天干 | 日韩成人在线观看 | 日韩久草 | 精品国产一区二区久久 | 亚洲一区中文 | 欧美日韩高清在线一区 | 男女羞羞视频网站 | 99精品在线| 精品国产乱码久久久久久闺蜜 | 久久久综合网 | 米奇7777狠狠狠狠视频 | 日日综合 | 91精品国产一区 | 97人人澡人人爽91综合色 | 羞羞视频网站免费观看 | 成人精品国产免费网站 | 日韩在线视频免费观看 | 成人在线播放网站 | 久久久久久久久99 | 香蕉视频91 |