成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

詳解C#中利用ODP實現瞬間導入百萬級數據

開發 后端
在這里我們將看到的是C#中利用ODP實現在Oracle數據庫中瞬間導入百萬級數據,這對快速批量導入的實現有重要意義。

 .NET程序中可以通過ODP調用特性,對Oracle數據庫進行操作,今天來講一下數據批量插入的功能,所用技術不高不深,相信很多朋友都接觸過,小弟班門弄斧了,呵呵。這篇文章是上篇文章的續集,因為上一次試驗的征集結果沒有突破4秒的方法,所以這次繼續挑戰與挖掘新方法,雖然是Oracle,但仍具有一定收藏意義。

上一次文章中提及的試驗:

極限挑戰—C#100萬條數據導入SQL SERVER數據庫僅用4秒 (附源碼)

http://www.cnblogs.com/isline/archive/2010/03/18/1688783.html

這個試驗是針對SQL SERVER數據庫的,宿主環境也是.NET,有興趣的朋友可以將這兩個試驗對比一下,為日后工作批量導數提供支持。

另外,一些朋友對上次試驗環境有些異議,認為應該對數據庫和服務器做優化或設置,以體現試驗最終的時間結果。這個固然會影響試驗的時間結果,但考慮到在試驗環境中,對數據庫優化的標準與優化程度不便統一與定量,試驗結果也不易說明其影響源,所以這次試驗依然以標準數據庫建庫后的配置為主,試驗所在服務器硬件環境與上次試驗保持一致。實驗目的在于挖掘、對比宿主程序中的數據批量操作方法。

有新方法提升性能時間指標的朋友,歡迎互相切磋,互相提高,嘴上功夫就免了。。。

好了正文開始。

普通肉墊式

什么叫批量插入呢,就是一次性插入一批數據,我們可以把這批數據理解為一個大的數組,而這些全部只通過一個SQL來實現,而在傳統方式下,需要調用很多次的SQL才可以完成,這就是著名的“數組綁定”的功能。我們先來看一下傳統方式下,插入多行記錄的操作方式:

  1. //設置一個數據庫的連接串,   
  2. string connectStr = "User Id=scott;Password=tiger;Data Source=";   
  3. OracleConnection conn = new OracleConnection(connectStr);  
  4.  OracleCommand command = new OracleCommand(); 
  5. command.Connection = conn; conn.Open();   
  6. Stopwatch sw = new Stopwatch();   
  7. sw.Start(); //通過循環寫入大量的數據,這種方法顯然是肉墊   
  8. for (int i = 0; i < recc; i++)   
  9. {   
  10. string sql = "insert into dept values(" + i.ToString() 
  11. "," + i.ToString() + "," + i.ToString() + ")";  
  12. command.CommandText = sql;   
  13. command.ExecuteNonQuery();   
  14. }  
  15.  sw.Stop();  
  16. System.Diagnostics.Debug.WriteLine("普通插入:" + recc.ToString()
  17.  + "所占時間:" + sw.ElapsedMilliseconds.ToString());   

我們先準備好程序,但是先不做時間的測定,因為在后面我們會用多次循環的方式來計算所占用的時間。

使用ODP特性

看上面的程序,大家都很熟悉,因為它沒有用到任何ODP的特性,而緊接著我們就要來介紹一個神奇的程序了,我們看一下代碼,為了更直觀,我把所有的注釋及說明直接寫在代碼里:

  1. //設置一個數據庫的連接串   
  2. string connectStr = "User Id=scott;Password=tiger;Data Source=";   
  3. OracleConnection conn = new OracleConnection(connectStr);   
  4. OracleCommand command = new OracleCommand();   
  5. command.Connection = conn; //到此為止,還都是我們熟悉的代碼,下面就要開始嘍   
  6. //這個參數需要指定每次批插入的記錄數   
  7. command.ArrayBindCount = recc;   
  8. //在這個命令行中,用到了參數,參數我們很熟悉,但是這個參數在傳值的時候   
  9. //用到的是數組,而不是單個的值,這就是它獨特的地方   
  10. command.CommandText = "insert into dept values(:deptno, :deptname, :loc)";   
  11. conn.Open();   
  12. //下面定義幾個數組,分別表示三個字段,數組的長度由參數直接給出   
  13. int[] deptNo = new int[recc];   
  14. string[] dname = new string[recc];   
  15. string[] loc = new string[recc];   
  16. // 為了傳遞參數,不可避免的要使用參數,下面會連續定義三個   
  17. // 從名稱可以直接看出每個參數的含義,不在每個解釋了   
  18. OracleParameter deptNoParam = new OracleParameter("deptno",   
  19. OracleDbType.Int32);   
  20. deptNoParam.Direction = ParameterDirection.Input;   
  21. deptNoParam.Value = deptNo; command.Parameters.Add(deptNoParam);   
  22. OracleParameter deptNameParam = new OracleParameter("deptname",   
  23. OracleDbType.Varchar2);  
  24. deptNameParam.Direction = ParameterDirection.Input;   
  25. deptNameParam.Value = dname;   
  26. command.Parameters.Add(deptNameParam);  
  27.  OracleParameter deptLocParam = new OracleParameter("loc", OracleDbType.Varchar2); 
  28. deptLocParam.Direction = ParameterDirection.Input;  
  29.  deptLocParam.Value = loc;   
  30. command.Parameters.Add(deptLocParam);   
  31. Stopwatch sw = new Stopwatch();   
  32. sw.Start();   
  33. //在下面的循環中,先把數組定義好,而不是像上面那樣直接生成SQL   
  34. for (int i = 0; i < recc; i++)  
  35. {   
  36. deptNo[i] = i;   
  37. dname[i] = i.ToString();   
  38. loc[i] = i.ToString();   
  39. }   
  40. //這個調用將把參數數組傳進SQL,同時寫入數據庫   
  41. command.ExecuteNonQuery(); 
  42. sw.Stop(); 
  43. System.Diagnostics.Debug.WriteLine("批量插入:" + recc.ToString()   
  44. "所占時間:" +sw.ElapsedMilliseconds.ToString());  

以上代碼略顯冗長,但是加上注釋后基本也就表達清楚了。

好了,到目前為止,兩種方式的插入操作程序已經完成,就剩下對比了。我在主函數處寫了一個小函數,循環多次對兩個方法進行調用,并且同時記錄下時間,對比函數如下:

  1. for (int i = 1; i <= 50; i++)  
  2.  {   
  3. Truncate();   
  4. OrdinaryInsert(i * 1000); Truncate();   
  5. BatchInsert(i * 1000);  
  6.  }  

當數據量達到100萬級別時,所用時間依然令人滿意,最快一次達到890毫秒,一般為1秒左右。

經過試驗,得出一組數據,可以看出兩種方式在效率方面驚人的差距(占用時間的單位為毫秒),部分數據如下:
 

記錄數

標準

批處理

1000

1545

29

2000

3514

20

3000

3749

113

4000

5737

40

5000

6820

52

6000

9469

72

7000

10226

69

8000

15280

123

9000

11475

83

10000

14536

121

11000

15705

130

12000

16548

145

13000

18765

125

14000

20393

116

15000

22181

159

 
因為篇幅原因,不再粘貼全部的數據,但是我們可以看一下由此數據生成的散點圖:

clip_image002

其中有些數據有些跳躍,可能和數據庫本身有關系,但是大部分數據已經能說明問題了。看了這些數據后,是不是有些心動了?

源程序放了一段時間直接拷貝貼過來了,可能需要調試一下才能跑通,不過不是本質性問題,對了如果要測試別忘記安裝Oracle訪問組件。

原文標題:極限挑戰—C#+ODP 100萬條數據導入Oracle數據庫僅用不到1秒

鏈接:http://www.cnblogs.com/isline/archive/2010/08/31/1813722.html

【編輯推薦】

  1. C#模式窗體中的按鈕操作
  2. C#模式窗體操作詳解
  3. C#窗體繼承原理以及實現淺析
  4. C#窗體關閉事件的重載實現淺析
  5. C#窗體位置與大小設置詳解

責任編輯:彭凡 來源: 博客園
相關推薦

2011-07-12 14:08:48

OracleODAC

2010-03-22 09:59:46

SQL Server

2024-04-09 13:20:00

Excel數據庫數據

2024-08-05 09:51:00

2009-08-25 18:04:30

C#實現Singlet

2009-09-09 18:50:23

C# 加密RSA

2009-08-31 16:23:13

C#接口

2009-01-19 10:26:02

C#Namespace.NET

2009-08-28 15:32:39

C#利用WMI獲取數據

2009-08-25 17:43:17

C#串口監聽

2009-09-09 18:57:26

C# 加密TripleDES

2009-08-25 10:44:50

C#實現多語言

2009-08-21 10:13:02

C#異步初步

2009-08-26 11:07:36

C#打印窗體

2009-08-26 11:32:37

C#打印文檔

2009-08-26 09:22:44

C#實現打印功能

2009-08-26 12:59:08

C#打印設置

2025-02-06 08:06:05

2011-04-20 14:28:38

SQL優化

2009-08-19 16:50:32

Visual C#C#語言特性
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 成年人免费网站 | 成年人在线电影 | 日本欧美在线观看视频 | 99精品欧美一区二区蜜桃免费 | 日韩免费激情视频 | 性欧美xxxx | 亚洲高清一区二区三区 | 精品少妇一区二区三区日产乱码 | 99热在线观看精品 | 日本午夜精品 | 亚洲a级| 一区在线免费视频 | 色天天综合 | 国产精品片 | 99热这里只有精品8 激情毛片 | 亚洲欧美综合网 | 中文精品视频 | 一区二区三区免费看 | 91精品国产综合久久婷婷香蕉 | 国产精品久久久久久久久久 | 91精品国产综合久久久久久 | 一区二区福利视频 | 看av片网站 | 精品日韩 | 久久9视频 | 亚洲国产精品一区二区第一页 | 久久精品视频网站 | 日韩精品专区在线影院重磅 | 久久国产成人午夜av影院武则天 | 日韩最新网址 | 午夜一区| 欧美日韩亚洲视频 | 国产精品自拍视频 | 欧美在线视频一区二区 | 精品福利视频一区二区三区 | 一区二区精品 | 欧美一级欧美三级在线观看 | 日韩视频国产 | 国产成人a亚洲精品 | 成人精品视频在线 | 精品一区二区三区免费视频 |