用.NET SqlBulkCopy类执行批量复制

本文涉及的产品
云数据库 RDS SQL Server,独享型 2核4GB
简介:

在不同数据源之间转移数据是一个常见的开发任务。如果你应用过SQL Server,就会熟悉bcp(批量复制)命令。

它允许你快速将大型文件批量复制到SQL Server表或视图中。在.NET Framework 1.1中,可以通过SqlCommand对象利用bcp,但.NET Framework 2.0中增加了SqlBulkCopy类来简化这个繁琐的过程。

SqlBulkCopy

虽然你仍然可以使用t-splbcp命令,但SqlBulkCopy类具有很强的性能优势。你只能使用这个类往SQL Server表中写入数据,但可以使用任何数据源。唯一要注意的地方在于,数据源的内容必须能够加载到一个DataTable对象中。

在详细说明这个类的用法前,我们先简单概括这个类的功能:

  • 单独批量复制操作,可将数据从一个数据源移动到SQL Server表中。
  • 也可执行多个批量复制操作。
  • 在数据库事务中可执行批量复制操作。

MSDN提供更多关于SqlBulkCopy类的方法和属性的细节。其最重要的属性为Destination TableName,最重要的方法为WriteToServer。

DestinationTableName属性指定接受复制记录的表。由于它有一个由三部分组成的名称(database.owningschema.name),因此它遵循SQL Server语法。你可以用它的数据库和所有模式来限制表名称。

数据库通过在连接字符串中指定(通过Initial Catalog值)。另外,如果表名称使用一个下划线或任何其它特殊的字符,你必须使用方括号避免这类名称,如[database.owningschema.name]。

实际上由这个超载的WriteToServer方法执行批量复制。它接受DataTable、DataRow和IDataReader对象为复制数据源。你还可以用DataTable对象包含一个DataRowState值,指定仅复制匹配的行。

下一个Windows控制台应用程序说明从一个数据库表向另一个数据库表复制数据这种非常基本的操作。从它的Employees表往这个表的备份表Employees_bcp中复制数据时,它使用标准的SQL Server 2000 Northwind数据库。

――――――――――――――――――――――――――――

 

查看列表A列表B中为对应的VB.NET代码)。基本上,这段代码连接到数据库,并将所有值从Employees表读入SqlDataReader对象中。

设定目标表名称后,则使用SqlDataReader对象执行批量复制操作(它作为唯一的参数提交)。你可以检查服务器上的目标表,看数据是否被复制。

执行多次更新并无差异——你只需重复使用SqlDataReader对象即可。在同一个数据库中从一个表往另一个表复制是对bcp的误用。另一方面,从外部文件中输入数据是一个常见的操作。

列表C在将一个文本文件输入到前一个例子中用到的表中时就采用了这个方法。(列表D中是对应的VB.NET代码。)这段代码建立一个新的DataTable对象,为每种数据设立列。

每次读入一行文件,并用逗号分列,每个数据值分配给DataTable中适当的列。接下来,SqlBulkCopy类的ColumnMappings属性 允许你使用列名称,将数据源中(我们的DataTable)的一个列映射到目的地。完成映射后,WriteToServer方法使用提交给它的 DataTable执行批量操作。

数据移植最佳实践

虽然数据移植是开发者经常要执行的任务,但它并不是一个非常流行的任务。请在文后的讨论部分与.NET社区分享你的最轻松(最糟糕)的数据移植经历和最佳实践。

―――――――――――――――――――――――――――

 

 

using System;

using System.Collections.Generic;

using System.Text;

using System.Data.SqlClient;

namespace BCP {

class Program {

static void Main(){

string cString = "Data Source=(local);User ID=tester;Password=tester;Initial Catalog=Northwind;";

using (SqlConnectionconn = new SqlConnection(cString))
{
conn.Open();
SqlCommand comm = new SqlCommand("SELECT EmployeeID, FirstName, LastName, HomePhone FROM Employees;", conn);
SqlDataReader reader = comm.ExecuteReader();

using (SqlConnection conn2 = new SqlConnection(cString)){

conn2.Open();

using (SqlBulkCopy bcp = new SqlBulkCopy(conn2))
{
bcp.DestinationTableName = "dbo.Employees_bcp";

try {
bcp.WriteToServer(reader);

} catch (Exception ex) {
Console.WriteLine(ex.Message);

} finally {
reader.Close();

} } } } } } }

 

―――――――――――――――――――――――――――

Imports System.Data.SqlClient

Module Module1

Sub Main()

Dim cString As String
cString = "Data Source=(local);User ID=tester;Password=tester;Initial Catalog=Northwind;"

Dim conn As New SqlConnection
conn = New SqlConnection(cString)
conn.Open()

Dim comm As SqlCommand
comm = New SqlCommand("SELECT EmployeeID, FirstName, LastName, HomePhone FROM Employees;", conn)

Dim reader As SqlDataReader

reader = comm.ExecuteReader()

Dim conn2 As SqlConnection

conn2 = New SqlConnection(cString)

conn2.Open()

Dim bcp As SqlBulkCopy
bcp = New SqlBulkCopy(conn2)
bcp.DestinationTableName = "dbo.Employees_bcp"

Try
bcp.WriteToServer(reader)

Catch ex As Exception
Console.WriteLine(ex.Message)

Finally
reader.Close()

End Try

End Sub

End Module

 

 

 

 

 

 

 

using System;

using System.Collections.Generic;

using System.Text;

using System.Data.SqlClient;

using System.IO;

using System.Data;

namespace BCP {

class Program{

static void Main(){

string cString = "Data Source=(local);User ID=tester;Password=tester;Initial Catalog=Northwind;";

using (SqlConnectionconn = new SqlConnection(cString)) {
conn.Open();
SqlCommandcomm = new SqlCommand("SELECT FirstName, LastName, HomePhone, Title FROM Employees;", conn);
SqlDataReader reader = comm.ExecuteReader();

using (SqlConnection conn2 = new SqlConnection(cString)) {

conn2.Open();

using (SqlBulkCopybcp = new SqlBulkCopy(conn2)){
DataTabledt = new DataTable();
DataRowdr;
DataColumn dc;
bcp.DestinationTableName = "dbo.Employees_bcp";

dc = new DataColumn();
dc.ColumnName = "Last";
dt.Columns.Add(dc);

dc = new DataColumn();
dc.ColumnName = "First";
dt.Columns.Add(dc);

dc = new DataColumn();
dc.ColumnName = "HomePhone";
dt.Columns.Add(dc);

dc = new DataColumn();
dc.ColumnName = "Title";
dt.Columns.Add(dc);
StreamReadersr = new StreamReader(@"c:emp.txt");

string input;

while ((input = sr.ReadLine()) != null) {

string[] s = input.Split(new char[] );
dr = dt.NewRow();
dr["Last"] = s[0];
dr["First"] = s[1];
dr["HomePhone"] = s[2];
dr["Title"] = s[3];
dt.Rows.Add(dr);

}
sr.Close();

try {
bcp.ColumnMappings.Add("Last", "LastName");
bcp.ColumnMappings.Add("First", "FirstName");
bcp.ColumnMappings.Add("Title","Title");
bcp.ColumnMappings.Add("HomePhone","HomePhone");
bcp.WriteToServer(dt);

} catch (Exception ex){
Console.WriteLine(ex.Message);

} finally {
reader.Close();

} } } } } } }

 

 

 

 

Imports System.Data

Imports System.Data.SqlClient

Imports System.IO

Module Module1

Sub Main()

Dim cString As String

Dim comma As Char

comma = ","
cString = "Data Source=(local);User ID=tester;Password=tester;Initial Catalog=Northwind;"

Dim conn As New SqlConnection
conn = New SqlConnection(cString)
conn.Open()

Dim comm As SqlCommand
comm = New SqlCommand("SELECT EmployeeID, FirstName, LastName, HomePhone FROM Employees;", conn)

Dim reader As SqlDataReader

reader = comm.ExecuteReader()

Dim conn2 As SqlConnection

conn2 = New SqlConnection(cString)

conn2.Open()

Dim bcp As SqlBulkCopy
bcp = New SqlBulkCopy(conn2)
bcp.DestinationTableName = "dbo.Employees_bcp"

Try

Dim dt As DataTable

Dim dr As DataRow

Dim dc As DataColumn
dt = New DataTable()
bcp.DestinationTableName = "dbo.Employees_bcp"

dc = New DataColumn()
dc.ColumnName = "Last"
dt.Columns.Add(dc)

dc = New DataColumn()
dc.ColumnName = "First"
dt.Columns.Add(dc)

dc = New DataColumn()
dc.ColumnName = "HomePhone"
dt.Columns.Add(dc)

dc = New DataColumn()
dc.ColumnName = "Title"
dt.Columns.Add(dc)

Dim sr As StreamReader
sr = New StreamReader("c:emp.txt")

Dim input As String

input = sr.ReadLine()

While Not (input Is Nothing)

Dim s As String()

s = input.Split(comma)
dr = dt.NewRow()
dr("Last") = s(1)
dr("First") = s(2)
dr("HomePhone") = s(3)
dr("Title") = s(4)
dt.Rows.Add(dr)

input = sr.ReadLine()

End While
sr.Close()
bcp.ColumnMappings.Add("Last", "LastName")
bcp.ColumnMappings.Add("First", "FirstName")
bcp.ColumnMappings.Add("Title", "Title")
bcp.ColumnMappings.Add("HomePhone", "HomePhone")
bcp.WriteToServer(dt)

Catch ex As Exception
Console.WriteLine(ex.Message)

Finally
reader.Close()

End Try

End Sub
End Module
本文转自左正博客园博客,原文链接:http://www.cnblogs.com/soundcode/archive/2012/09/26/2703642.html ,如需转载请自行联系原作者
相关文章
|
7月前
|
IDE API 开发工具
拦截|篡改|伪造.NET类库中不限于public的类和方法
本文除了回顾拦截.NET类库中的方法,实现方法参数的篡改、方法返回结果的伪造,再着重介绍.NET类库中非public类及方法如何拦截。
拦截|篡改|伪造.NET类库中不限于public的类和方法
|
10月前
|
C#
.NET Core反射获取带有自定义特性的类,通过依赖注入根据Attribute元数据信息调用对应的方法
.NET Core反射获取带有自定义特性的类,通过依赖注入根据Attribute元数据信息调用对应的方法
122 0
|
开发框架 JSON 前端开发
【C#】.net core2.1,自定义全局类对API接口和视图页面产生的异常统一处理
在开发一个网站项目时,异常处理和过滤功能是最基础的模块 本篇文章就来讲讲,如何自定义全局异常类来统一处理
204 0
|
JSON 数据格式
【.NET开发福音】使用Visual Studio将JSON格式数据自动转化为对应的类
【.NET开发福音】使用Visual Studio将JSON格式数据自动转化为对应的类
533 0
【.NET开发福音】使用Visual Studio将JSON格式数据自动转化为对应的类
|
缓存 移动开发 C#
【.Net实用方法总结】 整理并总结System.IO中TextWriter类及其方法介绍
本文主要介绍System.IO命名空间的TextWriter类,介绍其常用的方法和示例说明。
|
C# 开发者 索引
【.Net实用方法总结】 整理并总结System.IO中TextReader类及其方法介绍
本文主要介绍System.IO命名空间的TextReader类,介绍其常用的方法和示例说明。
|
存储 缓存 C#
【.Net实用方法总结】 整理并总结System.IO中StringWriter类及其方法介绍
本文主要介绍System.IO命名空间的StringWriter类,介绍其常用的方法和示例说明。
|
C# 开发者 索引
【.Net实用方法总结】 整理并总结System.IO中StringReader类及其方法介绍
本文主要介绍System.IO命名空间的StringReader类,介绍其常用的方法和示例说明。
|
存储 网络协议 程序员
【.Net实用方法总结】 整理并总结System.IO中Stream类及其方法介绍
本文主要介绍System.IO命名空间的Stream类,介绍其常用的方法和示例说明。
|
缓存 C# 开发者
【.Net实用方法总结】 整理并总结System.IO中StreamWriter类及其方法介绍
本文主要介绍System.IO命名空间的StreamWriter类,介绍其常用的方法和示例说明。