我正在处理大量数据,并使用 CLR 来处理它。 CLR 处理速度很快,但我需要一种快速方法将处理后的数据移动到数据库(通过 CLR)。
例如看下面的clr代码
protected static string Normalize(string s) // space and special character remover
{
char[] arr = s.ToCharArray();
arr = Array.FindAll<char>(arr, (c => char.IsLetterOrDigit(c)));
return new string(arr).ToLower();
}
[Microsoft.SqlServer.Server.SqlProcedure]
public static void udpNormStr ()
{
SqlConnection con = new SqlConnection("context connection = true");
SqlCommand cmd = new SqlCommand("Select cName from NamesTable", con);
SqlDataAdapter da = new SqlDataAdapter(cmd);
DataTable dt = new DataTable();
DataTable fill = new DataTable();
fill.Columns.Add("NormName", typeof(string));
da.Fill(dt);
cmd.CommandText = "insert into NormTable values (@nName)";
cmd.Parameters.Add("@nName", SqlDbType.VarChar);
foreach (DataRow row in dt.Rows)
{
fill.Rows.Add(Normalize(row[0].ToString()));
}
con.Open();
foreach (DataRow row in fill.Rows)
{
cmd.Parameters["@nName"].Value = row[0];
cmd.ExecuteNonQuery();
}
con.Close();
}
执行需要花费大量时间,并且 90% 的时间都浪费在插入操作上。 请建议一种将处理后的数据移动到数据库的更好方法(通过 CLR)。
SqlBulkCopy
;既然你已经有了 DataTable
,你可以使用:
using (var bcp = new SqlBulkCopy(con))
{
bcp.DestinationTableName = "NormTable";
bcp.WriteToServer(dt);
}
请注意,对于 streaming 数据,您还可以创建自定义
IDataReader
实现并将其提供给 WriteToServer
。
使用 SqlTransaction 包装您的连接以避免隐式事务。
con = new SqlConnection("context connection=true");
con.Open();
using (con)
{
using (var sqlTrans = con.BeginTransaction()) //one transaction instead of many from each insert implicit
{
const string cmdText = @"INSERT INTO [table1] ([a],[b],[c],[d],[e]) VALUES (@a,@b,@c,@d,@e)";
using (var cmd = new SqlCommand(cmdText, con, sqlTrans))
{
var aField = cmd.Parameters.Add("@a", SqlDbType.NVarChar, 255);
var bField = cmd.Parameters.Add("@b", SqlDbType.Int);
var cField = cmd.Parameters.Add("@c", SqlDbType.Bit);
var dField = cmd.Parameters.Add("@d", SqlDbType.NVarChar, 255);
var eField = cmd.Parameters.Add("@e", SqlDbType.Int);
//same for all
cField.Value = false;
dField.Value = "d";
eField.Value = 1;
foreach (var someValue in valueCollection)
{
aField.Value = someValue.Key;
bField.Value = someValue.Value;
cmd.ExecuteNonQuery();
}
}
sqlTrans.Commit();
}
con.Close();
}
如果这项工作是 SQL/CLR,那就很棘手了。一种想法可能是让该方法仅返回数据,例如作为CLR表值函数,然后在TSQL中从表值函数中进行
INSERT
返回。
尝试使用SQLBulkCopy类
这是一次性将数据表插入数据库的示例方法
public static bool SaveDetails(DataTable dbTable)
{
try
{
SqlConnection conn = new SqlConnection("Data Source=akshay;Initial Catalog=CosmosDB;User Id=sa;Password=Nttdata123");
conn.Open();
SqlBulkCopy sbc = new SqlBulkCopy(conn);
if (dbTable.Rows.Count > 0)
{
sbc.DestinationTableName = "Employee";
sbc.WriteToServer(dbTable);
}
sbc.Close();
conn.Close();
return true;
}
catch (Exception exp)
{
return false;
}
}