批量大小如何影响批量插入性能？

2019-11-01 22:17:51 阅读：171 来源： 互联网

标签：c net sybase

我正在通过对插入查询进行分组来在syabse数据库中进行批量插入,并将其批量发送到可配置批处理大小的数据库中,代码看起来像这样

public static void InsertModelValueInBulk(DataSet modelValueData, int clsaId)
    {
        int batchSize = Convert.ToInt32(ConfigurationManager.AppSettings["BatchSize"].ToString());            
        IList<string> queryBuffer = new List<string>();    
        using (var connection = GetAseConnection())
        {
            connection.Open();
            var tran = connection.BeginTransaction();
            try
            {                  
                for (int i = 0; i < modelValueData.Tables[0].Rows.Count; i++)
                {

                    var insertItem = string.Format(@"select '{0}',{1},{2},{3},'{4}','{5}','{6}',{7}", row["ModelValueID"], Convert.ToInt32(row["StockModelID"]), Convert.ToInt32(row["ModelItemID"]),
                                                                      fyeStr, row["Period"], value, row["UpdatedUser"], clsaId);
                    queryBuffer.Add(insertItem);
                    if (queryBuffer.Count % (batchSize) == 0 && queryBuffer.Count > 0)
                    {
                        var finalQuery = @"INSERT INTO InsertTable (ModelValueID, StockModelID, ModelItemID, FYE, Period, Value, UpdatedUser,id) 
         " + String.Join(" union ", queryBuffer.ToArray<string>());                         

                        using (var cmd = new AseCommand(finalQuery, connection, tran))
                        {                                    
                                cmd.ExecuteNonQuery();                              
                        }
                        queryBuffer.Clear();
                    }                      
                }                   
                tran.Commit();
            }
            catch
            {
                tran.Rollback();
                throw;
            }
            finally
            {
                tran.Dispose();
            }
        }
    }

使用此方法,观察到的批次大小性能与插入20000所需的时间形成J曲线,样本数据有点像

批次大小10 =>当批量大小为50时,操作将在30秒内完成. 20秒,100 ＝＞ 10秒,200 ＝＞ 20秒,500 ＝ 30秒,1000 ＝＞ 1分钟.

想了解这个J曲线背后的原因是什么.与应用服务器的内存或某些数据库服务器的设置有关吗？是什么使100最佳,这可以进一步调整吗？

解决方法:

批量插入将在批量大小期间锁定表.锁具有基本的开销,因此小批量将不会获得几乎相同的收益,但是会使其他操作针对批之间的表进行.

因此,大批量是好的.因为这是事务,所以直到当前批次完成才提交数据.这意味着写入日志文件.真正大的批处理将导致日志增长,这是IO密集型工作,随着更多日志的使用,它还会增加争用.

遵循这些原则.

编辑：另外两件事
1)使用参数输入
2)如果您不执行#1,则“联合”会引起区别.使用“全部联盟”

标签：c,net,sybase
来源： https://codeday.me/bug/20191101/1986879.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

批量大小如何影响批量插入性能？