PHP检查行是否存在的最有效方法

2019-11-18 21:26:45 阅读：208 来源： 互联网

考虑下表

+-------------+---------+------+-----+---------+----------------+
| Field       | Type    | Null | Key | Default | Extra          |
+-------------+---------+------+-----+---------+----------------+
| id          | int(11) | NO   | PRI | NULL    | auto_increment |
| date        | date    | NO   |     | NULL    |                |
| sku         | varchar(10)    |     |         | NULL           |         
| impressions | int(11) | NO   |     | NULL    |                |
| sales       | int(11) | NO   |     | NULL    |                |
+-------------+---------+------+-----+---------+----------------+

每天从前几天的销售记录中批量下载该表.

每天下载的数据不仅包含前几天的销售数据,还包含过去90天的所有数据(可能有5万条记录).

但是,由于原本插入的内容由于我们无法控制的原因(例如,

第一天

Date: 2015-01-01
SKU:  ABCD
Impressions:  100
Sales: 0

第二天

Date: 2015-01-01
SKU:  ABCD
Impressions:  100
Sales: 3

Date: 2015-01-02
SKU:  ABCD
Impressions:  105
Sales: 0

因此,对于数据下载中的任何给定记录,

a)已经见过并且和以前一样-忽略
b)新增-添加到数据库
c)已经看到但有新数据-更新

可以通过检查每一行来解决这个问题

while (!$file->eof()) {
      $row = $file->fgets();
      $data = explode("\t", $row);
      $sku = $data[0];
      $date = $data[1];
      $impressions = $data[2];
      $sales = $data[3];
      $order = $em->getRepository('Orders')->findOneBy(['sku' => $sku, 'date' => $date]);
      if($order && $order->getImpressions() != $impressions && $order->getSales() != $sales) {
            $order->setImpressions($impressions);
            $order->setSales($sales);               
      } else {
        ... create new model
      }
      $em->persist($order);
}

但是,将要更新数据的行将是最少的,并且对每一行进行选择将意味着由于行数巨大,此工作将非常缓慢.

所以我的问题是,可以使用什么模式来尽可能有效地解决这个问题？

任何想法欢迎

解决方法:

我建议您用新下载的数据完全替换之前90天的数据.

推理很简单：

>处理时间很短. 50,000行对于数据库而言很小.即使是一百万行,我也可能会这样做.
>仅尝试替换已更改的行很复杂,并且可能会引入错误.

标签：doctrine,mysql,php
来源： https://codeday.me/bug/20191118/2031001.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

PHP检查行是否存在的最有效方法