php使用yield进行大数据量处理

目录隐藏

1 概述

2 生成器函数

概述

当我们需要使用php来处理大数据量时，例如循环数据库的所有记录，这个记录可能会很大，例如100万行，那么通过传统的办法就行不通了。首先通过web访问，php有超时时间，默认是30秒。那么就只能通过php cli的方式来执行，这样就没有超时时间了，但由于数据量太大，php循环时需要将数据全部载入内存中执行，由于数据量太大，php会报Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 4096 bytes)的错误。php默认的内存限制为128M，虽然可以通过修改php.ini中memory_limit的选项的值来提高内存限制，但始终不是最优的解决办法。PHP通过生成器函数可以极大节省内存开销。

生成器函数

生成器函数看起来像普通函数——不同的是普通函数返回一个值，而生成器可以 yield 生成多个想要的值。任何包含 yield 的函数都是一个生成器函数。
当一个生成器被调用的时候，它返回一个可以被遍历的对象.当你遍历这个对象的时候(例如通过一个foreach循环)，PHP 将会在每次需要值的时候调用对象的遍历方法，并在产生一个值之后保存生成器的状态，这样它就可以在需要产生下一个值的时候恢复调用状态。

yield关键字

生成器函数的核心是yield关键字。yield关键字看起来像一个return申明，不同之处在于普通return会返回值并终止函数的执行，而yield会返回一个值给循环调用此生成器的代码并且只是暂停执行生成器函数。

一个简单的例子

<?php
function gen_one_to_three() {
    for ($i = 1; $i <= 3; $i++) {
        //注意变量$i的值在不同的yield之间是保持传递的。
        yield $i;
    }
}

$generator = gen_one_to_three();
foreach ($generator as $value) {
    echo "$value\n";
}
?>

以上例子会输出：

1
2
3

遍历数据库实例

例如当前我们需要循环数据库的emp表，这个表中有100万行记录，我们需要循环并修改mgr的字段的值。

未使用生成器

$db = sf::getLib('db');
$sql = "select * from emp where mgr = 1 order by id asc";
$query = $db->query($sql);
while ($row = $db->fetch_array($query)) {
    $db->exec("update emp set mgr = 2 where id = '{$row['id']}'");
    echo "id:" . $row['id'] . "\n";
}

这在数据量小时并没有什么问题，但数据量比较大的话，就无法执行了，会报内存超过限制的错误。

使用生成器

function test_yield(){
    $db = sf::getLib('db');
    $sql = "select * from emp where mgr = 1 order by id asc";
    $query = $db->query($sql);
    while ($row = $db->fetch_array($query)) {
        yield $row;
    }
}

foreach(test_yield() as $item){
    $db->exec("update emp set mgr = 2 where id = '{$row['id']}'");
    echo "id:" . $item['id']."\r\n";
}

通过test_yield这个生成器函数，程序可以正常执行，且内存不会超限。

注意：用php更新大量数据，pdo默认会缓存数据，也就是说把数据全部读入内存后再fetch。当数据量很大的时候，会导致内存溢出。
所以这种情况下，我们需要用下面的语句来禁止缓存

$dbh->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);

概述