Java自学者论坛

 找回密码
 立即注册

手机号码,快捷登录

恭喜Java自学者论坛(https://www.javazxz.com)已经为数万Java学习者服务超过8年了!积累会员资料超过10000G+
成为本站VIP会员,下载本站10000G+会员资源,会员资料板块,购买链接:点击进入购买VIP会员

JAVA高级面试进阶训练营视频教程

Java架构师系统进阶VIP课程

分布式高可用全栈开发微服务教程Go语言视频零基础入门到精通Java架构师3期(课件+源码)
Java开发全终端实战租房项目视频教程SpringBoot2.X入门到高级使用教程大数据培训第六期全套视频教程深度学习(CNN RNN GAN)算法原理Java亿级流量电商系统视频教程
互联网架构师视频教程年薪50万Spark2.0从入门到精通年薪50万!人工智能学习路线教程年薪50万大数据入门到精通学习路线年薪50万机器学习入门到精通教程
仿小米商城类app和小程序视频教程深度学习数据分析基础到实战最新黑马javaEE2.1就业课程从 0到JVM实战高手教程MySQL入门到精通教程
查看: 597|回复: 0

php使用mysql_query查询超大结果集超内存的解决方法

[复制链接]
  • TA的每日心情
    奋斗
    2024-4-6 11:05
  • 签到天数: 748 天

    [LV.9]以坛为家II

    2034

    主题

    2092

    帖子

    70万

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    705612
    发表于 2021-7-10 10:53:03 | 显示全部楼层 |阅读模式

    再使用mysql_query查询超大结果集的时候会出现超出内存限制的致命错误,这是因为mysql_query采用的是查询全部结果然后把结果集全部缓存到内存中的方式。

    mysql的查询还提供了另外一种查询方式,函数名为mysql_unbuffered_query,这个函数采用的是查出结果后立即操作结果集,并不会把结果集缓存到内存中,这样就避免了超出内存的情况发生。但是使用这个方法的代价就是不能再查询的时候使用获取总行之类的方法,因为这种方法是便查询边返回结果。同时在使用该方法的时候不能在同一数据库链接上执行其他的操作,想要执行其他操作的时候必须先终止当前操作,释放所有未缓存的sql查询所产生的结果行,或者重新实例化一个数据库连接,使用新链接进行其他操作。

    以下是使用缓存和不使用缓存的对比(所查询的表中有1000多万行数据):

    function selecttest()
        {
            try {
                $pdo = new PDO("mysql:host=localhost;dbname=test", 'root', '123456');
    //            不使用缓存结果集方式
    //            $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
                $sth = $pdo->prepare('select * from test');
                $sth->execute();
                echo '最初占用内存大小:' . memory_get_usage() . "\n";
                $i = 0;
                while ($result = $sth->fetch(PDO::FETCH_ASSOC)) {
                    $i += 1;
                    if ($i > 10) {
                        break;
                    }
                    sleep(1);
                    print_r($result);
                    echo '占用内存大小:' . memory_get_usage() . "\n";
                }
            } catch (Exception $e) {
                echo $e->getMessage();
            }
        }

    上面使用到的是缓存所有结果集的方式,运行该函数时将会报超内存的错误,如下所示:

    Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes) in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 57
    
    Call Stack:
        0.0005     135392   1. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0
        0.0005     135568   2. test->selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:86
        0.0055     142528   3. PDOStatement->execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:57

    在执行$sth->execute();时超出内存限制;

     

    // $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);这行的注释去掉后将使用不缓存结果集的方式,运行该函数将输出以下内容:

    最初占用内存大小:144808
    Array
    (
        [id] => 1
        [a] => v
         => w
        [c] => i
    )
    占用内存大小:145544
    Array
    (
        [id] => 2
        [a] => b
         => l
        [c] => q
    )
    占用内存大小:145544
    Array
    (
        [id] => 3
        [a] => m
         => p
        [c] => h
    )
    占用内存大小:145536
    Array
    (
        [id] => 4
        [a] => j
         => i
        [c] => b
    )
    占用内存大小:145536
    Array
    (
        [id] => 5
        [a] => q
         => g
        [c] => g
    )
    占用内存大小:145536

    可以看到,使用不缓存结果集的方式获取一行结果所占用的内存是极少的。这样就结局了超出内存限制的问题。

    哎...今天够累的,签到来了1...
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    QQ|手机版|小黑屋|Java自学者论坛 ( 声明:本站文章及资料整理自互联网,用于Java自学者交流学习使用,对资料版权不负任何法律责任,若有侵权请及时联系客服屏蔽删除 )

    GMT+8, 2024-5-3 22:16 , Processed in 0.067052 second(s), 29 queries .

    Powered by Discuz! X3.4

    Copyright © 2001-2021, Tencent Cloud.

    快速回复 返回顶部 返回列表