php查询千万数据 php处理百万数据方案

php实现查询数据库数据,每次限定1000条

1、如果是用mysql数据库的话，一条语句可以插入几千条语句。类似以下语句：insert into table_name (field1，field2) values (1，2)，(2，3)，(3，5)，(5，6)请查看mysql手册。其他数据库请查阅相应手册。

创新互联长期为近1000家客户提供的网站建设服务，团队从业经验10年，关注不同地域、不同群体，并针对不同对象提供差异化的产品和服务；打造开放共赢平台，与合作伙伴共同营造健康的互联网生态环境。为朔州企业提供专业的成都做网站、成都网站建设，朔州网站改版等技术服务。拥有十多年丰富建站经验和众多成功案例,为您定制开发。

2、每次插入数据库之间，先查看数据库中的数据的数目，然后做限制。

3、query($sql))；count=count($result)；//或者$count=mysql_num_rows($result)；不过直接使用MySQL的COUNT(*)在数据量庞大的时候，效率的优势是十分显著的，因为后者需要二次计算，所以还是最好使用前者进行数据条数的统计。

PHP+mysql插入上千万条数据,导致内存不足,寻求释放内存方法

我给你个思路，利用游览器的刷新机制，每执行10秒刷新一下自动更新下一串数据，一串多少数据，看你的SQL效率而定。就这样一直刷新更新，到结束为止。

优化数据结构，每张数据表字段4-5个，加上索引。还可以将不同的种类的数据存入不同的数据库。减少单个数据库的压力。写入数据只是存的问题，问题在于读取数据会变慢。建议使用缓存memcache，redis在向你招收哦。

检查一下 MySQL 设置，有助于确定内存使用情况，从而为 MySQL 分配合适的值。一个近似的公式：当网站受到攻击时，有可能在短时间内建立异常高的连接数量。MySQL 中的 PROCESSLIST 可用于检测顶级用户并阻止对滥用连接的访问。

我知道你为什么会停下来，因为mysql插入大量数据（1000W）的情况下，执行时间需要的很长，而你八成设定执行时间不限制，如果时间默认超过30秒，那么程序就会自动停下来。

如果是用mysql数据库的话，一条语句可以插入几千条语句。类似以下语句：insert into table_name (field1，field2) values (1，2)，(2，3)，(3，5)，(5，6)请查看mysql手册。其他数据库请查阅相应手册。

如何解决PHP查询大量数据内存耗尽的问题

这个意味着PHP脚本使用了过多的内存，并超出了系统对其设置的允许最大内存。解决这个问题，首先需要查看你的程序是否分配了过多的内存，在程序没有问题的情况下，你可以通过一下方法来增加PHP的内存限制（memory_limit）。

首先，安装程序会显示一个启动画面。如果使用的是不同的安装盘，也许Readme文件的格式可能有所不同，但是不影响应用程序的安装。在上面的对话框中可以直接单击对话框上的【下一步】按钮，进入下面的操作。

要分层次显示，另外碰到数据库查询文字非常多的你还可以使用AJAX 返回数据 这样HTML就可以很快的显示 显示完毕才去读数据库这样速度会快很多。至于楼上说的 缓存 数据库存储过程 可以参考一下，不过一般企业站不需要考虑。

你用网页的方式，让人点击，服务器采集，简直是弱爆了。每个人的点击循环1000次，来个100人同时点，你要用的是普通的虚拟机就不行了。最好是换种方式实现，不要通过网页进行采集。

而且如果使用mysql的话，它也有一个超时时间，运行一串代码时间如果超过配置文件的时间，会被中断不运行。第一种你可以修改php配置文件timeout的运行时间，第二你可以分批处理大量数据，注意是分批处理，就OK了。

使用缓存，比如memcache，redis，因为它们是在内存中运行，所以处理数据，返回数据非常快，所以可以应对高并发。