重庆分公司,新征程启航
为企业提供网站建设、域名注册、服务器等服务
性能指标,无非时间复杂度和空间复杂度。决定性能的,只有算法和硬件。而且解释型语言并不存在真正的数据结构,所以,只能从算法上优化。
成都创新互联专业为企事业单位提供成都网站建设公司、成都网站设计,网站优化、微信开发、手机网站建设、主机域名、虚拟空间、企业邮箱等互联网基础服务。公司2013年成立,我们先后签约上1000家中小型企业和科技发展公司的网站建设和网站推广项目。通过多年的创新发展,已发展成为专业能力较强,服务较好的建站公司。
你用网页的方式,让人点击,服务器采集,简直是弱爆了。每个人的点击循环1000次,来个100人同时点,你要用的是普通的虚拟机就不行了。
最好是换种方式实现,不要通过网页进行采集。
可以非常简单的在数据库的表,创建一个采集队列,后台执行一个crontab的计划任务,去完成队列里的采集任务。
1W条数据量也不是特别大,那就直接读取,然后在foreach入库就可以了
如果数据量非常大的时候,那就分段读取,然后入库~
考虑到php超时,那就网页端打开,第一部分执行完,刷新页面,开始执行第二部分,依次进行...
当然,直接在命令行下执行也可以~
一般就两种情况:
1. 超出脚本内存限制
2. 超出脚本执行时间限制
试下下面这样:
set_time_limit(0);
ini_set('memory_limit', '1000M');//自己根据实际调整
1.PHP基本上就是一种数组语言。时常要进行大量的数组循环操作,主要有两种方式,
一种是foreach,另一种是while,
代码如下:
foreach
($array
as
$value)
{
echo
$value;
}
while
(list($key)
=
each($array))
{
echo
$array[$key];
}
foreach
($array
as
$value)
{
echo
$value;
}
while
(list($key)
=
each($array))
{
echo
$array[$key];
}
2.在循环里进行的是数组“写”操作,则while比foreach快:
foreach
($array
as
$key
=
$value)
{
echo
$array[$key]
=
$value
.
'...';
}
while
(list($key)
=
each($array))
{
$array[$key]
=
$array[$key]
.
'...';
}
foreach
($array
as
$key
=
$value)
{
echo
$array[$key]
=
$value
.
'...';
}
while
(list($key)
=
each($array))
{
$array[$key]
=
$array[$key]
.
'...';
}
?php
mysql_connect("localhost", "mysql_user", "mysql_password") or
die("Could not connect: " . mysql_error());//连接你的数据库
mysql_select_db("mydb");//选择你的数据库
$result = mysql_query("SELECT `name` FROM data_boy WHERE `id`='2' LIMIT 0, 60");//执行SQL查询语句,搜索出60条数据
while ($row = mysql_fetch_array($result)) {
echo "姓名:".$row[name]."br";
/*补充一句,此处也可以是:
echo "姓名:".$row[0]."br";此处"mysql_fetch_array"默认返回的既有 关联数组(字段作为键名),也有数字索引数组*/
}
mysql_free_result($result);//释放结果