1. php如何处理大数据
使用缓存，比如memcache,redis,因为它们是在内存中运行，所以处理数据，返回数据非常快，所以可以应对高并发。
2.增加带宽和机器性能，1M的带宽同时处理的流量肯定有限，所以在资源允许的情况下，大带宽，多核cpu,高内存是一个解决方案。
3.分布式，让多个访问分到不同的机器上去处理，每个机器处理的请求就相对减少了。
简单说些常用技术，负载均衡，限流，加速器等
2. php处理大批量数据
$a=1234567890;$b=str_replace('1','q',str_replace('2','g',$a));echo $b;
3. php大数据处理思路
PHP+shell实现多线程的方法
先写个简单的php代码，这里为了让脚本执行时间更长，方便看效果，sleep一下，呵呵!先看下test.php的代码：ls
PHP代码:
for ($i=0;$i<10;$i++) {
echo $i;
sleep(10);
}
?>
在看下shell脚本的代码，非常简单
#!/bin/bash
for i in 1 2 3 4 5 6 7 8 9 10
do
/usr/bin/php -q /var/www/html/test.php &
done
注意到在请求php代码的那行有一个&符号吗，这个是关键，不加的话是不能进行多线程的，&表示讲服务推送到后台执行，因此，在 shell的每次的循环中不必等php的代码全部执行完在请求下一个文件，而是同时进行的，这样就实现了多线程，下面运行下shell看下效果，这里你将 看到10个test.php进程再跑，再利用linux的定时器，定时请求这个shell，在处理一些需要多线程的任务，例如，批量下载时，非常好用!
php中用WEB服务器实现多线程
假设我们现在运行的是a.php这个文件. 但是我在程序中又请求WEB服务器运行另一个b.php，那么这两个文件将是同时执行的.(PS: 一个链接请求发送之后, WEB服务器就会执行它, 而不管客户端是否已经退出)
有些时候, 我们想运行的不是另一个文件, 而是本文件中的一部分代码.该怎么办呢?
其实可是通过参数来控制a.php来运行哪一段程序.
下面看一个例子:
//a.php,b.php
PHP代码:--------------------------------------------------------------------------------
function runThread()
{
$fp = fsockopen('localhost', 80, $errno, $errmsg);
fputs($fp, "GET /b.php?act=b\r\n\r\n"); //这里的第二个参数是HTTP协议中规定的请求头
//不明白的请看RFC中的定义
fclose($fp);
}
function a()
{
$fp = fopen('result_a.log', 'w');
fputs($fp, 'Set in ' . Date('h:i:s', time()) . (double)microtime() . "\r\n");
fclose($fp);
}
function b()
{
$fp = fopen('result_b.log', 'w');
fputs($fp, 'Set in ' . Date('h:i:s', time()) . (double)microtime() . "\r\n");
fclose($fp);
}
if(!isset($_GET['act'])) $_GET['act'] = 'a';
if($_GET['act'] == 'a')
{
runThread();
a();
}
else if($_GET['act'] == 'b') b();
?>
--------------------------------------------------------------------------------
打开result_a.log 和 result_b.log 比较一下两个文件的中访问的时间. 大家会发现, 这两个的确是在不同线程中运行的.有些时间完全一样.
上面只是一个简单的例子, 大家可以改进成其它形式.
既然PHP中也能多线程了, 那么问题也来了, 那就是同步的问题. 我们知道 PHP本身是不支持多线程的. 所以更不会有什么像Java 中synchronize的方法了. 那我们该如何做呢.
1. 尽量不访问同一个资源. 以避免冲突. 但是可以同时像数据库操作. 因为数据库是支持并发操作的. 所以在多线程的PHP中不要向同一个文件中写入数据. 如果必须要写的话, 用别的方法进行同步.. 如调用 flock对文件进行加锁等. 或建立临时文件并在另外的线程中等待这个文件的消失 while(file_exits('xxx')); 这样就等于这个临时文件存在时, 表示其实线程正在操作
如果没有了这个文件, 说明其它线程已经释放了这个.
2. 尽量不要从runThread在执行fputs后取这个socket中读取数据. 因为要实现多线程, 需要的用非阻塞模式. 即在像fgets这样的函数时立即返回.. 所以读写数据就会出问题. 如果使用阻塞模式的话, 程序就不算是多线程了. 他要等上面的返回才执行下面的程序. 所以如果需要交换数据最后利用外面文件或数据中完成. 实在想要的话就用socket_set_nonblock($fp) 来实现.
说了这么多, 倒底这个有没有实际的意义呢? 在什么时候需要这种用这种方法呢 ?
答案是肯定的. 大家知道. 在一个不断读取网络资源的应用中, 网络的速度是瓶颈. 如果采多这种形式就可以同时以多个线程对不同的页面进行读取.
本人做的一个能从8848、soaso这些商城网站搜索信息的程序。还有一个从阿里巴巴网站上读取商业信息和公司目录的程序也用到了此技术。 因为这两个程序都是要不断的链接它们的服务器读取信息并保存到数据库。 利用此技术正好消除了在等待响应时的瓶颈。
php模拟实现多线程的三种方法
PHP语言本身是不支持多线程的. 总结了一下网上关于PHP模拟多线程的方法, 总的来说, 都是利用了PHP的好伙伴们本身所具有的多线程能力. PHP的好伙伴指的就是LINUX和APACHE啦, LAMP嘛.
另外, 既然是模拟的, 就不是真正的多线程. 其实只是多进程. 进程和线程是两个不同的概念. 好了, 以下方法都是从网上找来的.
1. 利用LINUX操作系统
for ($i=0;$i<10;$i++) {
echo $i;
sleep(5);
}
?>
上面存成test.php, 然后写一段SHELL代码
#!/bin/bash
for i in 1 2 3 4 5 6 7 8 9 10
do
php -q test.php &
done
2. 利用fork子进程(其实同样是利用LINUX操作系统)
declare(ticks=1);
$bWaitFlag = FALSE; /// 是否等待进程结束
$intNum = 10; /// 进程总数
$pids = array(); /// 进程PID数组
echo ("Startn");
for($i = 0; $i < $intNum; $i++) {
$pids[$i] = pcntl_fork();/// 产生子进程，而且从当前行之下开试运行代码，而且不继承父进程的数据信息
if(!$pids[$i]) {
// 子进程进程代码段_Start
$str="";
sleep(5+$i);
for ($j=0;$j<$i;$j++) {$str.="*";}
echo "$i -> " . time() . " $str n";
exit();
// 子进程进程代码段_End
}
}
if ($bWaitFlag)
{
for($i = 0; $i < $intNum; $i++) {
pcntl_waitpid($pids[$i], $status, WUNTRACED);
echo "wait $i -> " . time() . "n";
}
}
echo ("Endn");
?>
3. 利用WEB SERVER, PHP不支持多线程, APACHE可是支持的, 呵呵.
假设我们现在运行的是a.php这个文档. 但是我在程式中又请求WEB服务器运行另一个b.php
那么这两个文档将是同时执行的.(代码同上)
当然啦,也可以把需要多线程处理的部分交给JAVA去处理, 然后在PHP里调用, 哈哈.
system('java multiThread.java');
?>
扩展资料：PHP即“超文本预处理器”，是一种通用开源脚本语言。PHP是在服务器端执行的脚本语言，与C语言类似，是常用的网站编程语言。PHP独特的语法混合了C、Java、Perl以及 PHP 自创的语法。利于学习，使用广泛，主要适用于Web开发领域。
4. php如何处理大数据信息
在PHP中偶尔遇到字符串的压缩，比如一个长字符串，数据库开始设计的字段存不下，但是又不想改数据库字段存储长度，就可以用压缩的方式降低数据字段字符串的长度数量级，把几百个字符的字符串压缩到几十个字符。总结下来有以下几个：
压缩函数：gzcompress gzdeflate gzencode
与之对应的解压函数如下：
解压函数：gzuncompress gzinflate gzdecode
特别注意：gzdecode是PHP 5.4.0之后才加入的，使用的时候要注意兼容性问题。
gzcompress gzdeflate gzencode函数的区别在于它们压缩的数据格式不同：
gzcompress使用的是ZLIB格式；
gzdeflate使用的是纯粹的DEFLATE格式；
gzencode使用的是GZIP格式；
5. php如何处理大数据的导出
1、首先我们准备一个含有数据的Excel表格，表头和数据表中的表字段相对应。
2、在ThinkPHP中引入PHPExcel类库。
3、然后我们编写导入的PHP代码。
4、然后我们编写导出的PHP代码。
5、然后我们进行导出测试发现可以导出即可。
6. php处理大数据用什么方法
看你想怎么使用PHP的数据。比如我从数据库里拿出一个数据，然后echo<h1><?phpecho$title;?></h1>那你JS里就可以通过DOM来获取h1的innerHTML不要直接用js，最好用现成的library,比如jQuery，Prototype之类的，因为他们有浏览器兼容。还有就是用ajax，动态获取你要的内容。即通过JS代码，调用PHP代码，然后传递回你要的数据。
AJAX非常的流行，因为不会造成网页停滞，强调的是asynchronous(不同步)。
7. php 大数据处理
会jquery吗，可以先从jquery的ajax入手，会比较简单。ajax写在js脚本里，一般是获取表单的数据（value）然后传到php脚本进行处理，再接受返回的数据。jquery的写法是这样的：js脚本
type是传值的方式，有get和post，php脚本里取值语句也要用对应的方式。url后面的参数是将数据传递到你想要的php脚本路径，这里是相对路径。data是你要传递的数据，一般从表单中娶过来后写成json的形式传递。 datatype是获取数据的格式，success是传递成功后的反馈或者使用接收回来的数据，这里的data参数是php处理后的（你想要的）数据，php那边对应的是echo后面的东西。php脚本：index.php前面两句是取传过来的数据，分别对应了ajax里data的数值，第三句是一个简单的数据处理。最后php脚本的输出值就是echo语句后面的内容，并返回给js脚本里success的function的参数data。
8. php能做大数据吗
一、MySQL命令导入数据库文件大于2MB时就会提示“超过2048KB错误”，无法导入，解决方法如下：1、打开php.ini。找到 upload_max_filesize 、 memory_limit 、 post_max_size 这三个参数！(在默认的情况下,php只允许最大的上传数据为2M,也就是2048KB,而极限的最大使用内存memory_limit也仅为128M，Post的最大也为2M)2、按您的服务器的实际性能配置进行如下改动：（注意：以下是按我的服务器性能和硬件配置进行的更改..）upload_max_filesize = 8M (上传最大极限设定为8M,这个应该足够一般的文件WEB上传了)memory_limit = 512M (因为服务器的内存为2GB,所以这里加到512M不过份吧，呵)post_max_size = 8M (Post数据最大也设置为8MB,这个跟upload_max一样)3、改完之后，重新启动系统，再重新执行导入命令后：Import has been successfully finished, 399 queries executed.(显示导入成功,有多少个请求处理成功…)（备注：改完后当你在到phpMyadmin的导入命令行时，虽然(有时候可能会仍然显示为:最大限制:2048KB/Max: 2,048KiB);但实际上你已经可以导入不超过8M的MySQL数据库.sql导出的备份文件了! 另，改完php.ini后，别忘了重启一下web服务或者是服务器哟！重启后升效!）二、Phpmyadmin导入数据库文件最大限制2048KB错误提示:You probably tried to upload too large file. Please refer to documentation for ways to workaround this limit。原来用phpmyadmin导入mysql数据库时，默认mysql数据库最大只能导入2M，解决方法如下：大多数情况都是修改PHP5文件夹下面的php.ini中的upload_max_filesize，但修改了这个以后，还是提示这个问题；那么更改如下几处：修改 PHP.inifile_uploads on 是否允许通过HTTP上传文件的开关。默认为ON即是开upload_tmp_dir – 文件上传至服务器上存储临时文件的地方，如果没指定就会用系统默认的临时文件夹upload_max_filesize 20m 望文生意，即允许上传文件大小的最大值。默认为2Mpost_max_size 30m 指通过表单POST给PHP的所能接收的最大值，包括表单里的所有值。默认为8M说明一般地，设置好上述四个参数后，在网络正常的情况下，上传8M的大体积文件，只设置上述四项还一定能行的通。除非你的网络真有100M/S的上传高速，否则你还得继续设置下面的参数,那就是设置它的时间，max_execution_time 300 每个PHP页面运行的最大时间值(秒)，默认30秒max_input_time 300 每个PHP页面接收数据所需的最大时间，默认60秒memory_limit 80m 每个PHP页面所吃掉的最大内存，默认8M，如果你机子的内存足够大的话，还可以设置大点儿设定 POST 数据所允许的最大大小。此设定也影响到文件上传。要上传大文件，该值必须大于 upload_max_filesize。如果配置脚本中激活了内存限制，memory_limit 也会影响文件上传。通常说，memory_limit 应该比 post_max_size 要大。
- 相关评论
- 我要评论
-
