冬天，洁白的雪花慢慢地飘落下来，落到这里，飘到那里，我们仿佛置身于童话般的雪白世界。在苍茫的大海上，狂风卷集着乌云。在乌云和大海描写大海的散文之间，海燕像黑色的闪电，在高傲的飞翔。
1.对一个大文件比如我的文件为
-rw-r--r-- 1 ubuntu ubuntu 9.1G Mar 1 17:53 2018-12-awk-uniq.txt
2.使用split命令切割成10个小文件
split -b 1000m 2018-12-awk-uniq.txt -b 按照字节切割 , 支持单位m和k
3.使用10个php进程读取文件 , 插入redis的有序集合结构中 , 重复的是插不进去的 ,因此可以起到去重的作用
<?php
$file=$argv[1];
//守护进程
umask(0); //把文件掩码清0
if (pcntl_fork() != 0){ //是父进程，父进程退出
exit();
}
posix_setsid();//设置新会话组长，脱离终端
if (pcntl_fork() != 0){ //是第一子进程，结束第一子进程
exit();
}
$start=memory_get_usage();
$redis=new Redis();
$redis->connect('127.0.0.1', 6379);
$handle = fopen("./{$file}", 'rb');
while (feof($handle)===false) {
$line=fgets($handle);
$email=str_replace("\n","",$line);
$redis->zAdd('emails', 1, $email);
}
4. redis中查看获取的数据
zcard emails 获取元素个数
取一定范围的元素 , 比如从100000开始 到 100100结束
zrange emails 100000 100100 WITHSCORES
以上所述是小编给大家介绍的PHP多个进程配合redis的有序集合实现大文件去重详解整合，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对网站的支持！
到此这篇关于详解PHP多个进程配合redis的有序集合实现大文件去重就介绍到这了。害怕失败的人将一事无成。过去所有名人都经受了一个又一个的失败。但是，他们在失败的时候不是沮丧气馁，而是不屈的拼搏，最后取得了胜利。青春时代的真正失败，毋宁说是逃避艰苦的斗争，没有目标，懦弱潦倒。艰苦奋斗后的失败，是人生的宝贵财富。期望你们不好害怕失败，勇敢地度过青春。更多相关详解PHP多个进程配合redis的有序集合实现大文件去重内容请查看相关栏目，小编编辑不易，再次感谢大家的支持！