对于更复杂的http网络操作

QueryList本身内置的网络操作非常简单，QueryList关注于DOM选择;对于更复杂的网络操作可以选择使用Request扩展，它可以简单的实现：携带cookie、伪造来路、伪造浏览器等功能，但如果觉的它依旧不能满足你的需求，下面有几个可以参考的方案:

1.自己用curl封装一个http请求

例:

  1. function getHtml($url)
  2. {
  3.             $ch = curl_init();
  4.             curl_setopt($ch, CURLOPT_URL, $url);
  5.             curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
  6.             curl_setopt($ch, CURLOPT_AUTOREFERER, true);
  7.             curl_setopt($ch, CURLOPT_REFERER, $url);
  8.             curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
  9.             $result = curl_exec($ch);
  10.             curl_close($ch);
  11.             return $result;
  12. }
  13. $rules = array(
  14. //采集规则
  15. );
  16. //获取页面源码
  17. $html = getHtml('http://xxx.com');
  18. //采集
  19. $data = QueryList::Query($html,$rules)->data;

2.使用第三方http包

QueryList可以无缝与任意第三放http包配合使用,下面以guzzlehttp/guzzle包为例,Guzzle是一个PHP的HTTP客户端，用来轻而易举地发送请求，并集成到我们的WEB服务上。

Guzzle中文手册:http://guzzle-cn.readthedocs.io/zh_CN/latest/

安装

  1. //安装QueryList
  2. composer require jaeger/querylist
  3. //安装Guzzle
  4. composer require guzzlehttp/guzzle

使用

  1. <?php
  2. require 'vendor/autoload.php';
  4. //实例化一个Http客户端
  5. $client = new GuzzleHttp\Client(['base_uri' => 'https://phphub.org']);
  7. $jar = new \GuzzleHttp\Cookie\CookieJar();
  9. //发送一个Http请求
  10. $response = $client->request('GET', '/categories/6', [
  11.     'headers' => [
  12.         'User-Agent' => 'testing/1.0',
  13.         'Accept'     => 'application/json',
  14.         'X-Foo'      => ['Bar', 'Baz']
  15.     ],
  16.     'form_params' => [
  17.         'foo' => 'bar',
  18.         'baz' => ['hi', 'there!']
  19.     ],
  20.     // 'cookies' => $jar,
  21.     'timeout' => 3.14,
  22.     // 'proxy' => 'tcp://localhost:8125',
  23.     // 'cert' => ['/path/server.pem', 'password'],
  24. ]);
  26. $body = $response->getBody();
  28. //获取到页面源码
  29. $html = (string)$body;
  31. //采集规则
  32. $rules = array(
  33.     //文章标题
  34.     'title' => ['.media-heading a','text'],
  35.     //文章链接
  36.     'link' => ['.media-heading a','href'],
  37.     //文章作者名
  38.     'author' => ['.img-thumbnail','alt']
  39. );
  40. //列表选择器
  41. $rang = '.topic-list>li';
  42. //采集
  43. $data = \QL\QueryList::Query($html,$rules,$rang)->data;
  44. //查看采集结果
  45. print_r($data);

结果:

  1. Array
  2. (
  3.     [0] => Array
  4.         (
  5.             [title] => 好友动态的实现原理
  6.             [link] => https://phphub.org/topics/2750
  7.             [author] => luo975974740
  8.         )
  10.     [1] => Array
  11.         (
  12.             [title] => 打造完美的 Ubuntu16.04 开发环境【持续更新】
  13.             [link] => https://phphub.org/topics/2723
  14.             [author] => liuwantao
  15.         )
  17.     //省略........
  19.      [19] => Array
  20.         (
  21.             [title] => [Laravel 5.3 新功能] 10. 全文搜索方案 Laravel Scout 介绍
  22.             [link] => https://phphub.org/topics/2673
  23.             [author] => monkey
  24.         )
  25. )