快捷导航
查看: 72|回复: 19

谷歌蜘蛛IP北京(谷歌蜘蛛会影响百度蜘蛛吗)

[复制链接]

1万

主题

0

回帖

1万

积分

论坛元老

积分
11635
发表于 2023-9-8 20:19:58 | 显示全部楼层 |阅读模式
<p>
    一、环境准备
   </p><p>
    我们需要一个nginx的模块来进行设置,ngx_http_google_filter_module。前
   </p><p>
    提我们是有一个海外的VPS,并且可以访问谷歌,我的VPS是亿速云香港的。
   </p><p>
    首先先感受一下我的成果吧,请点击http://google.qinyj.top
   </p><p>
    二、软件安装
   </p><p>
    我的操作系统是CentOS 6.x 64位操作系统,如果为了快速搭建的话,直接使用我编译好的RPM包,可以加我VX索取,几分钟就可以搞定。
   </p><p>
<code>
     cd /root/
    </code>
</p><p>
<code>
     wget http://nginx.org/download/nginx-1.7.8.tar.gz
    </code>
</p><p>
<code>
     git clone https://github.com/cuber/ngx_http_google_filter_module
    </code>
</p><p>
<code>
     git clone https://github.com/yaoweibin/ngx_http_substitutions_filter_module
    </code>
<code>
     tar xzf nginx-1.7.8.tar.gz
    </code>
</p><p>
<code>
     cd nginx-1.7.8
    </code>
</p><p>
<code>
     ./configure\
    </code>
</p><p>
<code>
     --prefix=/usr/local/nginx\
    </code>
</p><p>
<code>
     --user=nginx \
    </code>
</p><p>
<code>
     --group=nginx \
    </code>
</p><p>
<code>
     --with-http_ssl_module \
    </code>
</p><p>
<code>
     --with-http_flv_module \
    </code>
</p><p>
<code>
     --with-http_stub_status_module \
    </code>
</p><p>
<code>
     --with-http_gzip_static_module \
    </code>
</p><p>
<code>
     --with-pcre \
    </code>
</p><p>
<code>
     --add-module=/root/ngx_http_google_filter_module\
    </code>
</p><p>
<code>
     --add-module=/root/ngx_http_substitutions_filter_module
    </code>
</p><p>
<code>
     make &amp;&amp; make install
    </code>
</p><p>
    三、配置nginx
   </p><p>
    1 vim /usr/local/nginx/conf/nginx.conf
   </p><p>
    在http模块里面增加如下内容
   </p><p>
<code>
     upstream google {
    </code>
</p><p>
<code>
     server 173.194.38.1;
    </code>
</p><p>
<code>
     server 173.194.38.2;
    </code>
</p><p>
<code>
     server 173.194.38.3;
    </code>
</p><p>
<code>
     server 173.194.38.4; #通过dig -t A www.google.com获取谷歌的IP地址
    </code>
<code>
     }
    </code>
</p><p>
<code>
     server {
    </code>
</p><p>
<code>
     resolver 8.8.8.8;
    </code>
</p><p>
<code>
     location / {
    </code>
</p><p>
<code>
     google on; #启用谷歌镜像功能
    </code>
</p><p>
<code>
     #google_scholar on; #启用谷歌学术搜索,可以不设定
    </code>
</p><p>
<code>
     #google_robots_allow on; #允许蜘蛛爬镜像站点,可以不设定
    </code>
</p><p>
<code>
     google_language en; #设定谷歌的语言,语言可以自己随意定义,支持的语言请看附录
    </code>
</p><p>
<code>
     #google_ssl_off "google"; #不适用https访问
    </code>
<code>
     }
    </code>
<code>
     }
    </code>
</p><p>
<code>
     server {
    </code>
</p><p>
<code>
     listen 80;
    </code>
</p><p>
<code>
     server_name google.qinyj.top;
    </code>
</p><p>
<code>
     location / {
    </code>
</p><p>
<code>
     proxy_pass http://google; #反向代理到upstream
    </code>
<code>
     }
    </code>
</p><p>
<code>
     }
    </code>
</p><p>
<img image_type="1" img_height="315" img_width="816" mime_type="image/png" src="https://p3-sign.toutiaoimg.com/39b60000bc33150c80b8~tplv-tt-origin-asy1:5aS05p2hQOWQg-WWneeOqeS5kOS4g2lu56em.image?_iz=58558&amp;from=article.pc_detail&amp;x-expires=1693836867&amp;x-signature=66uar83f0pSg6Vr8dYDY9OKD3Hg%3D" web_uri="39b60000bc33150c80b8"/>
</p>

1

主题

2598

回帖

3902

积分

论坛元老

积分
3902
发表于 2023-9-22 02:51:47 | 显示全部楼层
沙发!沙发!

1

主题

2654

回帖

3986

积分

论坛元老

积分
3986
发表于 2023-10-16 13:31:31 | 显示全部楼层
学习了,谢谢分享、、、

1

主题

2562

回帖

3848

积分

论坛元老

积分
3848
发表于 2023-10-16 13:31:57 | 显示全部楼层
谢谢楼主,共同发展

1

主题

2530

回帖

3800

积分

论坛元老

积分
3800
发表于 2023-10-16 13:32:01 | 显示全部楼层
我是个凑数的。。。

1

主题

2762

回帖

4148

积分

论坛元老

积分
4148
发表于 2023-10-16 13:32:51 | 显示全部楼层
这真是不错,顶给需要的人

1

主题

2706

回帖

4064

积分

论坛元老

积分
4064
发表于 2023-10-17 00:39:34 | 显示全部楼层
看帖回帖是美德!

1

主题

2636

回帖

3959

积分

论坛元老

积分
3959
发表于 2023-10-17 00:39:54 | 显示全部楼层
好帖,来顶下

1

主题

2606

回帖

3914

积分

论坛元老

积分
3914
发表于 2023-10-17 00:40:00 | 显示全部楼层
难得一见的好帖

1

主题

2532

回帖

3803

积分

论坛元老

积分
3803
发表于 2023-10-17 00:40:23 | 显示全部楼层
不错,支持下楼主
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

站点统计|Archiver|手机版|小黑屋|聚云老站长 ( 粤ICP备2023011934号-1 )

GMT+8, 2024-5-17 13:30 , Processed in 0.657222 second(s), 24 queries .

快速回复 返回顶部 返回列表