nginx禁止某些User Agent抓取网站
我们都知道网络上的爬虫非常多,有对网站收录有益的,比如百度蜘蛛(Baiduspider),也有不但不遵守robots规则对服务器造成压力,还不能为网站带来流量的无用爬虫,比如宜搜蜘蛛(YisouSpider)(最新补充:宜搜蜘蛛已被UC神马搜索收购!所以本文已去掉宜搜蜘蛛的禁封!==>相关文章)。最近发现nginx日志
Category
当前分类下的文章。
我们都知道网络上的爬虫非常多,有对网站收录有益的,比如百度蜘蛛(Baiduspider),也有不但不遵守robots规则对服务器造成压力,还不能为网站带来流量的无用爬虫,比如宜搜蜘蛛(YisouSpider)(最新补充:宜搜蜘蛛已被UC神马搜索收购!所以本文已去掉宜搜蜘蛛的禁封!==>相关文章)。最近发现nginx日志
<h1>docker基本概念</h1> <ul> <li>镜像(image)</li> <li>容器(container)</li> <li>仓库(repository) 理解了这三个概念,就理解了docker的整个生命周期</li> </ul> <h3>镜像(image)</h3> <ul> <li>docke
<h1>镜像加速器</h1> <blockquote> 国内从docker hub 拉取镜像有时会遇到困难,网络延迟高,下载镜像慢,此时可以配置镜像加速器。docker官方和国内很多云服务商都提供了国内加速服务,列如: </blockquote> <ul> <li><a href="https://docs.d
<h1>简介</h1> <h3>什么是docker</h3> <blockquote> docker最初是dotcloud公司的创始人Solomon Hykes 在法国期间发起的一个公司内部项目,它是基于dotcloud公司多年云服务的一次革新,并与<a href="https://en.wikipedia.o
<ol start="1."> <li>MySQLdump常用用法</li> </ol start="1."> <blockquote> 导出整个数据库(包括数据库中数据) </blockquote> <pre class="line-numbers prism-highlight" data-start="1
<pre class="prism-highlight line-numbers"><code class="language-bash">#!/bin/bash pat="/data/wordpress" date=$(date +%F) pat_tar="/data/bak" tar_pat="/data/bak/
wordpress固定连接设置对SEO有一定的影响。在网上看了下这方面的知识,特地给搭建分享一下。 <blockquote> 固定连接设置原则 - 不要让日期出现在固定连接里面 这个基于两个方面考虑,一是如果数字出现在固定连接里面,等于提醒了搜索引擎这个是一片很久的文章。另一个就是你如果修改了文章的日期的
<blockquote> 更改固定连接的使用技巧可以参考: <a href=https://www.ywcsb.vip/blog/17.html" title="wordpress固定连接更改的技巧">wordpress固定连接更改的技巧</a> 修改完固定连接之后出现了一个问题,访问文章的时候出现了
<blockquote> nginx可以根据客户端IP进行负载均衡,在upstream里面设置ip_hsah,就可以针对同一个C类地址中的客户端选择同一个后端的服务器,除非后端服务器宕机才会换另一个。 nginx的upstream目前支持的5中方式的分配 - 轮询(默认) 每个请求按时间顺序逐一分配到不
nginx负载均衡可以查考:[Nginx负载均衡](https://www.ywcsb.vip/blog/15.html "Nginx负载均衡") ##### 配置php-fpm1和php-fpm2的www.conf配置文件 > 主要设计到配置的是listen和listen.allowed_clients list