方法一：修改nginx.conf，禁止网络爬虫的ua，返回403。
　　server {
　　listen 80;
　　server_name 127.0.0.1;
　　#添加如下内容即可防止爬虫
　　if ($http_user_agent ~* ＂qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot＂)
　　{
　　return 403;
　　}
　　方法2：网站更目录下增加Robots.txt，放在站点根目录下。
　　在http://tool.chinaz.com/robots/站点可以针对现在的搜索引擎按照想要的规则生成robots.txt文件。
　　知识扩展：robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
　　当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。百度官方建议，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
　　Robots协议是国际互联网界通行的道德规范，基于以下原则建立：
　　1、搜索技术应服务于人类，同时尊重信息提供者的意愿，并维护其隐私权；
　　2、网站有义务保护其使用者的个人信息和隐私不被侵犯。
　　当然，如果搜索引擎不遵守约定的Robots协议，那么通过在网站下增加robots.txt也是不起作用的。（在正式环境中，可以适当允许搜索引擎抓取收录）

高通骁龙两款中低端芯片曝光，支持高刷新率现如今，高通凭借着强劲的技术积累和优势霸占安卓高端旗舰，甚至中低端市场也有不少份额。联发科凭借着价格优势在中低端市场也有一定的市场基础，但是始终不敌高通。近日又有爆料称，高通正在研银行卡插卡前先按取消键两次，否则密码容易被盗，是真的吗？银行卡插卡前先按取消键两次，否则密码容易被盗？以一个资深从业人员的身份告诉你，这个说法是没有依据的，是不科学的。首先道理很简单，假如上述说法成立有效，那么为何官方（银行）不广而告之再过若干年，电视机会不会被手机彻底淘汰掉？电视淘汰这种情况可以说概率极低，再过若干年电视只会在功能上越来越全面化，智能电视的推出也是将这个传统的家电产品重新定位了方向，所以我们能够发现，现在的电视可以观看电视直播节目并且还iPhoneXsMax更新14。8系统的个人体验感受往下看是我个人的体验原本是14。6的，手机不发烫，打一把王者耗电百分10，更新14。8耗电百分13明显增多了还比14。6烫一点，画面也变暗了很多，颜色也没有以前那么光亮了，不知道还苹果13发布后，苹果12什么时候降价最猛苹果13现在已经发布，很多人都在想，现在捡漏的机会已经到了！苹果12已经全系降价，那么究竟什么时候降价呢？苹果12在官网已经全系降价一千元，这也就导致了二手的苹果手机也在不停降价，推荐5款顶尖黑科技app，每一款都精挑细选手机里的app很多，但是真正好用的有吗？这里就来分享5款顶尖黑科技app，每一款都好用到爆，建议你低调使用。1Snapseed适用安卓ios特点专业的照片编辑工具一款备受好评且功能资本家的喉舌，终于盯上了我们睡觉的时间了劳动节，腾讯公关总监张军说当我们忙着做各种致敬青年的策划时，青年们正在睡觉。一石激起千层浪，网上骂上一片。显然这届年轻人越来越不肯买账，毕竟任谁想想都细思极恐，究竟在什么样的情况下又一K12在线品牌停了CEO决定下农村记者张旋我个人已经计划扫尾工作结束后去山区支教12年时间，为国家共同富裕目标做些自己的贡献。东方优播（新东方在线旗下）决定关闭K12学科培训后，新东方在线副总裁东方优播CEO朱宇做为什么银行的支付软件云闪付一直不温不火？火不火先不说，云闪付就压根不是银行的啊捂脸我是20年初开始用的银联的云闪付，第一次用是因为可以一分钱坐地铁，后来研究了一下发现云闪付真的不错，能统计你绑定的所有卡的消费记录，信用卡华为新出的一体机电脑有哪些优点？性价比高吗？说句大家不爱听的，华为的产品压根就没啥性价比！再说了，华为这一体机都9999起了，这个价格的产品再怎么好也说不上性价比吧，实在太牵强了。MateStationX对标iMac，优点都针对华为6G技术，任正非表明强硬态度，任老的确是高瞻远瞩虽然很多用户还没有升级5G网络，但不可否认，5G在科研领域已经是过去式，6G已然到来。不过，这也让很多用户心生疑问，都还没用上5G，6G的研究真的有必要吗？对于这一普遍疑问，华为创