第279章 未雨绸缪
推荐阅读：深空彼岸、明克街13号、最强战神、渡劫之王、天下第一、万族之劫、重生之都市仙尊、好想住你隔壁、特种奶爸俏老婆、妖夏
一秒记住【笔趣阁 www.xbiqugex.com】，精彩小说无弹窗免费阅读！
“嗯……其实我们还缺一块，需要有自己的媒体，另外游戏社区的建设也要加速，保证能跟上我们的步伐。
……几位如果有认识的人才，欢迎推荐，推荐成功奖励还是不少的，哈……”
内部推荐奖励是个很常见的事情，各大互联网公司基本都有一套奖励机制。
陆道升笑并不是嘉盛的机制有什么特殊，而是笑目前拿到这个奖励最多的人居然是自己的舅舅张瑞安。
一次闲聊天时，陆道升跟张瑞安吐苦水说人才难招，自己老早弄了一个游戏网站，为了做起来还准备了些翻译的资料以及用hao123进行引流，但是一直未见起色。
反思其原因，和自己精力实在是被牵扯太多，没工夫管关系很大，再一个就是自己没有那种恨不得泡在游戏里或是热爱刷论坛的状态，GET不到用户真正的点。
网游网站做得不成功，作为重生者居然没有攻无不克战无不胜，失落多少是有一些的。
不过说完也就说完了，陆道升成年人一个，吐槽也就排解一下郁闷。
但是言者无心听者有意，张瑞安回去自己琢磨了一下，觉得陆道升是头疼找不到痴迷游戏的又喜欢泡论坛的人。
这样的人在网吧里容易发现……而张瑞安恰巧还是遍及全国的星海潮网吧的老板……
很快嘉盛就有了合适的进行游戏论坛运营的人才，游戏网站在经过几次改版升级后，获得了新生。
嗯……升总之游戏论坛搞出声色来还是值得开心的，没能复刻众多重生小说中言出法随心想事成的激爽剧情，陆道升假装自己一点都不失落。
不过虽然捡了便宜，陆道升还是劝张瑞安尽早出手星海潮网吧。
网吧现在确实日进斗金而且还没发新批到网吧证，香得不行，但是陆道升还是觉得现在卖了去市中心换成房子铺面更省心省力。
“传媒这块吧，我也没有很好的想法，不太清楚该怎么做。
嗯……其实可以去问问林筱笑的导师，看看能不能从浦外的新闻系那里找人才……之前没想到……”
停下思考了一会儿，陆道升想到了另一个事情。
“对了，说道传媒我想到另外一个事儿，反爬虫。
今后做了内容发布到网上肯定会被搜索引擎爬取嘛，我们需要未雨绸缪，提前进行反爬虫技术的研发。
琦哥，这事儿交给你了。”
话说谷歌在国内已经没有几天好蹦跶了，今后嘉盛在国内面对的搜索引擎除了自家的寻知，就剩下百度，未来可能会有360搜索引擎，如果自己没来得及彻底剿灭周教主的话。
不论是百度搜索引擎还是360搜素引擎，在陆道升看来都不是什么好鸟，提前防范一下很有必要。
要提供搜索引擎服务，需要解决数据的搜集和数据的组织两个大问题。
其中数据的搜集即指的是使用爬虫来对互联网网站内容进行爬取，搜集到自家的后台中。
数据的组织即如何将爬取下的海量数据进行处理，以使得用户能通过搜索快速获得高相关性的结果。
陆道升要提前做好针对准备的就是百度的数据搜集过程，即通过反爬虫机制来限制百度对嘉盛旗下网站的内容爬取。
这并不是对百度的进攻性策略，而是一种自保的防御手段。
前世曾爆出国内某搜索引擎大量采用快照的形式来承接用户的点击跳转，大量屏蔽了用户对原网站的访问的事件。
快照本来是搜索引擎为了应对一些网络连接或是网站失效等问题，将网站内容缓存在搜索引擎服务器上提供给用户，以保障用户搜索体验的方式。
但是刻意的滥用，就会变成对原网站的剥削吸血，用了你的内容还不给你流量，把流量带来的各类收益（例如业务推广、广告收入等）全部拦截。
也许有人会问，那既然这样，能不能就不让搜索引擎爬取网站内容，这样就没有快照，用户也只能来到网站进行访问。
这么干不是不行，可以采取robots协议实现。
简单来说，在搜索行业里存在一种robots协议，按照协议规范在网站的目录下部署robots.txt文件，告知搜索引擎的爬虫哪些内容不应被爬取。
即便有robots协议，爬虫还是可以爬取网站内容，但是搜索引擎服务却不能将爬取到的内容进行展现，否则就可以直接去法院把搜索引擎公司告得灰头土脸。
但由于在PC互联网时代的中后期，搜索引擎就是最大的互联网流量入口，拥有互联网上最强大的话语权。
中小网站如果拒绝搜索引擎的爬取，其实和自绝于互联网没啥两样。
如果网站的拥有者还希望网站能被人们访问到的话，就只能乖乖接受搜索引擎的爬取，并祈祷搜索引擎公司足够讲道理，不过分使用快照等方式进行截流。
其实robots协议里存在白名单的机制，看上去嘉盛可以只允许自家的搜索引的爬虫进行爬取，拒绝其他搜索引擎的爬虫。
但实际上这一点也是行不通的。
前世为了打击360，百度就曾使用robots协议白名单，禁止360抓取百度百科、百度贴吧和百度知道的内容，而谷歌、Bing、搜狗和搜搜等搜索引擎还可以自由抓取。
360认为百度对robots协议的使用具有歧视性而拒绝遵守，百度也因此起诉360不遵守robots协议。
本来robots协议作为行业通用守则，虽然不具备明确的法律效力，但是依然非常具有参考价值，百度觉得赢面很大。
但双方对簿公堂后，由于百度难以“证明竞争对手的行为具有不正当性”，无法支持采取针对性限制360爬虫措施的正当性，所以最终没能借助法律手段达到阻拦360的目的。
2014年8月7日法院对百度诉360案做出的一审判决：回百度有关不正当竞争的诉求，判定其必须修改爬虫协议。
同时，法院认为360强制采用网页快照，已经超出网页快照的合理范围，违反了反不正当竞争法，因而判决向百度赔偿70万元。
陆道升知道采用robots协议白名单的方式最终不会有效果，也没有兴趣辛苦嘉盛的法务部累死累活就弄个70万的赔偿回来，比起流量损失真不够塞牙的。
还是直接采取反爬虫机制来从根子上保护自家的内容比较靠谱。
至于说反爬虫机制会不会影响自家搜索引擎的爬取，嘿嘿。
说完反爬虫后又讲了一会儿，陆道升完成了对主要想法的说明，坐下喝了口水润了润喉咙。
“呼……”
“我今天就说这些吧，下面谁还有事情想说的？”
一直以来高层会议发言最少的张小龙居然率先开口了。
“道升，我有个事想讨论一下……”
“嗯……其实我们还缺一块，需要有自己的媒体，另外游戏社区的建设也要加速，保证能跟上我们的步伐。
……几位如果有认识的人才，欢迎推荐，推荐成功奖励还是不少的，哈……”
内部推荐奖励是个很常见的事情，各大互联网公司基本都有一套奖励机制。
陆道升笑并不是嘉盛的机制有什么特殊，而是笑目前拿到这个奖励最多的人居然是自己的舅舅张瑞安。
一次闲聊天时，陆道升跟张瑞安吐苦水说人才难招，自己老早弄了一个游戏网站，为了做起来还准备了些翻译的资料以及用hao123进行引流，但是一直未见起色。
反思其原因，和自己精力实在是被牵扯太多，没工夫管关系很大，再一个就是自己没有那种恨不得泡在游戏里或是热爱刷论坛的状态，GET不到用户真正的点。
网游网站做得不成功，作为重生者居然没有攻无不克战无不胜，失落多少是有一些的。
不过说完也就说完了，陆道升成年人一个，吐槽也就排解一下郁闷。
但是言者无心听者有意，张瑞安回去自己琢磨了一下，觉得陆道升是头疼找不到痴迷游戏的又喜欢泡论坛的人。
这样的人在网吧里容易发现……而张瑞安恰巧还是遍及全国的星海潮网吧的老板……
很快嘉盛就有了合适的进行游戏论坛运营的人才，游戏网站在经过几次改版升级后，获得了新生。
嗯……升总之游戏论坛搞出声色来还是值得开心的，没能复刻众多重生小说中言出法随心想事成的激爽剧情，陆道升假装自己一点都不失落。
不过虽然捡了便宜，陆道升还是劝张瑞安尽早出手星海潮网吧。
网吧现在确实日进斗金而且还没发新批到网吧证，香得不行，但是陆道升还是觉得现在卖了去市中心换成房子铺面更省心省力。
“传媒这块吧，我也没有很好的想法，不太清楚该怎么做。
嗯……其实可以去问问林筱笑的导师，看看能不能从浦外的新闻系那里找人才……之前没想到……”
停下思考了一会儿，陆道升想到了另一个事情。
“对了，说道传媒我想到另外一个事儿，反爬虫。
今后做了内容发布到网上肯定会被搜索引擎爬取嘛，我们需要未雨绸缪，提前进行反爬虫技术的研发。
琦哥，这事儿交给你了。”
话说谷歌在国内已经没有几天好蹦跶了，今后嘉盛在国内面对的搜索引擎除了自家的寻知，就剩下百度，未来可能会有360搜索引擎，如果自己没来得及彻底剿灭周教主的话。
不论是百度搜索引擎还是360搜素引擎，在陆道升看来都不是什么好鸟，提前防范一下很有必要。
要提供搜索引擎服务，需要解决数据的搜集和数据的组织两个大问题。
其中数据的搜集即指的是使用爬虫来对互联网网站内容进行爬取，搜集到自家的后台中。
数据的组织即如何将爬取下的海量数据进行处理，以使得用户能通过搜索快速获得高相关性的结果。
陆道升要提前做好针对准备的就是百度的数据搜集过程，即通过反爬虫机制来限制百度对嘉盛旗下网站的内容爬取。
这并不是对百度的进攻性策略，而是一种自保的防御手段。
前世曾爆出国内某搜索引擎大量采用快照的形式来承接用户的点击跳转，大量屏蔽了用户对原网站的访问的事件。
快照本来是搜索引擎为了应对一些网络连接或是网站失效等问题，将网站内容缓存在搜索引擎服务器上提供给用户，以保障用户搜索体验的方式。
但是刻意的滥用，就会变成对原网站的剥削吸血，用了你的内容还不给你流量，把流量带来的各类收益（例如业务推广、广告收入等）全部拦截。
也许有人会问，那既然这样，能不能就不让搜索引擎爬取网站内容，这样就没有快照，用户也只能来到网站进行访问。
这么干不是不行，可以采取robots协议实现。
简单来说，在搜索行业里存在一种robots协议，按照协议规范在网站的目录下部署robots.txt文件，告知搜索引擎的爬虫哪些内容不应被爬取。
即便有robots协议，爬虫还是可以爬取网站内容，但是搜索引擎服务却不能将爬取到的内容进行展现，否则就可以直接去法院把搜索引擎公司告得灰头土脸。
但由于在PC互联网时代的中后期，搜索引擎就是最大的互联网流量入口，拥有互联网上最强大的话语权。
中小网站如果拒绝搜索引擎的爬取，其实和自绝于互联网没啥两样。
如果网站的拥有者还希望网站能被人们访问到的话，就只能乖乖接受搜索引擎的爬取，并祈祷搜索引擎公司足够讲道理，不过分使用快照等方式进行截流。
其实robots协议里存在白名单的机制，看上去嘉盛可以只允许自家的搜索引的爬虫进行爬取，拒绝其他搜索引擎的爬虫。
但实际上这一点也是行不通的。
前世为了打击360，百度就曾使用robots协议白名单，禁止360抓取百度百科、百度贴吧和百度知道的内容，而谷歌、Bing、搜狗和搜搜等搜索引擎还可以自由抓取。
360认为百度对robots协议的使用具有歧视性而拒绝遵守，百度也因此起诉360不遵守robots协议。
本来robots协议作为行业通用守则，虽然不具备明确的法律效力，但是依然非常具有参考价值，百度觉得赢面很大。
但双方对簿公堂后，由于百度难以“证明竞争对手的行为具有不正当性”，无法支持采取针对性限制360爬虫措施的正当性，所以最终没能借助法律手段达到阻拦360的目的。
2014年8月7日法院对百度诉360案做出的一审判决：回百度有关不正当竞争的诉求，判定其必须修改爬虫协议。
同时，法院认为360强制采用网页快照，已经超出网页快照的合理范围，违反了反不正当竞争法，因而判决向百度赔偿70万元。
陆道升知道采用robots协议白名单的方式最终不会有效果，也没有兴趣辛苦嘉盛的法务部累死累活就弄个70万的赔偿回来，比起流量损失真不够塞牙的。
还是直接采取反爬虫机制来从根子上保护自家的内容比较靠谱。
至于说反爬虫机制会不会影响自家搜索引擎的爬取，嘿嘿。
说完反爬虫后又讲了一会儿，陆道升完成了对主要想法的说明，坐下喝了口水润了润喉咙。
“呼……”
“我今天就说这些吧，下面谁还有事情想说的？”
一直以来高层会议发言最少的张小龙居然率先开口了。
“道升，我有个事想讨论一下……”