第六章 数据地图
推荐阅读：
一秒记住【笔趣阁 www.xbiqugex.com】，精彩小说无弹窗免费阅读！
文承回过神来，重新整理思路。
既然是失踪案，那就换一个出发点，从失踪抓起。
他打开新闻站，发现密密麻麻早已铺满了各种各样失踪的新闻和求助帖子。
「城西两名高中生已经失联三天，最后一次出现是放学结伴去的游戏厅，家长已将周边游戏厅搜遍，仍未现身。」
「城东女子赵某两天前出门夜跑后再也没回家，警方根据其男友提供的常用夜跑路线展开搜索，未见踪迹。」
「19岁女孩夜间上出租车后失踪，出租车的GPS信号也在案发当晚离奇消失，目前仍在进一步搜索中。」
「14岁的初中女孩小韩，四天前放学回家途中走丢。」
「钱唐市警方提示，最近城西和城南地区犯罪分子猖獗，夜间出行要结伴，注意安全。」
他皱着眉头一篇一篇看着，突然露出兴奋的笑，快速在白纸上画出路径图。
忍住冲动的喜悦，首先打开爬虫软件，软件图标虽然是个小蜘蛛，不过倒也没那么令人心慌，不过是顺藤摸瓜抓取信息的可爱小工具而已。
什么？会员到期了？
文承露出不满，一个月都得一百多元的会员费，不能就此放过，可是自己口袋里也就几百块零花钱了都是省吃俭用拼出来的，如果跟母亲要钱买软件总觉得很奇怪吧。
既然没钱，那就自己做一个。文承咬着牙用力点头，舒展手指，跃跃欲试。
开源框架很多，短板在主机的配置和调试上，各种版本各种语言的爬虫都有，冗余是最大的敌人，尤其是要装在文承那个可怜巴巴的远程主机，小水管的带宽和小松鼠心脏一样的配置。
他苦笑了一下，对更适合爬虫的python自然是不熟悉的，他在开源网站上找到熟悉的php版，作者是一个印度孩子，不同的主机操作系统，远程安装的命令都不一样，好在开源网站支持远程克隆，一瞬间部署完毕。
奇怪，硬是没起作用？果然是系统不对，为了用Torch开发人工智障，文承已经忍痛洗成乌班图了，如今又要回到php可不又得换回tOS才好么，男孩捶了自己胸口一下，将那些被同学称为人工智障的诗篇一一备份存好，重装主机。
20分钟过去，爬虫部署完毕，文承测试了一个本地新闻站，路径设置是比较困难的，不同网站的页面结构有所不同，有些标题的Css属性都是乱写的，他一边忍着怒气一边一个一个调整好，过了半个小时，三个新闻站已经爬取完毕，最近7天只要带着失踪两字的新闻全都被抓下来。
趁热打铁，他又添加了十个本地新闻站和两个本地论坛，两三个网站的反爬虫机制很厉害，不到一分钟就被禁止访问了，他苦笑了一声耸了耸肩，无论如何已经有上千条新闻进来了。
新闻抓取，达成！文承带着明亮的眼眸笑着，带着欣喜回望了身后熟睡的女孩们，又紧握拳头再次振作。
接下来是提取工作，首先是去重，用distinct命令就可以。去重之后剩下700多条新闻和帖子，他倒吸一口凉气。
短短几天，全市竟然发生了700多起失踪案！
提取工作最难的一部分是地点识别，他没有字典，如果是有物流公司的数据就好了——思忖片刻，问题很快解决。
他打开无极公司的地图网页，找到API接口，用网页提取的方式将钱唐市的所有街道小区名、路名、饭馆名、桥名、河名全部提取下来，毕竟工作量不大，于是他连公共厕所也没有放过。导入新的数据表后，自制的字典完成。
借着字典和熟悉的命令，几十万字的新闻在5分钟化为700个零碎地名的文件，再次去重之后，只剩下500多个地名。
早知道刚刚顺便把坐标也提取下来了，文承挑了挑漫不经心的眉毛，喝了一口茶舒展身体，靠着椅背略微休息一会回到屏幕前，重新调用无极公司的API。
这才发现无极公司早就提供了数据地图的功能，作为测试版本还是免费的，文承露出欣喜的笑容，他重新下载好地名的数据包，再次敲击好命令之后，500多个地名后面纷纷出现对应的GPS坐标。
从开始到现在一共过去了两个小时，文承望着屏幕上密密麻麻标着红点的地图露出兴奋的笑，如此短的时间内取得如此进展真是叹为观止！这是过去以往都没有达到的推进速度。
看着屏幕，文承喜悦的嘴巴逐渐大张，满脸惊恐。
红点分布一共呈现出多个大圆，大多分布在城南城西，离自己最近的圆，其圆心是自己家南侧两个街区的十字路口，半径在两公里左右，无论是学校、自己家都被覆盖！
最后是数据拟合，不管怎么样数据都是符合幂律分布的，他首先删去除了其他地方的数据，只剩下自己所在片区的一个圆，他将噪点中心都去掉，只剩下最外围的点状分布，拼成一个圆环的轮廓，圆形拟合可以使用最小二乘法，他还没用过这样的公式，文承皱起眉头。
他快速搜索到最小二乘法的原理，花了十几分钟快速啃完，接着来到开源代码网站，却找不到php版本的，有的是C语言版本，他还不是很熟，不过原理是相通的，更何况直接应用就可以，根本不需要二次开发。
他深吸一口气，下载了matb之后将数据重新导入，一个清脆的回车键，拟合结束！
文承看着屏幕上一个完美的圆形满意地笑起来，揉了揉眼睛，将数据再次导入地图。
地图上的圆心名叫远拓大厦，
文承突然想起来，那是一个烂尾楼。
将结果保存后关了电脑，忍住将答案告诉熟睡女孩的冲动，文承来到房门外悄悄关了门，来到沙发上躺下。
他看了看手机，已是凌晨五点，即便是一个小时，还是够睡的。
兴奋的情绪似乎是小鬼的舞蹈一样纠缠在脑中，文承无论怎么努力闭上眼睛都沉不下心，他在手机上胡乱翻着，突然翻到了前阵子刚拍下的一个女孩的照片，一下子就平静下来，他就那样静静地静静地看着，心绪逐渐平稳，困意排山倒海般涌来。
文承回过神来，重新整理思路。
既然是失踪案，那就换一个出发点，从失踪抓起。
他打开新闻站，发现密密麻麻早已铺满了各种各样失踪的新闻和求助帖子。
「城西两名高中生已经失联三天，最后一次出现是放学结伴去的游戏厅，家长已将周边游戏厅搜遍，仍未现身。」
「城东女子赵某两天前出门夜跑后再也没回家，警方根据其男友提供的常用夜跑路线展开搜索，未见踪迹。」
「19岁女孩夜间上出租车后失踪，出租车的GPS信号也在案发当晚离奇消失，目前仍在进一步搜索中。」
「14岁的初中女孩小韩，四天前放学回家途中走丢。」
「钱唐市警方提示，最近城西和城南地区犯罪分子猖獗，夜间出行要结伴，注意安全。」
他皱着眉头一篇一篇看着，突然露出兴奋的笑，快速在白纸上画出路径图。
忍住冲动的喜悦，首先打开爬虫软件，软件图标虽然是个小蜘蛛，不过倒也没那么令人心慌，不过是顺藤摸瓜抓取信息的可爱小工具而已。
什么？会员到期了？
文承露出不满，一个月都得一百多元的会员费，不能就此放过，可是自己口袋里也就几百块零花钱了都是省吃俭用拼出来的，如果跟母亲要钱买软件总觉得很奇怪吧。
既然没钱，那就自己做一个。文承咬着牙用力点头，舒展手指，跃跃欲试。
开源框架很多，短板在主机的配置和调试上，各种版本各种语言的爬虫都有，冗余是最大的敌人，尤其是要装在文承那个可怜巴巴的远程主机，小水管的带宽和小松鼠心脏一样的配置。
他苦笑了一下，对更适合爬虫的python自然是不熟悉的，他在开源网站上找到熟悉的php版，作者是一个印度孩子，不同的主机操作系统，远程安装的命令都不一样，好在开源网站支持远程克隆，一瞬间部署完毕。
奇怪，硬是没起作用？果然是系统不对，为了用Torch开发人工智障，文承已经忍痛洗成乌班图了，如今又要回到php可不又得换回tOS才好么，男孩捶了自己胸口一下，将那些被同学称为人工智障的诗篇一一备份存好，重装主机。
20分钟过去，爬虫部署完毕，文承测试了一个本地新闻站，路径设置是比较困难的，不同网站的页面结构有所不同，有些标题的Css属性都是乱写的，他一边忍着怒气一边一个一个调整好，过了半个小时，三个新闻站已经爬取完毕，最近7天只要带着失踪两字的新闻全都被抓下来。
趁热打铁，他又添加了十个本地新闻站和两个本地论坛，两三个网站的反爬虫机制很厉害，不到一分钟就被禁止访问了，他苦笑了一声耸了耸肩，无论如何已经有上千条新闻进来了。
新闻抓取，达成！文承带着明亮的眼眸笑着，带着欣喜回望了身后熟睡的女孩们，又紧握拳头再次振作。
接下来是提取工作，首先是去重，用distinct命令就可以。去重之后剩下700多条新闻和帖子，他倒吸一口凉气。
短短几天，全市竟然发生了700多起失踪案！
提取工作最难的一部分是地点识别，他没有字典，如果是有物流公司的数据就好了——思忖片刻，问题很快解决。
他打开无极公司的地图网页，找到API接口，用网页提取的方式将钱唐市的所有街道小区名、路名、饭馆名、桥名、河名全部提取下来，毕竟工作量不大，于是他连公共厕所也没有放过。导入新的数据表后，自制的字典完成。
借着字典和熟悉的命令，几十万字的新闻在5分钟化为700个零碎地名的文件，再次去重之后，只剩下500多个地名。
早知道刚刚顺便把坐标也提取下来了，文承挑了挑漫不经心的眉毛，喝了一口茶舒展身体，靠着椅背略微休息一会回到屏幕前，重新调用无极公司的API。
这才发现无极公司早就提供了数据地图的功能，作为测试版本还是免费的，文承露出欣喜的笑容，他重新下载好地名的数据包，再次敲击好命令之后，500多个地名后面纷纷出现对应的GPS坐标。
从开始到现在一共过去了两个小时，文承望着屏幕上密密麻麻标着红点的地图露出兴奋的笑，如此短的时间内取得如此进展真是叹为观止！这是过去以往都没有达到的推进速度。
看着屏幕，文承喜悦的嘴巴逐渐大张，满脸惊恐。
红点分布一共呈现出多个大圆，大多分布在城南城西，离自己最近的圆，其圆心是自己家南侧两个街区的十字路口，半径在两公里左右，无论是学校、自己家都被覆盖！
最后是数据拟合，不管怎么样数据都是符合幂律分布的，他首先删去除了其他地方的数据，只剩下自己所在片区的一个圆，他将噪点中心都去掉，只剩下最外围的点状分布，拼成一个圆环的轮廓，圆形拟合可以使用最小二乘法，他还没用过这样的公式，文承皱起眉头。
他快速搜索到最小二乘法的原理，花了十几分钟快速啃完，接着来到开源代码网站，却找不到php版本的，有的是C语言版本，他还不是很熟，不过原理是相通的，更何况直接应用就可以，根本不需要二次开发。
他深吸一口气，下载了matb之后将数据重新导入，一个清脆的回车键，拟合结束！
文承看着屏幕上一个完美的圆形满意地笑起来，揉了揉眼睛，将数据再次导入地图。
地图上的圆心名叫远拓大厦，
文承突然想起来，那是一个烂尾楼。
将结果保存后关了电脑，忍住将答案告诉熟睡女孩的冲动，文承来到房门外悄悄关了门，来到沙发上躺下。
他看了看手机，已是凌晨五点，即便是一个小时，还是够睡的。
兴奋的情绪似乎是小鬼的舞蹈一样纠缠在脑中，文承无论怎么努力闭上眼睛都沉不下心，他在手机上胡乱翻着，突然翻到了前阵子刚拍下的一个女孩的照片，一下子就平静下来，他就那样静静地静静地看着，心绪逐渐平稳，困意排山倒海般涌来。