可能很多人还没有听过FME是什么东西,尤其是规划入行比较早的同事,对于数据处理还停留在excel手做的思维上,那也没有关系,毕竟对于规划务工人员来说东西叫什么没关系,好用能上手就行,接下来我准备开坑FME与规划的入门系列了。
不知道你们在做规划的时候有没有遇到过以下这些情况:
1、做城市更新时,甲方给了一堆矢量的地籍范围图、带层数的现状建筑分布、现状与规划用地图,现在想筛选出各个权属人地籍范围内建筑量是多少?或者是场地内某种类型用地涉及的现状容积率是多少?
2、做多规合一时,每个市直部门都提供了一堆数据文件,有西安80坐标、北京54坐标、大地2000坐标、WGS84坐标等等,一筹莫展,完全不知道怎样去统一到一个坐标上去做差异图斑对比?
3、做数据分析时,兴致勃勃地从网上渠道抓取到某个城市大众点评上的所有餐饮店铺数据,也获取了对应的经纬度坐标点,但一看数据量发现有几十万条,每次用传统的GIS办法导进去就卡到怀疑人生,找不到更好的办法?
4、做城市设计时,好不容易搞到了现状建筑矢量数据,却发现几百万栋建筑怎样都不能迅速地导出一个城市的现状建筑鸟瞰?
5、做总规控规时,做出一版用地方案,但不知道到底有没有压到国土部门的永久基本农田、环保部门的生态保护红线、林业部门的林地保护线,却发现大家连格式都不一样,不知道怎样把重叠的图斑提取出来?
等等等等,如果这些问题你都在工作中碰到过,说明你属于规划一线工作人员,即使现在遇不到以后也会碰到类似的问题,下面讲讲怎么样用FME应用到这些重复性问题上,以提高日常效率。
万物不离概念,先贴一贴官方的介绍。
其实讲的很简单,FME主要是做“不同数据格式之间的转换”工作的,对应到前文提到的四个典型场景上,可以转换为:
1、做城市更新时需要的是cad格式转化为两张建筑量统计的excel表;
2、做多规合一时需要的是将不同坐标系的文件统一到同个坐标;
3、做数据分析时需要的是把抓下来的excel数据表转化为shp文件;
4、做城市设计时需要的是把cad格式的现状建筑转化成su模型的skp文件;
5、做总规控规时需要的是把cad格式的用地色块转化成shp文件,再分别与各部门的保护线进行裁剪处理。
如此总总,简单来说FME的能力可以概括为”连接数据“、”变换数据“与”自动化“三类,对于规划入门来说,最常接触到的就是前两种处理。
连接数据就是单纯的从格式A转换为格式B的过程。
变换数据则是中间加入各种transformer(转换器)来实现更精细的数据处理操作,实现数据A、B到数据C的转换。
自动化则是通过设定好自动运行的时间和模式,定时运行某一数据操作。
引用一下,FME主要是通过”ETL“的流程(Extract-Transform-Loading)来实现数据从读取到输出的转换,学习曲线不算特别陡峭,更多是要理解中间变换端各类转换器的功能和用法,因为FME2015版里面就已经涉及到463个转换器了,很难能够全部掌握。
其实我之前公众号的文章中也或多或少涉及到一些基本的FME处理操作:
这些都是以前的一些小教程,下一步的话准备把FME入门系列拆解成一个个实际碰到的小案例,通过解决实际问题的方式来学习常用到的转换器,这样可能更满足规划人员”务实“而”不求甚解“的需求。
说实话,网上的话关于FME方面的教程比较少,中文的官网上有各版本的操作手册、基础教程和一部分行业咨询和解决方案,比较全和系统,但更新频率不够高,不能获取到最新的一些案例应用。
包括官方的论坛(挂在华夏土地论坛下的FME板块)也是同样的问题,可能因为国内推广得不够普及,FME更多的还是在测绘领域的应用。
规划行业有一些人在推广,比如国匠城、数据派之类的一直有在开展培训课程,我了解的主要是刘潇、祝欣欣等,在腾讯、网易课堂上都能搜到免费的入门视频课程,推荐可以快速看看。
但我更强烈推荐的学习资源其实是CSDN上的fmechina的博客,应该也是官方在更新,因为和我在FME国外官网上follow到的文章进度基本一致。
每年FME都会举行一次博客大赛,最近的是2019年,五月初的时候刚出结果,画风大概是这个样子的:
可以看到各路大牛怎样利用FME去解决很多实际项目中遇到的问题,比如获取城市出发与到达航班数据来做OD分析并找出联系最强的城市在哪里的研究。
还有抓取腾讯迁徙数据来分析城市群、城市间的联系强度,并整合到FME server中发布为在线查询系统的。
这篇最核心的操作在于从腾讯位置大数据网站中获取到完整的人口迁徙数据(https://heat.qq.com/qianxi.php),获取到本地后就是各种筛选、分类、聚合的处理了,后续可以找时间集中介绍下作者具体的思路。
这些都是很好的学习资源,可以延展和拓宽自己的思路。
框架的部分暂时介绍到这里,以上。