AreaCityQuery.java 67 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574575576577578579580581582583584585586587588589590591592593594595596597598599600601602603604605606607608609610611612613614615616617618619620621622623624625626627628629630631632633634635636637638639640641642643644645646647648649650651652653654655656657658659660661662663664665666667668669670671672673674675676677678679680681682683684685686687688689690691692693694695696697698699700701702703704705706707708709710711712713714715716717718719720721722723724725726727728729730731732733734735736737738739740741742743744745746747748749750751752753754755756757758759760761762763764765766767768769770771772773774775776777778779780781782783784785786787788789790791792793794795796797798799800801802803804805806807808809810811812813814815816817818819820821822823824825826827828829830831832833834835836837838839840841842843844845846847848849850851852853854855856857858859860861862863864865866867868869870871872873874875876877878879880881882883884885886887888889890891892893894895896897898899900901902903904905906907908909910911912913914915916917918919920921922923924925926927928929930931932933934935936937938939940941942943944945946947948949950951952953954955956957958959960961962963964965966967968969970971972973974975976977978979980981982983984985986987988989990991992993994995996997998999100010011002100310041005100610071008100910101011101210131014101510161017101810191020102110221023102410251026102710281029103010311032103310341035103610371038103910401041104210431044104510461047104810491050105110521053105410551056105710581059106010611062106310641065106610671068106910701071107210731074107510761077107810791080108110821083108410851086108710881089109010911092109310941095109610971098109911001101110211031104110511061107110811091110111111121113111411151116111711181119112011211122112311241125112611271128112911301131113211331134113511361137113811391140114111421143114411451146114711481149115011511152115311541155115611571158115911601161116211631164116511661167116811691170117111721173117411751176117711781179118011811182118311841185118611871188118911901191119211931194119511961197119811991200120112021203120412051206120712081209121012111212121312141215121612171218121912201221122212231224122512261227122812291230123112321233123412351236123712381239124012411242124312441245124612471248124912501251125212531254125512561257125812591260126112621263126412651266126712681269127012711272127312741275127612771278127912801281128212831284128512861287128812891290129112921293129412951296129712981299130013011302130313041305130613071308130913101311131213131314131513161317131813191320132113221323132413251326132713281329133013311332133313341335133613371338133913401341134213431344134513461347134813491350135113521353135413551356135713581359136013611362136313641365136613671368136913701371137213731374137513761377137813791380138113821383138413851386138713881389139013911392139313941395139613971398139914001401140214031404140514061407140814091410141114121413141414151416141714181419142014211422142314241425142614271428142914301431143214331434143514361437143814391440144114421443144414451446144714481449145014511452145314541455145614571458145914601461146214631464146514661467146814691470147114721473147414751476147714781479148014811482148314841485148614871488148914901491149214931494149514961497149814991500150115021503150415051506150715081509151015111512151315141515151615171518151915201521152215231524152515261527152815291530153115321533153415351536153715381539154015411542154315441545154615471548154915501551155215531554155515561557155815591560156115621563156415651566156715681569157015711572157315741575157615771578157915801581158215831584158515861587158815891590159115921593159415951596159715981599160016011602160316041605160616071608160916101611161216131614161516161617161816191620162116221623162416251626162716281629163016311632163316341635163616371638163916401641164216431644164516461647164816491650165116521653165416551656165716581659166016611662166316641665166616671668166916701671167216731674167516761677167816791680168116821683168416851686168716881689169016911692169316941695169616971698169917001701
  1. package com.github.xiangyuecn.areacity.query;
  2. import java.io.BufferedReader;
  3. import java.io.ByteArrayOutputStream;
  4. import java.io.File;
  5. import java.io.FileInputStream;
  6. import java.io.FileOutputStream;
  7. import java.io.InputStreamReader;
  8. import java.io.PrintWriter;
  9. import java.io.StringWriter;
  10. import java.lang.management.ManagementFactory;
  11. import java.lang.management.OperatingSystemMXBean;
  12. import java.lang.reflect.Method;
  13. import java.math.BigDecimal;
  14. import java.math.RoundingMode;
  15. import java.text.DecimalFormat;
  16. import java.text.SimpleDateFormat;
  17. import java.util.ArrayList;
  18. import java.util.Date;
  19. import java.util.HashMap;
  20. import java.util.HashSet;
  21. import java.util.List;
  22. import java.util.Map;
  23. import java.util.regex.Matcher;
  24. import java.util.regex.Pattern;
  25. import org.locationtech.jts.geom.Coordinate;
  26. import org.locationtech.jts.geom.Envelope;
  27. import org.locationtech.jts.geom.Geometry;
  28. import org.locationtech.jts.geom.GeometryFactory;
  29. import org.locationtech.jts.geom.LinearRing;
  30. import org.locationtech.jts.geom.MultiPolygon;
  31. import org.locationtech.jts.geom.Point;
  32. import org.locationtech.jts.geom.Polygon;
  33. import org.locationtech.jts.geom.PrecisionModel;
  34. import org.locationtech.jts.index.strtree.STRtree;
  35. import org.locationtech.jts.io.WKBReader;
  36. import org.locationtech.jts.io.WKBWriter;
  37. import org.locationtech.jts.io.WKTWriter;
  38. import org.locationtech.jts.operation.distance.DistanceOp;
  39. /**
  40. * 使用jts库从省市区县乡镇边界数据(AreaCity-JsSpider-StatsGov开源库)或geojson文件中查找出和任意点、线、面有相交的边界,内存占用低,性能优良。
  41. * <pre>
  42. * 可用于:
  43. * - 调用 QueryPoint(lng, lat) 查询一个坐标点对应的省市区名称等信息;
  44. * - 调用 ReadWKT_FromWkbsFile(where) 查询获取需要的省市区边界WKT文本数据。
  45. *
  46. * 部分原理:
  47. * 1. 初始化时,会将边界图形按网格动态的切分成小的图形,大幅减少查询时的几何计算量从而性能优异;
  48. * 2. 内存中只会保存小的图形的外接矩形(Envelope),小的图形本身会序列化成WKB数据(根据Init方式存入文件或内存),因此内存占用很低;
  49. * 3. 内存中的外接矩形(Envelope)数据会使用jts的STRTree索引,几何计算查询时,先从EnvelopeSTRTree中初步筛选出符合条件的边界,RTree性能极佳,大幅过滤掉不相关的边界;
  50. * 4. 对EnvelopeSTRTree初步筛选出来的边界,读取出WKB数据反序列化成小的图形,然后进行精确的几何计算(因为是小图,所以读取和计算性能极高)。
  51. *
  52. * jts库地址:https://github.com/locationtech/jts
  53. * </pre>
  54. *
  55. * <br>GitHub: https://github.com/xiangyuecn/AreaCity-Query-Geometry (github可换成gitee)
  56. * <br>省市区县乡镇区划边界数据: https://github.com/xiangyuecn/AreaCity-JsSpider-StatsGov (github可换成gitee)
  57. */
  58. public class AreaCityQuery {
  59. /** 默认提供的0-9的10个静态实例,每个实例可以分别使用一个数据文件进行初始化和查询,当然自己调用new AreaCityQuery()创建一个新实例使用也是一样的 */
  60. static public final AreaCityQuery[] Instances=new AreaCityQuery[] {
  61. new AreaCityQuery(),new AreaCityQuery(),new AreaCityQuery(),new AreaCityQuery(),new AreaCityQuery()
  62. ,new AreaCityQuery(),new AreaCityQuery(),new AreaCityQuery(),new AreaCityQuery(),new AreaCityQuery()
  63. };
  64. /**
  65. * 几何计算查询出包含此坐标点的所有边界图形的属性数据(和此坐标点相交):
  66. * <pre>
  67. * - 如果坐标点位于图形内部或边上,这个图形将匹配;
  68. * - 如果坐标点位于两个图形的边上,这两个图形将都会匹配;
  69. * - 如果图形存在孔洞,并且坐标点位于孔洞内(不含边界),这个图形将不匹配。
  70. * </pre>
  71. *
  72. * <br>输入坐标参数的坐标系必须和初始化时使用的geojson数据的坐标系一致,否则坐标可能会有比较大的偏移,导致查询结果不正确。
  73. * <br>如果还未完成初始化,或者查询出错,都会抛异常。
  74. * <br>本方法线程安全。
  75. *
  76. * <br><br>注意:如果此坐标位于界线外侧(如海岸线、境界线)时将不会有边界图形能够匹配包含(就算距离只相差1cm),此时如果你希望能匹配到附近不远的边界图形,请使用QueryPointWithTolerance方法
  77. *
  78. * @param lng 进度坐标值
  79. * @param lat 纬度坐标值
  80. * @param where 可以为null,可选提供一个函数,筛选属性数据(此数据已经过初步筛选),会传入属性的json字符串,如果需要去精确计算这个边界图形是否匹配就返回true,否则返回false跳过这条边界图形的精确计算
  81. * @param res 可以为null,如果提供结果对象,可通过此对象的Set_XXX属性控制某些查询行为,比如设置Set_ReturnWKTKey可以额外返回边界的WKT文本数据;并且本次查询的结果和统计数据将累加到这个结果内(性能测试用)。注意:此结果对象非线程安全
  82. */
  83. public QueryResult QueryPoint(double lng, double lat, Func<String,Boolean> where, QueryResult res) throws Exception{
  84. CheckInitIsOK();
  85. return QueryGeometry(Factory.createPoint(new Coordinate(lng, lat)), where, res);
  86. }
  87. /**
  88. * 先几何计算查询出包含此坐标点的所有边界图形的属性数据,此时和QueryPoint方法功能完全一致。
  89. * <br><br>当没有边界图形包含此坐标点时,会查询出和此坐标点距离最近的边界图形的属性数据,同一级别的边界图形只会返回距离最近的一条属性数据,比如:范围内匹配到多个市,只返回最近的一个市;级别的划分依据为属性中的deep值,deep值为空的为同的一级
  90. * ;结果属性中会额外添加PointDistance(图形与坐标的距离,单位米)、PointDistanceID(图形唯一标识符)两个值;由于多进行了一次范围查询,性能会比QueryPoint方法低些。
  91. * <br><br>本方法主要用途是解决:当坐标位于界线外侧(如海岸线、境界线)时QueryPoint方法将不会有边界图形能够匹配包含此坐标(就算距离只相差1cm),本方法将能够匹配到附近不远的边界图形数据。
  92. *
  93. * <br><br>更多参数文档请参考QueryPoint方法,本方法线程安全。
  94. *
  95. * @see #QueryPoint(double, double, Func, QueryResult)
  96. * @param toleranceMetre 距离范围容差值,单位米,比如取值2500,相当于一个以此坐标为中心点、半径为2.5km的圆形范围;当没有任何边界图形包含此坐标点时,会查询出与此坐标点的距离不超过此值 且 距离最近的边界图形属性数据;取值为0时不进行范围查找;取值为-1时不限制距离大小,会遍历所有数据导致性能极低
  97. */
  98. public QueryResult QueryPointWithTolerance(double lng, double lat, Func<String,Boolean> where, QueryResult res, int toleranceMetre) throws Exception {
  99. CheckInitIsOK();
  100. if(res!=null && res.Result==null) throw new Exception("不支持无Result调用");
  101. int resLen0=res==null?0:res.Result.size();
  102. Point point=Factory.createPoint(new Coordinate(lng, lat));
  103. QueryResult res1=QueryGeometry(point, where, res);
  104. if(res1.Result.size()>resLen0 || toleranceMetre==0) {
  105. return res1; //查找到了的就直接返回
  106. }
  107. Geometry geom;
  108. if(toleranceMetre>0) { //以点为中心,容差为半径,构造出一个圆,扩大到容差范围进行查找
  109. geom=CreateSimpleCircle(lng, lat, toleranceMetre, 24);
  110. } else { //不限制范围
  111. geom=CreateRect(-180, -90, 180, 90);
  112. }
  113. HashMap<String, Double> propDists=new HashMap<>();
  114. HashMap<String, Object[]> deepDists=new HashMap<>();
  115. DecimalFormat df=new DecimalFormat("0.00");
  116. res1.QueryCount--;
  117. res1=QueryGeometryProcess(geom, where, res1, new Func<Object[], Boolean>(){
  118. @Override
  119. public Boolean Exec(Object[] args) throws Exception {
  120. boolean add=false;
  121. String prop=(String)args[0];
  122. Geometry geom=(Geometry)args[1];
  123. String lineNo=(String)args[2];
  124. Coordinate[] ps=DistanceOp.nearestPoints(geom, point);
  125. double dist=Distance(ps[0].x, ps[0].y, ps[1].x, ps[1].y);
  126. Double exists=propDists.get(lineNo);
  127. if(exists==null || exists>dist) {//去重,相同一条数据只取距离最近的
  128. Matcher m=Exp_OkGeoCsv_Deep.matcher(prop);
  129. String deep=m.find()?m.group(1):"";
  130. Object[] deepExists=deepDists.get(deep);
  131. if(deepExists==null || (double)deepExists[0]>dist) {//去重,同一级别只取距离最近的
  132. add=true;
  133. propDists.put(lineNo, dist);
  134. deepDists.put(deep, new Object[] { dist, lineNo });
  135. prop=prop.substring(0, prop.length()-1)+", \"PointDistanceID\": "+lineNo+", \"PointDistance\": "+df.format(dist)+"}";
  136. args[0]=prop;
  137. }
  138. }
  139. return add;
  140. }
  141. });
  142. //清理掉结果中多余的数据,每一级取一个,同一数据取最后一个
  143. HashSet<String> ids=new HashSet<>(), exists=new HashSet<>();
  144. for(Object[] o : deepDists.values()) ids.add((String)o[1]);
  145. for(int i=res1.Result.size()-1;i>=resLen0;i--) {
  146. String prop=res1.Result.get(i);
  147. Matcher m=Exp_PointDistanceID.matcher(prop); m.find();
  148. String lineNo=m.group(1);
  149. if(!ids.contains(lineNo) || exists.contains(lineNo)) {
  150. res1.Result.remove(i);
  151. }else {
  152. exists.add(lineNo);
  153. }
  154. }
  155. return res1;
  156. }
  157. static private Pattern Exp_PointDistanceID=Pattern.compile("\"PointDistanceID[\\s\":]+(\\d+)");
  158. static private Pattern Exp_OkGeoCsv_Deep=Pattern.compile("\"deep[\\s\":]+(\\d+)");
  159. /**
  160. * 几何计算查询出和此图形(点、线、面)有交点的所有边界图形的属性数据(包括边界相交)。
  161. * <br>
  162. * <br>所有输入坐标参数的坐标系必须和初始化时使用的geojson数据的坐标系一致,否则坐标可能会有比较大的偏移,导致查询结果不正确。
  163. * <br>如果还未完成初始化,或者查询出错,都会抛异常。
  164. * <br>本方法线程安全。
  165. *
  166. * @param geom 任意格式的图形对象(点、线、面),可以通过wkt文本进行构造:geom=new WKTReader(AreaCityQuery.Factory).read("wkt字符串")
  167. * @param where 可以为null,可选提供一个函数,筛选属性数据(此数据已经过初步筛选),会传入属性的json字符串,如果需要去精确计算这个边界图形是否匹配就返回true,否则返回false跳过这条边界图形的精确计算
  168. * @param res 可以为null,如果提供结果对象,可通过此对象的Set_XXX属性控制某些查询行为,比如设置Set_ReturnWKTKey可以额外返回边界的WKT文本数据;并且本次查询的结果和统计数据将累加到这个结果内(性能测试用)。注意:此结果对象非线程安全
  169. */
  170. public QueryResult QueryGeometry(Geometry geom, Func<String,Boolean> where, QueryResult res) throws Exception{
  171. return QueryGeometryProcess(geom, where, res, null);
  172. }
  173. /**
  174. * 几何计算查询出和此图形(点、线、面)有交点的所有边界图形的属性数据(包括边界相交)。
  175. * <br>
  176. * <br>参数功能和QueryGeometry方法一致,多了一个process参数允许在匹配计算时进行自定义计算处理
  177. * <br>更多参数文档请参考QueryGeometry方法,本方法线程安全。
  178. *
  179. * @see #QueryGeometry(Geometry, Func, QueryResult)
  180. * @param process 当一条数据经过精确匹配后,加入到结果中前,会调用此函数进行自定义计算,返回true继续加入到结果中,返回false丢弃这条数据;提供本函数后的查询性能会比不提供时低些,因为未去重增加了重复计算量。
  181. * <br><br><b>注意:初始化时一个完整边界图形会在网格划分后产生多个小图形,匹配的每个小图形都会算作一条数据参与自定义计算,会导致结果数据重复,因此需要自行对结果数据进行去重</b>
  182. * <br><br>参数为一个数组:
  183. * <br>[0]String:可读写,当前数据属性的json字符串,修改后的json内容会放到结果中
  184. * <br>[1]Geometry:当前数据的图形对象,用于计算,为网格划分后的小图形
  185. * <br>[2]String:为当前数据对应的完整图形的唯一标识符,用于数据去重
  186. */
  187. public QueryResult QueryGeometryProcess(Geometry geom, Func<String,Boolean> where, QueryResult res, Func<Object[], Boolean> process) throws Exception{
  188. CheckInitIsOK();
  189. if(res==null) res=new QueryResult();
  190. res.QueryCount++;
  191. long t_Start=System.nanoTime();
  192. if(res.StartTimeN==0) res.StartTimeN=t_Start;
  193. boolean returnWkt=res.Set_ReturnWKTKey!=null && res.Set_ReturnWKTKey.length()>0;
  194. if(returnWkt && WkbsFilePath.length()==0) {
  195. throw new Exception("Set_ReturnWKT错误,初始化时必须保存了wkbs结构化数据文件,或者用的wkbs文件初始化的,否则不允许查询WKT数据");
  196. }
  197. //先查找Envelope,基本不消耗时间
  198. @SuppressWarnings("rawtypes")
  199. List list=EnvelopeSTRTree.query(geom.getEnvelopeInternal());
  200. res.DurationN_EnvelopeHitQuery+=System.nanoTime()-t_Start;
  201. res.EnvelopeHitCount+=list.size();
  202. //进行精确查找
  203. String matchLines=",";
  204. for(int i=0,len=list.size();i<len;i++) {
  205. @SuppressWarnings("unchecked")
  206. Map<String, Object> store=(Map<String, Object>)list.get(i);
  207. byte[] wkbSub=null;
  208. String[] wkbPos=getWkbPos(store);
  209. String lineNo=wkbPos[0];
  210. int fullPos=Integer.parseInt(wkbPos[1]);
  211. int subPos=Integer.parseInt(wkbPos[2]);
  212. //如果wkb对应的这条数据已经有一个sub匹配了,就不需要在继续查询
  213. if(process==null && matchLines.indexOf(","+lineNo+",")!=-1) {//提供了process自定义处理,不去重
  214. continue;
  215. }
  216. //提供了where筛选
  217. if(where!=null) {
  218. if(!where.Exec(getProp(store))) {
  219. continue;
  220. }
  221. }
  222. //读取wkb数据
  223. long t_IO=System.nanoTime();
  224. Geometry subGeom=null;
  225. if(ReadFromMemory) {
  226. //从内存中得到wkb数据 或 直接存的对象
  227. if(SetInitStoreInMemoryUseObject) {
  228. subGeom=(Geometry)store.get("wkb");
  229. } else {
  230. wkbSub=(byte[])store.get("wkb");
  231. }
  232. } else {
  233. wkbSub=ReadWkbFromFile(subPos);
  234. }
  235. res.DurationN_IO+=System.nanoTime()-t_IO;
  236. //转换回图形
  237. long t_GeometryParse=System.nanoTime();
  238. if(subGeom==null) {
  239. subGeom=new WKBReader(Factory).read(wkbSub);
  240. }
  241. res.DurationN_GeometryParse+=System.nanoTime()-t_GeometryParse;
  242. //是否精确匹配
  243. long t_Exact=System.nanoTime();
  244. boolean isMatch=subGeom.intersects(geom);
  245. res.DurationN_ExactHitQuery+=System.nanoTime()-t_Exact;
  246. if(isMatch) {
  247. String prop=getProp(store);
  248. if(process!=null) { // 自定义计算
  249. t_Exact=System.nanoTime();
  250. Object[] args=new Object[] { prop, subGeom, lineNo };
  251. if(!process.Exec(args)) {
  252. isMatch=false;
  253. } else {
  254. prop=(String)args[0];
  255. }
  256. res.DurationN_ExactHitQuery+=System.nanoTime()-t_Exact;
  257. }
  258. if(isMatch) {
  259. if(returnWkt) { // 需要同时返回完整图形的wkt数据
  260. t_IO=System.nanoTime();
  261. byte[] wkbFull=ReadWkbFromFile(fullPos);
  262. res.DurationN_IO+=System.nanoTime()-t_IO;
  263. t_GeometryParse=System.nanoTime();
  264. Geometry fullGeom=new WKBReader(Factory).read(wkbFull);
  265. res.DurationN_GeometryParse+=System.nanoTime()-t_GeometryParse;
  266. String wkt=new WKTWriter().write(fullGeom);
  267. prop=prop.substring(0, prop.length()-1)+", \""+res.Set_ReturnWKTKey+"\": \""+wkt+"\"}";
  268. }
  269. if(res.Result!=null) {
  270. res.Result.add(prop);
  271. }
  272. res.ExactHitCount++;
  273. matchLines+=lineNo+",";
  274. }
  275. }
  276. if(res.Set_EnvelopeHitResult!=null) {//将初步筛选的结果存入数组,如果要求了的话
  277. String prop=getProp(store);
  278. prop="{\"_PolygonPointNum_\": "+subGeom.getNumPoints()+","+prop.substring(1);
  279. res.Set_EnvelopeHitResult.add(prop);
  280. }
  281. }
  282. res.EndTimeN=System.nanoTime();
  283. return res;
  284. }
  285. /**
  286. * 遍历所有边界图形的属性列表查询出符合条件的属性,然后返回图形的属性+边界图形WKT文本。
  287. * <br>读取到的wkt文本,可以直接粘贴到页面内渲染显示:https://xiangyuecn.github.io/AreaCity-JsSpider-StatsGov/assets/geo-echarts.html
  288. * <br>本方法可以用来遍历所有数据,提取感兴趣的属性内容(wktKey传null只返回属性),比如查询一个区划编号id对应的城市信息(城市名称、中心点)
  289. *
  290. * <br>
  291. * <br>注意:初始化时必须保存了wkbs结构化数据文件,或者用的wkbs文件初始化的,否则不允许查询WKT数据。
  292. * <br>如果还未完成初始化,或者查询出错,都会抛异常。
  293. * <br>本方法线程安全。
  294. *
  295. * @param wktKey 可以为null,比如填:wkt、polygon,作为json里的key: 存放wkt文本数据;如果传入空值,将只返回属性,不查询wkt文本数据;此参数会覆盖res.Set_ReturnWKTKey值
  296. * @param res 可以为null,如果提供结果对象,可通过此对象的Set_XXX属性控制某些查询行为,并且本次查询的结果和统计数据将累加到这个结果内(性能测试用)。注意:此结果对象非线程安全
  297. * @param where 必须提供一个函数,筛选属性数据(所有数据全过一遍),会传入属性的json字符串,如果需要匹配这个边界图形就返回true,否则返回false跳过这条边界图形
  298. * @param onFind 可选提供一个回调函数,每次查询到一条wkt数据后会通过onFind回传,String[]参数为[prop,wkt];如果返回false数据将不会存入res结果中(也会忽略wktKey参数),需在回调中自行处理数据
  299. */
  300. public QueryResult ReadWKT_FromWkbsFile(String wktKey, QueryResult res, Func<String,Boolean> where, Func<String[], Boolean> onFind) throws Exception{
  301. CheckInitIsOK();
  302. if(res==null) res=new QueryResult();
  303. res.QueryCount++;
  304. long t_Start=System.nanoTime();
  305. if(res.StartTimeN==0) res.StartTimeN=t_Start;
  306. res.Set_ReturnWKTKey=wktKey;
  307. boolean returnWkt=res.Set_ReturnWKTKey!=null && res.Set_ReturnWKTKey.length()>0;
  308. boolean readWkt=returnWkt;
  309. if(onFind!=null) {
  310. readWkt=true;
  311. }
  312. if(readWkt && WkbsFilePath.length()==0) {
  313. throw new Exception("初始化时必须保存了wkbs结构化数据文件,或者用的wkbs文件初始化的,否则不允许查询WKT数据");
  314. }
  315. for(int i=0,iL=WKTDataStores.size();i<iL;i++) {
  316. HashMap<String, Object> store=WKTDataStores.get(i);
  317. //属性是否符合条件
  318. long t_Exact=System.nanoTime();
  319. String prop=getProp(store);
  320. boolean isFind=where.Exec(prop);
  321. res.DurationN_ExactHitQuery+=System.nanoTime()-t_Exact;
  322. if(!isFind) {
  323. continue;
  324. }
  325. String wkt=null;
  326. if(readWkt) {
  327. //读取wkb
  328. byte[] wkbFull=null;
  329. if(!store.containsKey("empty")) {
  330. String[] wkbPos=getWkbPos(store);
  331. int fullPos=Integer.parseInt(wkbPos[1]);
  332. long t_IO=System.nanoTime();
  333. wkbFull=ReadWkbFromFile(fullPos);
  334. res.DurationN_IO+=System.nanoTime()-t_IO;
  335. }
  336. //转换回图形
  337. long t_GeometryParse=System.nanoTime();
  338. Geometry fullGeom;
  339. if(wkbFull!=null) {
  340. fullGeom=new WKBReader(Factory).read(wkbFull);
  341. } else {
  342. fullGeom=Factory.createPolygon();
  343. }
  344. //生成wkt
  345. wkt=new WKTWriter().write(fullGeom);
  346. res.DurationN_GeometryParse+=System.nanoTime()-t_GeometryParse;
  347. }
  348. boolean add=true;
  349. if(onFind!=null) {
  350. add=onFind.Exec(new String[] { prop, wkt });
  351. }
  352. if (add && res.Result!=null) {
  353. if(returnWkt) {
  354. prop=prop.substring(0, prop.length()-1)+", \""+res.Set_ReturnWKTKey+"\": \""+wkt+"\"}";
  355. }
  356. res.Result.add(prop);
  357. }
  358. res.ExactHitCount++;
  359. }
  360. res.EndTimeN=System.nanoTime();
  361. return res;
  362. }
  363. /**
  364. * 调试用的,读取已在wkbs结构化文件中保存的网格划分图形WKT数据,用于核对网格划分情况。
  365. * <br>读取到的wkt文本,可以直接粘贴到页面内渲染显示:https://xiangyuecn.github.io/AreaCity-JsSpider-StatsGov/assets/geo-echarts.html
  366. *
  367. * @param wktKey 可以为null,比如填:wkt、polygon,作为json里的key: 存放wkt文本数据;如果传入空值,将只返回属性,不查询wkt文本数据;此参数会覆盖res.Set_ReturnWKTKey值
  368. * @param res 可以为null,如果提供结果对象,可通过此对象的Set_XXX属性控制某些查询行为,并且本次查询的结果和统计数据将累加到这个结果内(性能测试用)。注意:此结果对象非线程安全
  369. * @param where 必须提供一个函数,筛选属性数据(所有数据全过一遍),会传入属性的json字符串,如果需要匹配这个边界图形就返回true,否则返回false跳过这条边界图形
  370. * @param onFind 可选提供一个回调函数,每次查询到一条wkt数据后会通过onFind回传,String[]参数为[prop,wkt];如果返回false数据将不会存入res结果中(也会忽略wktKey参数),需在回调中自行处理数据
  371. */
  372. public QueryResult Debug_ReadGeometryGridSplitsWKT(String wktKey, QueryResult res, Func<String,Boolean> where, Func<String[], Boolean> onFind) throws Exception {
  373. CheckInitIsOK();
  374. if(res==null) res=new QueryResult();
  375. res.QueryCount++;
  376. long t_Start=System.nanoTime();
  377. if(res.StartTimeN==0) res.StartTimeN=t_Start;
  378. res.Set_ReturnWKTKey=wktKey;
  379. boolean returnWkt=res.Set_ReturnWKTKey!=null && res.Set_ReturnWKTKey.length()>0;
  380. boolean readWkt=returnWkt;
  381. if(onFind!=null) {
  382. readWkt=true;
  383. }
  384. if(readWkt && WkbsFilePath.length()==0) {
  385. throw new Exception("初始化时必须保存了wkbs结构化数据文件,或者用的wkbs文件初始化的,否则不允许查询WKT数据");
  386. }
  387. for(int i=0,iL=WKTDataStores.size();i<iL;i++) {
  388. HashMap<String, Object> store=WKTDataStores.get(i);
  389. //属性是否符合条件
  390. long t_Exact=System.nanoTime();
  391. String prop=getProp(store);
  392. boolean isFind=where.Exec(prop);
  393. res.DurationN_ExactHitQuery+=System.nanoTime()-t_Exact;
  394. if(!isFind) {
  395. continue;
  396. }
  397. String wkt=null;
  398. if(readWkt) {
  399. String[] wkbPos=getWkbPos(store);
  400. ArrayList<Integer> subs=LineSubsPos.get(wkbPos[0]);
  401. if(subs==null) {
  402. continue;
  403. }
  404. //读取所有的切块,转换回图形
  405. ArrayList<Polygon> pols=new ArrayList<Polygon>();
  406. for(int i2=0,i2L=subs.size();i2<i2L;i2++) {
  407. long t_IO=System.nanoTime();
  408. byte[] wkb=ReadWkbFromFile(subs.get(i2));
  409. res.DurationN_IO+=System.nanoTime()-t_IO;
  410. long t_GeometryParse=System.nanoTime();
  411. Geometry subGeom=new WKBReader(Factory).read(wkb);
  412. if(subGeom instanceof Polygon) {
  413. pols.add((Polygon)subGeom);
  414. } else {
  415. for(int i3=0,i3L=subGeom.getNumGeometries();i3<i3L;i3++) {
  416. pols.add((Polygon)subGeom.getGeometryN(i3));
  417. }
  418. }
  419. res.DurationN_GeometryParse+=System.nanoTime()-t_GeometryParse;
  420. }
  421. Geometry geom;
  422. if(pols.size()==0) {
  423. geom=Factory.createPolygon();
  424. } else {
  425. geom=Factory.createMultiPolygon(pols.toArray(new Polygon[0]));
  426. }
  427. wkt=new WKTWriter().write(geom);
  428. }
  429. boolean add=true;
  430. if(onFind!=null) {
  431. add=onFind.Exec(new String[] { prop, wkt });
  432. }
  433. if (add && res.Result!=null) {
  434. if(returnWkt) {
  435. prop=prop.substring(0, prop.length()-1)+", \""+res.Set_ReturnWKTKey+"\": \""+wkt+"\"}";
  436. }
  437. res.Result.add(prop);
  438. }
  439. res.ExactHitCount++;
  440. }
  441. res.EndTimeN=System.nanoTime();
  442. return res;
  443. }
  444. /**
  445. * 用加载数据到内存的模式进行初始化,边界图形数据存入内存中(内存占用和json数据文件大小差不多大,查询性能极高);本方法可以反复调用但只会初始化一次,每次查询前都调用即可(查询会在初始化完成后进行)
  446. * <pre>
  447. * 支持文件(utf-8):
  448. * - *.wkbs saveWkbsFilePath生成的结构化数据文件,读取效率高。
  449. * - *.json geojson文件,要求里面数据必须是一行一条数据
  450. * ,第一条数据的上一行必须是`"features": [`
  451. * ,最后一条数据的下一行必须是`]`打头
  452. * ,否则不支持解析,可尝试用文本编辑器批量替换添加换行符。
  453. * </pre>
  454. * 默认在内存中存储的是wkb格式数据(大幅减少内存占用),查询时会将wkb还原成图形对象,可通过设置 Instances[0-9].SetInitStoreInMemoryUseObject=true 来关闭这一过程减少性能损耗,在内存中直接存储图形对象,但内存占用会增大一倍多。
  455. *
  456. * @param dataFilePath 数据文件路径(支持:*.wkbs、*.json),从这个文件读取数据;如果autoUseExistsWkbsFile=true并且saveWkbsFilePath文件存在时(已生成了结构化数据文件),可以不提供此参数
  457. * @param saveWkbsFilePath 可选提供一个.wkbs后缀的文件路径:dataFile是wkbs时不可以提供;dataFile是geojson时,加载geojson解析的数据会自动生成此结构化数据文件;如果和dataFile都不提供wkbs文件时查询中将不允许获取WKT数据
  458. * @param autoUseExistsWkbsFile 当传true时:如果检测到saveWkbsFilePath对应文件已成功生成过了,将直接使用这个wkbs文件作为dataFile(直接忽略dataFilePath参数);建议传true,这样只需要首次加载生成了结构文件,以后读取数据都非常快(数据更新时需删除wkbs文件)
  459. */
  460. public void Init_StoreInMemory(String dataFilePath, String saveWkbsFilePath, boolean autoUseExistsWkbsFile) {
  461. __Init(autoUseExistsWkbsFile, dataFilePath, saveWkbsFilePath, true);
  462. }
  463. /**
  464. * 用加载数据到结构化数据文件的模式进行初始化,推荐使用本方法初始化,边界图形数据存入结构化数据文件中,内存占用很低(查询时会反复读取文件对应内容,查询性能消耗主要在IO上,IO性能极高问题不大);本方法可以反复调用但只会初始化一次,每次查询前都调用即可(查询会在初始化完成后进行)
  465. * <pre>
  466. * 支持文件(utf-8):
  467. * - *.wkbs saveWkbsFilePath生成的结构化数据文件,读取效率高。
  468. * - *.json geojson文件,要求里面数据必须是一行一条数据
  469. * ,第一条数据的上一行必须是`"features": [`
  470. * ,最后一条数据的下一行必须是`]`打头
  471. * ,否则不支持解析,可尝试用文本编辑器批量替换添加换行符。
  472. * </pre>
  473. *
  474. * @param dataFilePath 数据文件路径(支持:*.wkbs、*.json),从这个文件读取数据;如果autoUseExistsWkbsFile=true并且saveWkbsFilePath文件存在时(已生成了结构化数据文件),可以不提供此参数
  475. * @param saveWkbsFilePath 不提供,或一个.wkbs后缀的文件路径:dataFile是wkbs时不可以提供;dataFile是geojson时,必须提供,加载geojson解析的数据会存入此文件
  476. * @param autoUseExistsWkbsFile 当传true时:如果检测到saveWkbsFilePath对应文件已成功生成过了,将直接使用这个wkbs文件作为dataFile(直接忽略dataFilePath参数);建议传true,这样只需要首次加载生成了结构文件,以后读取数据都非常快(数据更新时需删除wkbs文件)
  477. */
  478. public void Init_StoreInWkbsFile(String dataFilePath, String saveWkbsFilePath, boolean autoUseExistsWkbsFile) {
  479. __Init(autoUseExistsWkbsFile, dataFilePath, saveWkbsFilePath, false);
  480. }
  481. /** 版本号,主要用于wkbs结构化文件的版本 **/
  482. static public final String Version="1.0";
  483. /** 性能优化的重要参数,用于将大的边界按网格拆分成小的边界,这个参数决定了每个小边界的坐标点数在这个值附近
  484. * <br>取值越小,查询性能越高;初始化拆分出来的Polygon会越多,占用内存也会相应增多,解析json文件、或生成wkbs文件会比较耗时。
  485. * <br>取值越大,查询性能越低;初始化拆分出来的Polygon会越少,占用内存也会越少,解析json文件、或生成wkbs文件会比较快。
  486. * <br>如果不清楚作用,请勿调整此参数;修改后,之前生成的wkbs结构化文件均会失效,初始化时会重新生成。
  487. * **/
  488. public int SetGridFactor=100;
  489. /** init时允许使用的最大线程数量,默认为不超过5 并且 不超过cpu核心数-1;线程数不要太多, 默认就好**/
  490. public int SetInitUseThreadMax=5;
  491. /** init采用的Init_StoreInMemory时,图形数据直接存到内存,不要转成wkb压缩内存,可进一步提升性能,但会增大一倍多的内存占用 **/
  492. public boolean SetInitStoreInMemoryUseObject=false;
  493. /**
  494. * init状态:0未初始化,1初始化中,2初始化完成,3初始化失败(InitInfo.ErrMsg为错误消息)
  495. */
  496. public int GetInitStatus() {
  497. return InitLock[0];
  498. }
  499. /** 检查init状态是否是2已初始化完成,未完成会抛出错误原因 **/
  500. public void CheckInitIsOK() throws Exception {
  501. if(InitLock[0]==3) {
  502. throw new Exception(InitInfo.ErrMsg);
  503. }
  504. if(InitLock[0]!=2) {
  505. throw new Exception("需要先Init完成后,再来进行查询调用");
  506. }
  507. }
  508. /** 将init状态设置为0(未初始化),允许重新Init **/
  509. public void ResetInitStatus() {
  510. synchronized (InitLock) {
  511. InitLock[0] = 0;
  512. EnvelopeSTRTree = null;
  513. WKTDataStores = null;
  514. LineSubsPos = null;
  515. }
  516. }
  517. /** 是否是通过Init_StoreInMemory初始化的 **/
  518. public boolean IsStoreInMemory() {
  519. return GetInitStatus()==2 && ReadFromMemory;
  520. }
  521. /** 是否是通过Init_StoreInWkbsFile初始化的 **/
  522. public boolean IsStoreInWkbsFile() {
  523. return GetInitStatus()==2 && !ReadFromMemory;
  524. }
  525. /**
  526. * init时的回调,可以绑定一个函数,接收InitInfo进度信息,回调时机:
  527. * <pre>
  528. * - 每处理一行数据会回调一次,返回false可以跳过处理一行数据,此时initInfo.CurrentLine_XX全部有值
  529. * - 处理完成时会回调一次(此时initInfo.CurrentLine_XX全部为空)
  530. * </pre>
  531. * 此回调线程安全。
  532. */
  533. public Func<QueryInitInfo, Boolean> OnInitProgress;
  534. /**
  535. * init时的进度信息
  536. */
  537. public QueryInitInfo GetInitInfo() {
  538. return InitInfo;
  539. }
  540. private QueryInitInfo InitInfo;
  541. /** jts的factory,可以用来创建Geometry **/
  542. static public GeometryFactory Factory=new GeometryFactory(new PrecisionModel(), 4326);
  543. private int[] InitLock=new int[] { 0 };//0未初始化,1初始化中,2初始化完成,3初始化失败
  544. private boolean ReadFromMemory;
  545. private String WkbsFilePath;
  546. private STRtree EnvelopeSTRTree; //所有图形的外接矩形索引
  547. private List<HashMap<String,Object>> WKTDataStores; //WKT查询时需要读取的属性列表
  548. private HashMap<String, ArrayList<Integer>> LineSubsPos; //每行数据grid拆分后的数据在wkbs里面的存储位置
  549. private void __Init(boolean autoUseExistsWkbsFile, String dataFilePath, String saveWkbsFilePath, boolean readFromMemory) {
  550. if(InitLock[0] >= 2) {
  551. return;
  552. }
  553. synchronized (InitLock) {
  554. if(InitLock[0] >= 2) {
  555. return;
  556. }
  557. FileOutputStream fw=null;
  558. FileInputStream fr=null;
  559. BufferedReader read=null;
  560. InitLock[0]=1;
  561. try {
  562. InitInfo=new QueryInitInfo();
  563. InitInfo.StartTimeN = System.nanoTime();
  564. InitInfo.StartMemory_System = GetMemory_System();
  565. InitInfo.StartMemory_JavaRuntime = GetMemory_JavaRuntime();
  566. ReadFromMemory=readFromMemory;
  567. WkbsFilePath="";
  568. dataFilePath=dataFilePath==null?"":dataFilePath;
  569. saveWkbsFilePath=saveWkbsFilePath==null?"":saveWkbsFilePath;
  570. if(saveWkbsFilePath.length()>0) {
  571. WkbsFilePath=saveWkbsFilePath;
  572. }else if(IsWkbsFilePath(dataFilePath)) {
  573. WkbsFilePath=dataFilePath;
  574. }else if(!ReadFromMemory){
  575. throw new Exception("Init_StoreInWkbsFile传入非wkbs文件时,必须提供saveWkbsFilePath");
  576. }
  577. if(saveWkbsFilePath.length()>0) {
  578. if(!IsWkbsFilePath(saveWkbsFilePath)) {
  579. throw new Exception("saveWkbsFilePath必须是.wkbs结尾");
  580. }
  581. if(IsWkbsFilePath(dataFilePath)) {
  582. throw new Exception("dataFilePath是.wkbs文件时,不允许再提供saveWkbsFilePath");
  583. }
  584. if(autoUseExistsWkbsFile){//如果wkbs文件已存在,并且有效,就直接读取这个文件的数据
  585. if(AvailableWkbsFile(saveWkbsFilePath)) {
  586. dataFilePath=saveWkbsFilePath;
  587. saveWkbsFilePath="";
  588. }
  589. }
  590. }
  591. InitInfo.DataFromWkbsFile=IsWkbsFilePath(dataFilePath);
  592. InitInfo.HasWkbsFile=WkbsFilePath.length()>0;
  593. InitInfo.FilePath_Data=dataFilePath;
  594. InitInfo.FilePath_SaveWkbs=saveWkbsFilePath;
  595. //打开文件
  596. fr=new FileInputStream(dataFilePath);
  597. read=new BufferedReader(new InputStreamReader(fr, "utf-8"));
  598. if(saveWkbsFilePath.length()>0) {
  599. fw=new FileOutputStream(saveWkbsFilePath);
  600. }
  601. __InitProcess(dataFilePath, read, saveWkbsFilePath, fw);
  602. EnvelopeSTRTree.build();//立即生成索引树
  603. InitLock[0]=2;
  604. } catch (Exception e) {
  605. InitInfo.ErrMsg="初始化发生异常:"+ErrorStack(e);
  606. InitLock[0]=3;
  607. } finally {
  608. try { if(fw!=null) fw.close(); } catch(Exception e) {}
  609. try { if(fr!=null) fr.close(); } catch(Exception e) {}
  610. try { if(read!=null) read.close(); } catch(Exception e) {}
  611. long t_gc=System.nanoTime();
  612. System.gc();//强制回收内存
  613. InitInfo.DurationN_JavaGC=System.nanoTime()-t_gc;
  614. InitInfo.CurrentLine_No=0;
  615. InitInfo.CurrentLine_Text="";
  616. InitInfo.CurrentLine_Prop="";
  617. InitInfo.EndTimeN = System.nanoTime();
  618. InitInfo.EndMemory_System = GetMemory_System();
  619. InitInfo.EndMemory_JavaRuntime = GetMemory_JavaRuntime();
  620. }
  621. //初始化完成了,回调一下进度
  622. if(OnInitProgress!=null) {
  623. try {
  624. OnInitProgress.Exec(InitInfo);
  625. } catch (Exception e) { }
  626. }
  627. }
  628. }
  629. private void __InitProcess(String dataFilePath, BufferedReader dataFile, String saveWkbsFilePath, FileOutputStream saveWkbsFile) throws Exception {
  630. Exception[] threadError=new Exception[] { null };
  631. STRtree rtree=new STRtree();
  632. List<HashMap<String,Object>> wktDataStores=new ArrayList<>();
  633. List<HashMap<String,Object>> emptyGeoms=new ArrayList<>();
  634. HashMap<String, ArrayList<Integer>> lineSubsPos=new HashMap<>();
  635. boolean isWkbsFile=IsWkbsFilePath(dataFilePath);
  636. String IsStartErrMsg="未识别到geojson|wkbs数据,请检查初始化传入的文件是否正确。"
  637. +"注意:如果是geojson文件,要求里面数据必须是一行一条数据"
  638. +",第一条数据的上一行必须是`\"features\": [`,最后一条数据的下一行必须是`]`打头"
  639. +",否则不支持解析,可尝试用文本编辑器批量替换添加换行符。";
  640. boolean[] IsStart=new boolean[] { false };
  641. boolean[] IsEnd=new boolean[] { false };
  642. int[] LineNo=new int[] { 0 };
  643. HashMap<String, String[]> Strings=new HashMap<>();//prop字符串转成引用类型
  644. //写入wkbs文件,并记录已写入长度
  645. int[] saveWkbsFileLength=new int[] { 0 };
  646. Func<String, Object> SaveWkbsWrite=new Func<String, Object>() {
  647. @Override
  648. public Object Exec(String val) throws Exception {
  649. byte[] bs=val.getBytes("utf-8");
  650. saveWkbsFileLength[0]+=bs.length;
  651. saveWkbsFile.write(bs);
  652. return null;
  653. }
  654. };
  655. Func<Object, Object> ThreadExec=new Func<Object, Object>() {
  656. @Override
  657. public String Exec(Object val) throws Exception {
  658. while(true) {
  659. int lineNo;
  660. String line;
  661. synchronized (dataFile) {//先读取一行内容,文件内容之类的识别不允许并行
  662. if(threadError[0]!=null) throw threadError[0];
  663. if(IsEnd[0]) break;
  664. long t_fr=System.nanoTime();
  665. line=dataFile.readLine();
  666. InitInfo.DurationN_FileRead+=System.nanoTime()-t_fr;
  667. if(line==null) {
  668. //没有数据了
  669. if(!IsStart[0]){
  670. throw new Exception(IsStartErrMsg);
  671. }
  672. if(!IsEnd[0]){
  673. throw new Exception("初始化传入的文件未发现结束位置,可能文件已损坏");
  674. }
  675. break;
  676. }
  677. lineNo=++LineNo[0];
  678. line=line.trim();
  679. if(line.length()==0)continue;
  680. if(IsStart[0] && line.charAt(0)==']'){
  681. //处理完成所有数据
  682. IsEnd[0]=true;
  683. break;
  684. }
  685. if(!IsStart[0]){
  686. //等待开始标志
  687. int fIdx=line.indexOf("\"features\"");
  688. if(fIdx==0 || fIdx>0 && fIdx>=line.length()-14){
  689. if(!line.endsWith("[")){
  690. throw new Exception("初始化传入的文件第"+lineNo+"行风格不对,不支持处理此文件");
  691. }
  692. IsStart[0]=true;
  693. if(saveWkbsFile!=null) {//写入 wkbs 文件头,这里无需同步操作
  694. SaveWkbsWrite.Exec("/*******************"
  695. +"\n本wkbs文件是由 "+AreaCityQuery.class.getTypeName()+" 生成,为专用的结构化数据文件,用于边界图形数据加速解析。"
  696. +"\n@Version: "+Version
  697. +"\n@GridFactor: "+SetGridFactor
  698. +"\n@数据文件: "+dataFilePath
  699. +"\n@生成时间: "+new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(new Date())
  700. +"\n"
  701. +"\nGitHub: https://github.com/xiangyuecn/AreaCity-Query-Geometry (github可换成gitee)"
  702. +"\n省市区县乡镇区划边界数据: https://github.com/xiangyuecn/AreaCity-JsSpider-StatsGov (github可换成gitee)"
  703. +"\n*******************/"
  704. +"\n"
  705. +"\n\"features\": [");
  706. }
  707. }
  708. continue;
  709. }
  710. }// synchronized end
  711. //开始处理这一行数据
  712. long r_t1=System.nanoTime();
  713. //手工提取properties
  714. String[] propStrPtr;
  715. String propStr,wkbPosStr=lineNo+":0:0";
  716. boolean wkbTypeIsParent=false,wkbTypeIsSub=false,wkbTypeIsEmpty=false;
  717. int wkbIdx=0;
  718. if(isWkbsFile){
  719. int i0=line.indexOf(WKB_SP_Pos);
  720. String wkbType=line.substring(0, i0);
  721. if(wkbType.equals("Sub")) {
  722. wkbTypeIsSub=true;
  723. } else if(wkbType.equals("Full")) {
  724. // NOOP
  725. } else if(wkbType.equals("Parent")) {
  726. wkbTypeIsParent=true;
  727. } else if(wkbType.equals("Empty")) {
  728. wkbTypeIsEmpty=true;
  729. }
  730. i0+=WKB_SP_Pos.length();
  731. int i1=line.indexOf(WKB_SP_Prop, i0);
  732. wkbPosStr=line.substring(i0, i1);
  733. i1+=WKB_SP_Prop.length();
  734. int i2=line.indexOf(WKB_SP_WKB, i1);
  735. propStr=line.substring(i1, i2);
  736. wkbIdx=i2+WKB_SP_WKB.length();
  737. } else {
  738. int i0=line.indexOf("properties\"");
  739. int i1=line.indexOf("{", i0);
  740. int i2=line.indexOf("}", i0);
  741. propStr=line.substring(i1, i2+1);
  742. }
  743. //手工提取geometry类型
  744. String typeStr="";
  745. if(!isWkbsFile){
  746. int iGeom=line.indexOf("geometry\"");
  747. int i0=line.indexOf("type\"", iGeom);
  748. int i1=line.indexOf("\"", i0+5);
  749. int i2=line.indexOf("\"", i1+1);
  750. typeStr=line.substring(i1+1, i2);
  751. }
  752. synchronized (InitInfo) {
  753. InitInfo.DurationN_FileParse+=System.nanoTime()-r_t1;
  754. InitInfo.CurrentLine_No=lineNo;
  755. InitInfo.CurrentLine_Text=line;
  756. InitInfo.CurrentLine_Prop=propStr;
  757. //回调一下,顺带看看需不需要解析这条数据
  758. if(OnInitProgress!=null) {
  759. if(!OnInitProgress.Exec(InitInfo)) {
  760. continue;
  761. }
  762. }
  763. //在这个同步块里面顺带处理一下字符串转引用类型,减少字符串内存占用
  764. propStrPtr=Strings.get(propStr);
  765. if(propStrPtr==null) {
  766. propStrPtr=new String[] { propStr };
  767. Strings.put(propStr, propStrPtr);
  768. }
  769. }
  770. //wkbs里面的非Sub图形,完整图形
  771. if(isWkbsFile && !wkbTypeIsSub) {
  772. synchronized (InitInfo) {
  773. InitInfo.GeometryCount++;
  774. }
  775. if(!wkbTypeIsEmpty) {//empty的丢到下面统一处理
  776. HashMap<String,Object> store=new HashMap<>();
  777. store.put("prop", propStrPtr);
  778. store.put("wkbPos", wkbPosStr);
  779. synchronized (wktDataStores) {
  780. wktDataStores.add(store);//存好WKT查询数据,一个数据只存一条就行了
  781. }
  782. }
  783. if(wkbTypeIsParent) {//已经拆分了,上级完整图形无需再处理
  784. continue;
  785. }
  786. }
  787. //手工创建图形对象
  788. long r_t2=System.nanoTime();
  789. Geometry geomSrc;
  790. if(isWkbsFile){
  791. byte[] wkb=Hex2Bytes(line, wkbIdx);
  792. geomSrc=new WKBReader(Factory).read(wkb);
  793. } else {
  794. if(!(typeStr.equals("Polygon") || typeStr.equals("MultiPolygon"))) {
  795. throw new Exception("初始化传入的文件第"+lineNo+"行"+typeStr+"数据不是Polygon类,要求必须是Polygon或者MultiPolygon,并且json文件内一条数据一行");
  796. }
  797. geomSrc=JSONLineParse(Factory, line);
  798. }
  799. synchronized (InitInfo) {
  800. InitInfo.DurationN_GeometryParse+=System.nanoTime()-r_t2;
  801. if(!isWkbsFile) {
  802. InitInfo.GeometryCount++;
  803. }
  804. if(geomSrc.isEmpty()){//空的存一下属性,边界就丢弃
  805. HashMap<String,Object> store=new HashMap<>();
  806. store.put("prop", propStrPtr);
  807. store.put("wkbPos", wkbPosStr);
  808. store.put("empty", true);
  809. emptyGeoms.add(store);
  810. continue;
  811. }
  812. }
  813. //创建索引,将每个图形放到rtree,图形如果坐标点过多,先按网格拆成小的
  814. long r_t3=System.nanoTime();
  815. Geometry geomGrid=geomSrc;
  816. if(!isWkbsFile) { //wkbs文件已经拆好了,非wkbs才需要按网格拆成小的
  817. geomGrid=GeometryGridSplit(Factory, geomSrc, SetGridFactor);
  818. }
  819. int wkbMemoryLen=0;
  820. int polygonNum=1;
  821. if(geomGrid instanceof MultiPolygon) {
  822. polygonNum = geomGrid.getNumGeometries();
  823. }
  824. int parentPos=0;
  825. if(polygonNum>1 && saveWkbsFile!=null) {//有多个Polygon时,先存一个完整的父级
  826. byte[] wkb=new WKBWriter().write(geomSrc);
  827. synchronized (saveWkbsFile) {
  828. parentPos=saveWkbsFileLength[0]+1;//+1 换行符
  829. String wkbPos=lineNo+":"+parentPos+":"+parentPos; //编号:parent:sub 数据存储位置
  830. SaveWkbsWrite.Exec("\nParent"+WKB_SP_Pos+wkbPos+WKB_SP_Prop+propStr+WKB_SP_WKB+Bytes2Hex(wkb));
  831. }
  832. }
  833. for(int i0=0;i0<polygonNum;i0++) {
  834. Polygon polygon;
  835. if(geomGrid instanceof MultiPolygon) {//MultiPolygon 拆成 Polygon 减小范围
  836. polygon=(Polygon)geomGrid.getGeometryN(i0);
  837. }else{
  838. polygon=(Polygon)geomGrid;
  839. }
  840. byte[] wkb=null;
  841. String wkbPos=lineNo+":0:0";//编号:parent:sub 数据存储位置
  842. if(saveWkbsFile!=null) {//需要保存到文件
  843. synchronized (saveWkbsFile) {
  844. wkbPos=(saveWkbsFileLength[0]+1)+"";//+1 换行符
  845. String type="Sub";
  846. if(polygonNum==1) {//自己本身就是完整的,无需parent
  847. type="Full";
  848. wkbPos=wkbPos+":"+wkbPos;
  849. } else {
  850. wkbPos=parentPos+":"+wkbPos;
  851. }
  852. wkbPos=lineNo+":"+wkbPos;
  853. wkb=new WKBWriter().write(polygon);
  854. SaveWkbsWrite.Exec("\n"+type+WKB_SP_Pos+wkbPos+WKB_SP_Prop+propStr+WKB_SP_WKB+Bytes2Hex(wkb));
  855. }
  856. }
  857. HashMap<String,Object> store=new HashMap<>();
  858. store.put("prop", propStrPtr);
  859. if(ReadFromMemory){//写入内存
  860. if(SetInitStoreInMemoryUseObject) {
  861. store.put("wkb", polygon);
  862. }else {
  863. if(wkb==null) {
  864. wkb=new WKBWriter().write(polygon);
  865. }
  866. wkbMemoryLen+=wkb.length;
  867. store.put("wkb", wkb);
  868. }
  869. }
  870. if(isWkbsFile) {//从wkbs文件读的数据,直接给数据位置值
  871. wkbPos=wkbPosStr;
  872. }
  873. store.put("wkbPos", wkbPos);
  874. String[] wkbPosArr=getWkbPos(store);
  875. //构造外接矩形,放到rtree里面,非线程安全需同步操作
  876. synchronized (rtree) {
  877. rtree.insert(polygon.getEnvelopeInternal(), store);
  878. //在这个同步块里面顺带把sub添加到这行数据的引用列表中
  879. ArrayList<Integer> subs=lineSubsPos.get(wkbPosArr[0]);
  880. if(subs==null) {
  881. subs=new ArrayList<>();
  882. lineSubsPos.put(wkbPosArr[0], subs);
  883. }
  884. subs.add(Integer.parseInt(wkbPosArr[2]));
  885. }
  886. if(i0==0 && !isWkbsFile) {
  887. //这个只在查询完整wkt数据时才有用,一个数据只存一条就行了,wkbs的上面已经存好了
  888. synchronized (wktDataStores) {
  889. wktDataStores.add(store);
  890. }
  891. }
  892. }
  893. synchronized (InitInfo) {
  894. InitInfo.DurationN_Index+=System.nanoTime()-r_t3;
  895. if(ReadFromMemory){
  896. if(InitInfo.WkbMemory==-1)InitInfo.WkbMemory=0;
  897. InitInfo.WkbMemory+=wkbMemoryLen;
  898. }
  899. InitInfo.PolygonCount+=polygonNum;
  900. }
  901. }
  902. return null;
  903. }
  904. };
  905. // 开启多线程处理读取的数据,留一个核打酱油
  906. int[] threadCount=new int[] { Math.max(1, Math.min(SetInitUseThreadMax, Runtime.getRuntime().availableProcessors()-1)) };
  907. InitInfo.UseThreadCount=threadCount[0];
  908. for(int i=0;i<threadCount[0];i++) {
  909. new Thread(new Runnable() {
  910. @Override
  911. public void run() {
  912. try {
  913. ThreadExec.Exec(null);
  914. } catch(Exception e) {
  915. if(threadError[0]==null) {
  916. threadError[0]=e;
  917. }
  918. } finally {
  919. synchronized (threadCount) { threadCount[0]--; }
  920. }
  921. }
  922. }).start();
  923. }
  924. while(threadCount[0]>0) {
  925. try { Thread.sleep(10); }catch (Exception e) { }
  926. }
  927. if(threadError[0]!=null) {
  928. throw threadError[0];
  929. }
  930. if(!IsStart[0]){
  931. throw new Exception(IsStartErrMsg);
  932. }
  933. if(InitInfo.GeometryCount==0){
  934. throw new Exception("初始化传入的文件内没有数据");
  935. }
  936. //统一处理empty那些图形
  937. for(int i=0,iL=emptyGeoms.size();i<iL;i++) {
  938. HashMap<String,Object> store=emptyGeoms.get(i);
  939. wktDataStores.add(store);
  940. if(saveWkbsFile!=null) {
  941. String propStr=getProp(store);
  942. String lineNo=getWkbPos(store)[0];
  943. String wkbPos=(saveWkbsFileLength[0]+1)+"";//+1 换行符
  944. wkbPos=lineNo+":"+wkbPos+":"+wkbPos; //parent:sub 数据存储位置
  945. store.put("wkbPos", wkbPos);
  946. byte[] wkb=new WKBWriter().write(Factory.createPolygon());
  947. SaveWkbsWrite.Exec("\nEmpty"+WKB_SP_Pos+wkbPos+WKB_SP_Prop+propStr+WKB_SP_WKB+Bytes2Hex(wkb));
  948. }
  949. }
  950. if(saveWkbsFile!=null) {//写入 wkbs 文件结尾
  951. SaveWkbsWrite.Exec("\n]");
  952. }
  953. LineSubsPos=lineSubsPos;
  954. WKTDataStores=wktDataStores;
  955. EnvelopeSTRTree=rtree;
  956. }
  957. static private final String WKB_SP_Prop="|Prop:",WKB_SP_Pos="|Pos:",WKB_SP_WKB="|WKB:";
  958. private String getProp(Map<String,Object> store) {
  959. return ((String[])store.get("prop"))[0];
  960. }
  961. /**从保存的数据中提取出位置信息**/
  962. private String[] getWkbPos(Map<String,Object> store) {
  963. String str=(String)store.get("wkbPos");
  964. int p0=str.indexOf(':');
  965. int p1=str.indexOf(':', p0+1);
  966. return new String[] {
  967. str.substring(0, p0)
  968. ,str.substring(p0+1, p1)
  969. ,str.substring(p1+1)
  970. };
  971. }
  972. /**
  973. * 检测结构化数据文件是否有效
  974. */
  975. private boolean AvailableWkbsFile(String path) {
  976. File file=new File(path);
  977. if(!file.exists())return false;
  978. try(FileInputStream in=new FileInputStream(path)) {
  979. byte[] buffer=new byte[8*1024];
  980. int len=in.read(buffer);
  981. String txt=new String(buffer, "utf-8");
  982. if(!txt.contains("@Version: "+Version+"\n")) {
  983. return false;
  984. }
  985. if(!txt.contains("@GridFactor: "+SetGridFactor+"\n")) {
  986. return false;
  987. }
  988. in.skip(-len);// 请注意,倒车
  989. in.skip(file.length()-1);
  990. return in.read()==']';// 成功写入了结尾符号
  991. }catch (Exception e) {
  992. return false;
  993. }
  994. }
  995. /**
  996. * 从结构化数据文件中读取一条wkb数据
  997. */
  998. private byte[] ReadWkbFromFile(int pos) throws Exception {
  999. try(FileInputStream in=new FileInputStream(WkbsFilePath)) { // RandomAccessFile 没有区别,文件流无需缓存 新打开流不消耗性能,并发控制反而会影响性能
  1000. in.skip(pos);
  1001. ByteArrayOutputStream bs=new ByteArrayOutputStream();
  1002. byte[] buffer=new byte[32*1024];
  1003. int len=0;
  1004. boolean isStart=false;
  1005. int findLen=0;
  1006. char[] FindChars=WKB_SP_WKB.toCharArray();
  1007. while((len=in.read(buffer))!=-1) {
  1008. int i0=0;
  1009. if(!isStart) {//查找 WKB_SP_WKB
  1010. for(int i=0;i<len;i++) {
  1011. if(buffer[i]==FindChars[0]) {
  1012. findLen=1;
  1013. continue;
  1014. }
  1015. if(findLen==0)continue;
  1016. if(buffer[i]==FindChars[findLen]) {
  1017. findLen++;
  1018. if(findLen==FindChars.length) {
  1019. isStart=true;
  1020. i0=i+1;
  1021. break;
  1022. }
  1023. } else {
  1024. findLen=0;
  1025. }
  1026. }
  1027. }
  1028. //查找结尾的\n
  1029. boolean isEnd=false;
  1030. int i1=len;
  1031. for(int i=i0;i<len;i++) {
  1032. if(buffer[i]=='\n') {
  1033. isEnd=true;
  1034. i1=i;
  1035. break;
  1036. }
  1037. }
  1038. if(i1-i0>0) {
  1039. bs.write(buffer, i0, i1-i0);
  1040. }
  1041. if(isEnd) {
  1042. byte[] byts=bs.toByteArray();
  1043. if(byts.length%2==1) {
  1044. throw new Exception("结构化数据内部存在错误");
  1045. }
  1046. return Hex2Bytes(byts, 0);
  1047. }
  1048. }
  1049. }
  1050. throw new Exception("结构化数据文件已损坏");
  1051. }
  1052. //===========================一些函数和方法===================================
  1053. /** 通用回调接口 **/
  1054. public interface Func<iT, oT> { oT Exec(iT val) throws Exception; }
  1055. /**
  1056. * 将一行JSON数据转换成Geometry对象,要求一个JSON图形数据必须占用一行文本,高性能!
  1057. */
  1058. static private Geometry JSONLineParse(GeometryFactory factory, String line) {
  1059. ArrayList<__ParsePolygon> multiPols=new ArrayList<>();
  1060. int iGeom=line.indexOf("geometry\"");
  1061. for(int i=line.indexOf("coordinates\"", iGeom),L=line.length();i<L;) {
  1062. __ParsePolygon pr=new __ParsePolygon(factory, line, i);
  1063. if(pr.isFind) {
  1064. i=pr.lastIndex;
  1065. multiPols.add(pr);
  1066. } else {
  1067. break;
  1068. }
  1069. }
  1070. if(multiPols.size()==1) {
  1071. return multiPols.get(0).toPolygon(factory);
  1072. } else if(multiPols.size()>1) {
  1073. Polygon[] pols=new Polygon[multiPols.size()];
  1074. for(int i=0,L=multiPols.size();i<L;i++) {
  1075. pols[i]=multiPols.get(i).toPolygon(factory);
  1076. }
  1077. return factory.createMultiPolygon(pols);
  1078. } else {
  1079. return factory.createPolygon();
  1080. }
  1081. }
  1082. static private class __ParsePolygon{
  1083. public __ParsePolygon(GeometryFactory factory, String line, int index) {
  1084. //手工提取图形坐标点
  1085. ArrayList<Coordinate> points=new ArrayList<>();
  1086. boolean isStart=false; int multiEnds=0,polEnds=0;
  1087. int i0=index;
  1088. for(int Li=line.length();i0<Li;i0++) {
  1089. char c=line.charAt(i0);
  1090. if(c==' ')continue;
  1091. if(c=='}')break;
  1092. if(!isStart) {
  1093. if(c=='[') isStart=true;
  1094. continue;
  1095. }
  1096. if(c==']') {
  1097. polEnds++;
  1098. if(polEnds==2) {// 环结束
  1099. LinearRing ring=factory.createLinearRing(points.toArray(new Coordinate[0]));
  1100. if(ring0==null) {
  1101. ring0=ring;
  1102. }else{
  1103. ringX.add(ring);
  1104. }
  1105. points=new ArrayList<>();
  1106. }
  1107. multiEnds++;
  1108. if(multiEnds==3) {// MultiPolygon结束
  1109. i0++;break;
  1110. }
  1111. continue;
  1112. }
  1113. polEnds=0;
  1114. multiEnds=0;
  1115. if(c==',' || c=='[')continue;
  1116. StringBuilder lng=new StringBuilder(),lat=new StringBuilder();
  1117. for(;i0<Li;i0++) {
  1118. c=line.charAt(i0);
  1119. if(c==' ') continue;
  1120. if(c==',') { i0++; break;}
  1121. lng.append(c);
  1122. }
  1123. for(;i0<Li;i0++) {
  1124. c=line.charAt(i0);
  1125. if(c==' ') continue;
  1126. if(c==']') { i0--; break; }
  1127. lat.append(c);
  1128. }
  1129. points.add(new Coordinate(
  1130. Double.parseDouble(lng.toString())
  1131. , Double.parseDouble(lat.toString())));
  1132. }
  1133. lastIndex=i0;
  1134. isFind=ring0!=null;
  1135. }
  1136. public boolean isFind;
  1137. public int lastIndex;
  1138. private LinearRing ring0;
  1139. private ArrayList<LinearRing> ringX=new ArrayList<>();
  1140. public Polygon toPolygon(GeometryFactory factory) {
  1141. if(ring0==null) {
  1142. return factory.createPolygon();
  1143. }
  1144. LinearRing[] holes=null;
  1145. if(ringX.size()>0) {
  1146. holes=ringX.toArray(new LinearRing[0]);
  1147. }
  1148. return factory.createPolygon(ring0, holes);
  1149. }
  1150. }
  1151. /**
  1152. * 将坐标点数过多的边界,使用网格进行拆分成小块
  1153. */
  1154. static private Geometry GeometryGridSplit(GeometryFactory factory, Geometry geom, int gridFactor) {
  1155. ArrayList<Polygon> pols=new ArrayList<>();
  1156. if(geom instanceof Polygon) {
  1157. __PolygonGridSplit(factory, gridFactor, pols, (Polygon)geom);
  1158. } else {
  1159. for(int i=0,L=geom.getNumGeometries();i<L;i++) {
  1160. __PolygonGridSplit(factory, gridFactor, pols, (Polygon)geom.getGeometryN(i));
  1161. }
  1162. }
  1163. if(pols.size()==1) {
  1164. return pols.get(0);
  1165. }
  1166. return factory.createMultiPolygon(pols.toArray(new Polygon[0]));
  1167. }
  1168. static private void __PolygonGridSplit(GeometryFactory factory, int gridFactor, ArrayList<Polygon> pols, Polygon polygon) {
  1169. int pointCount=polygon.getNumPoints();
  1170. int gridPoint=(int)Math.round(1.0*pointCount/gridFactor);//最外层的1格平均分担点数,计算最外层网格边数
  1171. if(gridPoint<2) {//没必要拆分了
  1172. pols.add(polygon);
  1173. return;
  1174. }
  1175. Envelope box=polygon.getEnvelopeInternal();
  1176. //按最长的一边,对中切开,切成两块,然后递归去切
  1177. double width=box.getMaxX()-box.getMinX();
  1178. double height=box.getMaxY()-box.getMinY();
  1179. int gridX=1,gridY=1;//xy轴列数
  1180. if(width/(height*2)>1) {//x轴更长,切x轴,纬度简单*2 当做跟 经度 一样
  1181. gridX++;
  1182. } else {
  1183. gridY++;
  1184. }
  1185. double xStep=width/gridX;
  1186. double yStep=height/gridY;
  1187. double x_0=box.getMinX(),y_00=box.getMinY();
  1188. double x_1=box.getMaxX(),y_1=box.getMaxY();
  1189. while(x_0-x_1<-xStep/2) {//注意浮点数±0.000000001的差异
  1190. double x0=x_0, x1=x_0+xStep; x_0=x1;
  1191. double y_0=y_00;
  1192. while(y_0-y_1<-yStep/2) {
  1193. double y0=y_0, y1=y_0+yStep; y_0=y1;
  1194. Polygon gridItem=factory.createPolygon(new Coordinate[] {
  1195. new Coordinate(x0, y0)
  1196. , new Coordinate(x0, y1)
  1197. , new Coordinate(x1, y1)
  1198. , new Coordinate(x1, y0)
  1199. , new Coordinate(x0, y0)
  1200. });
  1201. Geometry chunk=polygon.intersection(gridItem);
  1202. if(!chunk.isEmpty()) {
  1203. //如果有大的就继续拆分
  1204. if(chunk instanceof Polygon) {
  1205. __PolygonGridSplit(factory, gridFactor, pols, (Polygon)chunk);
  1206. } else {
  1207. for(int i2=0,L2=chunk.getNumGeometries();i2<L2;i2++) {
  1208. Geometry item=chunk.getGeometryN(i2);
  1209. if(item instanceof Polygon) { //偶尔出现LineString
  1210. __PolygonGridSplit(factory, gridFactor, pols, (Polygon)item);
  1211. }
  1212. }
  1213. }
  1214. }
  1215. }
  1216. }
  1217. }
  1218. /** 计算两个坐标的距离,单位米 **/
  1219. static public double Distance(double lng1, double lat1, double lng2, double lat2) {
  1220. //采用Haversine formula算法,高德地图的js计算代码,比较简洁 https://www.cnblogs.com/ggz19/p/7551088.html
  1221. double d=Math.PI/180;
  1222. double f=lat1*d, h=lat2*d;
  1223. double i=lng2*d - lng1*d;
  1224. double e=(1 - Math.cos(h - f) + (1 - Math.cos(i)) * Math.cos(f) * Math.cos(h)) / 2;
  1225. return 2 * 6378137 * Math.asin(Math.sqrt(e));
  1226. }
  1227. /** 以坐标点为中心,简单粗略的创建一个指定半径的圆,半径单位米,pointCount为构建圆的坐标点数(比如24个点,点越多越圆,最少3个点) **/
  1228. static public Geometry CreateSimpleCircle(double lng, double lat, double radius, int pointCount) {
  1229. //球面坐标不会算,转换成三角坐标简单点,经度代表值大约:0.01≈1km 0.1≈10km 1≈100km 10≈1000km
  1230. double km=radius/1000;
  1231. double a=km<5?0.01 :km<50?0.1 :km<500?1 :10;
  1232. double b=Distance(lng, lat, lng+a, lat);
  1233. double c=Distance(lng, lat, lng, lat+a);
  1234. double rb=radius/b*a;
  1235. double rc=radius/c*a;
  1236. Coordinate[] arr=new Coordinate[pointCount+1];
  1237. double n=0,step=360.0/pointCount,N=360-step/2; //注意浮点数±0.000000001的差异
  1238. for(int i=0;n<N;i++,n+=step){
  1239. double x=lng+rb*Math.cos(n*Math.PI/180);
  1240. double y=lat+rc*Math.sin(n*Math.PI/180);
  1241. arr[i]=new Coordinate(x, y);
  1242. }
  1243. arr[pointCount]=arr[0];
  1244. return Factory.createPolygon(arr);
  1245. }
  1246. /** 通过两个坐标点构造一个矩形 **/
  1247. static public Geometry CreateRect(double lng1, double lat1, double lng2, double lat2) {
  1248. return Factory.createPolygon(new Coordinate[] {
  1249. new Coordinate(lng1, lat1), new Coordinate(lng1, lat2)
  1250. ,new Coordinate(lng2, lat2), new Coordinate(lng2, lat1)
  1251. ,new Coordinate(lng1, lat1)
  1252. });
  1253. }
  1254. /**判断是不是.wkbs结尾的文件路径**/
  1255. static private boolean IsWkbsFilePath(String path) {
  1256. return path.toLowerCase().endsWith(".wkbs");
  1257. }
  1258. /**二进制内容转成16进制文本(大写)**/
  1259. static private String Bytes2Hex(byte[] bytes) {
  1260. StringBuffer str=new StringBuffer();
  1261. for (int i=0; i<bytes.length; i++) {
  1262. byte b=bytes[i];
  1263. int b1=(b>>4) & 0x0F;
  1264. int b2=b & 0x0F;
  1265. str.append((char)(b1<=9?'0'+b1:'A'+b1-10));
  1266. str.append((char)(b2<=9?'0'+b2:'A'+b2-10));
  1267. }
  1268. return str.toString();
  1269. }
  1270. /**16进制文本转成二进制内容,从指定位置开始转**/
  1271. static private byte[] Hex2Bytes(String hex, int start) {
  1272. byte[] val=new byte[(hex.length()-start)/2];
  1273. for(int i=start,n=0,len=hex.length();i<len;n++) {
  1274. int c1=hex.charAt(i++);
  1275. int c2=hex.charAt(i++);
  1276. c1=c1<'A'?c1-'0':c1<'a'?c1-'A'+10:c1-'a'+10;
  1277. c2=c2<'A'?c2-'0':c2<'a'?c2-'A'+10:c2-'a'+10;
  1278. val[n]=(byte)((c1 << 4) | c2);
  1279. }
  1280. return val;
  1281. }
  1282. /**16进制数据转成二进制内容,从指定位置开始转**/
  1283. static private byte[] Hex2Bytes(byte[] hex, int start) {
  1284. byte[] val=new byte[(hex.length-start)/2];
  1285. for(int i=start,n=0,len=hex.length;i<len;n++) {
  1286. int c1=hex[i++];
  1287. int c2=hex[i++];
  1288. c1=c1<'A'?c1-'0':c1<'a'?c1-'A'+10:c1-'a'+10;
  1289. c2=c2<'A'?c2-'0':c2<'a'?c2-'A'+10:c2-'a'+10;
  1290. val[n]=(byte)((c1 << 4) | c2);
  1291. }
  1292. return val;
  1293. }
  1294. /**将错误堆栈转成字符串**/
  1295. static private String ErrorStack(Throwable e) {
  1296. StringWriter writer = new StringWriter();
  1297. e.printStackTrace(new PrintWriter(writer));
  1298. return writer.toString();
  1299. }
  1300. /**纳秒显示成ms,小数点后有数字开始两位**/
  1301. static private String Nano(double nanoTime) {
  1302. String ts=nanoTime/1000000.0+"";
  1303. BigDecimal big=new BigDecimal(ts);
  1304. String s=ts.split("\\.")[1];
  1305. int c=0;
  1306. for(int i=0;i<s.length();i++) {
  1307. if(s.charAt(i)>'0') {
  1308. c+=2; break;
  1309. }
  1310. c++;
  1311. }
  1312. big=big.setScale(c, RoundingMode.HALF_UP);
  1313. return big.toString()+"ms";
  1314. }
  1315. /**计算两个内存字节数差值,然后显示成MB**/
  1316. static private String Memory(long memory) {
  1317. return memory/1024/1024+"MB";
  1318. }
  1319. /**获取当前系统内存已用字节数**/
  1320. static private long GetMemory_System() {
  1321. try {
  1322. OperatingSystemMXBean osMX = ManagementFactory.getOperatingSystemMXBean();
  1323. Method totalFn=osMX.getClass().getMethod("getTotalPhysicalMemorySize");
  1324. totalFn.setAccessible(true);
  1325. Method freeFn=osMX.getClass().getMethod("getFreePhysicalMemorySize");
  1326. freeFn.setAccessible(true);
  1327. return (long)totalFn.invoke(osMX) - (long)freeFn.invoke(osMX);
  1328. }catch (Exception e) {
  1329. return 0;
  1330. }
  1331. }
  1332. /**获取当前Java Runtime内存已用字节数**/
  1333. static private long GetMemory_JavaRuntime() {
  1334. return Runtime.getRuntime().totalMemory() - Runtime.getRuntime().freeMemory();
  1335. }
  1336. /** 初始化是的相关信息对象 **/
  1337. static public class QueryInitInfo {
  1338. /** 开始时间,纳秒 **/
  1339. public long StartTimeN;
  1340. /** 结束时间,纳秒 **/
  1341. public long EndTimeN;
  1342. /** 开始时的系统内存已用字节数 **/
  1343. public long StartMemory_System;
  1344. /** 结束时的系统内存已用字节数 **/
  1345. public long EndMemory_System;
  1346. /** 开始时的Java Runtime内存已用字节数 **/
  1347. public long StartMemory_JavaRuntime;
  1348. /** 结束时的Java Runtime内存已用字节数 **/
  1349. public long EndMemory_JavaRuntime;
  1350. /** 初始化使用的线程数量 **/
  1351. public int UseThreadCount=1;
  1352. /** 当前处理的文件行数,当全部处理完成时为0 **/
  1353. public int CurrentLine_No;
  1354. /** 当前处理的行完整内容,当全部处理完成时为空字符串 **/
  1355. public String CurrentLine_Text="";
  1356. /** 当前处理的行属性内容,当全部处理完成时为空字符串 **/
  1357. public String CurrentLine_Prop="";
  1358. /** 有效的图形数量,不包括空的图形 **/
  1359. public int GeometryCount;
  1360. /** 图形中的Polygon数量,一个图形包含1-n个Polygon,会用这些数量的Polygon外接矩形进行初步查找 **/
  1361. public int PolygonCount;
  1362. /** 如果缓存了wkb数据在内存,这里将会有wkb总字节数,未缓存为-1 **/
  1363. public int WkbMemory=-1;
  1364. /** 文件读取:文件内容读取耗时,纳秒 **/
  1365. public long DurationN_FileRead;
  1366. /** 文件解析:文件内容解析耗时,纳秒 **/
  1367. public long DurationN_FileParse;
  1368. /** 创建图形:内容解析成Geometry对象耗时,纳秒 **/
  1369. public long DurationN_GeometryParse;
  1370. /** Geometry对象进行索引耗时,纳秒 **/
  1371. public long DurationN_Index;
  1372. /** 初始化结尾调用System.gc()回收内存的耗时,纳秒 **/
  1373. public long DurationN_JavaGC;
  1374. /** 初始化时提供的数据文件路径 **/
  1375. public String FilePath_Data;
  1376. /** 初始化是提供的.wkbs后缀的结构化数据文件路径 **/
  1377. public String FilePath_SaveWkbs;
  1378. /**初始化时的数据是否是从wkbs结构化数据文件中读取;如果为false可能代表还未生成过wkbs文件,首次初始化可能会很慢**/
  1379. public boolean DataFromWkbsFile;
  1380. /**初始化时是否使用或保存了wkbs结构化数据文件,没有wkbs文件时查询中不允许获取WKT数据**/
  1381. public boolean HasWkbsFile;
  1382. /**初始化失败时的错误消息**/
  1383. public String ErrMsg="";
  1384. /** 初始化是否出现了错误 **/
  1385. public boolean hasError() {
  1386. return ErrMsg!=null && ErrMsg.length()>0;
  1387. }
  1388. @Override
  1389. public String toString() {
  1390. StringBuilder str=new StringBuilder();
  1391. str.append("[v"+AreaCityQuery.Version+"]"
  1392. +(DataFromWkbsFile?"wkbs+":"")
  1393. +"已读取Geometry "+GeometryCount+" 个(Grid切分Polygon "+PolygonCount+" 个)");
  1394. if(hasError()) {
  1395. String errT="\n=============\n";
  1396. str.append(errT+ErrMsg+errT);
  1397. }
  1398. str.append("\n");
  1399. long tn=EndTimeN-StartTimeN;
  1400. str.append("Init总耗时: "+tn/1000000+"ms");
  1401. str.append(",平均: "+(GeometryCount==0?"-":Nano(tn*1.0/GeometryCount))+"/个Geometry,线程数: "+UseThreadCount);
  1402. if(WkbMemory!=-1)str.append("\nWKB内存: "+Memory(WkbMemory));
  1403. str.append("\n文件读取耗时: "+Nano(DurationN_FileRead));
  1404. str.append("\n文件解析耗时: "+Nano(DurationN_FileParse/UseThreadCount)+"/线程,总: "+Nano(DurationN_FileParse));
  1405. str.append("\n创建图形耗时: "+Nano(DurationN_GeometryParse/UseThreadCount)+"/线程,总: "+Nano(DurationN_GeometryParse));
  1406. str.append("\n创建索引耗时: "+Nano(DurationN_Index/UseThreadCount)+"/线程,总: "+Nano(DurationN_Index));
  1407. str.append("\n内存占用: "+Memory(EndMemory_JavaRuntime- StartMemory_JavaRuntime)+" (Java Runtime)");
  1408. str.append(", "+Memory(EndMemory_System - StartMemory_System)+" (系统)");
  1409. str.append(", Java GC耗时: "+Nano(DurationN_JavaGC));
  1410. str.append("\nData文件: "+FilePath_Data);
  1411. str.append("\nWkbs文件: "+FilePath_SaveWkbs);
  1412. return str.toString();
  1413. }
  1414. }
  1415. /** 查询控制+和结果信息对象 **/
  1416. static public class QueryResult {
  1417. /** 查询结果列表,为匹配的边界属性数据(prop json字符串);如果设为null将只统计数据,不返回结果 **/
  1418. public ArrayList<String> Result=new ArrayList<>();
  1419. /** 查询开始时间,纳秒 **/
  1420. public long StartTimeN;
  1421. /** 查询结束时间,纳秒 **/
  1422. public long EndTimeN;
  1423. /** 查询过程中涉及到的IO耗时,纳秒 **/
  1424. public long DurationN_IO;
  1425. /** 查询过程中涉及到的图形对象解析耗时,纳秒 **/
  1426. public long DurationN_GeometryParse;
  1427. /** 从边界外接矩形中初步筛选耗时,纳秒 **/
  1428. public long DurationN_EnvelopeHitQuery;
  1429. /** 查询过程中精确查找耗时,纳秒 **/
  1430. public long DurationN_ExactHitQuery;
  1431. /** 外接矩形中初步筛选匹配到的矩形数量 **/
  1432. public int EnvelopeHitCount;
  1433. /** 精确查找到的边界数量 **/
  1434. public int ExactHitCount;
  1435. /** 本结果对象经过了几次查询(性能测试用) **/
  1436. public int QueryCount;
  1437. /** 将另一个的统计数据添加到这个里面来 **/
  1438. public void Add(QueryResult other) {
  1439. StartTimeN=Math.min(StartTimeN, other.StartTimeN);
  1440. EndTimeN=Math.max(EndTimeN, other.EndTimeN);
  1441. DurationN_IO+=other.DurationN_IO;
  1442. DurationN_GeometryParse+=other.DurationN_GeometryParse;
  1443. DurationN_EnvelopeHitQuery+=other.DurationN_EnvelopeHitQuery;
  1444. DurationN_ExactHitQuery+=other.DurationN_ExactHitQuery;
  1445. EnvelopeHitCount+=other.EnvelopeHitCount;
  1446. ExactHitCount+=other.ExactHitCount;
  1447. QueryCount+=other.QueryCount;
  1448. }
  1449. /** 如果不为null,几何计算查询时将会把从边界外接矩形中初步筛选时匹配到的中间结果写入到这个数组中(这些匹配项将参与精确匹配,数量越多性能越低下) **/
  1450. public ArrayList<String> Set_EnvelopeHitResult=null;
  1451. /** 查询结果中要额外包含对应的边界wkt文本,此参数会作为wkt文本在json里的key;必须初始化时保存了wkbs结构化数据文件,或者用的wkbs文件初始化的 **/
  1452. public String Set_ReturnWKTKey=null;
  1453. @Override
  1454. public String toString() {
  1455. StringBuilder str=new StringBuilder();
  1456. long tn=EndTimeN-StartTimeN;
  1457. str.append("查询"+QueryCount+"次共耗时: "+Nano(tn));
  1458. str.append(",EnvelopeHitCount: "+EnvelopeHitCount);
  1459. str.append(",ExactHitCount: "+ExactHitCount);
  1460. str.append(",IO: "+Nano(DurationN_IO));
  1461. str.append(",GeometryParse: "+Nano(DurationN_GeometryParse));
  1462. str.append(",EnvelopeHitQuery: "+Nano(DurationN_EnvelopeHitQuery));
  1463. str.append(",ExactHitQuery: "+Nano(DurationN_ExactHitQuery));
  1464. if(QueryCount>1) {
  1465. double count=QueryCount;
  1466. str.append("\n单次查询耗时: "+Nano(tn/count));
  1467. str.append(",EnvelopeHitCount: "+Math.round(EnvelopeHitCount*100/count)/100.0);
  1468. str.append(",ExactHitCount: "+Math.round(ExactHitCount*100/count)/100.0);
  1469. str.append(",IO: "+Nano(DurationN_IO/count));
  1470. str.append(",GeometryParse: "+Nano(DurationN_GeometryParse/count));
  1471. str.append(",EnvelopeHitQuery: "+Nano(DurationN_EnvelopeHitQuery/count));
  1472. str.append(",ExactHitQuery: "+Nano(DurationN_ExactHitQuery/count));
  1473. }
  1474. if(Set_EnvelopeHitResult!=null) {
  1475. str.append("\n\nEnvelopeHit初步筛选: "+Set_EnvelopeHitResult.size()+"条");
  1476. for(int i=0;i<Set_EnvelopeHitResult.size();i++) {
  1477. String txt=Set_EnvelopeHitResult.get(i);
  1478. str.append("\nHit["+i+"] "+(txt.length()<500?txt:txt.substring(0, 500)+" ... "+txt.length()+"字"));
  1479. }
  1480. }
  1481. if(Result!=null) {
  1482. str.append("\n\n结果 Result: "+Result.size()+"条");
  1483. for(int i=0;i<Result.size();i++) {
  1484. String txt=Result.get(i);
  1485. str.append("\n结果["+i+"] "+(txt.length()<500?txt:txt.substring(0, 500)+" ... "+txt.length()+"字"));
  1486. }
  1487. }
  1488. return str.toString();
  1489. }
  1490. }
  1491. }