Помимо работы с объектами OpenStreetMap наш сервис позволяет обрабатывать геоданные и из других источников, предоставляя функционал для решения разных научных задач. В частности, в YourMaps можно реализовать алгоритм выявления и фильтрации суперпользователей.

Суперпользователи – это отдельный тип пользователей различных социальных сервисов, например, Twitter, OpenStreetMap, сервисов электронного участия и других краудсорсинговых проектов. Они отличаются особенно высокой активностью создания контента, что вызывает искажения в территориальном или временном распределении данных в местах, где суперпользователи присутствуют. При применении подобных социальных данных в исследованиях результаты могут быть искажены или неверно интерпретированы. Для того, чтобы этого избежать, необходимо иметь возможность отделять активность суперпользователей, что требует навыков и инструментов обработки больших объемов пространственно-временных данных.

YourMaps позволяет реализовать этот процесс в рамках одного пайплайна.

Сначала набор данных по Санкт-Петербургу был загружен в узле CSV_Input. Для работы с сообщениями жителей как с точками были указаны координаты их широты и долготы. В ходе предварительного анализа мы узнали, что среди сообщений есть те, которые создавались операторами горячей линии 004 на основе звонков от горожан. Этот тип пользователей необходимо было отфильтровать, чтобы они не распознавались как суперпользователи в дальнейшем. Мы сделали это при помощи фильтрации по значению тега – у операторов вместо никнейма стояло «. ..».

Далее для уточнения местоположения сообщений из OSM были загружены полигоны муниципальных образований. Тег с названием добавился к другим атрибутам сообщений при помощи узла Join_by_Overlap – он объединяет атрибуты двух разных источников данных на основе их пространственного пересечения.

Затем происходил этап группировки и фильтрации. У каждого жителя города (в этом случае определяемого по уникальному ID пользователя) мы подсчитали количество сообщений. Затем в узле Outlier_filter, работающего по принципу «ящика с усами», были отфильтрованы те аккаунты пользователей, активность которых превышала значение верхнего «уса», располагавшегося в 1.5 межквартильных интервалах от 3 квартиля. Более подробные результаты подобного отсеивания суперпользователей были представлены в научной публикации.

Оставался последний шаг – фильтрация самих сообщений. Для этого по совпадению тегов, содержащих ID пользователей, к основному набору данных было добавлено количество сообщений оставшихся аккаунтов. Те точки, у которых этот тег был пустым, относились к выявленной активности суперпользователей, и отфильтровывались.

Затем результат был отображен в виде интерактивной карты с точками.

А так выглядит визуализация результата в другой ГИС-системе в формате тепловой карты.

Загрузка CSV файлов

Теперь можно загрузить файл с таблицей, в которой два столбца задают широту и долготу.  В CSV должен быть заголовок, задающий названия столбцов.

Каждая строка в файле будет превращена в объект с точечной геометрией, все остальные столбцы станут тегами объекта.

В итоге из вот такого вот CSV файла:

Будет получена вот такая карта:

Узлы, выдающие числа

Появился новый вид связей между узлами - числовой. Появились узлы, которые по потоку объектов выдают число: например, среднее значение указанного тега. Далее такой числовой выход можно подключить к числовому входу другого узла.

Вот так можно это использовать, чтобы получить выборку всех зданий, имеющих высоту выше средней. Узел tag_stats вычисляет среднее значение тега building:levels, а затем оно используется в узле filter_by_tag_value:

Статистические методы

Помимо узлов, позволяющих считать квартили и прочие статистические значения, мы добавили еще операцию фильтрации выбросов. Узел filter_outlier использует стандартный алгоритм, основанный на межквартильном расстоянии, для удаления объектов со слишком "выдающимися" значениями указанного тега.

Объекты без геометрии

Некоторые узлы теперь могут выдавать объекты, не имеющие геометрии. Например, узел Group By группирует объекты по значениям определенного тега и выдает по сути таблицу, содержащую значения тега и количество объектов с этим значением. Но эта таблица внутри себя является тем же набором геообъектов, просто геометрия у них пустая.

Это некий костыль, чтобы изначально ориентированная на геообъекты система YourMaps могла работать с таблицами в Pandas-like стиле. Если сохранить такие объекты в результат работы пайплайна, их нельзя будет увидеть на карте, но можно будет скачать в виде GeoJSON и увидеть глазами в текстовом редакторе.

Можно регулировать условие (площадь больше или меньше заданной) и единицы измерения (квадратные метры, сотки или гектары).

Теперь можно, например, удалить из выборки зеленых зон слишком маленькие объекты (всякие островки зелени в пару квадратных метров).

Площадь объектов, задаваемых точкой или линией всегда равняется нулю. Площадь объектов-полигонов вычисляется в универсальной поперечной проекции Меркатора.

Основная новая фича - возможность загрузки GeoJSON файлов в проект и использования их в пайплайнах как источника объектов.

Вот так, например, выглядит использование полученных из городской ГИС файлов с перечнем ЗНОП:

Таким образом, теперь можно использовать данные не только OSM, но и других источников. Напоминаем, что обязанность исполнения лицензионных требований этих источников лежит на пользователях.

Помимо файлов, мы добавили два новых узла для графа:

• Узел "разность потоков" позволяет инвертировать работу фильтров. Он оставляет те объекты, которые есть в потоке на первом входе, но отсутствуют на втором.
  Таким образом, для инвертирования фильтра достаточно подать результат работы фильтра на второй вход, а изначальный поток - на первый. Из потока будут удалены объекты, прошедшие через фильтр.
  

• Узел выставления значения тега. Этот узел просто ставит всем объектам в потоке указанный тег. Может быть полезно, если вы объединяете в выходном файле объекты нескольких разных видов и хотите дополнительно их промаркировать разными значениями.

В узлах фильтрации по тегу теперь можно указывать множество значений тега. При этом для равенства значение тега у объекта должно совпадать хотя бы с одним из указанных значений, а для неравенства - быть не равно всем указанным значениям.

Наприме, вот так теперь можно получить все детские (playground) и спортивные (fitness_station) площадки в области:

Появилась новая операция - центроид. Она заменяет геометрию объектов на точки, соответствующие их центрам масс. Таким образом, например, удобно строить зоны доступности объектов. Брать не буфер вокруг их геометрии (форма которого будет зависеть от формы объекта), а буфер вокруг центроида - тогда будут получаться круглые зоны.

Так будет выглядеть пайплайн для 300-метровых круглых зон вокруг школ:

Стоит отметить, что для объектов сложной формы центроид может лежать за пределами геометрии объекта (простой пример - для круглого "бублика" с дыркой центроид будет лежать в центре дырки). Поэтому нельзя использовать эту операцию для получения точки внутри заданного объекта.

А еще мы добавили возможность удалять результаты работы пайплайнов, которые больше не нужны:

В скором времени мы, вероятно, введем ограничение на хранение результатов (например, не более пяти последних), чтобы сэкономить место на дисках на нашем сервере.

Основных задач у этого обновления было две:

1. Упростить порог вхождения для новых пользователей. Редактор приведен к более-менее стандартному виду - панель меню сверху, панель с возможными видами узлов графов слева.
   Добавили небольшой туториал при первом открытии нового редактора.
2. Ускорить итерации разработки графа экспорта. Теперь запустить экспорт можно прямо из редактора. После его окончания появится нотификация со ссылкой на просмотр.

При создании пайплайна теперь можно выбрать один из созданных нами примеров, чтобы на готовом графе изучить основные возможности YourMaps. Пока таких примеров три штуки, в будущем появится больше.

Надеемся, что теперь экспорт данных станет еще проще и быстрее.

Еще есть отдельные недочеты - например, тексты в нотификациях, на узлах графа и еще в некоторых местах пока не переведены и всегда показываются на английском. Этим мы займемся позднее.

Если у вас есть замечания или предложения по работе нового редактора - пишите их на info@yourmaps.io

Ниже мы по шагам пройдем процесс решения прикладной задачи, которая вылилась в вот такой вот граф пайплайна:

Итак, перед нами стояла задача - получить полигоны зданий, в которых находятся медицинские учреждения - клиники или врачебные кабинеты. В OSM такое обозначается тегами amenity=clinic или doctors (есть и другие значения этого тега, связанные с медициной, но нас интересовали именно эти два).

Для начала создадим два фильтра по этим двум значениям тега и объединим их результат с помощью операции объединения:

Запустим пайплайн и поглядим на результат:

Мы видим, что наши значения тега встречаются как у зданий (синий прямоугольник справа), так и в виде отдельных точек (маркеры). Так работает тегирование в OSM - всякие объекты внутри зданий (магазины или вот клиники), не занимающие все здание целиком, отмечаются точками внутри полигона здания.

Проблема в том, что нам были нужны именно сами полигоны зданий, но с тегами медицинского объекта. Чтобы этого добиться, нам надо:

• Выделить все здания (это объекты с тегом building)
• Найти те из них, в которые попадают точки с нужными нам значениями amenity
• Объединить значения тегов здания и точки внутри

Для выборки зданий мы используем узел выборки по наличию тега. Так как конкретное значение тега building нам не важно, важно лишь его присутствие.

Далее нам надо отобрать только точечные объекты-клиники, так как именно они находятся внутри зданий. Для этого мы будем использовать узел выборки по типу геометрии:

Теперь нам нужно среди зданий отобрать те, которые пересекаются хотя бы с одной клиникой. Для этого есть фильтр пересечения геометрий. На первый вход он принимает объекты, на второй - геометрию. На выход передаются те объекты, которые пересекаются хотя бы с одной геометрией со второго входа.

Подадим на вход объектов здания, на вход геометрий - наши точечные клиники и получим на выходе здания, которые содержат в себе клинику.

Теперь нам осталось перенести теги с точечных клиник на здания, внутри которых они находятся. Для этого у нас есть узел слияния объектов. Этот узел ищет пересекающиеся объекты во входном потоке, объединяет их геометрии и теги, и полученные объекты передает на выход.

Подадим ему на вход наши здания (выход с фильтра пересечений) и клиники (выход с узла фильтра по геометрии). В результате он объединит здания и находящиеся внутри них клиники в один объект.

Мы чуть не забыли про то, что иногда тег клиники ставится на все здание целиком.

Добавим вывод всех клиник, имеющих полигональную геометрию, сразу на выход с помощью еще одного узла объединения. Итоговый граф выглядит вот так:

Казалось бы, это уже то, что надо:

Где раньше была точка - теперь у нас полигон здания, с проставленным amenity=doctors.

Оданко OpenStreetMap не был бы таким, какой он есть, если бы в нем все было так просто. Расширим нашу область карты, чтобы она захватывала большую часть Васильевского острова, и увидим вот такое:

Оказывается, иногда медицинские amenity ставят не на точку или здание, а на территорию медучреждения целиком. Нам придется еще доработать наш пайплайн, чтобы он смог обработать и такие варианты.

Если раньше мы просто брали полигональные amenity=clinic и подавали на выход, то теперь нам нужно выделить внутри них все здания и тоже перенести теги на здания.

Добавим еще один фильтр по пересечениям, в котором отберем теперь здания, которые содержатся внутри. Переключим режим на "Contains" - нам нужны здания, которые находятся полностью внутри территории клиники (иначе при дефолтной проверке "Intersects" мы можем получить здания, которые касаются ее края, но сами находятся за ее пределами)

Теперь у нас есть полигоны клиник и здания на их территории. Мы не можем просто так их объединить с помощью узла Merge как делали для точечных клиник. Так как при объединении геометрии здания и большей по размеру клиники результатом будет опять большой полигон территории.

Поэтому мы сперва "вырежем" из клиник участки, соответствующие зданиям. Для этого используется узел Intersection. Он модифицирует объекты с первого входа, оставляя только ту часть их геометрии, которая пересекается хотя бы с одним объектом из второго входа.

Разберемся, что тут происходит:

1. Со входа 1 поступают все здания
2. От фильтра 2 поступают полигональные клиники (это могут быть как отдельные здания, так и области)
3. На выходе фильтра 3 мы получаем здания (со входа 1), которые содержатся хотя бы в одной клинике.
4. Узел 4 принимает на первых вход клиники, на второй здания. Обрезает клиники, оставляя только ту часть их геометрии, которая находится хотя бы под одним зданием.
5. Узел 5 объединяет работу предыдущих узлов - выход узла 3 (здания) и выход узла 4 (клиники, обрезанные до полигонов зданий).
6. Узел 6 объединяет пересекающиеся объекты. Геометрия клиник и зданий уже совпадает после обрезки, поэтому меняются (объединяются) только теги. На выходе мы получаем объекты, имеющие геометрию зданий и теги и от зданий, и от клиник.

После этих правок территории уже обрабатываются правильно и мы получаем в итоге полигоны зданий

Итоговый граф пайплайна выглядит вот так:

Много узлов, зато при его создании практически не приходится думать о низкоуровневых заботах скачивания и обработки OSM, а лишь о высокоуровневых задачах взаимоотношений объектов на карте. При этом создание такой нетривиальной задачи экспорта не требует умения программировать, лишь перетаскивать блоки графа мышкой, с возможностью быстро запустить и оценить результат.

А сколько бы такое же заняло у вас в вашем текущем инструменте?

Буфер - стандартная операция работы над геометрией, которая как бы "надувает" полигон, увеличивая его ширину на заданную величину. Эта операция может быть полезна для задания областей действия каких-либо объектов или для увеличения их размеров.

Например, в OSM дороги обычно задаются линиями, не имеющими толщины. Но что если нам нужны дороги в виде полигонов, а не линий?

Вот таким образом можно этого достичь. Мы сперва выделяем основные дороги (highway=primary), а затем получаем область на 20 метров вокруг них:

В итоге получится вот такая картина:

Но что это за странные круги?

Дороги в OSM состоят из отдельных кусочков. И в местах соединения этих кусочков образуется граница двух буферов. Одна половина круга - это край одного буфера, другой - другого, а вместе они образуют эти окружности.

Чтобы их убрать, мы можем применить новую операцию - слияние пересекающихся объектов.

Эта операция, как ясно из названия, объединяет пересекающиеся объекты в один.

После выполнения этого пайплайна мы получим вот такой один объект:

При объединении объектов объединяются и теги. Если какой-то тег был у нескольких объединяемых объектов, то у результата будет одно из значений этого тега, но какое именно - сказать нельзя.

Подробнее можно прочитать тут docs.yourmaps.io/pricing-faq/

Мы предлагаем три варианта: бесплатный для ознакомления с нашим сервисом и два платных с разным уровнем функционала.

Да, наш проект только начал свой путь, в нем еще много ошибок и не так много функций. Однако, если вы считаете его идею полезной - вы можете нам помочь, оформив подписку. Это покажет нам, что на нашу идею есть спрос и мотивирует развивать YourMaps дальше.

В данный момент подписки оформляются вручную, напишите нам на почту, мы поможем выбрать наиболее подходящий план и пришлем счет на оплату.

Сегодня мы добавили важные страницы с правовой информацией об использовании нашего сервиса:

• Лицензионное соглашение
• Информация о лицензии, под которой распространяются данные из OpenStreetMap

Проект YourMaps сейчас активно развивается, мы выкладываем новые версии каждые 1-2 дня, и теперь будем описывать новые фичи и возможности тут. Оставайтесь на связи!