Wer lebt gut in Russland? Wie wir mit OpenStreetMap und der Overpass-API nach der grünsten Stadt gesucht haben

Jede Karte hat eine Legende: Sie sagt dem Leser, was und wie darauf angegeben ist. Häuser entsprechen grauen Polygonen, Straßen - Segmenten und Kurven, Parks und Plätze sind hellgrün gefüllt und mit einem Baumpiktogramm verziert. Und einigen Karten fügen sie eine nützliche Anwendung hinzu - eine Liste dieser Straßen mit ihrer Länge, der Anzahl der Parks, Geschäfte und Mülleimer.



Als wir uns darauf vorbereiteten, die Arbeit der lokalen kommunalen Dienste zu automatisieren, machten wir auf die Verwendung von Kartografie aufmerksam, die sich als ein wirklich leistungsfähiges und effektives Werkzeug zur Lösung einer Vielzahl von Aufgaben herausstellte. Auf der Karte können Sie aktuelle Informationen über den Standort von Objekten, Bewegungswege von Erntemaschinen, Transport, einen Arbeitsplan und eine Wärmekarte mit problematischen und „gesunden“ Bereichen anzeigen.



Die Verwendung von Kartografie im Allgemeinen beschleunigt die Reaktionszeit und Entscheidungsfindung bei dringenden Problemen, vereinfacht den Planungs- und Prognoseprozess und vor allem sind alle Informationen in der visuellsten Form verfügbar.



Während der Arbeit mit einem der Kunden standen wir vor einer interessanten Aufgabe - die Anzahl der Objekte auf der Karte nach Kategorien zu berechnen.

Finden

Bestimmen Sie die „grünste“ Stadt im zentralen Bundesdistrikt durch die Kombination der folgenden Daten: Anzahl der Geschäfte, Mülleimer und Parks.

Gegeben

Kartographie. Wir haben OpenStreetMap (im Folgenden - OSM ) aus einem sehr einfachen Grund als Sprungbrett gewählt - Open Source.

Entscheidung

Es gibt verschiedene Ansätze zur Lösung dieses Problems. Beispielsweise können wir PostgreSQL verwenden, um die OSM-Datenbank abzufragen und die erforderlichen Daten abzurufen, oder QGIS verwenden, ein System zum Erstellen, Analysieren und Veröffentlichen von Geoinformationen. Wir haben jedoch einen eleganteren und effizienteren Weg gefunden - die Überführungs-API .

Die Überführungs-API ist ein leistungsstarkes Tool zum Extrahieren von Daten aus der OSM-Datenbank auf Benutzeranforderung. Es ist für Aufgaben jeder Größenordnung optimiert: vom Abrufen mehrerer Elemente aus einer Datenbank bis zu Hunderten von Millionen von Objekten, die gemäß einer Anforderung in Form von XML oder Overpass QL ausgewählt werden - einer aktualisierten Version von Overpass XML. Lesen Sie mehr über die Überführung API hier .

Beginnen wir bei Null: Zunächst müssen Sie OSM auf dem Server bereitstellen. Ubuntu wird als Betriebssystem auf unserem Computer verwendet.



F: Warum sollten Sie Ihr OSM bereitstellen?

A: Um mit Daten arbeiten zu können, benötigen wir die Overpass-API, deren öffentlicher Server die Anzahl der Anforderungen pro Tag begrenzt. Aus diesem Grund werden wir unseren Server mit OSM Blackjack und Overpass API bereitstellen.

Detaillierte Anweisungen zur Installation von OSM finden Sie hier .

Der nächste Schritt ist die Installation der Overpass-API. Die neueste Version finden Sie hier .

sudo apt-get update
sudo apt-get install g++ make expat libexpat1-dev zlib1g-dev apache2 -y
wget http://dev.overpass-api.de/releases/osm-3s_.tar.gz
tar -zxvf osm-3s_.tar.gz
cd osm-3s_
./configure CXXFLAGS="-O2" --prefix=$EXEC_DIR
make install
cd ../
chmod -R 755 ./overpass

Nach der Installation müssen Sie eine Datenbank erstellen. Wir brauchen keine Datenbank der ganzen Welt, daher werden wir den Geofabrik- Dienst nutzen , mit dem wir Daten für die angegebenen Verwaltungsregionen abrufen können.

Eine würdige Alternative zur Geofabrik ist BBBike .

Wir laden die aus dem Verzeichnis Europa> Russische Föderation> Zentraler Bundesbezirk heruntergeladene Datenbank im Format .osm.bz2 wie folgt herunter und entpacken sie :

PATH_TO_INIT_OSM3S.SH PATH_TO_FILE_BZ2 PATH_WERE_Unpack_OVERPASS_API-VERZEICHNIS

Hinweis: In diesem Fall werden alle Aktionen im Überführungsverzeichnis ausgeführt .

Die Plattform ist also fast fertig - jetzt können wir unsere erste Anfrage stellen und die Anzahl der Parks in der gesamten Region herausfinden.

PATH_TO_OSM3S_QUERY --db-dir = PATH_To_DB

Unsere Anfrage und Antwort sieht folgendermaßen aus:

root@MIP-USER55:~# cd overpass/
root@MIP-USER55:~/overpass# ./osm-3s_v0.7.56.7/bin/osm3s_query --db-dir=db
encoding remark: Please enter your query and terminate it with CTRL+D.
[out:json][timeout:25];
(
nwr["landuse"="forest"];
);
out count;
{
  ...,
  "elements": [

{
  "type": "count",
  "id": 0,
  "tags": {
    "nodes": "23",
    "ways": "19723",
    "relations": "4206",
    "total": "23952"
  }
}

  ]
}

Wir sind schon nah dran: Alles, was bleibt, ist die Aufteilung der Parks nach Regionen und Städten. Ein separat laufender und ständig laufender Dispatcher hilft uns, diese Aufgabe zu bewältigen .



Wir starten die API und fügen Listen PORT im Verzeichnis /etc/apache2/ports.conf hinzu .

echo "_ localhost" | sudo tee /etc/apache2/conf-available/_.conf && sudo a2enconf _

sudo iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport  -j ACCEPT
sudo a2enmod cgi
sudo a2enmod ext_filter
sudo cp /etc/apache2/sites-available/000-default.conf /etc/apache2/sites-available/___.conf

Überprüfen Sie die Konfiguration. Es sollte so aussehen.

<VirtualHost *:>
   ServerAdmin webmaster@localhost
   ExtFilterDefine gzip mode=output cmd=/bin/gzip

   DocumentRoot __OVERPASS_API/html

   ScriptAlias /api/ __OVERPASS_API/cgi-bin/

   <Directory "__OVERPASS_API">
      AllowOverride None
      Options Indexes FollowSymLinks
      Require all granted
   </Directory>

   <Directory "__OVERPASS_API/cgi-bin/">
      AllowOverride None
      Options +ExecCGI -MultiViews +SymLinksIfOwnerMatch
      Require all granted
   </Directory>

   ErrorLog ${APACHE_LOG_DIR}/error.log
   CustomLog ${APACHE_LOG_DIR}/access.log combined
</VirtualHost>

Als nächstes schalten wir den neuen Host ein und schicken den alten zur Ruhe.

sudo a2ensite .conf
sudo a2dissite 000-default.conf
sudo a2dissite __.conf
sudo service apache2 reload

Jetzt ist es an der Zeit, den ersten Dispatcher zu aktivieren, der unsere Anforderungen bearbeitet. Dazu verwenden wir den Befehl.

nohup __OVERPASS_API/bin/dispatcher --osm-base --db-dir=__DB --meta &

Das erste Anzeichen dafür, dass alles nach Plan verlief, ist die Erstellung der Datei

osm3s_OVERPASS_API_VERSION_osm_base im Datenbankverzeichnis. Die Datei nohup.out zeigt eine Statusmeldung Dispatcher an - Dispatcher wurde gerade gestartet .



Die Arbeit endet jedoch nicht dort: Sie müssen einen anderen Dispatcher starten. Kopieren Sie zunächst die Regeln Ordner in das Verzeichnis mit der Datenbank und verteilen die Rechte an den resultierenden osm3s_OVERPASS_API_VERSION_areas .

nohup __OVERPASS_API/bin/dispatcher --areas --db-dir=__DB &

chmod 666 "../db/osm3s_OVERPASS_API__areas"
nohup __OVERPASS_API/bin/rules_loop.sh __DB &

Jetzt können wir eine Anfrage für die Region stellen und die Anzahl der Parks in Rjasan berechnen. Das funktioniert übrigens schon in der Adressleiste des Browsers.

http://localhost:/api/interpreter?data=[output:json][timeout:25]; area[name=""]->.searchArea; ( nwr["leisure"="park"](area.searchArea); ); out count;

Lang erwartete Antwort!

"elements": [

{
  "type": "count",
  "id": 0,
  "tags": {
    "nodes": "0",
    "ways": "57",
    "relations": "11",
    "areas": "0",
    "total": "68"
  }
}

  ]
}

Jetzt können wir uns mit Analyse- und Verbesserungsproblemen befassen: Wir werden die Anzahl der Parks, Geschäfte und Mülleimer in 25 Großstädten des Central Federal District ermitteln und diese Indikatoren mithilfe der Analysetools der ODANT- Plattform vergleichen .

ODANT ist eine in Russland hergestellte digitale Integrationsplattform, die zum Aufbau von Informationssystemen unterschiedlicher Komplexität und Verbreitung entwickelt wurde. Lesen Sie hier mehr über ODANT .

So sehen unsere Parameter für die Suche nach Abfallbehältern aus: Im Rahmen der Aufgabe unterscheiden wir nicht zwischen Containerstandorten, freistehenden Abfallbehältern und Sammelstellen für feste Abfälle.

nwr["amenity"="recycling"](area.searchArea);
nwr["amenity"="waste_disposal"](area.searchArea);
nwr["amenity"="waste_basket"](area.searchArea);

Wir haben die Ausgabe von ODANT als flache Tabelle exportiert.







In dieser Bewertung belegt die Stadt Wladimir die ehrenwerte erste Zeile: Es gibt nur 234 Personen für einen Ort der Müllansammlung. Mit den integrierten ODANT-Tools erstellen wir zwei amüsante Diagramme.











Fahren wir mit dem nächsten Element fort - den Bänken.

nwr["amenity"="bench"](area.searchArea);

Wir erhalten das folgende Ergebnis in Form einer Tabelle.





Und wieder stellte sich heraus, dass Wladimir der bequemste aller Bewerber war: 602 Menschen können nicht auf eine Bank gesetzt werden, aber in Mytischchi wird ein heftiger Kampf um Plätze geführt. Sie können jedoch jederzeit einen Zeitplan erstellen.



Wir visualisieren unsere Ergebnisse.











Kommen wir zum interessantesten Teil: der Berechnung der Parkfläche. Wir können dieses Problem mit verschiedenen Methoden lösen, aber das Open Source und Wunderbarste, das wir finden, ist die Leaflet- Bibliothek . In der Abfrage selbst müssen Sie out count durch out geom ersetzen, wodurch wir die Koordinaten der Regionen erhalten.

Leaflet ist eine Open-Source-JavaScript-Bibliothek zum Anzeigen von Karten auf Websites. Unterstützt die meisten mobilen und Desktop-Plattformen, die HTML5 und CSS3 unterstützen. Mit Leaflet kann ein mit GIS nicht vertrauter Entwickler auf einfache Weise Rasterkarten anzeigen, die aus kleinen Kacheln bestehen, wobei möglicherweise zusätzliche Ebenen über die Hauptkacheln gelegt werden. Lesen Sie mehr über Prospekt hier .

Lassen Sie uns ein Polygon erstellen.

const polygon = L.polygon().addTo(map);
const area = L.GeometryUtil.geodesicArea(polygon.getLatLngs());

Jetzt enthält die Fläche die Fläche der Region in m2. Wir extrahieren die Daten für die von uns ausgewählten Städte und erhalten die folgende Tabelle.





Laut OSM rechtfertigt Zelenograd seinen Namen voll und ganz - 11% der Stadtfläche sind von Grünflächen besetzt. Lassen Sie uns das Verhältnis der Anzahl der Einwohner zur Anzahl der Parks ermitteln.





Lassen Sie uns die Daten in Form von Diagrammen präsentieren.











Und im Finale - die Bewertung der Städte, berechnet anhand der besetzten Plätze.

Nachwort und Schlussfolgerungen

Mit der Entscheidung der Jury aus OpenStreetMap, Overpass API und ODANT belegt

Vladimir den ersten Platz und erhält den Titel „The Greenest in the Central Federal District“.



Es ist erwähnenswert, dass unsere Forschung ausschließlich auf den im OSM wiedergegebenen Daten beruhte. Natürlich gibt es in Mytischchi ein paar hundert Bänke, und in Tula gibt es viel mehr Orte, an denen sich Abfälle ansammeln können. Unsere Ergebnisse können beispielsweise von der anderen Seite betrachtet werden, um die Dynamik des Hinzufügens von Objekten der städtischen Infrastruktur zur OSM-Datenbank zu bewerten. Im Durchschnitt ist die Eingabe von Daten in OSM jedoch „genauso langsam“, sodass wir davon ausgehen können, dass die Daten relativ zuverlässig und erwägenswert sind.



Wir haben es geschafft, das Problem zu lösen und einen effektiven Weg zu finden, um mit Objekten auf OSM-Maps zu arbeiten: Es stellte sich heraus, dass es sich um eine Kombination aus Overpass-API und Leaflet handelt. Mit Hilfe dieser Tools können wir Abfragen an die OSM-Datenbank durchführen, Daten zur Anzahl der Objekte empfangen und die Flächen der Flächen berechnen. Für die Datenpräsentation und -analyse haben wir eine webbasierte Lösung auf Basis von ODANT zusammengestellt, die alle unsere Anforderungen erfüllt.



Es gibt eine große Anzahl von Branchen, Unternehmen und Volkswirtschaften, denen diese Lösung helfen könnte. Wenn Sie Ideen oder Feedback haben, wäre es sehr schön zu diskutieren. Wir haben 28 saubere Stunden mit der Aufgabe verbracht. Möglicherweise können Sie sie schneller erledigen.



Leitender Frontend-Entwickler, Infostandard - Daniel Epifanov.

Herausgeber, Infostandard - Nikita Morozov.