[Devel] Openstreetmap docker

Gáspár Ákos gasparakos at hnp.hu
Tue Sep 24 09:49:31 CEST 2019 

Kedves Attila!

Szuper! Egészen gyors is!

A docker tárhelyet az alábbiak szerint szoktam menedzselni:

A /var/lib/docker könyvtárat kiteszem egy saját partícióra/volume-ra.  
Az lvm segítségével ez könnyen megoldható.

Ha a docker infrastruktúrám csak egy service-ből áll is akkor is  
készítek neki egy docker-compose yaml-t, mert így dokumentálva van  
hogy mit is csináltam. Ha meg több service-t is kell indítani akkor  
meg eleve érdemes azzal kezdeni. A yaml fájl verzió kezelhető, így az  
előzmény is meg van. Ha az infrastruktúra sok helyet igényel - mint  
ebben az esetben akkor ezt is külön lvm volume-ra teszem.

Így szeparálni lehet a docker rendszer szintű helyigényét (image-ek),  
és az alkalmazás helyigényét (térkép fájlok). Így a host is független  
ettől.

A CodeCamp-en ezt át is tudjuk nézni ha gondolod :-)

Ákos

Idézet (Ferenc Attila <ferenca at bnpi.hu>):

> Sziasztok!
>
>
> Tesztüzemben működik az openstreetmap szerverünk. Az obm.bnpi.hu:83  
> címen érhetitek el.
>
> A
>
>
> On 2019. 09. 23. 13:29, Bán Miklós wrote:
>>
>> Szia Attila,
>>
>> Szerintem ne a gyökérbe rakd, ha lenne is rá hely akkor sem!
>>
>> Európa 20Gb azt írtad korábban. Mekkora MO? Szerintem 20 Gb helyet  
>> is lehet erre a célra foglalni több szerveren is majd. Szerintem  
>> egyelőre mehet az archív partícióra, az nálatok nincs kihasználva  
>> még...
>>
>> üdv, Miki
>>
>>
>>
>> On 9/23/19 1:06 PM, Ferenc Attila wrote:
>>>
>>> Sziasztok!
>>>
>>>
>>> A BNPI szerveren egyelőre tárhelyhiány miatt nem tudtam  
>>> telepíteni. A docker image nagyobb, mint amit a gyökér partíció  
>>> elbír.
>>>
>>> Kérdés, hogy mennyire teszi bonyolulttá a működést, ha másik  
>>> partícióra kerül az egész (ha jól olvastam, a dockert el lehet  
>>> indítani úgy is, hogy nem az alapértelmezett útvonalra dolgozik).
>>>
>>> A gond csak az, hogy igazából az archív fájlok számára fenntartott  
>>> partíción van elegendő hely (innen is leginkább csak  
>>> Magyarországot lehet majd szolgáltatni).
>>>
>>>
>>> A kliens app nem fogja észrevenni, hogy nincs csempe az adott  
>>> területre, mert a szerver alapértelmezetten, egy nagyon basic  
>>> világtérképet mindenképpen szolgáltat, így szerintem az nem lesz  
>>> gond.
>>>
>>> Én első körben lehet, hogy egy szervert állítanék be, ami  
>>> lehetőleg tudja a világtérképet szolgáltatni, mert szerintem nem  
>>> lesz nagyon leterhelve. A csempe előállítása csak először vesz  
>>> igénybe nagyobb időt, a többi hívást már gyorsan tudja teljesíteni.
>>>
>>> Tovább egyelőre nem szaladnék a gondolatmenetben, csak ha már  
>>> tényleg fut egy szerver.
>>>
>>>
>>> Attila
>>>
>>>
>>> On 2019. 08. 30. 2:51, Bán Miklós wrote:
>>>> Sziasztok,
>>>>
>>>> köszi Ákos a magyarázatot! Szerintem is a nevekkel kell  
>>>> megoldani. osm.a.openbiomaps.org, osm.b.openbiomaps.org, stb...  
>>>> ahol az osm.a mondjuk Debrecen, az osm.b Bükk, osm.c valaki más...
>>>> Meg kell majd nézni melyik szervereinken fér el MO, Európa és az  
>>>> egész világ. Akár az is lehet vajon, hogy különböző beállítással  
>>>> futnak szerverek? Vajon mit szól hozzá a kliens app amikor lekéri  
>>>> a csempéket, hogyha egy szerver nem küld, mert neki nincs olyan?
>>>> Egyáltalán hogyan tudunk több saját csempeszervert átadni  
>>>> dinamikusan a klienseknek?
>>>>
>>>> üdv, Miki
>>>>
>>>>
>>>> On 8/29/19 8:32 PM, Gáspár Ákos wrote:
>>>>>
>>>>> Szia Attila!
>>>>>
>>>>> A dockernek három különböző helyigénye van. Maga az image amit  
>>>>> futtatsz, a container ami a futtatás során - nem volume-ban -  
>>>>> keletkező állományokat tartalmazza, és a volume-(ok)ban tárolt  
>>>>> állományok. Ezek összessége adja a helyfoglalást. A 'docker  
>>>>> system df -v' parancsal ki tudod íratni a részleteket. Az egyes  
>>>>> elemek mérete nagyban függ az adott alkalmazástól. Az image  
>>>>> mérete függ a benne lévő szoftver komponensektől, persze a futás  
>>>>> ideje alatt ez nem változik. A container mérete leginkább attól  
>>>>> függ hogy a futásidőben keletkező állományok mennyire vannak  
>>>>> volume-ba szervezve. Ha pl. egy adatbázis kezelő állományai  
>>>>> nincsennek volume-ban, vagy pl. logokat ide ír, akkor azok a  
>>>>> container méretét növelik. Persze ezt nem szokták, mert a  
>>>>> container-ek túlélnek egy 'docker stop; docker start' ciklust,  
>>>>> de egy 'docker up' során újra keletkeznek. Ezért vannak a  
>>>>> volume-ok, amik egy image frissítés után is megtartják  
>>>>> tartalmukat. Ezt tovább bonyolítja még a 'bind volume', ami a  
>>>>> host fájlrendszeréből becsatolt állományokat jelenti, és nem  
>>>>> tudom ez megjelenik-e a 'docker system df' kimenetén (szerintem  
>>>>> nem). Alap esetben mindez a /var/lib/docker alatt található,  
>>>>> bind volume-ok kivételével. Egy 'du -s /var/lib/docker' is  
>>>>> érdekes lehet.
>>>>>
>>>>> A port-ot úgy lehet feloldani, hogy a 80-as portot használó  
>>>>> webszervert reverse proxy-nak (is) használod. Ennek is több  
>>>>> módja van. Talán a legátláthatóbb ha SNI-t kihasználva több  
>>>>> néven tudod elérni a szervert és név alapján tudod a kéréseket a  
>>>>> megfelelő backend-hez eljuttatni. Tesztelés céljából egyébként  
>>>>> bármelyik portra ki lehet tenni.
>>>>>
>>>>> Ákos
>>>>>
>>>>>
>>>>> 2019. 08. 29. 8:18 keltezéssel, ferenca at bnpi.hu írta:
>>>>>>
>>>>>> Sziasztok!
>>>>>>
>>>>>> Sikerült egy openstreetmap kiszolgálót működésre bírni a saját  
>>>>>> gépemen docker környezetben. Jelenleg Magyarország területe  
>>>>>> működik szépen.
>>>>>>
>>>>>> Ugyanezt a BNPI-s szerveren is meg szeretném csinálni, de pár  
>>>>>> dologban a segítségeteket kérem.
>>>>>>
>>>>>> Sarkallatos kérdés lesz a tárhely. Magyarországgal nincsen  
>>>>>> gond, de ha Európát, vagy a világot akarjuk szolgáltatni, akkor  
>>>>>> az rendkívül helyigényes lesz (Európát egy 20 Gb, a világot egy  
>>>>>> 40 Gb-os fájlból dolgozza fel.)
>>>>>>
>>>>>> Ez majd a későbbiekben fontos lesz, hiszen egyre több olyan  
>>>>>> projekt van, ami nem hazai adatokkal dolgozik.
>>>>>>
>>>>>> Hogyan tudom megnézni, hogy a jelenleg már működő rendszer  
>>>>>> mekkora helyet foglal el?
>>>>>>
>>>>>> A másik kérdés a port. Ha a standard 80-as portot használom  
>>>>>> (docker run -p 80:80), akkor az nyilván az apache szerverrel  
>>>>>> összeakadhat.
>>>>>>
>>>>>> Hova és hogyan érdemes szerintetek ezt átirányítani?
>>>>>>
>>>>>> Köszi:
>>>>>>
>>>>>> Attila
>>>>>>
>>>>>> Ferenc Attila
>>>>>> természetvédelmi területfelügyelő
>>>>>> Bükki Nemzeti Park Igazgatóság
>>>>>> Dél-hevesi Tájegység
>>>>>> 3304 Eger, Sánc u. 6.
>>>>>> +36306380229 <tel:+36306380229>
>>>>>>
>>>>>> www.bnpi.hu <http://www.bnpi.hu>
>>>>>>
>>>>>>
>>>>>> _______________________________________________
>>>>>> Devel mailing list
>>>>>> Devel at lists.openbiomaps.org
>>>>>> http://lists.openbiomaps.org/cgi-bin/mailman/listinfo/devel
>>>>>
>>>>> _______________________________________________
>>>>> Devel mailing list
>>>>> Devel at lists.openbiomaps.org
>>>>> http://lists.openbiomaps.org/cgi-bin/mailman/listinfo/devel
>>>>
>>>>
>>>> -- 
>>>> Miklós Bán, PhD
>>>> MTA-DE Behavioural Ecology Research Group
>>>> Department of Evolutionary Zoology, University of Debrecen
>>>> H-4010 Debrecen, Egyetem tér 1.
>>>> Phone:  +36 52 512-900 ext. 62357
>>>> http://zoology.unideb.hu/@Miklos_Ban
>>>>
>>>> OpenBioMaps
>>>> https://openbiomaps.org
>>>> ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
>>>>
>>>> _______________________________________________
>>>> Devel mailing list
>>>> Devel at lists.openbiomaps.org
>>>> http://lists.openbiomaps.org/cgi-bin/mailman/listinfo/devel
>>>
>>> _______________________________________________
>>> Devel mailing list
>>> Devel at lists.openbiomaps.org
>>> http://lists.openbiomaps.org/cgi-bin/mailman/listinfo/devel
>>
>>
>> -- 
>> Miklós Bán, PhD
>> MTA-DE Behavioural Ecology Research Group
>> Department of Evolutionary Zoology, University of Debrecen
>> H-4010 Debrecen, Egyetem tér 1.
>> Phone:  +36 52 512-900 ext. 62357
>> http://zoology.unideb.hu/@Miklos_Ban
>>
>> OpenBioMaps
>> https://openbiomaps.org
>> ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
>>
>> _______________________________________________
>> Devel mailing list
>> Devel at lists.openbiomaps.org
>> http://lists.openbiomaps.org/cgi-bin/mailman/listinfo/devel

More information about the Devel mailing list