Rozdíly

Zde můžete vidět rozdíly mezi vybranou verzí a aktuální verzí dané stránky.

--- cs:data-uploader [2016/09/12 18:05] – [Systém pro upload měřených dat ze stanic] kaklik
+++ cs:data-uploader [2017/08/16 10:23] (aktuální) – [Postup aktualizace data-uploaderu z RMDS-data-uploaderu] kaklik
@@ Řádek 2: / Řádek 2: @@
 Pro upload naměřených dat ze stanic se využívá python program [[https://github.com/bolidozor/data-uploader|data-uploader]]. Program lze použít pro upload dat projektů Bolidozor a [[http://wiki.ionozor.eu|Ionozor]].
+Upload na centrální server probíhá přes SSH protokol. Zabezpečení přenosu je pomocí ssh-klíče.
 Program při nahrávání dat na server kontroluje celistvost přesunutého souboru pomocí kontrolních součtů a zároveň předá informaci do indexační databáze [[cs:RTbolidozor|RTbolidozoru]] o novém souboru na serveru.
@@ Řádek 11: / Řádek 13: @@
   * Kontrola volného místa na disku (zatím nevyřešeno)
-Celý skript je připraven pro fungování s [[cs:radio-observer|radio-observerem]]
+Celý skript je připraven pro fungování s [[cs:radio-observer|radio-observerem]] program se proto spouští s parametrem cesty ke konfiguračnímu souboru [[cs:radio-observer|radio-observeru]]. například takto:
-program se spouští s parametrem cesty ke konfiguračnímu souboru [[cs:radio-observer|radio-observeru]]. například takto:
   ./repos/data-uploader/dataUpload.py ~/bolidozor/station/Bolidozor.json
@@ Řádek 19: / Řádek 19: @@
 Zdrojové soubory jsou umístěny na Githubu  [[https://github.com/bolidozor/RMDS-data-uploader|bolidozor/data-uploader]].
+Data-uploader vyžaduje tyto závislosti:
+  sudo apt install python-paramiko
 Pomocné knihovny:
@@ Řádek 42: / Řádek 46: @@
   "storage_protocol": "ssh",
-Data-uploader vyžaduje tyto závislosti:
-  sudo apt install python-paramiko
@@ Řádek 76: / Řádek 78: @@
   "storage_stationpath": "/storage/bolidozor/",
   "storage_protocol": "ssh",
+  "HWversion": "RMDS02D",
-<WRAP center round important 60%>
-Následující popis je pro starší verzi [[https://github.com/bolidozor/RMDS-data-uploader|RMDS-data-uploaderu]].
+  "observatory": [
-</WRAP>
+      {
+          "name": "svakov",
+          "owner.login": "kaklik", // GitHub login
-Pro přenos naměřených dat ze sítě [[cs:rmds|RMDS]] na centrální úložiště byl vytvořen skript [[https://github.com/bolidozor/data-uploader|RMDS-data-uploader]].
+          "lat": 49.260658,
- a [[cs:spectrumlab|SpectrumLabem]].
+          "lon": 14.691537,
+          "alt": 445.0,
+          "location": "Svakov",	//City, local name
+      }
+  ],
 ====Rozřazení dat do složek====
 rozřazování probíhá na základě názvu původního souboru. Výsledná struktura pak vypadá následovně:
-  /stanice/typ dat/rok/měsíc/den/[hodina]/soubor.záznamu
+  /station/typ dat/rok/měsíc/den/[hodina]/soubor.záznamu
 Tato struktura ctí [[cs:convention|standardy sítě Bolidozor]].
@@ Řádek 97: / Řádek 104: @@
 ====Upload dat na server====
-Upload na centrální server probíhá pomocí rsync přes SSH protokol. Zabezpečení přenosu je pomocí ssh-klíče. Použitý rsync příkaz vypadá takto:
+Upload na centrální server je vyřešeno voláním scp a žádostí o kontrolní součet MD5 na straně datového serveru.
-  rsync -vaz cesta_do_zdrojove_slozke/ uzivatel@space.astro.cz:/storage/bolidozor/cesta_cilove_slozky/
+Skript každé 2 minuty zkontroluje připojeni k internetu (dostupnost space.astro.cz) a v případě autentizace se spustí synchronizace dat. Synchronizace probíhá postupně ve čtyřech krocích:
-parametry udávají:
-  * -v  - výpis stavu synchronizace
-  * -a  - archivační mód (data na stanici jsou vždy považována za správnou verzi)
-  * -z  - komprese přenášených dat
-Skript každých 30 minut zkontroluje připojeni k internetu (dostupnost space.astro.cz) a v případě autentizace se spustí synchronizace dat pomocí rsync. Synchronizace probíhá postupně ve čtyřech krocích:
   - Synchronizují se náhledy spektra (snapshoty)
@@ Řádek 112: / Řádek 112: @@
   - Synchronizují se konfigurační soubory stanice
   - Synchronizují se záznamy meteorů RAW
-Pokud poslední část trvá déle, než je nastavený časový limit, přenos je ukončen.
-Po uplynutích dalších 30ti minut skript roztřídí data do složek a spustí znovu synchronizaci.