Uživatelské nástroje

Nástroje pro tento web


cs:data-uploader

Rozdíly

Zde můžete vidět rozdíly mezi vybranou verzí a aktuální verzí dané stránky.

Odkaz na výstup diff

Obě strany předchozí revizePředchozí verze
Následující verze
Předchozí verze
Následující verzeObě strany příští revize
cs:data-uploader [2016/08/17 21:09] – [Systém pro upload měřených dat ze stanic] kaklikcs:data-uploader [2016/09/12 18:06] – [Systém pro upload měřených dat ze stanic] kaklik
Řádek 2: Řádek 2:
  
 Pro upload naměřených dat ze stanic se využívá python program [[https://github.com/bolidozor/data-uploader|data-uploader]]. Program lze použít pro upload dat projektů Bolidozor a [[http://wiki.ionozor.eu|Ionozor]]. Pro upload naměřených dat ze stanic se využívá python program [[https://github.com/bolidozor/data-uploader|data-uploader]]. Program lze použít pro upload dat projektů Bolidozor a [[http://wiki.ionozor.eu|Ionozor]].
 +
 +Upload na centrální server probíhá přes SSH protokol. Zabezpečení přenosu je pomocí ssh-klíče. 
  
 Program při nahrávání dat na server kontroluje celistvost přesunutého souboru pomocí kontrolních součtů a zároveň předá informaci do indexační databáze [[cs:RTbolidozor|RTbolidozoru]] o novém souboru na serveru. Program při nahrávání dat na server kontroluje celistvost přesunutého souboru pomocí kontrolních součtů a zároveň předá informaci do indexační databáze [[cs:RTbolidozor|RTbolidozoru]] o novém souboru na serveru.
  
-program se spouští s parametrem cesty ke konfiguračnímu souboru [[cs:radio-observer|radio-observeru]]. například takto:+Celkově řeší tyto úlohy: 
 + 
 +  * Roztřídění [[cs:convention|dat do složek]] 
 +  * Upload dat na server [[http://space.astro.cz/bolidozor/|space.astro.cz]] 
 +  * Kontrola volného místa na disku (zatím nevyřešeno) 
 + 
 +Celý skript je připraven pro fungování s [[cs:radio-observer|radio-observerem]] program se proto spouští s parametrem cesty ke konfiguračnímu souboru [[cs:radio-observer|radio-observeru]]. například takto:
   ./repos/data-uploader/dataUpload.py ~/bolidozor/station/Bolidozor.json   ./repos/data-uploader/dataUpload.py ~/bolidozor/station/Bolidozor.json
 +  
 +======Instalace======
 +
 +Zdrojové soubory jsou umístěny na Githubu  [[https://github.com/bolidozor/RMDS-data-uploader|bolidozor/data-uploader]].
 +
 +Pomocné knihovny: 
 +  git clone https://github.com/MLAB-project/python-mlab-utils.git
 +  cd python-mlab-utils/
 +  sudo python setup.py install develop
 +
 +Skript stáhnete pomocí:
 +  git clone https://github.com/bolidozor/data-uploader.git
 +  cd data-uploader
 +  
 +Pak je uz jenom potreba mit spravne klicove vyrazy v Bolidozor.json
  
 ==== Konfigurace ==== ==== Konfigurace ====
 +
 Pro správné fungování data-uploaderu se musí do konfiguračního souboru radio-observeru přidat následující parametry: Pro správné fungování data-uploaderu se musí do konfiguračního souboru radio-observeru přidat následující parametry:
  
Řádek 29: Řádek 53:
   trickle -u 200 ./dataUpload.py ~/bolidozor/station/Bolidozor.json   trickle -u 200 ./dataUpload.py ~/bolidozor/station/Bolidozor.json
  
 +Funkci můžeme ověřit například programy bmon nebo iftop
  
 +  sudo apt-get install bmon
 ==== Postup aktualizace data-uploaderu z RMDS-data-uploaderu==== ==== Postup aktualizace data-uploaderu z RMDS-data-uploaderu====
      
Řádek 58: Řádek 84:
  
 Pro přenos naměřených dat ze sítě [[cs:rmds|RMDS]] na centrální úložiště byl vytvořen skript [[https://github.com/bolidozor/data-uploader|RMDS-data-uploader]]. Pro přenos naměřených dat ze sítě [[cs:rmds|RMDS]] na centrální úložiště byl vytvořen skript [[https://github.com/bolidozor/data-uploader|RMDS-data-uploader]].
-Tento skript má na starosti následující záležitosti: + a [[cs:spectrumlab|SpectrumLabem]].
- +
-  * Roztřídění dat do složek +
-  * Upload dat na server [[http://space.astro.cz/bolidozor/|space.astro.cz]] +
-  * Kontrola volného místa na disku (zatím nevyřešeno) +
- +
-Celý skript je připraven pro fungování s [[cs:radio-observer|radio-observerem]] a [[cs:spectrumlab|SpectrumLabem]].+
  
 ====Rozřazení dat do složek==== ====Rozřazení dat do složek====
Řádek 101: Řádek 121:
  
  
-======Instalace====== 
- 
-Celý skript je umístěn na Githubu [[https://github.com/bolidozor/RMDS-data-uploader|bolidozor/RMDS-data-uploader]]. 
- 
-Pomocné knihovny:  
-  git clone https://github.com/MLAB-project/python-mlab-utils.git 
-  cd python-mlab-utils/ 
-  sudo python setup.py install develop 
- 
-Skript stáhnete pomocí: 
-  git clone https://github.com/bolidozor/RMDS-data-uploader.git 
-  cd RMDS-data-uploader 
-   
-Pak je uz jenom potreba mit spravne klicove vyrazy v Bolidozor.json 
  
-Skript se následně spustí: 
-  ./data_upload.py 
cs/data-uploader.txt · Poslední úprava: 2017/08/16 10:23 autor: kaklik