cs:data-uploader
Rozdíly
Zde můžete vidět rozdíly mezi vybranou verzí a aktuální verzí dané stránky.
Obě strany předchozí revizePředchozí verzeNásledující verze | Předchozí verzePoslední revizeObě strany příští revize | ||
cs:data-uploader [2016/09/04 15:57] – [Omezení datového toku] kaklik | cs:data-uploader [2017/08/16 10:23] – [Postup aktualizace data-uploaderu z RMDS-data-uploaderu] kaklik | ||
---|---|---|---|
Řádek 2: | Řádek 2: | ||
Pro upload naměřených dat ze stanic se využívá python program [[https:// | Pro upload naměřených dat ze stanic se využívá python program [[https:// | ||
+ | |||
+ | Upload na centrální server probíhá přes SSH protokol. Zabezpečení přenosu je pomocí ssh-klíče. | ||
Program při nahrávání dat na server kontroluje celistvost přesunutého souboru pomocí kontrolních součtů a zároveň předá informaci do indexační databáze [[cs: | Program při nahrávání dat na server kontroluje celistvost přesunutého souboru pomocí kontrolních součtů a zároveň předá informaci do indexační databáze [[cs: | ||
- | program se spouští s parametrem cesty ke konfiguračnímu souboru [[cs: | + | Celkově řeší tyto úlohy: |
+ | |||
+ | * Roztřídění [[cs: | ||
+ | * Upload dat na server [[http:// | ||
+ | * Kontrola volného místa na disku (zatím nevyřešeno) | ||
+ | |||
+ | Celý skript je připraven pro fungování s [[cs: | ||
./ | ./ | ||
| | ||
Řádek 11: | Řádek 19: | ||
Zdrojové soubory jsou umístěny na Githubu | Zdrojové soubory jsou umístěny na Githubu | ||
+ | |||
+ | Data-uploader vyžaduje tyto závislosti: | ||
+ | | ||
+ | sudo apt install python-paramiko | ||
Pomocné knihovny: | Pomocné knihovny: | ||
Řádek 34: | Řádek 46: | ||
" | " | ||
- | Data-uploader vyžaduje tyto závislosti: | + | |
- | + | ||
- | sudo apt install python-paramiko | + | |
Řádek 69: | Řádek 79: | ||
" | " | ||
- | + | " | |
- | <WRAP center round important 60%> | + | |
- | Následující popis je pro starší verzi [[https://github.com/bolidozor/RMDS-data-uploader|RMDS-data-uploaderu]]. | + | " |
- | </ | + | { |
- | + | " | |
- | + | "owner.login": | |
- | Pro přenos naměřených dat ze sítě [[cs:rmds|RMDS]] na centrální úložiště byl vytvořen skript [[https:// | + | " |
- | Tento skript má na starosti následující záležitosti: | + | " |
- | + | " | |
- | * Roztřídění dat do složek | + | " |
- | * Upload dat na server [[http://space.astro.cz/ | + | } |
- | | + | ], |
- | + | ||
- | Celý skript je připraven pro fungování s [[cs: | + | |
====Rozřazení dat do složek==== | ====Rozřazení dat do složek==== | ||
rozřazování probíhá na základě názvu původního souboru. Výsledná struktura pak vypadá následovně: | rozřazování probíhá na základě názvu původního souboru. Výsledná struktura pak vypadá následovně: | ||
- | | + | |
+ | | ||
Tato struktura ctí [[cs: | Tato struktura ctí [[cs: | ||
Řádek 95: | Řádek 104: | ||
====Upload dat na server==== | ====Upload dat na server==== | ||
- | Upload na centrální server | + | Upload na centrální server |
- | rsync -vaz cesta_do_zdrojove_slozke/ | + | Skript každé 2 minuty |
- | + | ||
- | parametry udávají: | + | |
- | * -v - výpis stavu synchronizace | + | |
- | * -a - archivační mód (data na stanici jsou vždy považována za správnou verzi) | + | |
- | * -z - komprese přenášených dat | + | |
- | + | ||
- | Skript každých 30 minut zkontroluje připojeni k internetu (dostupnost space.astro.cz) a v případě autentizace se spustí synchronizace dat pomocí rsync. Synchronizace probíhá postupně ve čtyřech krocích: | + | |
- Synchronizují se náhledy spektra (snapshoty) | - Synchronizují se náhledy spektra (snapshoty) | ||
Řádek 110: | Řádek 112: | ||
- Synchronizují se konfigurační soubory stanice | - Synchronizují se konfigurační soubory stanice | ||
- Synchronizují se záznamy meteorů RAW | - Synchronizují se záznamy meteorů RAW | ||
- | |||
- | Pokud poslední část trvá déle, než je nastavený časový limit, přenos je ukončen. | ||
- | Po uplynutích dalších 30ti minut skript roztřídí data do složek a spustí znovu synchronizaci. | ||
cs/data-uploader.txt · Poslední úprava: 2017/08/16 10:23 autor: kaklik