Forum > Software > FTP + Dropbox + desktop

Strona 1 z 2 12>>>
skocz

straszny

Wysłane 2017-01-20 08:47 , Edytowane 2017-01-20 08:51

Takie zagadnienie Panowie - mam ogromne pliki - od 5 do 50 GB każdy, jest ich sporo.

1. na końcu muszę udostępnić je z Drobpoxa 
2. dodatkowo muszę je mieć na swoim FTPie i w PC

próbowałem ładować je na na FTP i potem osobno na Drobpox. Masakrycznie nieergonomicznie czasowo. Dużo fajniej byłoby jakby ktoś miał sprawdzone narzędzie pozwalające w chmurze na synchro FTPy > konta Dropbox

Więc jak zrobic automatyczne synchro FTP>Dropbox bez upierdliwego synchro DB przez desktopowego klienta ? Synchro dropboxowego klienta robi mi się z tempem upload ok 150-300 kb/s co przy ilości plików jest zdecydowanie za wolno, wrzucanie na FTP idzie mi 5-6 razy szybciej.

Asus GL752VW (i7-6700HQ 2.6GHz, 32GB RAM, SSD: SanDisk Ultra 960GB, GPU: GTX960M). Apple iPad Pro 12.9 128GB Wifi+LTE. Apple iPhone X 256GB.

adir

  • adir
  • wiadomość Użytkownik

  • 968 wypowiedzi

Wysłane 2017-01-20 09:05 , Edytowane 2017-01-20 09:14

To coś więcej niż tylko FTP? 
Jak masz tam shela to zainstaluj klienta Dropboxa bezpośrednio na serwerze.
Podlinkuj te katalogi i będzie się synchronizować. 

BTW Dropbox ma API i SDK w pythonie.
[LINK] 
Na podstawie tego można stosowne skrypty także dorobić.

i5-13500, Gigabyte B760 GAMING X, MSI RTX 4060 GAMING X, Kingston FURY Renegade Black DDR4 32GB 3600MHz CL16, Kingston KC3000 2TB M.2, Spartan 5 max

straszny

Wysłane 2017-01-20 09:10

@adir
znam się na drukowaniu, maszynach, grafice komputerowej, i na prowadzeniu firmy, skryptów pisać nie umiem i nie mam zamiaru, szukam pomocy jakiejś gotowej :)

ktoś coś takiego robił? ktoś zna zagadnienie praktycznie ? 

heeeelp ;D

Asus GL752VW (i7-6700HQ 2.6GHz, 32GB RAM, SSD: SanDisk Ultra 960GB, GPU: GTX960M). Apple iPad Pro 12.9 128GB Wifi+LTE. Apple iPhone X 256GB.

adir

  • adir
  • wiadomość Użytkownik

  • 968 wypowiedzi

Wysłane 2017-01-20 09:24 , Edytowane 2017-01-20 09:48

@straszny

Jesteś człowiekiem renesansu. Dasz radę :)

Spróbowałbym najpierw zainstalować Dropboxa na Linuxie i zobaczyć czy się będzie synchronizować bez skryptów.
Można prosto demonem sterować.
[LINK]


Taka ciekawostka:
Na linuxie i Macu linki symboliczne powinny działać OK. w  przypadku Windowsa 8+ już nie jest tak różowo.

Problem jest jak bezpośrednio nie chcę plików wrzucać do folderu dropbox/
tylko mam mklink /J porobione do różnych katalogów. Np. c:/User/xxxx/Documents/costam
podlinkowany do dropbox/Dokumenty/costamcostam

Syncho samo z siebie nie działa (nie widzi zmian) trzeba albo zrestartować klienta albo zatrzymać i wznowić synchro.


Gdyby linki były w drugą stronę czyli ładowałbym pliki bezpośrednio do dropbox/Dokumenty/costamcostam
to by działo.

Taka ciekawostka, ale może pod linuxem też być problem z widocznością zmian pod linkami. a zapewne
byś chciał, aby pliki zostawały na serwerze tam gdzie je ładujesz, aby nie trzeba by je przenosić do ~/dropbox  

Jeśli byłby problem to trzeba by cyklicznie stopować demona dropboxa i go włączać. 



EDIT:
Minus stawiania klienta dropbox na serwerze jest taki, że w katalogu ~/dropbox będziesz miał wszystkie pliki zgromadzone w dropboxie (także te prywatne). Chyba, że masz konto Biznes i możesz wydzielić jakoś przestrzeń.

i5-13500, Gigabyte B760 GAMING X, MSI RTX 4060 GAMING X, Kingston FURY Renegade Black DDR4 32GB 3600MHz CL16, Kingston KC3000 2TB M.2, Spartan 5 max

straszny

Wysłane 2017-01-20 10:32

@adir


mi trzeba appki, konkretnej sprawdzonej biznesowo appki, zadnej dłubaniny, mogę za nią zapłacic dowolne rozsądne pieniądze

własnie sprawdzam GoodSync [LINK]

jeśli ktoś ma na forum takie doświadczenie z synchro FTPa z Dropboxem, please o info \"\piwo\"

Asus GL752VW (i7-6700HQ 2.6GHz, 32GB RAM, SSD: SanDisk Ultra 960GB, GPU: GTX960M). Apple iPad Pro 12.9 128GB Wifi+LTE. Apple iPhone X 256GB.

adir

  • adir
  • wiadomość Użytkownik

  • 968 wypowiedzi

Wysłane 2017-01-20 10:45 , Edytowane 2017-01-20 10:46

@straszny
Pobawiłem się trochę Python SDK for Dropbox
[LINK]

Jest tam przykład (updown.py)
[LINK]

który pozwala na upload wszystkich plików z wybranego katalogu do Dropboxa
(przegrywa tylko nowe/zmienione pliki)

Aby skorzystać z API trzeba stworzyć nową aplikację Dropbox. Możesz wybrać czy chcesz, aby miała
dostęp do całego konta czy do wybranego folderu (bezpieczniej) jak to drugie to utworzy się folder
Aplikacje/nazwa_aplikacji

i tam będą wrzucane dane.
Nawet to działa...

./updown.py --yes
Dropbox folder name: /
Local directory: /home/adi/downloads
Total elapsed time for list_folder: 1.649
Descending into  ...
Upload template_zone.txt? [auto] YES
Total elapsed time for upload 162 bytes: 1.542
uploaded as template_zone.txt
Upload tmp_named.conf? [auto] YES
Total elapsed time for upload 23182 bytes: 1.698
uploaded as tmp_named.conf
vps_dns.tgz is already synced [stats match]



Ale niestety przy większym pliku 140 MB odwalił timeout i przestał działać.
Wiec nie jest to rozwiązanie out of box. 
zalety:
- nie trzeba instalować klienta na serwerze
- nie trzeba synchronizować całości konta tylko 1 folder

wady
- trzeba instalować sdk i się pobawić
- trzeba pomyśleć dlaczego ten przykład (są różne) nie działa na dużych plikach . czy timeout skryptu czy systemu czy dropboxa
- szkoda, że nie można w dropboxie wybrać dla aplikacji innego folderu docelowego, że musi być
aplikacje/nazwa_aplikacji/[tu uploadowane pliki trafiają]


Nie wiem czy wada czy zaleta
- To nie demon więc trzeba go odpalać z crona raz na jakiś czas patrząc czy poprzednik jeszcze działa.
- Jak masz dużo plików w katalogu, który uploadujesz to on wszystkie będzie za każdym razem sprawdzał
  czy się nie zmieniły
- jak skasujesz coś z katalogu na serwerze i odpalisz updown.py to on nie zasygnalizuje dropboxowi, że 
  plik znikł i go nie skasuje (raczej zaleta;)


Zapewne można poszukać jakiś lepszych gotowców opartych o SDK.


Spoko. Poszukaj czegoś sprawdzonego biznesowo...

i5-13500, Gigabyte B760 GAMING X, MSI RTX 4060 GAMING X, Kingston FURY Renegade Black DDR4 32GB 3600MHz CL16, Kingston KC3000 2TB M.2, Spartan 5 max

1084

  • 1084
  • wiadomość Użytkownik
  • Znawca sprzętu komputerowegoMiły gość

  • 18808 wypowiedzi

Wysłane 2017-01-20 10:57

Najlepiej zainstalować klienta na serwerze.  Niech synchronizuje całość. Potem niech tylko skrypt przegrywa do osobnego katalogu to co ma być udostępniane. Przy okazji sprawdzając co np. 10 minut czy coś się nie zmieniło i aktualizując. 
Bardzo proste do wykonania, jedyna wada to taka, że na FTP trzeba mieć miejsce na to wszystko. 

Ja stosuje bardzo podobny zabieg w pewnej firmie. Główne konto jest na serwerze i synchronizuje wszytko. Szef ma to samo na laptopie. Serwer natomiast udostępnia te katalogi w sieci lokalnej według ustalonych zasad. 

adir

  • adir
  • wiadomość Użytkownik

  • 968 wypowiedzi

Wysłane 2017-01-20 11:12

Moja pierwsza myśl, aby zainstalować normalnego klienta. 

Powinno się dać (pod Windows się da) ustawić w kliencie częściową ("wybiórczą") 
synchronizację więc nie trzeba by się bawić w skrypty przenoszące.

i5-13500, Gigabyte B760 GAMING X, MSI RTX 4060 GAMING X, Kingston FURY Renegade Black DDR4 32GB 3600MHz CL16, Kingston KC3000 2TB M.2, Spartan 5 max

straszny

Wysłane 2017-01-20 20:20 , Edytowane 2017-01-20 21:22

@adir
nie wiem czy przeczytałeś co piszę wyżej i jakie masz doświadczenie z chmurami, ale dropbox, mimo że jest najszybsza chmurą jaką znam , ma upload max 300 kBs, na ogół 150 kBs. Ma oczywiscie wybiórcze synchro ale do niczego ono mi nie jest potrzebne

plik z mojego komputera mają trafić na wspólny FTP mój i klienta a z niego do dropboxa z którego jako linki są udostępniane . Plik bardzo duże po 30-50 GB niektóre nawet.

Asus GL752VW (i7-6700HQ 2.6GHz, 32GB RAM, SSD: SanDisk Ultra 960GB, GPU: GTX960M). Apple iPad Pro 12.9 128GB Wifi+LTE. Apple iPhone X 256GB.

adir

  • adir
  • wiadomość Użytkownik

  • 968 wypowiedzi

Wysłane 2017-01-20 20:32

@straszny

Przeczytałeś.

Wgrywasz pliki via FTP na serwer. Na serwerze chodzi klient linuxowy Dropboxa, który wysyła dalej.
Jedyny problem to, aby nie synchronizował dopóki nie skończysz wysyłać pliku.
Ale to by się dało załatwić przenosząc skryptem lub ręcznie pliki do docelowego katalogu po wgraniu.

i5-13500, Gigabyte B760 GAMING X, MSI RTX 4060 GAMING X, Kingston FURY Renegade Black DDR4 32GB 3600MHz CL16, Kingston KC3000 2TB M.2, Spartan 5 max

straszny

Wysłane 2017-01-20 20:41

@adir
wlasnie konfiguruje tego GoodSynca, zaraz okoaze sie czy nei zrobi tego automatem

Asus GL752VW (i7-6700HQ 2.6GHz, 32GB RAM, SSD: SanDisk Ultra 960GB, GPU: GTX960M). Apple iPad Pro 12.9 128GB Wifi+LTE. Apple iPhone X 256GB.

djluke

  • djluke
  • wiadomość Moderator
  • Znawca sprzętu komputerowegoMiły gość

  • 38031 wypowiedzi

Wysłane 2017-01-20 21:16

Jeśli DB ma serio upload na poziomie max 40kB/s a przeważnie 20kB/s to nie wiem czy skusiłbym się na to za darmo a co dopiero jeszcze im płacić. Jeśli.

Asus TUF Gaming X570 Plus, Ryzen 5800X, BeQuiet Dark Rock 4 Pro, 32GB Kingston Fury 3600MHz CL16, PowerColor RX 6700 XT Red Devil 12GB, SSD Samsung 980 Pro 1TB, WD WD80EZAZ, Seasonic Focus Plus Gold 650W, Fractal Design Define R6 USB-C, Razer BlackWidow Ultimate, Logitech MX Master 3; Windows 11 Insider; Samsung C32HG70; HP Color Laserjet Pro M281fdn.

straszny

Wysłane 2017-01-20 21:21

@djluke
kB/s 

o dżizus... jaki gramma nazi mnie zaatakował

kazdy wie o co chodzi

Asus GL752VW (i7-6700HQ 2.6GHz, 32GB RAM, SSD: SanDisk Ultra 960GB, GPU: GTX960M). Apple iPad Pro 12.9 128GB Wifi+LTE. Apple iPhone X 256GB.

djluke

  • djluke
  • wiadomość Moderator
  • Znawca sprzętu komputerowegoMiły gość

  • 38031 wypowiedzi

Wysłane 2017-01-20 21:40

Jak widać nie każdy. I nie grammar nazi tylko tak to jest jak się złych jednostek używa.

PS. a zresztą...kbs, gramma nazi...mógłbym rzec "a czego ja się spodziewałem..." :-P

Asus TUF Gaming X570 Plus, Ryzen 5800X, BeQuiet Dark Rock 4 Pro, 32GB Kingston Fury 3600MHz CL16, PowerColor RX 6700 XT Red Devil 12GB, SSD Samsung 980 Pro 1TB, WD WD80EZAZ, Seasonic Focus Plus Gold 650W, Fractal Design Define R6 USB-C, Razer BlackWidow Ultimate, Logitech MX Master 3; Windows 11 Insider; Samsung C32HG70; HP Color Laserjet Pro M281fdn.

kowgli

  • kowgli
  • wiadomość Użytkownik

  • 4367 wypowiedzi

Wysłane 2017-01-20 23:00

@ straszny
Pewien jesteś tych 300kB/s?

Darmowy google drive, własnie uploaduje mi 2MB/s. To spora różnica. 

djluke

  • djluke
  • wiadomość Moderator
  • Znawca sprzętu komputerowegoMiły gość

  • 38031 wypowiedzi

Wysłane 2017-01-20 23:20 , Edytowane 2017-01-20 23:22

Wychodzi na to że Dropbox "tak ma". Pomaga:
- zredukowanie ścieżek dostępu do <255 znaków
- wyłączenie komputera / zatrzymanie usługi na kilka godzin.
Poza tym:
- synchronizacja jest znacznie wolniejsza niż upload
- przy ciągłym uploadzie przez długi czas obcinają pasmo.
I tak - 40kB/s jest możliwe, a nawet i sporo wolniej (jeden z userów skarżył się że przez dzień nie wrzuciło mu 100MB (!!!).

Asus TUF Gaming X570 Plus, Ryzen 5800X, BeQuiet Dark Rock 4 Pro, 32GB Kingston Fury 3600MHz CL16, PowerColor RX 6700 XT Red Devil 12GB, SSD Samsung 980 Pro 1TB, WD WD80EZAZ, Seasonic Focus Plus Gold 650W, Fractal Design Define R6 USB-C, Razer BlackWidow Ultimate, Logitech MX Master 3; Windows 11 Insider; Samsung C32HG70; HP Color Laserjet Pro M281fdn.

1084

  • 1084
  • wiadomość Użytkownik
  • Znawca sprzętu komputerowegoMiły gość

  • 18808 wypowiedzi

Wysłane 2017-01-20 23:22 , Edytowane 2017-01-20 23:24

Jakie obostrzenia? Jakie limity? Komercyjny idzie po kilka mega bez problemu. Tylko on się tam na małych plikach trochę hmm zacina. Problem jest jak jest łącze komórkowe, wtedy wolno idzie, ale po stałym jak burza. 

Powtarzam. Najlepiej postawić klienta na serwerze. Logujesz się na serwer jakimś putty czy innym podobnym i normalnie instalujesz sobie co chcesz. Zwykle środowisko jest gotowe i nawet nie mając pojęcia o Linuksie, jak przeczytasz tutka to zainstalujesz szybciutko. 

Zresztą jak będziesz chciał to daj znać, to ci pomogę. Tylko sobie potem hasła zmienisz. 



Aha, inna sprawa, że się ten dropbox niestety trochę sypie z synchro jak jest kilku klientów. Ale to i tak nic w porównaniu z google. ten ostatni nie nadaje się do użytku. Przez rok testu komercyjnej wersji sypało się wszytko, wsparcie nic nie pomogło. Dropbox jednak o wiele, lepszy.  

straszny

Wysłane 2017-01-21 00:54 , Edytowane 2017-01-21 01:04

@djluke
Ej ja mam na DB konto business z 5 subkontami po 1 TB każde , nic mi nikt nie obcina....

Kowgli - a teraz spróbuj wrzucić plik typu 30 GB ... upload zacznie się jak rakieta, skończy bardzo wolno. Z doświadczenia wiem ze nie ma nic szybszego niż Dropbox.

Ja wiem ze to nie jest idealna usługa, ale nie chciałbym żeby temat zamienił się w roztrząsanie zalet i wad, bo to już przerobiłem bardzo mocno ;)

A - dla mnie mega ważne - DB jako jedyna chmura ze wszystkich popularnych ma coś co sie nazywa streaming sync - jeśli masz już zuploadowany duży plik, i ponownie go uploadujesz to DB rozpozna różnice i uload ograniczy do załądowania tych różnic.

Asus GL752VW (i7-6700HQ 2.6GHz, 32GB RAM, SSD: SanDisk Ultra 960GB, GPU: GTX960M). Apple iPad Pro 12.9 128GB Wifi+LTE. Apple iPhone X 256GB.

djluke

  • djluke
  • wiadomość Moderator
  • Znawca sprzętu komputerowegoMiły gość

  • 38031 wypowiedzi

Wysłane 2017-01-21 01:08

@straszny

nic mi nikt nie obcina

upload zacznie się jak rakieta, skończy bardzo wolno

To zdecyduj się...albo znowu wyzwij od gramma nazi...

Asus TUF Gaming X570 Plus, Ryzen 5800X, BeQuiet Dark Rock 4 Pro, 32GB Kingston Fury 3600MHz CL16, PowerColor RX 6700 XT Red Devil 12GB, SSD Samsung 980 Pro 1TB, WD WD80EZAZ, Seasonic Focus Plus Gold 650W, Fractal Design Define R6 USB-C, Razer BlackWidow Ultimate, Logitech MX Master 3; Windows 11 Insider; Samsung C32HG70; HP Color Laserjet Pro M281fdn.

straszny

Wysłane 2017-01-21 01:10 , Edytowane 2017-01-21 01:10

@djluke
Pisze o rozwiązaniach konkurencji... i uploadzie bardzo dużych plików na konkurencyjne chmury

Asus GL752VW (i7-6700HQ 2.6GHz, 32GB RAM, SSD: SanDisk Ultra 960GB, GPU: GTX960M). Apple iPad Pro 12.9 128GB Wifi+LTE. Apple iPhone X 256GB.
Strona 1 z 2 12>>>
skocz

Kto jest online: 0 użytkowników, 431 gości