download di interi siti

4N4RK0 · Inviato: Ven Ott 29, 2004 7:15 pm Oggetto: download di interi siti

ciao a tutti volevo presentare "wget" a quanti di voi non lo conoscessoro già.
scrivendo semplicemente:

# wget http://netforce.altervista.org

si scarica l'index del sito. scrivendo invece:

# wget -r http://netforce.altervista.org

si scarica l'index completo anche di eventuali immagini.
le altre opzioni importanti del comando sono:

-b esegue wget in background
-l specifica il livello di ricorsione (default 5)
-c fa il resume del download
-c legge una lista di url da un file specificato
-convert-link converte il link da assoluti a relativi
per visualizzare la pagina offline
-mirror solo un aggiornamento
-nq evita di scaricare link che fanno riferimento ad altri siti

esempi:

# wget -r -c -l 3 -o wget.log zer0un0.altervista.org

scarica l'index e i relativi link con un livello di profondità
pari a 3; il log dell'operazione sarà scritto nel file wget.log

# wget -mirror zer0un0.altervista.org

copia speculare del sito: aggiorna il download in base alle date.

ciao e buon download di interi siti

anarko
_________________
anarko

GPG Key

http://utenti.lycos.it/netforce1/upload/put-by-anarko-MyPubblicKey.txt

asch · Inviato: Lun Giu 13, 2005 7:30 pm Oggetto:

Cercando info su wget tramite google ho letto questo tuo articolo.
Gentilmente ti chiedo se si può fare anche l'upload.
Praticamente io devo aggiornare ogni settimana un fileAccess.mdb identico per una ventina di siti web. Si può fare?

Per scaricare uso:
C:\wget\wget.exe -c -r - N -o Messaggi.log -i ListaBackUp.txt

Per caricare:
??????????

(Uso WindowsXP)
Fammi sapere,
Grazie
Ciao
Fabrizio

4N4RK0 · Inviato: Mar Giu 14, 2005 11:01 am Oggetto: ciao asch...

innanzi tutto ti ringrazio per aver accettato la proposta..
come ti avevo già accennavo la cosa migliore che mi viene in mente è quella di utilizzare uno script batch...
io partirei subito con un esempio:

-per fare l'upload di un file

----------------script.bat--------------------------
ftp -s:file_conf.ftp ip
exit
------------------end-------------------------------

salvi questo file come .bat
ip --> ip della macchina dove fai l'upload o nome della macchina o dominio
file_conf.ftp il file di configurazione

--------------------file_conf.ftp---------------------
user
password
cd path_remoto...
put path_locale\file.estensione
quit
-----------------------end---------------------------

user --> lo username
password --> la password
il path remoto se l'upload lo devi fare in una cartella remota diversa dalla radice es: cd new\database\...
put è il comando per caricare il file che glielo passi come parametro
fine!

i due file vanno inseriti nella stessa cartella oppure aggiungi un path nel primo file (il .bat) quando specifichi il file di configurazione dopo l'opzione -s.

se tu ti crei una coppia di file per ogni upload che devi fare, dopo non ti resta che creare un ultimo bat che richiama gli altri... chiaro?
oppure pui pensare (se dovesse servirti) di schedulare le operazioni con lo scheduler di windows...

...se dovesse servirti questa feature ti dirò come fare.

p.s. ovviamente esistono dei software (anche free) che ti permettono di fare questo e magari anche qualcos'altro... ...io preferisco questa soluzione di cui ti garantisco la funzionalità e la versatilità (anche se forse quest'ultima non si riesce a vedere subito)

ciao e fammi sapere eventuali dubbi o problemi.
spero di esserti stato d'aiuto

buonagiornata
_________________
anarko

GPG Key

http://utenti.lycos.it/netforce1/upload/put-by-anarko-MyPubblicKey.txt

zer0un0 · Site Admin Registrato: 09/09/04 15:44 Messaggi: 881

Ciao gente e un benvenuto ad asch
devo dire che non mi ero ancora posto questo problema
(perchè penso fi fare upload di database più raramente rispetto ad asch)

Però devo dire questione interessante!

anarko proverò anche io la tua soluzione poi ci risentiamo.

Grazie asch per lo spunto di riflessione..

asch · Inviato: Mar Giu 14, 2005 11:50 pm Oggetto:

Ciao,
intanto un grazie per l'aiuto e per il benvenuto.
Ho seguito le istruzioni e il file si carica ma appena caricato poi si cancella subito!
Forse manca qualcosa?

4N4RK0 · Inviato: Mer Giu 15, 2005 8:44 am Oggetto: mmm...

ciao,
il problema di cui mi parli è abbastanza insolito...
...dovresti provare ad illustrarmi un po la situazione della
tua rete: aziendale, domastica, firewall, proxy e quant'altro...

un altra cosa: come fai a dire che lo carica e poi lo cancella
invece che non lo carica per niente? lo vedi per un istante?
se si, per quanto?

un altra cosa che ti direi di provare è quella di eseguire i comandi direttamente da prompt di dos, in modo che eseguendoli uno alla volta possa vedere meglio eventuali errori (una sorta di debug).

asch · Inviato: Gio Giu 16, 2005 12:57 pm Oggetto:

Ciao,
la rete è piccola con 3 PC collegati tramite router senza firewall e proxy.

Il Pc dove parte lo script usa WXP pro dove è abilitato il firewall Windows.

Quando lancio lo script.bat controllo il file ipcountry.mdb (3,2 mb).
Lo controllo attraverso un programma FTP..
Nella catrtella di destinazione, facendo aggiorna nella finestra del programma, lo vedo che cresce di dimensioni fino a circa 1,8 mb e poi sparisce!

E' questo il debug che intendevi?

Ciao

4N4RK0 · Inviato: Gio Giu 16, 2005 4:49 pm Oggetto: ...

ok, quello che mi viene da pensare e che potrebbe esserci un time out che scade durante la connessione, oppure un limite sullo spazio ftp.
la realtà è che sicuramente ci saranno queste restrizioni, il problema è le raggiungi? se provi a fare l'upload con un client ftp (o da browser) riscontri lo stesso problema?
il firewall non dovrebbe più influenzare la cosa inquanto una volta partito il trasferimento si è instaurata una nuova connessione ftp per il trasferimento del file, pertanto le porte sono ormai aperte.
peccato che la trasmissione si interrompi durante tale trasferimento...
...va bè, scopriremo il problema; intanto fammi sapere cosa accade provando con un client di posta.
(che poi il prompt di dos non fa niente di diverso, anzi... anche qualcosa in meno...)
ciao e fammi sapere
_________________
anarko

GPG Key

http://utenti.lycos.it/netforce1/upload/put-by-anarko-MyPubblicKey.txt

asch · Inviato: Gio Giu 16, 2005 5:26 pm Oggetto:

Ti confermo che usando il programma ftp non ho nessun problema.
Ho provato allora con un sito da un'altro provider (lo provider stesso di bitportal.it).
Il risultato è simile, ossia si carica fino a 1,977 mega e poi si ferma. In questo caso però il file non viene eliminato.
Ho provato un'altra volta è ha caricato fino a 2,004.

Cosa intendi con:
"intanto fammi sapere cosa accade provando con un client di posta"

4N4RK0 · Inviato: Gio Giu 16, 2005 6:14 pm Oggetto: ...

scusa ma ti ho risposto dopo aver parlato 30min al telefono di client di posta con un cliente...
...intendevo un client ftp.
sto facendo delle prove, collegandomi anche con una connessione analogica...

ti riporto di seguito un immagine per farti vedere che le mie operazioni sono andate tutte a buon fine con file da 5MB da postazioni diverse (casa e uffici) su server differenti (aruba, altervista, altri della mia sala server...)

...niente non riesco a riprodurre la situazione.
indagherò!
ciao a presto e se ci sono novità fammi sapere, grazie.
io ovviamente...
...indagherò... :-)
ciao
_________________
anarko

GPG Key

http://utenti.lycos.it/netforce1/upload/put-by-anarko-MyPubblicKey.txt

asch · Inviato: Ven Giu 17, 2005 12:17 am Oggetto:

Visto che a te funziona ho voluto testare lo script con un altro PC della stessa mia rete ma con su W2000pro.
Con questo PC funziona correttamente! Tu lo hai provato con XP ?

4N4RK0 · Inviato: Ven Giu 17, 2005 9:07 am Oggetto: mmm...

si, io ho provato ad eseguire queste operazioni sia con win2k che xp.
a questo punto non indagherò più...
...nel senzo che questo andrebbe fatto in locale per capire quello che succede.
spero che tu abbia ora un idea su come gestire i tuoi upload. ricordati che fatti i 20 scriptini una sola volta, si tratterà di creare un ultimo scriptino che li esegua tutti insieme.
tieni conto che probabilmente ci saranno delle restrizioni sul numero di connessioni ftp contemporanee su un server o anche dalla macchina locale, perciò forse ti tornerà comodo eseguire una schedulazione degli scriptini che farai partire manualmente, ma che farà partire le singole sessioni ogni (per esempio) 10min una dall'altra.
p.s. per una nuova operazione schedulata temporalmente: start-->pannello di controllo-->operazioni pianificate-->nuova operazione pianificata-->seguire il wizard...
ciao e non esitare a chiedere eventuali ulteriori chiarimenti.
_________________
anarko

GPG Key

http://utenti.lycos.it/netforce1/upload/put-by-anarko-MyPubblicKey.txt

asch · Inviato: Ven Giu 17, 2005 11:10 am Oggetto:

Ciao,
ok, intanto farò gli upload dal PC con w2000!

4N4RK0 · Inviato: Lun Giu 20, 2005 5:31 pm Oggetto: tornato

ciao,
finalmente sono tornato a risponderti...
...ho avuto un po da fare, comunque ti risponderò
al più presto. ciao
_________________
anarko

GPG Key

http://utenti.lycos.it/netforce1/upload/put-by-anarko-MyPubblicKey.txt

asch · Inviato: Gio Giu 30, 2005 6:47 pm Oggetto:

Ciao, oltre a chiederti come fare a collegra i vari scriptini di upload (1 per sito) tornando a wget io uso questo comando per fare una copia di backup di vari db access di vari siti web.

C:\wget\wget.exe -c -r - N -o Messaggi.log -i ListaBackUp.txt

Ho visto però che non mi aggiorna le copie.
Ossia nel mio HD mi ritrovo sempre i soliti file access e non gli ultimi presenti nel sito web.

Sai dirmi se manca qualcosa nel comando?

Fammi sapere, grazie!
Ciao