КЛУБ СТОКОВЫХ ФОТОГРАФОВ, ИЛЛЮСТРАТОРОВ, ВИДЕОГРАФОВ и ИИ-ШНИКОВ
http://www.zastavkin.com/forum/

ФТП и узкий канал - загрузка сразу в несколько банков
http://www.zastavkin.com/forum/viewtopic.php?f=37&t=9278		 Страница 1 из 1
Автор:  AndreySt [ 01 07 2010, 12:48 ]
Заголовок сообщения:  ФТП и узкий канал - загрузка сразу в несколько банков
Добрый день!
Имеем узкий исходящий канал интернета и 10 фотобанков. Загрузка 100 фотографий в 10 фотобанков занимает сутки. Кто знает волшебный способ, как можно закачать фотки в одно место в сети, а потом оттуда передавать в 10 фотобанков?
Автор:  Chushkin [ 01 07 2010, 13:50 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
100*365=36500 фоток в год. Для Вас это мало? "Чтоб мне так жить!" (с) не мой

Волшебных способов нет, но есть реальные пять:
- переселится туда, где есть быстрый инет
- провести быстрый инет к себе
- завести свой сайт + написать свой скрипт
- воспользоваться одним из общественных сервисов (вроде мелькала информация об подобном)
- найти человека с быстрым инетом
*последние три: вы заливаете туда, он перезаливает на все фотобанки
Автор:  AndreySt [ 01 07 2010, 13:56 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
Chushkin писал(а):
100*365=36500/10=3650 новых фоток в год. Для Вас это мало? "Чтоб мне так жить!" (с) не мой

Волшебных способов нет, но есть реальные пять:
- переселится туда, где есть быстрый инет
- провести быстрый инет к себе
- завести свой сайт + написать свой скрипт
- воспользоваться одним из общественных сервисов (вроде мелькала информация об подобном)
- найти человека с быстрым инетом
*последние три: вы заливаете туда, он перезаливает на все фотобанки


Маленькая ошибка в расчетах 36500 - это количество фоток в год, а во все фотобанки получается 365 000 загрузок...
очень заинтересовала информация по поводу сайта и скрипта... Сайт есть, а вот куда плыть дальше не знаю...
и про общественный сервис можно по-подробнее?
Автор:  Chushkin [ 01 07 2010, 18:28 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
AndreySt писал(а):
Маленькая ошибка в расчетах 36500 - это количество фоток в год, а во все фотобанки получается 365 000 загрузок...


Да, - поправил. Что-то заклинило...

Цитата:
очень заинтересовала информация по поводу сайта и скрипта... Сайт есть, а вот куда плыть дальше не знаю...
и про общественный сервис можно по-подробнее?

Плыть в сторону изучения программирования на одном из доступных языков (самый простой - PHP). :wink:
Про общественный я не помню подробности, ибо без надобности было и есть. Вроде на этом форуме что-то мелькало по этому поводу, поищите.
Автор:  apust [ 01 07 2010, 18:37 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
Chushkin писал(а):
по этому поводу, поищите.

Добавлю — ищите по слову iSyndica. ;)
Автор:  AndreySt [ 01 07 2010, 18:53 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
apust писал(а):
Chushkin писал(а):
по этому поводу, поищите.

Добавлю — ищите по слову iSyndica. ;)


ISyndica пробовал... очень дорого выходит
Автор:  Chushkin [ 01 07 2010, 21:12 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
AndreySt писал(а):
ISyndica пробовал... очень дорого выходит


Сколько?

А сколько у Вас выход? (скорость в битах)
Автор:  AndreySt [ 01 07 2010, 21:26 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
Chushkin писал(а):
AndreySt писал(а):
ISyndica пробовал... очень дорого выходит


Сколько?

А сколько у Вас выход? (скорость в битах)

512 кб
и при этом если идет загрузка, то общая скорость интернета 3 мб становится практически равна 0
Автор:  Chushkin [ 01 07 2010, 23:36 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
AndreySt писал(а):
512 кб
и при этом если идет загрузка, то общая скорость интернета 3 мб становится практически равна 0

Вполне приличный инет. Задвиньте Вы это дело - поиски ускорения, просто ограничте закачку из инета 2500 мбитами (загрузчики это позволяют).
Вряд-ли Вы найдёте что-то принципиально лучше по причинам:
- сами фотобанки как правило "берут" не намного быстрее
- ограничение магистральных каналов очень приличное
- да и сайты как правило отдают не очень быстро
(попытайте например это http://host-tracker.com/ru/)
Кроме-того отдавать пароли - дыра в безопасности. Конечно, тут - "хозяин-барин".
А самому делать - очень накладно получится. По сути, ну сэкономите Вы неделю в год, а на на создание подобного сервиса уйдёт заметно больше, даже если Вы профи в программировании для инета.


Кстати:
Сколько ISyndica берёт?
Автор:  AndreySt [ 02 07 2010, 08:26 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
Chushkin писал(а):
AndreySt писал(а):
512 кб
и при этом если идет загрузка, то общая скорость интернета 3 мб становится практически равна 0

Вполне приличный инет. Задвиньте Вы это дело - поиски ускорения, просто ограничте закачку из инета 2500 мбитами (загрузчики это позволяют).
Вряд-ли Вы найдёте что-то принципиально лучше по причинам:
- сами фотобанки как правило "берут" не намного быстрее
- ограничение магистральных каналов очень приличное
- да и сайты как правило отдают не очень быстро
(попытайте например это http://host-tracker.com/ru/)
Кроме-того отдавать пароли - дыра в безопасности. Конечно, тут - "хозяин-барин".
А самому делать - очень накладно получится. По сути, ну сэкономите Вы неделю в год, а на на создание подобного сервиса уйдёт заметно больше, даже если Вы профи в программировании для инета.


Кстати:
Сколько ISyndica берёт?


Значит решения нету (((
Автор:  Chushkin [ 02 07 2010, 13:48 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
AndreySt писал(а):
Значит решения нету (((

Да как раз решений куча, просто они все неприемлемые, невыгодные.
Самым лучшим решением было бы подключить или оптоволокно (как правило, там симметричные вход-выход) или локальную сеть с выходом в инет (как правило там выход на порядок-два выше, чем у Вас, хоть и делится на всех). При невозможности их подключения, лучше задвинуть идею - овчинка выделки не стоит.
Автор:  U11 [ 02 07 2010, 23:59 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
асимметричное решение - уйти в экслюзив на Айс 8)
(или просто подумать, стоит ли распыляться на 10 фотобанков, может 3-4х достаточно?)
Автор:  AndreySt [ 03 07 2010, 09:09 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
U11 писал(а):
асимметричное решение - уйти в экслюзив на Айс 8)
(или просто подумать, стоит ли распыляться на 10 фотобанков, может 3-4х достаточно?)


чем дальше, тем больше-таки за ваш разговор согласен :-)
Автор:  Markin [ 03 07 2010, 09:57 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
Купить хостинг дешевенький? поставить простенькую CMS или просто скрипт FTP мэнеджера. Заливать один раз на хостинг, а от туда клиентом распихивать по стокам. Можно даже автоматизировать. Все происходит со скоростью канала хостинга. т.е. очень быстро.

К сожалению я не обладаю актуальной информацией по названию конкретных продуктов т.к. несколько лет уже отошел от этой темы. Но пару лет назад в любой CMS был сносный FTP клиент и куча бесплатных и очень крутых сторонних плугинов. Я конкретно занимался подобным на Joomle

Ставится всё и инсталица с чтением доков на русском за пол дня при уровне "уверенный пользователь", никаких основ программирования и тонкостей сетевых технологий знать не требуется. Везде обычные адекватные интерфейсы. как на файл-мэнеджерах или проще.


Еще вариант - купить хостинг с ssh доступом (почти любой это позволяет), тогда тоже заливаем на хостинг файлы один раз и от туда через например mc (полный аналог FAR и прочих файловых менеджеров) по FTP раскидываем по стокам.
Автор:  Chushkin [ 03 07 2010, 13:56 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
Markin писал(а):
Купить хостинг дешевенький? поставить простенькую CMS или просто скрипт FTP мэнеджера.

С FTP проблем нет (почти), но есть стоки где нет фтп - как их окучить "легко и просто"?
Автор:  AndreySt [ 03 07 2010, 14:09 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
Chushkin писал(а):
Markin писал(а):
Купить хостинг дешевенький? поставить простенькую CMS или просто скрипт FTP мэнеджера.

С FTP проблем нет (почти), но есть стоки где нет фтп - как их окучить "легко и просто"?


Вот с фтп как раз и не получается. Попробовал закачать все на хостинг, оттуда фтп-программой пробую скопировать - и все происходит через локальный компьютер: сначала скачка - потом закачка. Вся фишка в том, чтобы не былио скачки на стационарный комп, а чтобы сразу все копировалось с одного сервера на другой.
Автор:  Chushkin [ 03 07 2010, 14:42 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
AndreySt писал(а):
Вот с фтп как раз и не получается. Попробовал закачать все на хостинг, оттуда фтп-программой пробую скопировать - и все происходит через локальный компьютер: сначала скачка - потом закачка. Вся фишка в том, чтобы не былио скачки на стационарный комп, а чтобы сразу все копировалось с одного сервера на другой.

Принцип тот же - Вам нужно на сайте установить ПО (скрипт, которому Вы доверите свои пароли), позволяющий работать по протоколу FTP с другими сайтами. Ваш локальный (домашний) FTP-менеджер используется только для заливки файлов на ваш сервер.
Ну или разбираться с прочими возможностями, типа ssh, как сказал Markin.
п.с.
Работа с ФТП проще тем, что это единый стандарт для всех. А вот заливка через страничку на сайте индивидуальна для каждого сайта, как правило. Существуют ещё так называемое API, предоставляемое сайтом. Это что-то среднее по сложности между FTP и загрузкой через страницу, но не каждый сайт предоставляет это.
Автор:  dimol [ 21 07 2010, 20:44 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
а чем isyndica дорого? 100 баксов в год, и все нормально. пару стоковых дней окупают :)

да и не такой узкий канал, я на таком же сижу тут :(
Автор:  Artem [ 30 10 2010, 21:26 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
Закрыли iSyndica- видать не сильно клиенты шли, не было поддержки Шаттера и Айса, а остальные стоки - мелочи по сравнению с этими двумя. А идея была неплоха.
Автор:  Artem [ 01 11 2010, 19:29 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
AndreySt писал(а):
Добрый день!
Имеем узкий исходящий канал интернета и 10 фотобанков. Загрузка 100 фотографий в 10 фотобанков занимает сутки. Кто знает волшебный способ, как можно закачать фотки в одно место в сети, а потом оттуда передавать в 10 фотобанков?

Я написал короткий скриптик на PHP для загрузки сразу на несколько стоков с одного фтп сервера. Протестировал работает нормально, Загрузка ускоряется значительно: время тратится только на загрузку на основной фтп, оттуда закачка на стоки идет со скоростью этого сервера.
Приблизительная скорость: у меня 1мегабайтный файл залился на 3 стока (шаттер, фотолия и дримс) в течении 15 сек или около того. Файл на стоках появился моментально - кроме Дримса, у них там чтото обработка залитых по фтп тормозит, шаттер и фотолия - сразу. Впринципе список стоков можно расширить до скольки надо, я оттестировал на этих трех.
Дырка в безопасности - свои пароли логины надо вставлять в файл, впринципе можно сделать и форму для их запроса - это не проблема. для меня было интересно осуществить этот метод.
Автор:  dimol [ 01 11 2010, 19:51 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
в CuteFTP есть функция переслать с одного FTP на другой. Я не пробовал, необходимости не было. Но функция есть - т.е. по идее должна быть какая-то команда фтпшная, которая это делает.
Автор:  Artem [ 01 11 2010, 21:37 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
dimol писал(а):
в CuteFTP есть функция переслать с одного FTP на другой. Я не пробовал, необходимости не было. Но функция есть - т.е. по идее должна быть какая-то команда фтпшная, которая это делает.


Весело звучит "фтпшная команда" - команда кому, на каком языке? Если найдете эту команду, очень хотелось бы на нее взглянуть.
Для информации: чтобы отослать файл с одного сервера на другой, нужно:
1. Установить соединение между серверми
2. Прилогиниться под нужным юзером ко второму серверу
3. Получить список файлов первого сервера которые нужно переслать, прочитать и записать их на второй сервер.
4. Закрыть все соединения.

Скорее всего CuteFTP будет осуществлять эти действия посредством скачивания всего списка файлов на локальный компьютер и потом загружать их на второй фтп-сервер что лишает смысла операцию по ускорению загрузки на разные сервера из одного источника.
Автор:  AndreySt [ 01 11 2010, 23:40 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
Artem писал(а):
AndreySt писал(а):
Добрый день!
Имеем узкий исходящий канал интернета и 10 фотобанков. Загрузка 100 фотографий в 10 фотобанков занимает сутки. Кто знает волшебный способ, как можно закачать фотки в одно место в сети, а потом оттуда передавать в 10 фотобанков?

Я написал короткий скриптик на PHP для загрузки сразу на несколько стоков с одного фтп сервера. Протестировал работает нормально, Загрузка ускоряется значительно: время тратится только на загрузку на основной фтп, оттуда закачка на стоки идет со скоростью этого сервера.
Приблизительная скорость: у меня 1мегабайтный файл залился на 3 стока (шаттер, фотолия и дримс) в течении 15 сек или около того. Файл на стоках появился моментально - кроме Дримса, у них там чтото обработка залитых по фтп тормозит, шаттер и фотолия - сразу. Впринципе список стоков можно расширить до скольки надо, я оттестировал на этих трех.
Дырка в безопасности - свои пароли логины надо вставлять в файл, впринципе можно сделать и форму для их запроса - это не проблема. для меня было интересно осуществить этот метод.

С удовольствием буду тестером
Автор:  dimol [ 02 11 2010, 06:47 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
Artem писал(а):
dimol писал(а):
в CuteFTP есть функция переслать с одного FTP на другой. Я не пробовал, необходимости не было. Но функция есть - т.е. по идее должна быть какая-то команда фтпшная, которая это делает.

Весело звучит "фтпшная команда" - команда кому, на каком языке? Если найдете эту команду, очень хотелось бы на нее взглянуть.

для программиста нормально звучит, для юзера - не знаю, я в прошлом программист. Вам виднее.

LIST, PORT, PASV, PUT - никогда в логе не видели?

Передача файлов между серверами по FTP-протоколу называется FXP, погуглите. Но не факт, что она серверами микростоков поддерживается.
Автор:  Artem [ 02 11 2010, 15:44 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
dimol писал(а):
для программиста нормально звучит, для юзера - не знаю, я в прошлом программист. Вам виднее.

LIST, PORT, PASV, PUT - никогда в логе не видели?

Передача файлов между серверами по FTP-протоколу называется FXP, погуглите. Но не факт, что она серверами микростоков поддерживается.

Это не менее весело звучит, тем более от программиста, хоть и в прошлом. Я про "фтпшную комманду". Ваш список комманд для фтп сервера - все равно будет выполнятся по приведенному мною выше алгоритму (т.е. это набор команд в определенной последовательности - что есть по сути скрипт). На чем этот скрипт написан - не имеет значение (PHP, Perl, SSH, bath-file), одно точно - "такой фтпшной команды" не существует и не может существовать.
Кстати FXP - это сам протокол и есть для передачи файлов, а не передача так называется.

AndreySt, сейчас напишу краткие инструкции по пользованию и кину вам скриптик. Ваш сервер должен поддерживать PHP и иметь FTP и web доступ.
Автор:  Artem [ 03 11 2010, 18:14 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
AndreySt писал(а):
С удовольствием буду тестером

отправил в PM.
Автор:  dimol [ 03 11 2010, 18:27 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
не за чем цепляться к терминалогии, факт то, что возможность есть
Цитата:
The FTP client tells the destination FTP server to listen for a connection by sending a "PASV" command. The source FTP server connects to the data port reported by the destination server (after a successful PASV command). The client then passes the address/port in a "PORT" command to the destination server. Thus all the data goes directly from the source to the destination FTP server. Both servers only report status messages on fail/success to the FTP client.
Автор:  Artem [ 03 11 2010, 19:19 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
dimol писал(а):
не за чем цепляться к терминалогии, факт то, что возможность есть

Я вообще не понимаю причину флуда, мне было смешно услышать "какая-то фтп-шная команда", тем более от программиста. Приведите пример "фтп-шной" команды, которая осуществляет перемещение файлов с одного сервера на другой и прекратим этот флуд. То что возможность удаленной передачи есть - я не отрицал ни разу. Про CuteFTP - у меня было только предположение, ибо не пользуюсь им (перечитайте мой пост).
Автор:  dimol [ 03 11 2010, 19:37 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
Artem писал(а):
Весело звучит "фтпшная команда" - команда кому, на каком языке? Если найдете эту команду, очень хотелось бы на нее взглянуть.

Вам смешно показалось словосочетание "фтпшная команда". Я вам привел примеры команд. Команда, последовательность команд - нет смысла цепляться.
Artem писал(а):
Скорее всего CuteFTP будет осуществлять эти действия посредством скачивания всего списка файлов на локальный компьютер и потом загружать их на второй фтп-сервер что лишает смысла операцию по ускорению загрузки на разные сервера из одного источника.
Я объяснил, что это не так. Мне показалось, что вы как раз и выразили сомнения в возможности удаленной передачи.

Так давайте действительно закончите флуд. Причины его я не понимаю.
Автор:  Artem [ 06 11 2010, 05:57 ]
Заголовок сообщения:  Re: ФТП и узкий канал - загрузка сразу в несколько банков
Проверил скрипт еще на 4 фотографиях общим объемом 10 Мб, залилось на 3 стока - Шаттер, Фотолия и Дримс за 4 минуты. В общем то не плохо, если учесть что не надо беспокоится о заливке/логине на разные фтп, просто нажал кнопочку и занимайся своим делом. На большом объеме экономия времени будет немного более ощутимая. Короче можно сказать что если у вас дома скорость на аплоад достигает 140-150 КБ/с, то заморачиваться не стоит. Если меньше, то конечно экономия времени будет значительная.
Страница 1 из 1 Часовой пояс: UTC + 2 часа [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
https://www.phpbb.com/