КЛУБ СТОКОВЫХ ФОТОГРАФОВ, ИЛЛЮСТРАТОРОВ, ВИДЕОГРАФОВ и ИИ-ШНИКОВ

Хочу поделиться радостью - мои файлы полутора-недельной давности стали видны по ключевым словам, а вот в категориях я так и не нашел их (на 45-й странице категории мне надоело искать), а те что залил 2 дня назад так и не появлялись (буквально пара ключевых слов работает, а так...)
Отсюда у меня возникает полное не понимание того что происходит сейчас на шаттере - вчера я пришел к рекордной цифре в 2 продажи за сутки (такого со дня открытия аккаунта небыло!). Возникает желание написать матерное письмо в службу поддержки, вот только знаю что ответят... На мой прошлый запрос мне ответили так, что я не мог поверить что на английском можно так культурно послать человека на русские буквы

Если Вы поднимите глаза чуть выше то увидите несколько постов где люди говорят, что сначала картинки появились (проиндексировались), а потом пропали. Так что прога работает

Я прав или я прав? (с)
Проверил картинку 20934298, в ней нет слова симлес..

Только что проиндексировались картинки принятые сегодня ночью по ключевому "nature"

Индексация по людЯм прошла только что с 17 часов

Кстати сказать, категория People у меня изменилась в 16:15 мск
За последний час у меня также зафиксированы изменения по категориям (для Москвы надо + 2 часа):

Change time / Newest image / Search type
24.11.2008 17:00:59 20938558 CAT: Sports
24.11.2008 16:42:53 20940742 CAT: Illustrations
24.11.2008 16:42:46 20993863 CAT: Business
24.11.2008 16:42:43 20927245 CAT: Arts
24.11.2008 16:31:21 20994889 CAT: Vectors
24.11.2008 16:31:21 20936068 CAT: Vintage
24.11.2008 16:31:20 20985073 CAT: Transportation
24.11.2008 16:31:15 20927251 CAT: Religion
24.11.2008 16:31:10 20929675 CAT: Model Rel Only
24.11.2008 16:31:06 20935897 CAT: Holidays
24.11.2008 16:31:05 20988352 CAT: Healthcare
24.11.2008 16:31:03 20982082 CAT: Education
24.11.2008 16:30:59 20934283 CAT: Buildings
24.11.2008 16:30:56 20990425 CAT: Animals
24.11.2008 16:30:54 20993230 CAT: Abstract

Надо отметить, что это могут быть изменения как в большую, так и в меньшую сторону (здесь уже упомянутый откат проиндексированных изображений)

совсем свежие изменения в трех (наблюдаю с данного момента все 30 категорий):

20995504 CAT: Nature
20930350 CAT: Transportation (откат с 20985073)
20993320 CAT: Backgrounds

Это не откат. Это просто свидетельство реальной распределенности базы данных по разным сервакам. То один сервер выдаст ответ на запрос, то другой.

не подумал, согласен
это, кстати, может объяснить также, почему одни и те же поисковые запросы на разных языках могут выдавать разные результаты.

И как в таком случае вы представляете индексную таблицу?

кому интересно, последние данные по категориям, время GMT+1 (для москвы добавлять 2 часа):

24.11.2008 22:48:05 20993863->20938582 [-] CAT: Business
24.11.2008 22:48:02 20979919->20927245 [-] CAT: Arts
24.11.2008 22:14:52 20936068->20985325 [+] CAT: Vintage
24.11.2008 22:14:39 20926570->20988352 [+] CAT: Science
24.11.2008 22:14:34 20938603->20990812 [+] CAT: Parks/Outdoors
24.11.2008 22:14:16 20988352->20935798 [-] CAT: Healthcare
24.11.2008 22:14:05 20990827->20934283 [-] CAT: Buildings
24.11.2008 21:57:25 20979688->20927251 [-] CAT: Religion
24.11.2008 21:57:15 20982082->20928520 [-] CAT: Education
24.11.2008 21:57:10 20928889->20990425 [+] CAT: Animals

думаю, может отказаться фиксировать скачки на минус...

Не знаю, как у них это устроено. Но думаю, что результат поиска по ключевикам во всей базе, выборка фоток из всей базы для конкретного портфолио и вывод фоток в категориях делаются через разные механизмы. В частности, для вывода фоток по категориям при сортировки по новым никакие индексы вообще не нужны.

При просмотре конкретного портфолио также индексы не используются. То есть в портфолио фотки располагаются так, как будто они проиндексировались и сдвинулись в сортировке по Most Popular. А при поиске в общей базе - видно, что это не так.


Короче говоря, думаю, что индексы все таки хранятся централизованно. Но используются они только в ограниченном числе случаев. И при обработке запроса вывода фоток в сортировке по новым - индексы не используются.

Дальше можно не читать...

Вы немного путаетесь в этом. Ну если по простому...
Представьте себе бооольшую Библиотеку с миллионами книг. Так вот, индексы это эквиваленты картотек в этой библотеке. Будете искать книгу не по картотеке, потратите уйму времени, - туже книгу по картотеке найдёте очень быстро. Разница ещё заметнее получится, если нужно найти (сделать выборку) сотен книг из этих миллионов по какому-то критерию указанному в картотеке (автор, название и т.д.).
Тоже самое и в базе данных. Можно конечно и не использовать индексы, но тогда будет потрачено времени на поиск (выборку) и упорядочивание (сортировка) в тысячи и более раз больше, чем это делать по индексу.
В БД можно не использовать индексы только на маленьких количествах чего-нибудь (десятки-сотни, редко тысячи). Если же БД содержат много данных (как в фотобанках, например), то без индексов не обойтись и их создают на все основные выборки/сортировки. Например, для просмотра портфолио автора при сортировке "Newest first" используется индекс по полям(данным) "Номер автора, Время добавления фотки". По правильному такой простой индекс строится в реальном времени - т.е. добавили фотку в БД, индекс перестроился.

сейчас мы с вами углубимся в теорию систем управления распределенных баз данных, напрочь забыв о своих фотографиях/иллюстрацихях конечно, база данных и индексы - понятия почти неразрывные. но, всё же в данном контексте термин индексация на шаттерстоке более широк и подразумевает среди нас, ламеров , изменения доступности картинок в результатах поиска.
предлагаю абстрагироваться от точности понятий и сконцентририваться на проблеме. или, по-другому, на первый извечный вопрос - кто виноват - ответ очевиден: шаттерсток. второй вопрос сложнее - что делать? бардак продолжается, почти уже фундаментальная теория засланцев, сложившаяся за последние годы, рушится и отказывается на нас работать корова, простите, шаттерсток по этому поводу насколько я понимаю, ни мычит, ни телится, молока дает еле-еле, и только жрет с безмерным аппетитом. не помогает ни отборный комбикорм, ни особый режим кормления. хворает буренка или все же есть отдельные успешные животноводы?

предположим, появление и пропадание картинок в базе данных с интервалом в несколько часов было всегда, ну может не так выраженно. если я ничего не путаю, раньше индексация носила более менее регулярный характер и борьба шла только с проверкой. теперь проверка стала более предсказуемой, за то индексация взбесилась.

ну понаблюдаем за ней еще. хотя, кажется мне пока что, нету сейчас никакой системы.

П.С. сверим часы на сегодня с утра пока еше не было изменений ни по одной категории (между 03:00 и 07:00 мск были зафиксированы изменения, но это были только вернувшиеся снова, которые вчера вечером уже были, а потом пропали)