Торрент поисковик. Пиратский туман.

За бортом было абсолютно ничего не разглядеть дальше чем за 2 метра. “Скорей бы это уже закончилось” - прошептал Джон. Шел уже 3 день с почти нулевой видимостью из-за морского тумана, и команда явно испытывала негодование. Мы хоть и двигались, но двигались медленно, а бесконечная белая пелена лишь усиливала чувство того, что мы вот-вот во что-то уткнемся даже не подозревая об этом. Берег, в нашей ситуации, был отнюдь не самым худшим вариантом...

Торрент поисковик. Пиратский туман. Торрент, Поисковик, Информационная безопасность, Крыса, Халява, Распределенные сети, Длиннопост

"Крысы на борту" - торрент поисковик собирающий статистическую информацию о торрентах не используя торрент-трекеры и дающих возможность обеспечить поиск по торрентам (и отдельным файлам в них) даже если все трекеры заблокируют в будущем.

Предыдущие статьи:

Часть 1 - Часть 2 - Часть 3 - Часть 4 - Часть 5 - Часть 6 - Часть 7 - Часть 8

Как и в предыдущих статьях, в этой пойдет речь о десктопной версии поисковика для локального использования о его улучшениях и нововведениях сделанных благодаря пикабу.

Ссылки на последнюю версию:

Windows 64bit: https://github.com/DEgITx/rats-search/releases/download/v0.1...

Linux: https://github.com/DEgITx/rats-search/releases/download/v0.1...

Mac OS X: https://github.com/DEgITx/rats-search/releases/download/v0.1...

О багах и проблемах сюда - https://github.com/DEgITx/rats-search/issues (регистрируемся - new issue - описываем проблему в деталях)

Отслеживать проект на Github - https://github.com/DEgITx/rats-search (там звездочку влепите, если интересен проект :D)
Базовая инструкция по использованию - https://github.com/DEgITx/rats-search/blob/master/docs/USAGE...

В этот раз большинство изменений затронуло работу распределенной сети крыс. Для тех кто не помнит - это возможность искать торренты не только в своей собранной базе торрентов, но и у других пользователей программы. Т.е. поиск фактически снимает ограничение вашей торрент-базы и даже новый участник будет иметь возможность искать среди тысяч и миллионов чужих торрентов.

Торрент поисковик. Пиратский туман. Торрент, Поисковик, Информационная безопасность, Крыса, Халява, Распределенные сети, Длиннопост

Собственно об этом и идет речь. Добавились дополнительные механизмы по обнаружению крыс - в частности, обмен пирами и обратная связь, так же сам протокол немного доработан в плане безопасности. Все это, теоретически, должно помочь в обнаружении новых источников, но поможет или нет покажет время. Схематично улучшение можно описать как-то так:

Торрент поисковик. Пиратский туман. Торрент, Поисковик, Информационная безопасность, Крыса, Халява, Распределенные сети, Длиннопост

Кстати, теперь торренты других участников в поиске помечаются другим цветом, и их можно визуально отделить от торрентов в вашей базе.

Торрент поисковик. Пиратский туман. Торрент, Поисковик, Информационная безопасность, Крыса, Халява, Распределенные сети, Длиннопост
Торрент поисковик. Пиратский туман. Торрент, Поисковик, Информационная безопасность, Крыса, Халява, Распределенные сети, Длиннопост

Появилась, наконец, поддержка UPnP: теперь во многих случаях, если на роутере включена эта функция, то дополнительных телодвижений с портами их пробросом (а я напоминаю что для сбора торрентов нужно открыть 2 UDP + 1 TCP порта указанных в настройках) не нужно, все должно заработать из коробки.

Торрент поисковик. Пиратский туман. Торрент, Поисковик, Информационная безопасность, Крыса, Халява, Распределенные сети, Длиннопост

Исправлен довольно древний баг, с тем, что когда ты начинаешь подгружать новые результаты выдачи поиска по файлами, появлялись дубликаты торрентов. В будущей версии, скорее всего, появятся всяческие дополнительные настройки поиска.

Так же в прошлой версии отсутствовал менеджер закачек, из-за чего найти торренты, которые в данный момент качаются через встроенный торрент-клиент было почти невозможно. До него можно добраться через меню или шорткей (да, такие есть, см. пометки к меню).

Торрент поисковик. Пиратский туман. Торрент, Поисковик, Информационная безопасность, Крыса, Халява, Распределенные сети, Длиннопост

Ссылки на базу поиска, с более чем 120 000 торрентами можно найти в комментарии к этому посту либо заглянуть на 2 поста назад.

Торрент поисковик. Пиратский туман. Торрент, Поисковик, Информационная безопасность, Крыса, Халява, Распределенные сети, Длиннопост
Автор поста оценил этот комментарий
Откуда отрывок в начале поста?
раскрыть ветку (1)
18
Автор поста оценил этот комментарий

Как и во всех предыдущих - из головы. Что-то не первый раз интересуются, пора наверное писать пиратский рассказ )

Иллюстрация к комментарию
показать ответы
8
Автор поста оценил этот комментарий

@moderator, можете откорректировать в тексте "https://github.com/DEgITx/rats-search/blob/master/docs/USAGE..." target="_blank" rel="nofollow noopener">Базовая инструкция по использованию."? Там была ссылка ( https://github.com/DEgITx/rats-search/blob/master/docs/USAGE... ) на тексте "Базовая инструкция по использованию." но при постинге что-то обрубилось. Скорее всего баг нового пикабу.

показать ответы
2
Автор поста оценил этот комментарий

т.е данная утилита использует существующий dht ? или создает свой, совместимый только с такими же клиентами? в первом посте только одно упоминание dht в ветке с ЦП.

раскрыть ветку (1)
4
Автор поста оценил этот комментарий

Использует существующий, и в будущем при должных модификациях эта обратная совместимость должна сохраниться.

Автор поста оценил этот комментарий

Слушай, тут недавно один торрент трекер соскамился и оставил после себя огромную базу, почему бы её не добавить?

https://new.pikabu.ru/story/treker_skytorrents_prekratil_rab...

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Я видел этот пост, тут вопрос есть ли в этом смысл. Из того что я понял там чистый архив торрентов и все. Большинство из этих раздач умерло вместе с трекером, другая часть скорее всего неактуальна. Просто сам смысл если там просто торренты, то такую же соразмеримую базу торрентов красы сами по себе совместными усилиями соберут за пару месяцев.
Другой вопрос если бы там были описания торрентов - т.е. к каким фильмам или музыке относятся, описания качества и т.п. и другая дополнительная информация - вот такой бы базе цены бы не было, наверное точно можно было бы использовать.
P.S. и ссылка уже вроде как мертвая на хостинг этой базы

показать ответы
Автор поста оценил этот комментарий

@DEgITx, а ваш поисковик может найти торрент, даже если он на приватном торрент трекере? Или поиск только по public торрентам?

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Только по public. Приватные торренты как раз таки и предназначены для того чтобы их никто не мог найти. В них отключены все механизмы которые помогают находить их у сторонних источников, в этом их как бы плюс и минус - если загинается трекер с приватными торрентами, то загинаются и эти торренты.

DELETED
Автор поста оценил этот комментарий

интерфейс на русском есть? как переключить?

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Пока что только на аглийском

показать ответы
Автор поста оценил этот комментарий

Ошибка в кнопке "SAVE STTINGS" на вкладке Main settings

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Какая?

показать ответы
4
Автор поста оценил этот комментарий

У меня провайдер такой что я получается сижу на NATом и у меня порты просто не пробрасываются(в роутере пробрасываю, через тест порта сморю там написано "порт закрыт" когда был на другом провайдере так же делал для dc++ чтобы активный режим был и все работало). Будет ли программа искать "крыс"?

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Однозначно не скажу, а у вас торрент-клиент ищеет по магнет ссылкам (то что торрент-клиент скачивает, скорее всего ничего не скажет)? Если да, то есть вероятность что будет, к сожалению у меня нет возможности сейчас оттестировать такой вариант. Когда-то был провайдер который выдавал NAT'ом на пол города один IP, но это было давно и многие с него бежали и я в том числе, и, честно говоря, не помню что при этом работало а что нет.

показать ответы
1
Автор поста оценил этот комментарий

База торрентов из позапрошлого поста:
#comment_106904327

показать ответы
1
DELETED
Автор поста оценил этот комментарий

Стесняюсь, но спрошу: стоит ли ждать под Win32?

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

вряд ли

Автор поста оценил этот комментарий

Предложение: обмениваться частями базы в реал-тайм через централизованный обменник (не базу данных, а именно обменник, хотя в прочем кэшировать результаты там тоже можно). Профит – возможен быстрый поиск любого контента с практически свеже установленной программы. Если обменник загибается – поднимается новый, и все по кругу – данные ведь всеравно хранятся у пользователей.

раскрыть ветку (1)
Автор поста оценил этот комментарий

Было такое предложение, вполне может быть будет

показать ответы
Автор поста оценил этот комментарий
Можно пояснить для чайника?

Всё сделал по инструкции порты через роутер проброшены, файлы ищутся но магнет не работает и тап по "облаку" приводит к вечному кручению загрузки. Если после этого перейти в любую менюху в окне будет только белый фон.

раскрыть ветку (1)
Автор поста оценил этот комментарий

Во всех случаях? Попробуйте на торренте с большим количеством сидеров тыкнуть облако

Автор поста оценил этот комментарий

Программа видет себя как вирус.

COMODO распознал как неопознанное приложение и потому выполнил пошаговый диагностический запуск, с описаниями того что делает программа.

Я получил несколько десятков варнингов об опасных действиях программы, в том числе внедрение программы в Explorer (проводник Windows) и изменения реестра.

После того как софтина полезла в реестр я выбрал пункт


Убить приложение, отменить все изменения и удалить программу.

раскрыть ветку (1)
Автор поста оценил этот комментарий

Можете прикрепит ради интереса отчет? В рестре могут быть естественные модификации, внедрений в explorer быть не должно, или у comodo собствнное виденье, это в процессе работы или инсталяции?

Автор поста оценил этот комментарий

а адрес куда скидывать?
уже кстати 142к, но очень медленно идет наполнение
есть небольшое количество предложении по улучшению интерфейса, если интересно могу в гит накидать

раскрыть ветку (1)
Автор поста оценил этот комментарий

в гит можете накидать предложения
адрес - это по вашему усмотрению, я бы оставил ссылку где-то под базой которую я скидывал в комментарии, мне это база не очень нужна (мне своей хватает), а вот остальным думаю полезна будет

Автор поста оценил этот комментарий

резиноввость проги сделана бесспорно пиздато,

но добавь два микрофикса и будет намного юзерфрендли.

первую как на скрине, когда экран (нижняя выделенная часть)

https://i.imgur.com/tjjroOL.jpg

достигает этого минимума

чтоб картинка начинала сдвигатся вверх до этой линии, а щас двигается низ с инфой на ненужную картинку.

и вторая чтоб эту картинку можно было зафиксировать как раз по эту линию, типа компакт мод, чтобы она всегда была в таком положении и при ресайзе не мешалась.

раскрыть ветку (1)
Автор поста оценил этот комментарий

Какой минимум, по какую линию фиксировать? Я не понял, можете расписать или обрисовать в деталях, так чтобы было все крайне понятно.

показать ответы
Автор поста оценил этот комментарий

@DEgITx есть база обновленная на 135к (134918) как скинуть?
ооочень медленно наполняется база - 5-15 записей за минуту.

раскрыть ветку (1)
Автор поста оценил этот комментарий

Просто архивируете database и скидываете

показать ответы
1
Автор поста оценил этот комментарий

Будет портативная версия?

раскрыть ветку (1)
Автор поста оценил этот комментарий

В предыдущем посте спрашивали - будет но позже

Автор поста оценил этот комментарий

А будет ли какая-то возможность ручного пролистывания собранной базы? Вот собрал я 10000 торрентов, а что там есть - не знаю. А душа вот просит чего-нибудь, а чего сама не знает.

раскрыть ветку (1)
Автор поста оценил этот комментарий

А в каком виде лучше было бы? Я пока не представляю как кроме тупо страницей за страницей листать по сидерам например. В целом чтото подобное думал, т.к. тоже потребность чувтвовал

показать ответы
Автор поста оценил этот комментарий
а это не аналог древним DC++ сетям? уж очень описание напомнило.

и еще вопрос, оно такое же как DC - локальное? или нет?

ну т.е. я будучи в другой стране не смогу пользоватся?

раскрыть ветку (1)
Автор поста оценил этот комментарий

Я уже писал что по смыслу немного похоже. Сможете, данная программа не зависит от серверов, как дцшка.

показать ответы
Автор поста оценил этот комментарий

Да, был прописан с database. Убрал в пути "Collection directory" - database, теперь "D:\Other\rats" http://joxi.ru/J2byYwJc4KJqwm. По прежнему без изменений.
Кстати, в проге появилось несколько торрентов http://joxi.ru/8AnWOK3sqPao9r (минут 30 прога была открыта), но я не думаю, что это связано с базой скачанной.

Роутер имеет прямой выход в интернет.
UPD: сканирование вроде бы пошло: появляются новые в списке с периодичностью где-то 1 в полторы минуты. Ура)

раскрыть ветку (1)
Автор поста оценил этот комментарий

Этот случай в мануале описан, то появилось 2-3 торрента лишь говорит что интернет есть, но порты не настроены как следует - либо проблема роутера, либо провайдера, либо структуры сети. Хотелось бы конечно точнее знать - есть ли локальная сеть, выход в интернет провайдер предосталяет через NAT или нет, или может все же все напрямую через домашний роутер работает.

Я надеюсь что программу перезапустили после того как обновили настройки базы? Если да, и после перезапуска не подхватило такой путь, то весьма странно, попробуйте тогда так пусть прописать "D:/Other/rats", если поможет - сообщите

Автор поста оценил этот комментарий

Установил, запустил прогу, но ничего не ищет. Спустя пару минут по прежнему "you have information about 0 torrents and around 0 files and 0 Byte of data". В настройках согласно мануалу увеличил скорость сбора. Все равно ноль. Проверил настройки роутера там вроде все ок http://joxi.ru/KAg0dwEtgLZEar

Закачал базу с #comment_106904327 , установил путь к ней в настройках - но прога все равно и их не видит
Что я делаю не так?) (Win10 64x, версия rats 0.11.0)

раскрыть ветку (1)
Автор поста оценил этот комментарий

Ну база неподключается потому что пусть скорее всего неверный, я надеюсь без "database" путь прописан?
Касательно роутера, у вас есть локальная сеть, или роутер имеет прямой выход в интернет?

показать ответы
DELETED
Автор поста оценил этот комментарий

Честно говоря за пару месяцев это вряд ли - я вот не знаю как у других, но у меня банально торренты ищет ну очень медленно при настройках 1-0-0
1-2 торрента за 5 сек. Мб у меня машина слабая конечно
А , еще с ласт апдейтом лично у меня вообще поиск остановился. Мне опять стоит пробросить порты иль как?
UPD , а не , все нормально, просто скорость стала еще ниже

раскрыть ветку (1)
Автор поста оценил этот комментарий

Довольно радикальные настройки, не рекомендую первый параметр ниже 5 выставлять, вас и провайдер может блочить и сами торрент-клиенты, из-за спама.

Тут много факторов нужно учитывать - первый, то что на рабочую скорость сбора торрентов программа выйдет где-то через час а может и полтора непрерывной работы.
Другой фактор, что при сильно быстрых настройках сбора, сам роутер может ограничивать количество торрентов, обычно в роутерах есть ограничение количества соединений - "Макс. число соединений" - по крайнемере в моем есть.
У меня при 8096 собирало где-то по 2-4 в секунду, больше чем 20 000 соединений мой роутер просто не выдерживает и перезагружается. Ну и конечно нельзя забывать про саму скорость сети и вообще саму сеть, может провайдер блокирует соединения, если их очень много.

показать ответы
Автор поста оценил этот комментарий
А для чего это все я не могу понять? Объясните
раскрыть ветку (1)
Автор поста оценил этот комментарий

Для поиска по торрентам (раздачам) - по названиям, файлам и т.п. Можно представлять как гугл для файлов :).

Автор поста оценил этот комментарий

Спасибо автору! А что за база скачивается? Не забьет ли она мне весть диск?

раскрыть ветку (1)
Автор поста оценил этот комментарий

Ее расположение можно указывать в настройках, а так в целом можно считать что где-то на 100 000-110 000 торрентов усредненно выделяется 1Гб, количество торрентов в вашей базе видно в главном окне

3
Автор поста оценил этот комментарий

а чем это отличается от dht search ?

раскрыть ветку (1)
Автор поста оценил этот комментарий

См. предыщие ветки комментариев (в частности самую первый пост). Это он и есть, только личный, настраиваемый, каталогизируемый и распределенный. В чем отличие от HAL там тоже есть.

показать ответы
3
Автор поста оценил этот комментарий

а как проверить ищет ли торрент-клиент по магнет ссылкам? по хэшу и магнет качает без проблем. провайдер такой тк дешевый относительно и скорость не скачет и достаточно быстро

раскрыть ветку (1)
Автор поста оценил этот комментарий

Ну собственно я об этом и спрашивал, в контексте это примерно тоже самое что и скачка по магнет ссылке или хэшу.
На самом деле тут проще попробовать, может пробьется через все это дело и подцепит кого через несколько минут, если вдруг нет, то будут и всякие другие альтернативные способы их обнаржения.
Кстати то что торренты корректно собираются - верный признак того что других крыс так же будет находить.

показать ответы