Статистика по ВСЕМ пользователям и сообществам пикабу

С момента запуска проекта pikagraphs прошло уже пол года, за это время код был много раз переписан и оптимизирован, что позволило собрать статистику по вообще всем пользователям(даже тем, которые не писали комменты и посты), а также сообществам.


Статистика по пользователям:


Итак, на момент написания поста на пикабу 2094185 пользователей, из которых "живых"(писали посты, комменты или ставили плюсики или минусики) - 1529476.


Распределение пикабушников по полу:

Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники

Да, вам не показалось, у пользователя @rety пол "-1000", а у пользователя @HappyButcher "3"


Распределение пикабушников по дате регистрации:

Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники

25 марта 2015 года было зарегистрировано подозрительно много аккаунтов, почти половина из которых была брошена без какой-либо активности(посты, комменты). Интересно с чем это может быть связано?


Распределение пикабушников по рейтингу:

Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники

Довольно предсказуемо, больше чем у половины пользователей рейтинг = 0

Кстати, помните ограничение на тест нового пикабу в 49.5 к рейтинга, так вот пользователей, у которых рейтинг больше 49500 всего 2485

Первые 20 пикабушников:

Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники
Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники

Топ 10 кармадрочеров пикабушников по рейтингу:

Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники

Самые интересные пикабушники (Топ 10 по количеству подписчиков):

Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники

Пикабушники без личной жизни с самым большим количеством комментариев:

Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники

По количеству постов:

Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники

По количеству горячих постов:

Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники

Самые щедрые на плюсики:

Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники

Топ по минусам:

Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники

Все подтверждённые аккаунты:

Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники
Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники
Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники
Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники
Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники

Также на пикабу 660 не валидных пользователей(содержат _-/ или другие запрещённые символы), некоторые из них:


openid.yandex.ru/yanepsih

openid.yandex.ru/s3g4

victor-de-luxe.livejournal.com

openid.mail.ru/mail/vinarb

openid.yandex.ru/europok


Несколько пользователей с пустым никнеймом и один вот с таким:


<font rel="tooltip" title="oriflame-line.livejournal.com">oriflame-line.livejournal.co...</font>


Статистика по сообществам:


На пикабу 614 сообществ, из которых 14 были удалены


Топ 10 сообществ по количеству постов:

Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники

Топ 10 сообществ по количеству подписчиков:

Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники

Удалённые сообщества:


manprogress - "Развитие и самореализация", подписчиков - 1014, постов - 25

aviation - "Авиация", подписчиков - 275, постов - 15

shelter - "Убежище Странников", подписчиков - 244, постов - 12

pikabuchina - "Китай", подписчиков - 234, постов - 48

orgnl - "Original", подписчиков - 204, постов - 9

zemlya - "Земля из космоса", подписчиков - 133, постов - 4

liga_zanud - "Лига Зануд", подписчиков - 91, постов - 5

socionika - "Соционика для всех", подписчиков - 48, постов - 1

crocchronicles - "CrocChronicles", подписчиков - 30, постов - 24

pkb_agario - "AGAR.IO, Команда Пикабу", подписчиков - 14, постов - 6

philosopher - "Лига Философии", подписчиков - 11, постов - 238

gtaonline - "GTA Online", подписчиков - 1, постов - 0

top10 - "DELETED", подписчиков - 1, постов - 1

ask_pikabu - "DELETED", подписчиков - 1, постов - 0


DELETED - это не название сообщества, однажды я оптимизировал код и забыл добавить одну строчку в sql запрос и похерил всю базу, названия этих двух сообществ восстановить из бекапов не удалось. Зато оно похерило базу раз в 10 быстрее, чем сделало бы это до оптимизации :)



Больше графиков можно посмотреть тут: https://pikagraphs.d3d.info/

Кстати, проект с открытым исходным кодом, зайти и поставить звёздочку можно тут: https://github.com/DevAlone/pikagraphs


Также есть информация по наградам, но я её пока не обрабатывал, может в будущем тоже напишу пост.

Статистика

798 постов3.1K подписчика

Добавить пост

Правила сообщества

1. Не нарушать правил pikabu

2. Постить контент относящийся к теме сообщества

102
Автор поста оценил этот комментарий

интересный пост, но как сделан пол -1000 и 3?

раскрыть ветку (1)
106
Автор поста оценил этот комментарий

Наверное раньше пикабу не проверял запросы от пользователей. Это уже скорее вопрос к админу или разрабам. @0x00, не в курсе?

показать ответы
321
Автор поста оценил этот комментарий

Ну так шо произошло 25 марта 2015 года?

раскрыть ветку (1)
458
Автор поста оценил этот комментарий

а хуй его знает, я думал кто-нибудь напишет

показать ответы
72
Автор поста оценил этот комментарий

Я что-то не понял

Иллюстрация к комментарию
раскрыть ветку (1)
64
Автор поста оценил этот комментарий

упс, скролл съехал.

Иллюстрация к комментарию
показать ответы
35
Автор поста оценил этот комментарий

это кто вообще?

Иллюстрация к комментарию
раскрыть ветку (1)
122
Автор поста оценил этот комментарий

Юрий Синодов

показать ответы
78
Автор поста оценил этот комментарий
в профиле у обоих мужской показывает. страаанна
раскрыть ветку (1)
41
Автор поста оценил этот комментарий

У happybutcher женский, настоящий пол показывается в мобильном API, там возвращается то, что хранится в базе пикабу

показать ответы
62
Автор поста оценил этот комментарий

К каждому пикабушнику приставили по фээсбэшнику, штоб значицца, терроризмом не занимался по ночам.

раскрыть ветку (1)
33
Автор поста оценил этот комментарий

А сколько раз среднестатистический пикабушник занимается терроризмом за ночь?

показать ответы
97
Автор поста оценил этот комментарий
Это грамотно. Люди не сжигают мосты, сразу выбирая пол.
Случись чё, всегда можно занять оптимальную гендерную нишу.
раскрыть ветку (1)
10
Автор поста оценил этот комментарий
@samovar1, ты тут самый главный? признайся, только честно. ))
раскрыть ветку (1)
26
Автор поста оценил этот комментарий

Это скорее всего мультик админа

показать ответы
13
Автор поста оценил этот комментарий

С кем надо переспать, чтобы попасть в эти рейтинги?

раскрыть ветку (1)
93
Автор поста оценил этот комментарий

Если ты красивая девушка, то можешь со мной, будет отдельная статистика людей, которые переспали с NeAdminPikabu, примерно такая:


1 kwentrid

показать ответы
17
Автор поста оценил этот комментарий

А где то про мобильное api можно почитать?

раскрыть ветку (1)
24
Автор поста оценил этот комментарий

к сожалению, нет

показать ответы
18
Автор поста оценил этот комментарий
а разве несколько лет назад не было чего-то вроде сайта с картой, на которой можно было найти пикабушников в своем городе? я сейчас точнее не скажу, давно было
не инфографика, но тоже здорово
upd нашла только мой комментарий про карту и нерабочую ссылку, эх
Иллюстрация к комментарию
раскрыть ветку (1)
23
Автор поста оценил этот комментарий

возможно люди сами писали свой город, т.е. по сути опрос, либо сайт определял никнейм пикабушника через специальный API(сейчас ничего подобного вроде нет, но раньше могло быть) и определял город по IP. В любом случае точные данные без помощи @admin'а не получить, а он их не выдаст :)

Есть ещё вариант "гадание на нейросети", т.е. программа, которая будет анализировать комменты и искать, где пикабушники рассказали прямо или косвенно, где они живут, но это ещё менее эффективный и самый сложный метод.

показать ответы
91
DELETED
Автор поста оценил этот комментарий
Комментарий удален. Причина: данный аккаунт был удалён
раскрыть ветку (1)
66
Автор поста оценил этот комментарий

да чего уж там, большая часть живых существ во вселенной

показать ответы
42
Автор поста оценил этот комментарий

По сути, рекордсмен тот чел с жопой на аве и цифрами в нике. Хоть и два акка, но это явно один человек.

раскрыть ветку (1)
41
Автор поста оценил этот комментарий

да, просто он менял ник, а моя программа пока не научилась таких пользователей объединять

показать ответы
48
Автор поста оценил этот комментарий

да, просто он менял ник, а моя программа пока не научилась таких пользователей объединять


А это была бы еще одна классная подборка людей, которые тут начали "новую жизнь".


Можно было бы узнать, кем раньше были dopreS0891 и Prostoilogin, кем теперь стал Непрокатит.


Какие еще 30 аккаунтов завел HankHawkHusk33 и живет ли дело Апреса в лице самого Апреса.



Только за такое, наверное, администрация заругает, как-то они очень ревностно скрывают прошлое свежих аккаунтов...

раскрыть ветку (1)
18
Автор поста оценил этот комментарий

не, я говорил именно про смену ника для того же аккаунта, когда посты и комменты остаются, делается запросом в суппорт, а мультиакки видны только администрации и они их, естественно, не выдадут. Хотя, можно проанализировать все комменты, найдя в них общий стиль, различные общие черты, допустим кто-то использует всегда один набор мемчиков, или пишет смайлики наоборот (:, такие факторы позволят сгруппировать аккаунты, которые предположительно принадлежат одному человеку.

показать ответы
18
Автор поста оценил этот комментарий

@YellowNBeetle, почему-то happybutcher не превратился в ссылку в посте. Это баг?

показать ответы
1
Автор поста оценил этот комментарий

564 709 "мертвых душ"...

Интересно, зачем они регистрировались, если за время жизни своего аккаунта ни разу не предприняли ни одного действия?

раскрыть ветку (1)
17
Автор поста оценил этот комментарий

Регали ботов для минусования, а потом поняли, что голоса не считаются у акков без рейтинга?

показать ответы
Автор поста оценил этот комментарий

так приложение установи, оно удобное и отображается без косяков

раскрыть ветку (1)
14
Автор поста оценил этот комментарий

Какое приложение? Я чего-то не знаю про свой проект?)

показать ответы
1
Автор поста оценил этот комментарий

А как узнать входишь ты туда или нет?

раскрыть ветку (1)
40
Автор поста оценил этот комментарий

Отправь смс "долбаёб ли я?" на которкий номер 8800, ответ придёт смской.

P.S. возможны сбои оборудования, если смс не пришла в течении минуты, нужно отправить ещё раз.

показать ответы
72
Автор поста оценил этот комментарий

Я что-то не понял

Иллюстрация к комментарию
раскрыть ветку (1)
14
Автор поста оценил этот комментарий

спасибо, исправил. Когда исправлял, пикабу нашёл "баян" с этим же постом :D

показать ответы
19
Автор поста оценил этот комментарий

хз, мне без разницы что в профиле указано. Просто подумалось, что получилась бы хорошая пародия на современные тенденции с нетрадиционным полом. То, как бы они отстаивали свои права, а другие меняли бы свой пол по фану, а третьи их осуждали из за того, что они не настоящие отрицательные тысячники и тд.

раскрыть ветку (1)
13
Автор поста оценил этот комментарий

напиши пост в "предложения по пикабу" :D

23
Автор поста оценил этот комментарий
Ещё было бы хорошо сделать инфографику о том, кто из какой страны.
Но это, наверное, слишком сложно.
И, кстати, моему аккаунту более года, но его нет в списках id'a в базе и по никнейму я тоже не нашел
раскрыть ветку (1)
13
Автор поста оценил этот комментарий
Ещё было бы хорошо сделать инфографику о том, кто из какой страны.
Но это, наверное, слишком сложно.

это невозможно, такая информация есть только у админа, опросами разве что, но это долго и скучно.

И, кстати, моему аккаунту более года, но его нет в списках id'a в базе и по никнейму я тоже не нашел

есть https://pikagraphs.d3d.info/user/dredom

искал по нику https://pikagraphs.d3d.info/users?search_text=dredom&amp;sor...

показать ответы
47
Автор поста оценил этот комментарий

А ведь не так давно @L4rever, долго и кропотливо собирал статистику подписчиков, и так не смог узнать всех. Сейчас пришёл НеАдмин и выложил всю подноготную. Ура прогрессу и автоматизации!

раскрыть ветку (1)
11
Автор поста оценил этот комментарий

До меня ещё выкладывал @derlafff, не полную статистику, но подписчики были

https://pikabu.ru/story/statistika_po_vsem_pochti_polzovatel...

показать ответы
5
Автор поста оценил этот комментарий
Занимательно
Иллюстрация к комментарию
раскрыть ветку (1)
10
Автор поста оценил этот комментарий

хм, странно, надо будет постестить мобильный вариант, возможно там что-то не работает

показать ответы
1
Автор поста оценил этот комментарий

А апи разве выдает подписчиков (даже не заглядывал в него)?

раскрыть ветку (1)
9
Автор поста оценил этот комментарий

да, а ещё реальный рейтинг модератора, dev'а и других

показать ответы
1
Автор поста оценил этот комментарий
А как получилось что ты похерил в БД записи?)
раскрыть ветку (1)
9
Автор поста оценил этот комментарий

В своей БД естественно, а не в пикабушной :)

Как?

В таком sql запросе забыл последнюю строчку

UPDATE communities_app_community
SET
    name = $1,
    subscribers_count = $2,
    stories_count = $3,
    description = $4,
    avatar_url = $5,
    background_image_url = $6,
    last_update_timestamp = $7
WHERE id = $8
показать ответы
3
Автор поста оценил этот комментарий

Тебе предоставили прямой доступ к БД пикабу, но при этом ты не из команды пикабу? Как так?

раскрыть ветку (1)
9
Автор поста оценил этот комментарий
Тебе предоставили прямой доступ к БД пикабу

Не, не предоставляли

показать ответы
24
Автор поста оценил этот комментарий

Ну РенТв видать ждет пока им инопланетяне напишут. А Майлы... Чтобы они ответили, нужно купить у них Набор ответов (на месяц), Большой набор ответов (на год) или Неограниченное количество ответов

раскрыть ветку (1)
8
Автор поста оценил этот комментарий

А сколько стоит подписка на ответы без рекламы?

показать ответы
2
Автор поста оценил этот комментарий

@NeAdminPikabu, сколько плюсиков эмитировано на пикабу ?

раскрыть ветку (1)
7
Автор поста оценил этот комментарий

Ты имеешь ввиду сколько всего плюсиков поставили?

1'705'973'816, а минусов всего 335'405'790, постов - 5'568'340  из которых горячих - 1'684'631

показать ответы
7
Автор поста оценил этот комментарий
Прочитал ВСЕМ как BDSM.
как же мало я сплю 😥
раскрыть ветку (1)
7
Автор поста оценил этот комментарий

А это была бы интересная статистика :D

показать ответы
16
Автор поста оценил этот комментарий

Придет @mainka и САМ даст вам всем пиздюлей!:)))

раскрыть ветку (1)
19
Автор поста оценил этот комментарий

сама*

показать ответы
7
Автор поста оценил этот комментарий

Что значит не считаются >:C

раскрыть ветку (1)
6
Автор поста оценил этот комментарий

есть какой-то порог по времени со дня регистрации и по рейтингу, с которого голоса начинают влиять на рейтинг комментов и постов.

показать ответы
56
Автор поста оценил этот комментарий

Я идентифицирую свою сексуальную ориентацию как "штурмовой вертолёт". С самого детства, пока я был подростком, я мечтал парить над нефтяными полями, стреляя из пушки по омерзительным иностранцам. Люди говорили мне, что человек не может быть вертолётом, но мне по хуй, я ебал в рот этих мудаков. Я охуеннен. У меня композитный корпус и карбоновые лопасти, 30-мм пушка и божественные 9М-120 на моём теле. Отныне и впредь, я хочу что бы вы звали меня "Ночной охотник Ми-28" и уважали моё право нести смерть с неба, убивать по необходимости или без оной. Если вы не можете это принять - значит вы вертолётофоб и вам стоит проверить свои привелегии. Спасибо за понимание

раскрыть ветку (1)
17
Автор поста оценил этот комментарий
и уважали моё право нести смерть с неба

Вспомнилась серия south park, где педофилы боролись за свои права и называли остальные не толерантными

6
Автор поста оценил этот комментарий

Начнем потихоньку.


Вычислим определитель матрицы:

1 5 5 4

3 4 9 8

3 3 5 12

7 2 9 2

раскрыть ветку (1)
Автор поста оценил этот комментарий

Кстати, а почему у всех одинаково с наградами: "awards"? Не загружал ещё?

И ещё, период обновления это ведь каждые сколько секунд пользователь сканируется? А почему у каких-то совершенно неактивных аккаунтов он на порядок меньше, чем у активных? 

раскрыть ветку (1)
5
Автор поста оценил этот комментарий

Не делал нормальную структуру БД для них, они сейчас хранятся в тестовом поле, если наведёшь мышку на awards, увидишь то, что отдал мне пикабу.

8
Автор поста оценил этот комментарий

Я бывал на втором-третьем месте по комментариям в какой-то конкретный месяц, я регулярно бываю топ-1 по рейтингу за счет комментов и я ни разу не писал, что я топ 2-3 по общему числу комментов. Я про топ 8-9 писал, что соответствует правде


И она у меня и так была :D

раскрыть ветку (1)
10
Автор поста оценил этот комментарий
И она у меня и так была :D

Ага, конечно, ещё скажи, что ты в Германии учишься!

показать ответы
2
Автор поста оценил этот комментарий

С часами

раскрыть ветку (1)
4
Автор поста оценил этот комментарий

Её похоронили вместе с @d3dev'ом :(

показать ответы
2
Автор поста оценил этот комментарий

А кстати, аватарку будешь возвращать?

раскрыть ветку (1)
4
Автор поста оценил этот комментарий

Какую аватарку?

показать ответы
6
Автор поста оценил этот комментарий

@NeAdminPikabu, а вы можете проанализировать тэг "политика"? У меня конечно есть небольшая паранойя, да и во всяких РБК с Фонтанкой расследования есть про специальных людей-комментаторов)

раскрыть ветку (1)
15
Автор поста оценил этот комментарий

Поищи на пикабу, тут кто-то даже целый документ выкладывал с раскрытием таких комментаторов. А то, что они есть, это и так очевидно, зайди в любой пост и напиши что-нибудь плохое про царя, сразу получить кучу минусов на тот коммент, на посты и ещё парочку личных "хейтеров", которые будут твои новые посты и комменты в них сливать в первые 15 минут. Алгоритм у них всегда один.

показать ответы
7
Автор поста оценил этот комментарий
Я была немножко в банях, потом всякое навалилось. Я что то пропустила? mainka же нейросеть?
раскрыть ветку (1)
15
Автор поста оценил этот комментарий

да, которая ещё не определилась с полом

показать ответы
7
Автор поста оценил этот комментарий

Ахуенчег.

И у меня есть потенциал пробиться в топ-4. Рано или поздно меня обгонит модератор и я опущусь на топ-5, но топ-5 - это топ-5

Ахуенчег

Иллюстрация к комментарию
раскрыть ветку (1)
11
Автор поста оценил этот комментарий

Давай, ты достоин первого места! А модератор читер, они там всей модераторской комменты пишут.

показать ответы
4
Автор поста оценил этот комментарий

эм серьезно? нахуя? я когда открываю общую ленту я хочу видеть лучшие посты от всех сообществ, а если мне какое-то не понравиться я его просто в игнор добавлю, какого хуя я должен по определенных тематикам среди говн посты искать, меня канешн поняши не интересуют, но все равно


и сколько в обще подобных закрытых сообществ?

раскрыть ветку (1)
3
Автор поста оценил этот комментарий
и сколько в обще подобных закрытых сообществ?

О, а это интересная информация для парсинга!

Автор поста оценил этот комментарий

А можно ли подсчитать количество пикабушников, подписанных хотя на одно сообщество, и на 5 и более? Насколько популярны сообщества вообще, какой процент пользователей подписаны?

раскрыть ветку (1)
3
Автор поста оценил этот комментарий

Я удалил эту информацию из базы, т.к. посчитал её ненужной) можно только посмотреть, сколько подписаны на то или иное сообщество, например на лигу геймеров подписано 37874 и это 0.02476272919614299%, если считать живых пользователей.

показать ответы
Автор поста оценил этот комментарий

Клубничку можно застатистить.

раскрыть ветку (1)
3
Автор поста оценил этот комментарий

Так @webkitten же каждый месяц собирает топ клубничных постов

показать ответы
Автор поста оценил этот комментарий

А поподробнее можно?

раскрыть ветку (1)
3
Автор поста оценил этот комментарий

https://github.com/DevAlone/pikagraphs

Всё подробно рассказывать долго. Что именно интересует?

Автор поста оценил этот комментарий

У меня возник вопрос: а как всё это расчитывалось?

раскрыть ветку (1)
3
Автор поста оценил этот комментарий

С помощью программистской магии, собрал всех пользователей к себе в базу и дальше нужно только писать правильные sql запросы

показать ответы
3
Автор поста оценил этот комментарий

ТС, можно уточнить по поводу расхождений?

Иллюстрация к комментарию
Иллюстрация к комментарию
раскрыть ветку (1)
3
Автор поста оценил этот комментарий

ты про то, что цифры в профиле отличаются от того, что на сайте? Значит за время с парсинга количество горячих постов изменилось, у меня данные с небольшим запозданием(несколько дней для большинства пользователей). А так, ты на 11 месте по количеству горячих постов.

показать ответы
1
Автор поста оценил этот комментарий
Блин, а где можно почитать про все эти неочевидные штуки, типа этой или рейтинг не идёт с клубнички пока не наберёшь 10к рейтинга?
раскрыть ветку (1)
3
Автор поста оценил этот комментарий

хз, я про это узнал путём наблюдения, а про рейтинг с клубнички вроде в faq было, но это не точно

1
DELETED
Автор поста оценил этот комментарий
Комментарий удален. Причина: данный аккаунт был удалён
раскрыть ветку (1)
3
Автор поста оценил этот комментарий

аа. Вообще странно, вот например https://pikabu.ru/profile/warriorhuman2013 больше 14 символов. Тут https://pikabu.ru/profile/sholom.livejournal.com вообще 22. По-моему тебя обманули :)

показать ответы
3
Автор поста оценил этот комментарий

Шутка из "Силиконовой Долины" узнана ;) @NeAdminPikabu,

раскрыть ветку (1)
7
Автор поста оценил этот комментарий

Только Кремниевой. Я тоже тогда вспомнил эту серию :)

2
Автор поста оценил этот комментарий

А его за что похоронили?

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

за плохое поведение)


#comment_103489116

показать ответы
Автор поста оценил этот комментарий

Все, что у него увидел это количество постов с клубничкой. Хотелось бы узнать (не особо и хотелось): рейтинг самых заплюсованных авторов клубнички, самых популярных тэгов, девушек. Что-то в этом роде.

раскрыть ветку (1)
2
Автор поста оценил этот комментарий
рейтинг самых заплюсованных авторов клубнички

так вроде же есть у него

Автор поста оценил этот комментарий

У меня в твинка с 6 рейтинга и 2 коментами время обновления в 20 раз меньше моего, хотя я на него не заходил после момента создания, то есть начала 2017 года

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

если у него в поле "Обновляется" указано Нет, то это нормальная ситуация, сейчас графики рисуются для пользователей с > 500 рейтинга или > 5 подписчиков, если изменить это поле, добавив его в систему, период обновления сильно увеличится. Возможно я буду обновлять вообще всех пользователей, пускай и не так часто.

показать ответы
Автор поста оценил этот комментарий

А как делал?
Откуда доступ ко всей этой инфе? У Пикабу есть API? Как вытянуть все данные по конкретному юзеру?

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

Скачивай мобильное приложение и смотри, как оно работает ;)

Автор поста оценил этот комментарий
@NeAdminPikabu, весело и интересно все, но вебморду бы на бутстрап, а то не очень на мобилке
раскрыть ветку (1)
2
Автор поста оценил этот комментарий

Бутстрап в ангуляре? Ваши вкусы очень специфичны. Там просто надо сделать скрываемую менюшку и кнопки сортировки на узких экранах , я даже не тестил на мобилке :)

показать ответы
2
Автор поста оценил этот комментарий
Сайт на телефонах странно выглядит. Меню никак не убирается куда-нибудь?
Иллюстрация к комментарию
раскрыть ветку (1)
2
Автор поста оценил этот комментарий

надо будет исправить. Пока можно перевернуть телефон, будет выглядеть не так убого)

Автор поста оценил этот комментарий
@NeAdminPikabu, отличный пост! скажите, а есть ли возможность узнать статистику по топу тегов в игнор листе у пользователей?)
раскрыть ветку (1)
2
Автор поста оценил этот комментарий

скорее всего нет, по крайней мере не видел пока такого на пикабу, но может не внимательно смотрел. Если эта инфорация отдаётся какой-либо версией пикабу(десктоп или мобильная), то возможность есть.

Автор поста оценил этот комментарий
После поста планируктся повышать цены на рекламу?
раскрыть ветку (1)
2
Автор поста оценил этот комментарий

да, естественно, зачем же ещё пользователи пишут посты на пикабу

Автор поста оценил этот комментарий

Какую строчку не добавил?

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

WHERE id = $8

1
Автор поста оценил этот комментарий

А. Тогда ладно.)
И БД сам делал или всё таки тебе скинули?)

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

сам делал)

показать ответы
1
Автор поста оценил этот комментарий

Не нашёл себя. Коньяк требует сатисфакции! ))

раскрыть ветку (1)
2
Автор поста оценил этот комментарий
Не нашёл себя

В pikagraphs? Плохо искал https://pikagraphs.d3d.info/user/pokaebu


Коньяк требует сатисфакции

?

показать ответы
1
Автор поста оценил этот комментарий
есть три вида лжи: ложь, наглая ложь и статистика ©
раскрыть ветку (1)
4
Автор поста оценил этот комментарий

и что тут по твоему ложь?

Автор поста оценил этот комментарий

Извините снова за беспокойство) Есть такой вопрос:

поле public.pikabu_users.community_ids содержит такого вида данные "{699,51,105,67,22}. А таблиц со списками Сообществ у нас 2: public.pikabu_communities и public.pikabu_user_communities. Проблема заключается в том, что значения полей pikabu_id и id указанных таблиц с 726 и 727 записями соответственно у 633 записей совпадают, хотя сообщества с одинаковыми id в этих таблицах разные.

В других таблицах массива никаких данных, разделяющих значения id таблиц сообществ и сообществ пользователей я не нашел.

Вопрос: id какой из таблиц сообществ содержит поле pikabu_users.community_ids? И если это, скажем, значения сообществ из public.pikabu_user_communities, есть ли где-нибудь в массиве данные по принадлежности пользователей к сообществам из public.pikabu_communities?

Заранее спасибо!

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Я думаю pikabu_users.community_ids содержит ID из pikabu_communities, но не уверен, не помню уже

показать ответы
Автор поста оценил этот комментарий
@Catsville4cats, обнаружены интересные материалы и инструкция
раскрыть ветку (1)
1
Автор поста оценил этот комментарий

?

Автор поста оценил этот комментарий
А как такая аватарка сделана?
раскрыть ветку (1)
DELETED
Автор поста оценил этот комментарий

23 место)

А есть свежие данные?

раскрыть ветку (1)
Автор поста оценил этот комментарий
А как вы поняли, что пользователей с рейтингом более 49500 2485? Сколько их сейчас?
раскрыть ветку (1)
1
Автор поста оценил этот комментарий

считал в базе своего парсера, сейчас 2828

показать ответы
Автор поста оценил этот комментарий
Почему нет нумерации, это же не удобно
Иллюстрация к комментарию
раскрыть ветку (1)
1
Автор поста оценил этот комментарий

да, пожалуй стоит как-нибудь сделать

показать ответы
Автор поста оценил этот комментарий

Топ самых активных комментаторов было бы логичнее распределить не только на общее количество комментариев, но и на комментариев в день от даты регистрации пользователя до даты написания поста.

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Спасибо, хорошая идея!

Автор поста оценил этот комментарий

А почему у других он меньше

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Там сложный алгоритм расчёта частоты обновления, он обновляет чаще тех, у кого что-либо меняется(подстраивается под частоту изменения показателей в профиле), но есть жёсткие ограничения по рейтингу и подписчикам, у пользователя с >= 50000 рейтинга частота обновления будет максимально возможная(если его показатели меняются), т.е. такая, какая установлена в конфиге, а там сейчас стоит раз в час(например такая у l4rever https://pikagraphs.d3d.info/user/l4rever), а у пользователя с рейтингом 0 - минимальная(неделя), точно так же считается количество подписчиков. Это нужно для того, чтоб не насиловать сервера пикабу частыми запросами и при этом обновлять максимально возможное количество пользователей.

показать ответы
Автор поста оценил этот комментарий

Ну я сменил на женский, а на твоём сайте 1 показывает

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

данные на моём сайте обновляются не мгновенно, у тебя период обновления 600863 секунд, т.е. обновится через 7 дней с предыдущего обновления(поле "Последний раз обновлён") :)

показать ответы
3
Автор поста оценил этот комментарий

вы можете прислать нам на почту blogs@mgts.ru свой номер городского мгтс, мы выясним в чем проблема. единственное, только без матов)

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Ого, они отвечают! Я думал многие из этих акков заброшены

показать ответы
Автор поста оценил этот комментарий

Почему твой сайт показывает пол 1?

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Он показывает то, что хранится в базе пикабу, 0 - не указан, 1 - мужской, 2 - женский

показать ответы
Автор поста оценил этот комментарий

А это с индексами?

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

да

Автор поста оценил этот комментарий

Где там пол "-1000"? Я что-то не понял

Иллюстрация к комментарию
раскрыть ветку (1)
1
Автор поста оценил этот комментарий

в базе пикабу, мобильный API отдаёт -1000, хоть и десктопная версия показывает, что мужской.

Автор поста оценил этот комментарий

В идеале дать бы скачать эту базу, но во-первых она реально очень большая, а во-вторых я не знаю что с ней делать.

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

ну не очень, почти 4Гб или 247Мб в сжатом виде

показать ответы
2
Автор поста оценил этот комментарий

Просьба к автору.

Заметил, что есть распределение плюсов и минусов по дням недели. Почему-то в пятницу и субботу заминусовываются совершенно нейтральные посты.

Автор, не могли бы Вы сделать диаграмму среднего распределения плюсов и минусов по дням недели.

Может по результатам Вашей работы авторы постов будут привязываться к определенным дням недели. )

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Хорошая идея, может позже сделаю) Я думаю это связано с тем, что люди приходят с работы в пятницу вечером и садятся читать пикабу, я с тем же расчётом выбирал время для этого поста, самое активное время - вечер(по москве), самое неактивное - раннее утро(4-5 часов)

DELETED
Автор поста оценил этот комментарий

Откуда данные то не понял? вам админ дал эксклюзивный доступ какой то или просто парсинг?

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

просто парсинг

6
Автор поста оценил этот комментарий

omne божественен. Он ушел очень давно, но его так и не обогнали.

Иллюстрация к комментарию
раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Он не ушёл, вот последний коммент #comment_107247911

Автор поста оценил этот комментарий

А почему в удаленных сообществах нет pikabuua ?

Оно несколько дней существовало, потом голос разума дошел до администрации :)

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

видать тогда почему-то парсер не работал

DELETED
Автор поста оценил этот комментарий
Комментарий удален. Причина: данный аккаунт был удалён
раскрыть ветку (1)
Автор поста оценил этот комментарий
Возможно придирки, но с телефона вообще не удобно на сайте)
раскрыть ветку (1)
1
Автор поста оценил этот комментарий

ну, я не тестил, у меня нет нормального телефона, а виртуальную машину запускать лень :)

1
Автор поста оценил этот комментарий

Сделай топ людей по рейтингу, у которых нет постов. Интересно, сколько набили только комментариями.

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

а можно топ людей по среднему рейтингу их поста? (например из тех, у кого больше десяти постов)

и так же топ людей по среднему количеству поставленных плюсов/минусов в день? (например из тех, кто поставил больше 1000 оценок)

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

первое пока сделать не получится, у меня нет столько места на vds, а второе возможно сделаю когда-нибудь

1
Автор поста оценил этот комментарий
Да ну, бред. Тут все как в жизни: если ты баба, то набегут толпы пиздолизов.
раскрыть ветку (1)
Автор поста оценил этот комментарий

а почему? (простите, что так звучит нахально). ну, кроме очевидных соображений безопасности.

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

Тут куча ботов и это будет слишком мощным оружием в их руках :) Да и как-то некрасиво по отношению к разработчикам, которые не хотели, чтоб API стал публичным, т.к. сделали защиту от реверса(защита правда такая себе).

показать ответы
Автор поста оценил этот комментарий

а как вы тогда получаете данные, если апи нет? спрашиваю как коллега, работающий щас с кучами апи, соцсетей, правда.

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

Есть мобильное приложение и в нём есть API, но файлы для работы с ним я не добавил на github

показать ответы
2
Автор поста оценил этот комментарий

да нет. ты посмотри - общее количество постов в твоем парсинге совпадает с сегодняшним.

а горячих в твоем парсинге больше, чем у меня в профиле

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

количество горячих постов значит уменьшилось, а обычных не изменилось, я не знаю как они рассчитывают горячесть, но у других пользователей оно тоже плавает

показать ответы
Автор поста оценил этот комментарий

спасибо. c возвращением!)

раскрыть ветку (1)
Автор поста оценил этот комментарий

Та я так, набегами)

Автор поста оценил этот комментарий

Если я Вас еще не заебал) Есть 3 ссылки на массив 1. https://k.d3d.info/pikastat.2020.09.10.dump

2. https://k.d3d.info/pikastat.2020.09.10.dump.torrent

3. magnet:?xt=urn:btih:0683ea40a9d0bfbf42c2d730136f7d64372020ab&dn=pikastat.2020.09.10.dump&tr=http%3a%2f%2f78.46.81.253%3a6969%2fannounce

По первым двум пишет 504 Gateway Time-out на третью из браузера ноль реакции.

Но речь не об этом... я так понимаю, внутри ссылки -- массив. Могу ли я этот массив, если скачаю, преобразовать в БД? Ресурсов у меня - 6 Core i5 3,1 ГГц (iMac 2019, 32 Gb Озу, 4 Tb SSD SSD Thunderbolt  3 (2 свободно)?

раскрыть ветку (1)
Автор поста оценил этот комментарий

Вот тут Датасет Пикабу в комментах кто-то скидывал ещё ссылки, на файлообменний вроде. Там уже дамп базы данных, нужно залить просто (pg_restore).

показать ответы
Автор поста оценил этот комментарий

Извините,  а можно спросить, когда Вы перестали данные писать? Последний бэкап указан 20200910, т. е. данные до 10.09 или ранее обрываются?

раскрыть ветку (1)
Автор поста оценил этот комментарий

Это значит, что данных после нет, а до там, конечно, тоже есть перерывы, т.к. не всегда парсер работал стабильно.

показать ответы
Автор поста оценил этот комментарий

Здравствуйте, извините за беспокойство) Мы тут подняли обычный для Пикабу холивар на тему "почему все не так как надо" и столкнулись с проблемой, что отсутствует статистика в динамике о пользователях Пикабу, их активностях, просмотрах и пр. У Вас присутствуют графики, отражающие информацию, например, о регистрирующихся пользователях... Насколько я понял, эта информация собирается путем запущенного на сайте скрипта (прошу прощения но в ИТ я ноль) и в настоящее время эти скрипты не работают. Вопрос: существует ли где-нибудь в архивах собранная Вашими скриптами информация о динамике пользователей, постоянных пользователей, просмотров? Заранее спасибо

раскрыть ветку (1)
Автор поста оценил этот комментарий

Вот тут можно скачать всё, что я насобирал https://pikastat.d3d.info/

показать ответы
Автор поста оценил этот комментарий

Так можно только рейтинг смотреть?)

раскрыть ветку (1)
Автор поста оценил этот комментарий

нет, если убрать count=true

https://pikagraphs.d3d.info/api/users?filter=rating%3E150

то покажет не количество, а непосредственно результаты(точнее часть, потому что их бывает много) и там видно поля, по некоторым также можно фильтровать(для таблицы users по username, rating и deleted), тут подробнее https://github.com/DevAlone/pikagraphs/blob/master/server/us...

т.е. можно выбрать так

https://pikagraphs.d3d.info/api/users?count=true&amp;filter=...

или посмотреть непосредственно результаты

https://pikagraphs.d3d.info/api/users?filter=deleted%3Dtrue


Вообще я хочу сделать нормальный апи и нормальный веб интерфейс, да и вообще оживить проект и собрать много новой интересной статистики, но нет времени.

показать ответы
Автор поста оценил этот комментарий
Спасибо, при вводе минуса у меня пишет ошибка
раскрыть ветку (1)
Автор поста оценил этот комментарий

хм, и вправду, когда писал парсер не учёл отрицательные числа :D

Автор поста оценил этот комментарий
А сколько пользователей с рейтингом выше +150? И с рейтингом ниже -100?
раскрыть ветку (1)
Автор поста оценил этот комментарий

268791 пользователей с рейтингом больше 150

15856 пользователей с рейтингом меньше -100


можно посчитать так)


https://pikagraphs.d3d.info/api/users?count=true&amp;filter=...

показать ответы
Автор поста оценил этот комментарий

@NeAdminPikabu,  Привет! А есть статистика пользователей по часам и дням в неделе?
Ну, т.е. когда больше всего читает/лайкает
помню где-то была такая статистика, найти не могу =(

раскрыть ветку (1)
Автор поста оценил этот комментарий

Я какие-то косвенные показатели собирал и рисовал графики, но вроде не постил, а самое активное время - вечер в пятницу по московскому времени.

Автор поста оценил этот комментарий

К сожалению, я не знаю, т.к. не занимаюсь администрированием. Возможно, в этом был смысл. Я не компетентен в данном вопросе.

раскрыть ветку (1)
Автор поста оценил этот комментарий

Хорошо, спасибо, тогда передайте, чтоб пофиксили баг, т.к. в случае выше и в случае, если зарегистрируется пользователь d3d.info, пользователи иногда будут получать 404.

Автор поста оценил этот комментарий

К сожалению, я не занимаюсь администрированием.

Скорее всего, был заблокирован и IP.

раскрыть ветку (1)
Автор поста оценил этот комментарий

Да, про IP вы писали по почте, я помню. Но в чём смысл блокировать по Referer в заголовке пакета?

показать ответы
Автор поста оценил этот комментарий

@admin, вы неправильно реализовали защиту от моего сайта, судя по всему вы проверяете, содержит ли Referer запретное слово d3d.info и в итоге если перейти на такую ссылку https://pikabu.ru/story/d3d.info_999 и попытаться перейти с неё куда-то, пользователь получит 404.


Кстати, а в чём вообще смысл этого?)

показать ответы
Автор поста оценил этот комментарий

нужно проанализировать все заминусованые посты пикабу. Это будет неплохое социальное иследование, сможем выявить табу в русскоязычном  обществе.

раскрыть ветку (1)
Автор поста оценил этот комментарий

Можно, но там будет не только то, что не нравится людям, но и всякие посты пиздоболов вроде апреса и также посты с тегом "Навальный"

Я просто в бане был за оскорбления, поэтому так долго отвечал

Автор поста оценил этот комментарий

Если проблема повториться, то скриншот прикрепите, пожауйлста :)

раскрыть ветку (1)
Автор поста оценил этот комментарий

*повторится, пожалуйста

Автор поста оценил этот комментарий
Иллюстрация к комментарию
Автор поста оценил этот комментарий

@NeAdminPikabu, датасетом не поделитесь?

раскрыть ветку (1)
Автор поста оценил этот комментарий

Впрочем уже не надо, читай объявление на главной странице https://pikagraphs.d3d.info

Автор поста оценил этот комментарий

@NeAdminPikabu, датасетом не поделитесь?

раскрыть ветку (1)
Автор поста оценил этот комментарий

пиши email :)

Автор поста оценил этот комментарий

Есть. Нужно иметь к ней доступ

раскрыть ветку (1)
Автор поста оценил этот комментарий

Окей, доступ предположим получили. Есть идеи, как можно мгновенно собрать всю информацию с пикабу?

показать ответы
Автор поста оценил этот комментарий

я не реагирую если в муж поле обратятся)

раскрыть ветку (1)
Автор поста оценил этот комментарий

В каком поле?

Иллюстрация к комментарию
Автор поста оценил этот комментарий

Потому что не учитывает всех произошедших изменений.

раскрыть ветку (1)
Автор поста оценил этот комментарий

О чём ты? Парсилось не так уж и давно. Есть идеи, как можно мгновенно собрать всю информацию с пикабу?

показать ответы
Автор поста оценил этот комментарий
Кстати, давно его не видно. Может, его тоже... того, за плохое поведение?
раскрыть ветку (1)
Автор поста оценил этот комментарий

не, живой #comment_107232284 И он вроде ничего плохого не делал)

показать ответы
Автор поста оценил этот комментарий

Статистика собранная парсерами - хуйня

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Почему?

показать ответы
1
Автор поста оценил этот комментарий
а gender 1 это М? ж значит 0?
раскрыть ветку (1)
1
Автор поста оценил этот комментарий

0 - не указан, 1 - мужской, 2 - женский

3
DELETED
Автор поста оценил этот комментарий
Комментарий удален. Причина: данный аккаунт был удалён
раскрыть ветку (1)
1
Автор поста оценил этот комментарий

а как ты его создал? Через мобильное приложение?

показать ответы
1
Автор поста оценил этот комментарий

Малыш! А я? Я же лучше собаки! ))

раскрыть ветку (1)
1
Автор поста оценил этот комментарий
Кстати, проект с открытым исходным кодом, зайти и поставить звёздочку можно тут: https://github.com/DevAlone/pikagraphs

Но ведь это полупустой проект, там кроме фронтенда и нет ничего.

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

почему это нет? Директория bot, server и т.д., там правда много останков django, которые будут удалены, а нету там только пикабушного API :)

показать ответы