Корреляционный анализ, разработка методики

Обсуждение вопросов по использованию Excel, Access и других программ оптимизирующих работу закупщика
Аватар пользователя
Роман Бодряков
Авторитет
Авторитет
Сообщений: 5253
Зарегистрирован: 19 апр 2004 03:00
Имя: Роман
Фамилия: Бодряков
Должность: Ген.Директор в кубе - наноолигарх
Откуда: Россия

Корреляционный анализ, разработка методики

Сообщение Роман Бодряков » 28 янв 2008 18:59

Я отделил тему. Чтоб котлеты мух не схавали :-)

Коллеги!!! Требуется Ваша помощь!!!


Корреляционный анализ. Анализ корреляции между различными параметрами, который позволяет выявить зависимые и независимые между собой.

Делаю его регулярно и с удовольствием. Проблему придумал себе сам. Надо было много групп анализировать, я сделал макрос, который строит таблицу перекрестных корреляций. За 3 минуты 3000 товаров. 3000Х3000 = 9 000 000 значений. КРУТО! Слава новому Excel!
Но тут же возник вопрос. Когда 10Х10, то ручками можно выбрать и понять что получилось.

А в большой таблице беда, ни каких концов не найти. Нужен какой-то подход к формализации процесса. Что делаем сначала, что потом и в каком виде результаты анализа выводим.


Вот и хочется попросить совета у коллег, может кто проходил и знает как надо. Или использует анализ в своей практике, в каком виде?

Вопросов много, начиная с того какую корреляцию считать значимой 0.9 или 0.7, зависит ли она от величины ряда (не кол. товаров, а кол. периодов продаж). Ручками ведь не обработаешь надо автоматизировать, а тут алгоритм нужен работающий.

Да! Если кто хочет получить таблицу перекрестной корреляции (каждый с каждым) по своим товарам, можете прислать мне данные, я в ответ отошлю таблицу. Посмотрите по своим товарам, может, какую идею подбросите.
Последний раз редактировалось Роман Бодряков 29 янв 2008 18:23, всего редактировалось 1 раз.

Реклама
Аватар пользователя
inkerman

Сообщение inkerman » 28 янв 2008 19:27

Я не про то. Вывод результата после группировкок и т.д. какой будет? В каком виде пользователь это увидит? Какова цель работы, т.е. к чему стремиться? После ответа на этот вопрос можно решать уже о группировках и пр.

Аватар пользователя
Роман Бодряков
Авторитет
Авторитет
Сообщений: 5253
Зарегистрирован: 19 апр 2004 03:00
Имя: Роман
Фамилия: Бодряков
Должность: Ген.Директор в кубе - наноолигарх
Откуда: Россия

Сообщение Роман Бодряков » 28 янв 2008 19:51

:-)
Именно об этом я сейчас и думаю. Не важно какими средствами. Важно какая от этого польза. Что можно получить в конце.
Пока не очень понятно. Кручу, верчу данные, а вот формализовать пока не очень получается.

Аватар пользователя
Роман Бодряков
Авторитет
Авторитет
Сообщений: 5253
Зарегистрирован: 19 апр 2004 03:00
Имя: Роман
Фамилия: Бодряков
Должность: Ген.Директор в кубе - наноолигарх
Откуда: Россия

Сообщение Роман Бодряков » 29 янв 2008 16:48

Ну а теперь по делу.

Очень хочется поподробнее узнать о методах защиты макросов. Есть ли они вообще. Я пока нашел информацию, что нет.

Есть 4-й метод группировки АВС, надо продумать его мат. обоснование.

По корреляционному анализу. Я сейчас заканчиваю два проекта, потом попробую обобщить результаты и можно будет формализовать алгоритм.

Если Вам интересно, можете подключиться к работе, если нет, то мы и сами справимся.

Аватар пользователя
stanley

Сообщение stanley » 29 янв 2008 17:31

Roman писал(а)::-)
Именно об этом я сейчас и думаю. Не важно какими средствами. Важно какая от этого польза. Что можно получить в конце.
Пока не очень понятно. Кручу, верчу данные, а вот формализовать пока не очень получается.


слушай, я не пойму, а кого с кем коррелируем?

Аватар пользователя
inkerman

Сообщение inkerman » 29 янв 2008 17:44

Корреляционный анализ:
Так а нет же работы, даже более того постановки задачи нет. Как можно работать не зная что хотеть?

Или вы подразумеваете работу в 2 этапа?
1) над постановкой задачи
2) над реализацией этой постановки.

Что касается постановки: тут сложно выдать результаты в удобном виде. Один из вариантов: список товаров и каждому товару указать другие товары имеющие корреляцию больше 0,7-0,8

АВС анализ:
Фишер Андрей Говорил что есть 6 методов Группировки. Какие именно не знаю. Если считать динамические то я знаю 3 из них метод касательных есть 2 видов (Лукинского и Стерлиговой). Еще один придумал свой с помощью касательных, но думаю что он уже есть и придуман кем-то.

Защита в экселе более чем достаточна в качестве защиты от кривых рук. А большего и не надо.

Аватар пользователя
Роман Бодряков
Авторитет
Авторитет
Сообщений: 5253
Зарегистрирован: 19 апр 2004 03:00
Имя: Роман
Фамилия: Бодряков
Должность: Ген.Директор в кубе - наноолигарх
Откуда: Россия

Сообщение Роман Бодряков » 29 янв 2008 18:35

Корреляция продаж товаров между собой, дабы выявить те, что связаны, не связаны, и вообще в противофазе.

Например
Корреляция суммы продаж по группе и товара имеющего 80% продаж от всей группы очень большая. Остальные товары не коррелируют ни с тем ни с другим. Но очень хорошо коррелируют между собой. выделяем эти товары и выясняется, что именно они соответствуют сезонному спросу на данную группу товара. А по первому товару сплошной дефицит на складе в период сезона. Отсюда сразу понятно как повысить точность прознозирования и снизить запасы по группе товара.

Про зависимость продаж пива и фисташек не буду рассказывать и так очевидно. Можно снизить наценку на пиво, задрать на фисташки и сохранить среднюю, увеличив объем продаж и прибыль.

Если возьмем группу товаров из 1000 наименований, то ее надо разложить на кучки, а вот по каким критериям это пока для меня вопрос.

Аватар пользователя
Дядя_Ежик

Сообщение Дядя_Ежик » 29 янв 2008 21:32

Roman писал(а):Ну а теперь по делу.

Очень хочется поподробнее узнать о методах защиты макросов. Есть ли они вообще. Я пока нашел информацию, что нет.


Есть. Но не макросов а надстроек..
По крайней мере я вскрыть с налета не смог.
А за справками - все туда же - не планету эксель  :D

Аватар пользователя
stanley

Сообщение stanley » 11 фев 2008 12:37

Roman писал(а):Корреляция продаж товаров между собой, дабы выявить те, что связаны, не связаны, и вообще в противофазе.

Например
Корреляция суммы продаж по группе и товара имеющего 80% продаж от всей группы очень большая. Остальные товары не коррелируют ни с тем ни с другим. Но очень хорошо коррелируют между собой. выделяем эти товары и выясняется, что именно они соответствуют сезонному спросу на данную группу товара. А по первому товару сплошной дефицит на складе в период сезона. Отсюда сразу понятно как повысить точность прознозирования и снизить запасы по группе товара.

Про зависимость продаж пива и фисташек не буду рассказывать и так очевидно. Можно снизить наценку на пиво, задрать на фисташки и сохранить среднюю, увеличив объем продаж и прибыль.

Если возьмем группу товаров из 1000 наименований, то ее надо разложить на кучки, а вот по каким критериям это пока для меня вопрос.


если я правильно понимаю, ты встаешь на весьма скользкий путь. нет, как академическая задача, это интересно, но ты же сам всегда предостерегаешь от "сильно теоретических" задач. даже и в теории корреляционный анализ делается как проверка гипотезы, а не как инструмент формулирования оной. во всяком случае, нужно быть крайне осторожным, получая высокую корреляцию между продажами мандаринов и водки - это вовсе не означает, что мандарины часто покупают вместе с водкой в качестве закуски, просто НГ попал в период анализа.
хотя как некий аналог простого data mining может оказаться интересным, наверное

Sergey
Гуру
Гуру
Сообщений: 1135
Зарегистрирован: 28 май 2015 06:16
Имя: Сергей
Фамилия: Маркин
Должность: ведущий аналитик
Откуда: Москва

Сообщение Sergey » 11 фев 2008 14:52

Roman писал(а):Корреляция продаж товаров между собой, дабы выявить те, что связаны, не связаны, и вообще в противофазе.

противофаза это видимо шутка :)
параметром может быть только степень корреляции в рамках заданного диапазона, например первая группа 80-100% корреляции, вторая 60-80%.

Roman писал(а): выясняется, что именно они соответствуют сезонному спросу на данную группу товара. А по первому товару сплошной дефицит на складе в период сезона. Отсюда сразу понятно как повысить точность прознозирования и снизить запасы по группе товара.

абсолютно согласен, что сезонность один из основных влияющих факторов на продажи, только может оказаться что дефицит одних позиций приведет к снижению корреляции их с аналогичными товарами с большими запасами. Тут важно не только на цифры полагаться, но и опрашивать экспертов по сезонности ассортимента.

Roman писал(а):Про зависимость продаж пива и фисташек не буду рассказывать и так очевидно. Можно снизить наценку на пиво, задрать на фисташки и сохранить среднюю, увеличив объем продаж и прибыль.

или просадить прибыль, т.к. клиенты начнут фисташки брать у конкурентов :)

Roman писал(а):Если возьмем группу товаров из 1000 наименований, то ее надо разложить на кучки, а вот по каким критериям это пока для меня вопрос.

навскидку:
критерий 1 - как уже приводилось в примере сезонность
критерий 2 - предрасположенность продаж определенного ассортимента к определенным каналам сбыта или территориям
критерий 3 - сходная динамика роста/падения продаж за длительный период
и т.д.

Аватар пользователя
Роман Бодряков
Авторитет
Авторитет
Сообщений: 5253
Зарегистрирован: 19 апр 2004 03:00
Имя: Роман
Фамилия: Бодряков
Должность: Ген.Директор в кубе - наноолигарх
Откуда: Россия

Сообщение Роман Бодряков » 11 фев 2008 15:10

Сергей спасибо,

По поводу первого абзаца. 80-100% - корреляция, а минус 80-100% ?
Антикорреляция? Поведение товаров прямо противоположное. В список отрицательных регулярно попадают товары-заменители.

Аватар пользователя
Дядя_Ежик

Сообщение Дядя_Ежик » 11 фев 2008 23:03

Господа, а как вы планируете учитывать товары-аналоги? Причем в случаях, когда есть 5-6 товаров с разной степенью взаимозаменяимости, и какой из них основной - это еще большой вопрос?

Аватар пользователя
Роман Бодряков
Авторитет
Авторитет
Сообщений: 5253
Зарегистрирован: 19 апр 2004 03:00
Имя: Роман
Фамилия: Бодряков
Должность: Ген.Директор в кубе - наноолигарх
Откуда: Россия

Сообщение Роман Бодряков » 12 фев 2008 10:01

Элементарно, Ватсон.

Для этого АВС есть. :-) А вот какой из них самый основной?

Я пока даже не представляю какая математика, может заменить человека.

Прикольно получается. Крепежные шалабушки для кабеля - определяют продажу самого кабеля, потому как их бОльшее количество клиентов берет. А продажи эл. щитов влияют на продажи кабеля, потому как сумма продаж выше.

Если по взаимозаменяемым, то количество купивших клиентов будет хорошим критерием

Дядя Ёжик, а у тебя какие идеи по этому поводу?

Аватар пользователя
d__4997

Сообщение d__4997 » 12 фев 2008 11:18

Немного в сторону от основной темы. А кто хоть раз применял результаты корреляционного анализа на практике? и как? Пиво и фисташки вопрос интересный , но спорный. Скорее я как в «ленте» задвинул бы политику, по 30 процентам товаров выдержал бы наценку, по остальным хоть в ноль торгуй. Обыватели будут думать, что у тебя все дешевле чем везде, а магазин руки потирает и наценку (с групп А и В по наценке) собирает.

Аватар пользователя
Роман Бодряков
Авторитет
Авторитет
Сообщений: 5253
Зарегистрирован: 19 апр 2004 03:00
Имя: Роман
Фамилия: Бодряков
Должность: Ген.Директор в кубе - наноолигарх
Откуда: Россия

Сообщение Роман Бодряков » 12 фев 2008 12:25

Я применял и применяю. Как? Очень хорошо. Есть возможность быстро выявить товары совпадающие и несовпадающие по динамике продаж с различными факторами на эти продажи влияющими. Потом приходится поломать голову выявляя причины и следствия, но это уже детали.

Хорошая идея, но нерабочая.

Обыватель не представляет сколько должен стоить товар групп С, Д, Е а вот в ценах на А и Б ориентируется с закрытыми глазами. Потому как покупает этот товар чаще. Очевидно, что из этого правила есть исключения. Дорогие товары, товары предварительно выбора и т.п.

В моем примере пиво основной продукт, фисташки сопутствующий. Клиентская база ориентированная на фисташки, естесственно отвалится после повышения цен. Вопрос только в том, на сколько она значима в общем количестве покупающих фисташки? Если не значима, значит повышение цен незначительно повлияет на объем продаж, но увеличит прибыль.

У Вас все клиенты разбегутся, а потирать руки будут конкуренты.

Аватар пользователя
sf13

Сообщение sf13 » 12 фев 2008 12:53

Eismont_Alexander писал(а):А кто хоть раз применял результаты корреляционного анализа на практике? и как?


1. Есть ассортиментные группы. У групп есть сезонность потребления.
Для планирования продаж и закупок, оценки требуемого складского и полочного пространства, объема запаса по году хотим объединить группы с общей сезонностью и для объединенных групп получить сезонные тренды. Хотим получить не набор десятков трендов, а несколько, по которым и живет весь наш ассортимент.
Хочется делать это не визуально, а расчетно.

Считаем корреляцию каждой группы с каждой. Выделяем группы, коррелирующие между собой, объединяем, рассчитываем тренды объединенных групп.

Выделение коррелирующих может пройти гладко (явная ситуация), может с трудом, может оказаться невозможным (1 коррелирует со 2, 2 с 3, а 1 с 3 - уже не очень, и т.д.). Но это тоже результат и информация к размышлению. Если последнее происходит с группами 1,2,3, которые, Вы были уверены, дополняют друг друга, ищите причины в провалах по запасу или в основаниях для своей уверенности.

Заодно можем оценить распределение ассортиментных групп по менеджерам. Если у одного, к примеру, только летний сезон, у другого - зимний, то они по очереди то захлебываются, то отдыхают. Возможно, решим распределить загрузку более равномерно.

2. Есть ассортиментные группы. Хочется понять совместность спроса на них и "подправить" там, где они совместно не представлены, т.к. это неудобство для клиента и, как следствие, упущенный сбыт.

Рассчитываем корреляцию каждой группы с каждой по компамии или по головному каналу сбыта, где представлено все.
Рассчитываем то же по сбытовым подразделениям (филиалам, магазинам, и т.п.).
С удивлением обнаруживаем, что корреляции в ряде случаев другие.
Экспертно определяем, по причине-ли это разного клиентского сегмента или по причине недоработки с ассортиментом.
В первом случае оставляем все как есть, маркетологов заставляем выяснить, в чем же эти особенности клиентов, а во втором корректируем ассортимент по сбытовым подразделениям, увеличиваем, тем самым, сбыт и симпатию к нам клиентов.

Недоработка с ассортиментом может выглядеть, например, следующим образом:
Две дополняющие ассортиментных группы представлены в головном подразделении и в филиале. В головном синхронно продаются обе. В филиале - только одна, вторая - слабо. Причина - во второй есть ходовой дефицитный товар (или товары), который до филиала, как правило, не доходит. Без него группа уже не работает. Так либо этот товар все же в филиал поставлять, либо группу эту там зря не держать.

Корреляция - это закономерность. Закономерность должна повторяться. В результате, имеем дополнительную отправную точку для прогнозирования и контроля сбыта.

Sergey
Гуру
Гуру
Сообщений: 1135
Зарегистрирован: 28 май 2015 06:16
Имя: Сергей
Фамилия: Маркин
Должность: ведущий аналитик
Откуда: Москва

Сообщение Sergey » 12 фев 2008 12:56

Roman писал(а):значит повышение цен незначительно повлияет на объем продаж, но увеличит прибыль.

чтобы это посчитать нужно знать эластичность спроса на конкретный товар в конкретном канале сбыта.

Sergey
Гуру
Гуру
Сообщений: 1135
Зарегистрирован: 28 май 2015 06:16
Имя: Сергей
Фамилия: Маркин
Должность: ведущий аналитик
Откуда: Москва

Сообщение Sergey » 12 фев 2008 12:58

Roman писал(а):По поводу первого абзаца. 80-100% - корреляция, а минус 80-100% ?
Антикорреляция? Поведение товаров прямо противоположное. В список отрицательных регулярно попадают товары-заменители.

честно говоря коррелляция менее 50% меня в принципе не интересовала. Просто я не совсем понимаю практическую пользу от знания, что коррелляция товара 1 и товара 2 отрицательна.

Sergey
Гуру
Гуру
Сообщений: 1135
Зарегистрирован: 28 май 2015 06:16
Имя: Сергей
Фамилия: Маркин
Должность: ведущий аналитик
Откуда: Москва

Сообщение Sergey » 12 фев 2008 13:03

sf13 писал(а):Корреляция - это закономерность. Закономерность должна повторяться. В результате, имеем дополнительную отправную точку для прогнозирования и контроля сбыта.

главное не забывать проверять клиентскую базу - иначе сезонность большинства товарных групп будет коррелировать не от реальной сезонности, а от отгрузок крупных клиентов при небольшой частоте отгрузок и размера клиентской базы вообще. Также полезно проверять корреляцию сезонности текущего и прошлого сезонов.

Аватар пользователя
Роман Бодряков
Авторитет
Авторитет
Сообщений: 5253
Зарегистрирован: 19 апр 2004 03:00
Имя: Роман
Фамилия: Бодряков
Должность: Ген.Директор в кубе - наноолигарх
Откуда: Россия

Сообщение Роман Бодряков » 12 фев 2008 13:47

Супер!!!!
Приятно удивлен, что в среде нас, так много людей, кто с этой самой корреляцией уже знаком. Хорошее обсуждение получается!!!!

Сергей, влияние оказывает не только клиентская база, но и, гораздо чаще, продажи основного товара в группе. Я сейчас как раз и продумываю, какие есть гипотезы, в какой последовательности их проверять. Потому как хочется сделать некую "универсальную" последовательность действий, приводящую к понятному результату.

Первый шаг. Корреляция и антикорреляция товаров с суммой продаж группы. Гипотетически продажи группы ближе к поведению рынка, чем продажи товара. Если совпадение - хорошо, если несовпадение - надо выяснять причины.

Второй шаг. (это только идея для обсуждения) Посчитать сумму по оставшимся товарам и проделать первый шаг еще раз. Возможно удастся выявить товары с другим трендом.

Либо выбрать самый коррелирующий товар(со всеми остальными) и изьять их из этой группы. По остатку делать первый шаг.

На выходе я пытаюсь получить набор трендов для большинства товаров группы, с привязкой к этим трендам.

Аватар пользователя
Дядя_Ежик

Сообщение Дядя_Ежик » 12 фев 2008 20:48

Roman писал(а):Элементарно, Ватсон.

Для этого АВС есть. :-) А вот какой из них самый основной?

Я пока даже не представляю какая математика, может заменить человека.

Прикольно получается. Крепежные шалабушки для кабеля - определяют продажу самого кабеля, потому как их бОльшее количество клиентов берет. А продажи эл. щитов влияют на продажи кабеля, потому как сумма продаж выше.

Если по взаимозаменяемым, то количество купивших клиентов будет хорошим критерием

Дядя Ёжик, а у тебя какие идеи по этому поводу?


А идей у меня пока не много...
Я давно уже бьюсь с аналогами.
И АВС - это отнюдь не критерий. Есть договора с поставщиками, есть планы. Есть дефицит, обусловленный реальными причинами, кроме того есть сезонность и ограниченность (весьма сильная) складскими площадями, играющая решающую роль в определении страховых запасов....
Так что в моем случае корреляция будет скорее всего просто случайная, и ни в коем случае не обусловленная реальным спросом.

Аватар пользователя
Роман Бодряков
Авторитет
Авторитет
Сообщений: 5253
Зарегистрирован: 19 апр 2004 03:00
Имя: Роман
Фамилия: Бодряков
Должность: Ген.Директор в кубе - наноолигарх
Откуда: Россия

Сообщение Роман Бодряков » 13 фев 2008 12:35

Ничего удивительного нет.
И путей для решения не так много. Что можно попробовать.
Вывести отгрузки в объемно-весовых параметрах и оценить антикорреляцию с продажами товара. Это позволит выявить взаимосвязь продаж и загрузки склада.

Дядя Ежик. Выяви самый продаваемый и востребованный товар и исключи по нему перебои. А ограниченность склада компенсируй ассортиментным товаром. Тогда у тебя в каждой товарной группе появятся товары, которые продаются в тех объемах, в каких его могут покупать клиенты. Почти в соответствии с рынком.
Если есть ограничение, то надо его максимально эффективно использовать. С вашим ассортиментом просто необходимо учиться в чем-то отказывать клиентам и соответственно продавцам.

Либо можно в группе выявить товары по которым не было перебоев и "предположить" что эти товары и задают сезонную динамику.

Интересно провести анализ накладных. Товары, которые встречаются в накладных вместе, и товары одной группы, которые не встречаются в накладных.

Аватар пользователя
Дядя_Ежик

Сообщение Дядя_Ежик » 13 фев 2008 21:44

А как быть, если анлог от одного поставщика продается хуже, чем от другого, но :!: политика фирмы такова, что мы обязаны :!: продавать первого больше. Планы, договора и пр...
Такой малюсенький элемент искуственности  :D

Аватар пользователя
sf13

Сообщение sf13 » 14 фев 2008 09:54

Roman писал(а):Интересно провести анализ накладных. Товары, которые встречаются в накладных вместе, и товары одной группы, которые не встречаются в накладных.


С удовольствием соглашусь. Этот анализ (анализ сочетаний) действительно эффективен.
Проведя расчеты и отфильтровав наиболее значительное число попаданий в одну накладную (чек), к примеру, >300, на выходе получаем:

Код товара1__Код товара2__Накладных

101__________102__________546
101__________216__________510
101__________341__________480
101__________518__________306

102__________101__________546
102__________104__________382

103__________612__________713
103__________702__________301
и т.д.

а) Фильтром можно выделить интересующий товар и найти ему сопутствующие.
б) Можно отсортировать по числу попаданий в накладные и найти наиболее популярные пары. А также можно найти никогда не встречающиеся вместе, или встречающиеся вместе исключительно редко. В последнем случае классификация неоднозначна. Это либо НЕсопутствующие, либо взаимозаменяемые.

В отличие от корреляционного анализа продаж по времени (дням, неделям, и т.п.) в данном случае сезонно совпадающие товары в лидеры могут и не попасть. Выделятся реально сопутствующие. Не пиво и томатный сок (жара одна, жажда - разная), а пиво и вобла, к примеру. Не замки и крепеж вообще, а замки и крепеж именно к этим замкам. И именно эти позиции ОБЯЗАНЫ присутствовать вместе!

На большом массиве данных (неск. тыс. товаров и неск. десятков тыс. накладных) можно провести анализ пар. Анализ троек - уже с трудом. Далее - уже совсем проблематично. Объем вычислений растет в геометрической прогрессии.

Однако тройки и далее можно, в первом приближении, выделить следующим шагом по результатам попарного анализа.

ПРЕДОСТЕРЕЖЕНИЕ!!!
Встречаются в опте системы работы с отгрузками одному клиенту в один его приход несколькими накладными с нескольких ассортиментных складов.
В этом случае данный анализ проводится не по накладным, а по сделкам (визитам).
Сделка (визит) - отгрузка одному клиенту в одну дату, независимо от количества накладных. (В рамках допущения, что отгрузка на несколько дней "не размазывается").


Вернуться в «Программы для закупщиков»

Кто сейчас на форуме

Количество пользователей, которые сейчас просматривают этот форум: CommonCrawl [Bot] и 0 гостей