Исходные данные содержат информацию о сделках по продаже жилья на территории Москвы. Каждая сделка характеризуется следующим набором параметров:

• Количество комнат;
• общая площадь;
• жилая площадь;
• тип дома (кирпичный, блочный, панельный);
• этаж квартиры;
• этажность дома;
• площадь кухни;
• индекс места (порядковый номер в алфавитном списке ближайшей станции метро);
• минут ходьбы до ближайшей станции метро;
• телефон;
• балкон/лоджия;
• цена.

При помощи специальных обработчиков в исходных данных может быть выявлена и обработана информация о дубликатах (сделки с одинаковыми параметрами квартиры и одинаковой ценой) и противоречиях (сделки с одинаковыми параметрами квартиры, но разными ценами), а также информация о сделках с аномально высокой или аномально низкой ценой (следствие ошибок ввода и других случайных факторов, а также мошеннических действий, например с целью завышения страховой стоимости квартир ). Если в некоторых сделках отсутствуют значения ряда факторов, характеризующих квартиру, то эти значения также можно восстановить при помощи специального "обработчика заполнения пропущенных значений". При помощи корреляционного и факторного анализа количество факторов, влияющих на ценообразование, может быть уменьшено, без существенной потери информативности.

Первоначально все сделки были разбиты на три категории:

• Сделки с недорогими квартирами ( от 15000 до 60000).
• Сделки с квартирами средней стоимости ( от 60000 до 105000).
• Сделки с дорогими квартирами ( от 105000 до 150000).

Алгоритм построения деревьев решений позволяет решать задачи классификации, и при этом легко интерпретировать результаты выдаваемые построенной моделью. Было построено дерево решений на вход которого подавались характеристики квартиры, а выходом служила категория цены. Результатом работы этого алгоритма является следующий набор правил.

№	Условие	Следствие (КатегорияЦены)	Поддержка		Достоверность
			%	Кол-во	%	Кол-во
5	Общая площадь < 49,5 И Индекс места >= 18,5 И Индекс места >= 41,5	дешевая	42,14	689	97,68	673
3	Общая площадь < 49,5 И Индекс места >= 18,5 И Индекс места < 41,5 И Общая площадь < 46,5	дешевая	4,53	74	78,38	58
24	Общая площадь >= 49,5 И Индекс места < 121,5 И Общая площадь < 66,5 И Индекс места >= 4 И Индекс места >= 37,5 И Жилая площадь >= 23,5 И Количество комнат >= 1,5 И Индекс места < 112,5 И Этажность квартиры >= 1,5 И Общая площадь < 59,5 И Индекс места < 79	средняя	6,73	110	88,18	97
37	Общая площадь >= 49,5 И Индекс места < 121,5 И Общая площадь < 66,5 И Индекс места >= 4 И Индекс места >= 37,5 И Жилая площадь >= 23,5 И Количество комнат >= 1,5 И Индекс места < 112,5 И Этажность квартиры >= 1,5 И Общая площадь >= 59,5	средняя	5,69	93	94,62	88
70	Общая площадь >= 49,5 И Индекс места < 121,5 И Общая площадь >= 66,5 И Индекс места >= 68,5 И Общая площадь < 100,5 И Площадь кухни < 14,5 И Минут ходьбы >= 13,5	средняя	2,87	47	97,87	46
2	Общая площадь < 49,5 И Индекс места < 18,5 И Общая площадь >= 31,5	средняя	2,08	34	82,35	28
68	Общая площадь >= 49,5 И Индекс места < 121,5 И Общая площадь >= 66,5 И Индекс места >= 68,5 И Общая площадь < 100,5 И Площадь кухни < 14,5 И Минут ходьбы < 13,5 И Общая площадь >= 72,5 И Количество комнат < 3,5 И Индекс места >= 81	средняя	1,35	22	90,91	20
12	Общая площадь >= 49,5 И Индекс места < 121,5 И Общая площадь < 66,5 И Индекс места >= 4 И Индекс места < 37,5 И Этажность дома < 13 И Площадь кухни < 10,5 И Этажность квартиры >= 1,5 И Этажность квартиры < 6,5 И Этажность дома >= 6,5 И Индекс места < 36 И Общая площадь < 60,5	средняя	1,28	21	66,67	14
35	Общая площадь >= 49,5 И Индекс места < 121,5 И Общая площадь < 66,5 И Индекс места >= 4 И Индекс места >= 37,5 И Жилая площадь >= 23,5 И Количество комнат >= 1,5 И Индекс места < 112,5 И Этажность квартиры >= 1,5 И Общая площадь < 59,5 И Индекс места >= 79 И Жилая площадь < 42,5 И Этажность дома >= 14,5 И Этажность квартиры >= 5,5	средняя	1,22	20	95	19
15	Общая площадь >= 49,5 И Индекс места < 121,5 И Общая площадь < 66,5 И Индекс места >= 4 И Индекс места < 37,5 И Этажность дома < 13 И Площадь кухни < 10,5 И Этажность квартиры >= 1,5 И Этажность квартиры >= 6,5	средняя	1,1	18	94,44	17
62	Общая площадь >= 49,5 И Индекс места < 121,5 И Общая площадь >= 66,5 И Индекс места < 68,5 И Минут ходьбы < 32,5 И Этажность квартиры >= 1,5 И Общая площадь >= 68,5 И Этажность дома >= 5,5	дорогая	9,17	150	94	141

Поддержка показывает, какой процент сделок, из имеющегося набора данных, удовлетворяет условию правила, а достоверность показывает, какой процент сделок, удовлетворяющих условию правила, удовлетворяет и его следствию (с какой вероятностью оцениваемая квартира, удовлетворяющая условию правила, удовлетворяет и его следствию).

Кроме того, была определена степень влияния каждого атрибута на результат классификации:

В данном случае алгоритм,в качестве наиболее значимого фактора для определения того, к какому классу отнести оцениваемую квартиру, выбрал значение фактора - Общая площадь.

Аппарат деревьев решений также можно использовать для обнаружения "нехарактерных" (мошенничества, ошибки ввода) сделок. Нехарактерные сделки удовлетворяют условию правил с большой поддержкой и достоверностью, но не удовлетворяют его следствию.

Основное преимущество деревьев решений перед эконометрическими и нейросетевыми моделями заключается в легкой интерпретируемости результатов работы этих алгоритмов.

Рассмотрим также нейросетевой подход к оценке стоимости недвижимости. В отличие от деревьев решений нейронная сеть будет определять не категорию цен, а ее конкретное значение. Нейроцена квартиры обобщает имеющиеся данные, предлагая средневзвешенную рыночную цену предложения на момент составления базы. Нейронная сеть хорошо подходит для определения цены более-менее типичных квартир, близких по параметрам к имеющимся в базе данных.

В качестве модели для прогнозирования стоимости недвижимости была выбрана нейронная сеть с 9-ю нейронами в скрытом слое. Проверим адекватность этой модели рыночной ситуации с помощью визуализатора "Что-если".

На данном рисунке показана зависимость между ценой квартиры и количеством комнат в ней, выявленная моделью. Просмотр зависимостей между ценой квартиры и другими параметрами сделок позволил сделать заключение об адекватности модели текущей рыночной ситуации.

Дальнейшая оценка стоимости недвижимости на базе построенной модели может быть осуществлена в автоматическом или полуавтоматическом режиме, путем указания параметров квартиры, стоимость которой мы хотим оценить.

Нейросетевой подход имеет следующие преимущества по сравнению с эконометрикой:

• Для построения нейросетевой модели нет необходимости задавать степень влияния входных параметров на прогнозируемую величину.
• Сама модель способна выявить любую нелинейную зависимость между прогнозируемой величиной и факторами, влияющими на прогноз. Кроме того нейросетевые алгоритмы относятся к так называемым адаптивным алгоритмам, т.е. если ситуация на рынке меняется, то нейросеть автоматически приспосабливается (переучиваются) к новому поведению рынка, т.е. коэффициенты модели подправляются автоматически.
• Привлечение эксперта необходимо лишь для указания входных факторов, коэффициенты (веса нейросети) будут рассчитаны алгоритмом в процессе построения (обучения) нейросети.

Следующим, рассматриваемым нами, алгоритмом для анализа рынка недвижимости будут самоорганизующиеся карты (СОК) или Карты Кохонена. Дело в том, что самоорганизующиеся карты основаны на нейросетевой технологии, позволяющей анализировать нелинейности, сохраняя топологию и распределение данных, что представляет существенную важность при оценке недвижимости. Следует отметить также, что СОК были с успехом применены для оценки стоимости недвижимости в Финляндии.

Алгоритм СОК позволяет построить отображение многомерного пространства в двумерное обладающее тем свойством, что два объекта близкие в двумерном пространстве близки и в исходном многомерном. При этом каждый компонент многомерного пространства представлен своей картой, раскраска которой позволяет определить значение этой компоненты для конкретного объекта (как на географических картах). В каждой ячейке двумерной карты находится один или несколько объектов исходного многомерного пространства. Т.О. в конкретной ячейке находятся одни и те же объекты, а разные карты являются представителями различных параметров этих объектов (аналогия со слоеным пирогом).

Построим СОК для кирпичных домов ( тип дома = кирпичный).

Помимо всего прочего СОК позволяют кластеризовать объекты, т.е. поделить их на группы так, что внутри одной группы объекты будут похожи между собой, а объекты из разных групп будут сильно отличаться друг от друга.

В данном случае построение СОК и кластеризация проводились по параметрам, описанным в разделе исходные данные, при этом тип дома из рассмотрения был исключен (по причине уникальности этого параметра для рассматриваемого набора данных). Цена также не использовалась при работе алгоритма, она лишь отображается на уже построенных картах.

В данном случае все квартиры были поделены на два кластера, раскраска карты цена показывает, что в 1-й кластер попали дорогие квартиры, а в 0-й дешевые. По раскраскам других компонент квартир, можно понять, что отличительной особенностью дорогих квартир является большая общая и жилая площадь. Для построения правил отнесения квартиры к тому или иному кластеру воспользуемся алгоритмом 'деревья решений'. Результаты работы этого алгоритма приведены ниже:

№	Условие	Следствие (Номер кластера)	Поддержка		Достоверность
			%	Кол-во	%	Кол-во
1	Жилая площадь < 38,5 И Индекс места < 27,5 И Жилая площадь < 27,5	0	4,7	29	96,55	28
2	Жилая площадь < 38,5 И Индекс места < 27,5 И Жилая площадь >= 27,5 И Телефон < 0,5	0	0,32	2	100	2
3	Жилая площадь < 38,5 И Индекс места < 27,5 И Жилая площадь >= 27,5 И Телефон >= 0,5 И Минут ходьбы < 12,5	1	7,78	48	97,92	47
4	Жилая площадь < 38,5 И Индекс места < 27,5 И Жилая площадь >= 27,5 И Телефон >= 0,5 И Минут ходьбы >= 12,5 И Жилая площадь < 32	0	0,32	2	100	2
5	Жилая площадь < 38,5 И Индекс места < 27,5 И Жилая площадь >= 27,5 И Телефон >= 0,5 И Минут ходьбы >= 12,5 И Жилая площадь >= 32	1	0,49	3	100	3
6	Жилая площадь < 38,5 И Индекс места >= 27,5 И Жилая площадь < 31,5	0	31,12	192	100	192
7	Жилая площадь < 38,5 И Индекс места >= 27,5 И Жилая площадь >= 31,5 И Индекс места < 37,5	1	1,62	10	100	10
8	Жилая площадь < 38,5 И Индекс места >= 27,5 И Жилая площадь >= 31,5 И Индекс места >= 37,5 И Площадь кухни < 5,5	1	0,32	2	100	2
9	Жилая площадь < 38,5 И Индекс места >= 27,5 И Жилая площадь >= 31,5 И Индекс места >= 37,5 И Площадь кухни >= 5,5	0	10,05	62	95,16	59
10	Жилая площадь >= 38,5 И Индекс места < 106,5	1	41,33	255	98,43	251
11	Жилая площадь >= 38,5 И Индекс места >= 106,5 И Общая площадь < 70,5	0	1,3	8	87,5	7
12	Жилая площадь >= 38,5 И Индекс места >= 106,5 И Общая площадь >= 70,5	1	0,65	4	100	4

Оценка стоимости конкретной квартиры может быть осуществлена при помощи инструмента "Что-если":

После ввода параметров квартиры подлежащей оценке, алгоритм отнесет ее к конкретной ячейке карты. Зная цены объектов находящихся в этой ячейке, можно будет определить средневзвешенную рыночную цену анализируемой квартиры.

Проведенное исследование показывает принципиальную возможность применения всего многообразия алгоритмов Data Mining для оценки стоимости недвижимости. Описаны преимущества данных алгоритмов перед эконометрическими моделями.

Климов Артем
BIGroup Labs