10 мая 2017

Обзор интересных R-пакетов за март-апрель 2017 г.



  • 21 апреля 2017 г. вышла новая версия R (v3.4.0), в которую вошло несколько изменений, связанных с увеличением скорости вычислений. Подробнее можно узнать здесь.
  • choroplethr: предназначен для создания картограмм. Кроме того, с помощью этого пакета можно выполнять соединение с несколькими удаленными источниками картографических данных.
  • cronR: позволяет задавать расписание выполнения R-скриптов на Unix/Linux машинах. Есть и аналогичный пакет для Windows-машин - taskscheduleR (см. примеры здесь).
  • errors: в физике и других научных дисциплинах любое измерение всегда сопровождается определенной погрешностью. В R одновременно работать с результатами подобных измерений и их погрешностями не трудно, но утомительно. Новый пакет errors предлагает удобное решение для работы с такими данными.
  • HIBPwned: R-интерфейс к API сервиса "Have I Been Pwned?". С помощью этого сервиса можно выяснить, находится ли тот или иной адрес электронной почты в списках адресов, учетные данные которых стали по тем или иным причинам публично доступными.
  • kerasR: R-интерфейс к популярной Python-библиотеке для "глубинного обученияKeras. См. примеры здесь.
  • Компания Microsoft объявила о выпуске новой версии Microsoft R Server (v9.1).
  • modeleval: набор утилит для анализа качества предсказательных моделей, построенных с помощью пакета caret.
  • readxl: как следует из названия, этот пакет предназначен для организации удобной работы с файлами Excel из среды R.
  • RInside: с помощью этого пакета можно встраивать функционал R в приложения, написанные на C++.
  • Sinew: позволяет автоматически создать "скелет" справочного файла для той или иной функции в формате roxygen2, что значительно сэкономит время при разработке новых пакетов для R.
  • shinyWidgets: набор дополнительных виджетов для разработки Shiny-приложений.
  • shinyjqui: с помощью этого пакета можно добавлять jQuery UI-элементы в Shiny-приложения. Примеры приведены здесь и здесь.
  • Исправлены небольшие ошибки в популярном пакете quantmod, предназначенном для разработки трейдинговых моделей.


30 апреля 2017

Делимся опытом: визуализация данных из лог-файлов



Сегодня в рамках рубрики "Делимся опытом" мы представляем вашему вниманию небольшую заметку Дмитрия Берга, в которой он рассказывает о визуализации данных из лог-файлов средствами сервиса plot.ly.




07 апреля 2017

Новая книга по R: "Классификация, регрессия и другие алгоритмы Data Mining с использованием R"



Друзья!

Владимир Кириллович и я рады представить вашему вниманию новый результат нашей совместной работы - книгу "Классификация, регрессия и другие алгоритмы Data Mining с использованием R".

В книге рассмотрена широкая совокупность методов построения статистических моделей классификации и регрессии для откликов, измеренных в альтернативной, категориальной и метрической шкалах. Подробно рассматриваются деревья решений, машины опорных векторов с различными разделяющими поверхностями, нелинейные формы дискриминантного анализа, искусственные нейронные сети и т.д. Показана технология применения таких методов бутстреп-агрегирования деревьев решений, как бэггинг, случайный лес и бустинг. Представлены различные методы построения ансамблей моделей для коллективного прогнозирования. Особое внимание уделяется сравнительной оценке эффективности и поиску оптимальных областей значений гиперпараметров моделей с использованием пакета caret. Рассматриваются такие алгоритмы Data Mining, как генерация ассоциативных правил и анализ последовательностей. Отдельная глава посвящена методам многомерной ординации данных и различным алгоритмам кластерного анализа.

Описание указанных методов сопровождается многочисленными примерами из различных областей на основе общедоступных исходных данных. Представлены несложные скрипты на языке R, дающие возможность читателю легко воспроизвести все расчеты.

Книга может быть использована в качестве учебного пособия по статистическим методам для студентов и аспирантов высших учебных заведений.

Книга распространяется совершенно бесплатно. Ее PDF-версию и соответствующие приложения можно скачать по следующим двум официальным адресам:
Кроме того, книга опубликована в виде отдельного сайта по адресу:


В ближайшее время мы планируем выложить также EPUB- и MOBI-версии, предназначенные для чтения на соответствующих электронных устройствах.

Мы будем благодарны за любые ваши замечания и пожелания касательно этой работы - отправляйте их, пожалуйста, по электронной почте stok1946["собака"]gmail.com и/или rtutorialsbook["собака"]gmail.com

Сергей Мастицкий, Владимир Шитиков



P.S.: Как отмечено выше, книга распространяется бесплатно. Однако если она окажется вам полезной и вы сочтете уместным отблагодарить авторов за их работу, вы можете перечислить любую сумму, воспользовавшись следующей кнопкой (все транзакции выполняются в безопасном режиме через систему электронных платежей PayPal; наличие у вас аккаунта в этой системе необязательно):



12 февраля 2017

Построение деревьев регрессии



Автор: Владимир Шитиков

В одном из предыдущих сообщений были определены основные понятия, преимущества и недостатки деревьев классификации и регрессии, которые являются одним из наиболее популярных методов решения многих практических задач (Breiman at al., 1984; Quinlan, 1986). По своей сути деревья используют "наивный подход" (naive approach) в том смысле, что исходят из предположения о взаимной независимости признаков. Поэтому модели регрессионных деревьев статистически наиболее работоспособны, когда мультиколлинеарность в комплексе анализируемых переменных выражена незначительно.




04 февраля 2017

Обзор интересных R-пакетов за январь 2017 г.



Автор: Сергей Мастицкий

Перед тем как привести обзор новых (и обновленных) R-пакетов за январь, стоит сказать о важном событии: в этом месяце общее количество пакетов в хранилище CRAN перевалило за 10000 (эта цифра не включает в себя примерно 1300 пакетов, опубликованных в хранилище BioConductor, а также сотни пакетов, доступных только в репозиториях GitHub). Наличие такого разнообразия пакетов в распоряжении пользователей R - дело, несомненно, хорошее. Однако со временем пользователям становится все сложнее ориентироваться в этом разнообразии и находить нужные пакеты. В этой связи, возможно, стоит напомнить о некоторых инструментах, которые могут оказаться полезными при выполнении соответствующего поиска:


  • Обзор пакетов для решения ряда распространенных задач, приведенный на сайте CRAN - CRAN Task Views;
  • Список популярных пакетов на сайте RDocumentation.org;
  • Список популярных пакетов, опубликованных на плафторме GitHub;
  • CRANberries - обновляющийся в реальном времени список пакетов, добавляемых в хранилище CRAN;
  • Инструмент для поиска по хранилищу CRAN, доступный на сайте MRAN (Microsoft R Application Network);
  • Shiny-приложение для поиска пакетов по категориям CRAN Task Views, созданное Михаилом Поповым;
  • Функция findFn() из пакета sos.

А теперь, собственно, сам список новых/обновленных пакетов, показавшихся мне особенно интересными:
  • fst - пакет для выполнения (сверх-)быстрой сериализации и десериализации таблиц данных R.
  • intrval - набор утилит, облегчающих разбиение количественных переменных на интервалы.
  • newsflash - R-интерфейс к GDELT Television Explorer API, с помощью которого можно выяснить, сколько раз то и или иное ключевое слово встречалось в новостях телевизионных каналов США за определенное время.
  • roxygen2 - вышла новая версия этого популярного пакета, предназначенного для написания документации в ходе разработки R-пакетов. Теперь такую документацию можно писать и в формате Markdown.
  • RPushbullet - новая версия пакета, представляющего собой R-интерфейс к Pushbullet API - сервису для обмена сообщениями между устройствами.
  • RQGIS - новая версия пакета, представляющего собой R-интерфейс к QGIS API. QGIS - это геоинформационная система с открытым кодом, в которой реализовано более 1000 различных алгоритмов обработки геоданных.
  • sparklyr - новая версия пакета, предназначенного для работы со Spark-кластерами из среды R.
  • superheat - новый пакет для построения диаграмм типа "тепловая карта" (heatmap). Имеется возмжность создавать составные рисунки (например, путем добавления к тепловой карте диаграмм рассеяния, диаграмм размахов и т.п.) и выполнять тонкую настройку их элементов.
  • tensorflow - R-интерфейс к TensorFlow - известной библиотеке от Google для создания предсказательных моделей.
  • xml2 - новая версия пакета от RStudio для работы с данными в формате XML.