Аналіз головних компонент — це дуже популярна техніка, яка використовує велику кількість наборів даних шляхом деконструювання дисперсії кількох змінних на загальні компоненти. У цій частині ми пояснимо все про аналіз головних компонентів у R, Sklearn і Python. Давайте їхати!
Аналіз основних компонентів
Аналіз головних компонентів (PCA) — це дуже надійна техніка для аналізу великих наборів даних, яка містить велику кількість вимірів або ознак на одне спостереження, а також підвищує інтерпретабельність даних, зберігаючи максимальну швидкість інформації та дозволяючи візуалізувати багатовимірні дані. Формально ця техніка використовується для зменшення розмірності набору даних.
Крім того, PCA був винайдений у 1901 році Карлом Пірсоном як аналог теореми про головну вісь у механіці. У 1930-х роках його незалежно назвав і розробив Гарольд Хотеллінг.
Навіщо і коли використовувати УПС
- Коли розміри вхідних змінних або функцій дуже високі.
- Аналіз основних компонентів в основному призначений для стиснення даних
- Це потужний інструмент для усунення шумів.
- Це також особливо корисно для обробки даних, де існує мультиколінеарність між змінними та функціями.
- Інтерпретувати та візуалізувати дані.
Мета PCA
- Однією з його цілей є пошук або визначення закономірностей і зв’язків між змінними, які можуть бути невидимі у вихідних даних.
- Це в основному для вилучення ознак із набору змінних, які є буквально більш релевантними, ніж вихідні змінні. Потім ці функції можна використовувати для інших завдань, а також для моделювання.
- Це інструмент для стиснення наборів даних шляхом зменшення загальної кількості змінних, необхідних для представлення даних, із збереженням якомога більшої кількості даних.
- Аналіз основних компонентів призначений для візуалізації високовимірних даних у низьковимірному просторі. Таким чином, роблячи його більш повним
- Це зменшує шум у наборі даних.
Обмеження PCA
- Дорого обчислювати. Іншими словами, він має обчислювальну складність.
- Це може призвести до втрати важливої інформації та даних.
- Масштабовані та централізовані дані.
- Іноді важче визначити деякі важливі характеристики змінних.
- Аналіз головних компонентів не завжди легко зрозуміти або описати в термінах основних або вихідних характеристик.
Де використовується PCA?
Принциповий аналіз є одним із найпопулярніших багатовимірних статистичних аналізів у світі сьогодні. Крім того, він відомий як техніка неконтрольованого зменшення розмірності, яка створює змінні або характеристики за допомогою лінійних або нелінійних комбінацій вихідних змінних і характеристик.
Як ви інтерпретуєте аналіз головних компонентів?
Щоб мати можливість дуже добре інтерпретувати аналіз головних компонентів, ви повинні обчислити кореляцію між кожним головним компонентом і вихідними даними, і цю кореляцію можна отримати за допомогою процедур кореляції. Крім того, щоб інтерпретувати основні компоненти, ви повинні знайти, які змінні найбільш сильно корелюють з кожним компонентом. Крім того, вам потрібно визначити, на якому рівні кореляція є важливою.
Які 2 способи використання аналізу головних компонентів?
Аналіз основних компонентів виконує багато речей, але ось дві головні речі, які він виконує:
- Змінюйте розміри зображень і знаходьте шаблони у масивних наборах даних.
- Візуалізуйте багатонаціональні дані. Крім того, це добре для аналізу біржових даних і прогнозування доходів у фінансах.
Аналіз основних компонентів у Python
Аналіз основних компонентів у Python — це модель, яка прискорює навчання моделі та віртуалізацію даних. По суті, це найпоширеніший спосіб застосування PCA. Ось огляд аналізу головних компонентів у Python:
Етапи аналізу основних компонентів у Python:
- Одним із кроків аналізу основних компонентів за допомогою Python є імпорт бібліотек.
- Імпортуйте набір даних.
- Розділіть набір даних на тестовий або навчальний набір.
- Масштабування функції.
- Застосовуйте функції PCA
- Підгонка логістичної регресії до тесту або навчального набору.
- Передбачте результат тесту або навчального набору.
- Складіть матрицю плутанини.
- Спрогнозуйте результати тренувального набору.
- Віртуалізація та обчислення результатів набору тестів.
Цілі аналізу основних компонентів у Python
- PCA — це незалежна процедура, яка зменшує простір атрибутів від великої кількості змінних до меншої кількості факторів.
- Згідно з аналізом головних компонентів у Python, PCA визначає шаблони або зв’язки між змінними.
- Він віртуалізує багатовимірні дані в низьковимірному просторі.
- Використовується для візуалізації спорідненості та генетичної відстані між популяціями.
Що таке реальний приклад PCA?
Аналіз основних компонентів — це метод виділення ознак, який працює, враховуючи дисперсію кожного атрибута, оскільки цей атрибут показує розрив між кожним із своїх класів і зменшує розмірність. Ось реальні приклади PCA:
- Обробка зображень
- Оптимізація розподілу потужності в різних каналах зв'язку.
- Рекомендації кіносистеми.
Що таке PCA у машинному навчанні?
Аналіз основних компонентів у машинному навчанні — це зменшення загальної кількості вимірів у наборі даних. Ось наступні кроки PCA в машинному навчанні:
- Завантажте дані
- Розділіть дані на тестові та навчальні набори
- Правильно стандартизуйте дані
- Належним чином перенести та застосувати PCA
- Крім того, застосуйте відображення до тестового набору та навчального набору.
- Застосуйте логістичну регресію до імпортованих даних.
- Виміряйте продуктивність моделі.
Чи можна використовувати PCA у керованому машинному навчанні?
PCA є хорошим інструментом для аналізу великих наборів даних, які містять велику кількість вимірів або характеристик на одне спостереження. Але я пропоную вам не використовувати його в проектах керованого машинного навчання. Він маскує інформацію для моделі, що не є належним підходом для успішного етапу навчання.
Аналіз основних компонентів у R
Аналіз головних компонентів є абревіатурою PCA. Метою PCA є належне пояснення більшості мінливості в наборі даних з меншою кількістю змінних, ніж у вихідному наборі даних.
Ось огляд кроків аналізу головних компонентів у R:
#1. Завантажте дані
На цьому першому кроці аналізу головних компонентів у R ви повинні спочатку завантажити пакет, який містить кілька функцій для маніпулювання та віртуалізації даних. Завантаження даних гарантує, що кожен із атрибутів має однаковий рівень запобігання домінуванню однієї змінної над іншими змінними.
#2. Ретельно розрахуйте основні компоненти
Після завантаження ваших даних обчислення головних компонентів є, по суті, наступним кроком до аналізу головних компонентів у R. Будьте дуже обережні, щоб указати scale=True, щоб кожна зі змінних у наборі даних була правильно масштабована, щоб мати середнє значення 0 і стандартне відхилення 1 перед обчисленням головних компонентів.
#3. Візуалізуйте результати за допомогою Biplot
На цьому третьому етапі аналізу головних компонентів у R ретельно створіть графік, який може проектувати кожне зі спостережень у наборі даних на хорошу діаграму розсіювання, яка використовує першу та другу головні компоненти як свої осі.
#4. Шукайте відмінності, які повністю пояснюються кожним головним компонентом
Це один із кроків аналізу головних компонентів у R. Знайти та обчислити загальну дисперсію у вихідному наборі даних, що пояснюється кожним головним компонентом. Таким чином, дуже важливо шукати шаблони в біплоті, щоб ви могли ідентифікувати стани, які схожі один на одного.
Які два застосування аналізу головних компонентів?
PCA складається з різноманітних програм, які сприяють нашому повсякденному житті. Два застосування аналізу основних компонентів:
- Здоров'я
Аналіз основних компонентів також можна інтегрувати в різні медичні технології, які використовуються для розпізнавання захворювання за сканованими зображеннями. Таким чином, його також можна використовувати в магнітно-резонансній томографії (МРТ) для зменшення розмірності зображень для якісного медичного аналізу та звіту.
- Обробка зображень
PCA використовується в обробці зображень, щоб зберегти основні деталі даного зображення при зменшенні загальної кількості розмірів. По суті, він також може виконувати більш складні завдання, такі як розпізнавання зображень.
Аналіз основних компонентів Sklearn
Аналіз головних компонентів sklearn — це зменшення лінійної розмірності за допомогою розкладання сингулярних значень (SVD) даних для проектування їх у простір із дуже низькою розмірністю. Таким чином, аналіз головних компонентів sklearn використовує реалізацію LAPACK декомпозиції сингулярного значення.
Крім того, аналіз головних компонентів sklearn добре використовує реалізацію ARPACK scipy.sparse для декомпозиції скороченого сингулярного значення.
Етапи використання аналізу основних компонентів Sklearn
- Обережно завантажте та завантажте набір даних.
- Повторно обробіть набір даних.
- Правильно виконайте PCA на наборі даних
- Вивчіть деякі корисні атрибути об'єкта PCA.
- Правильно проаналізуйте зміну добре поясненого співвідношення дисперсії.
Яка основна мета аналізу основних компонентів PCA?
PCA є хорошим інструментом для ідентифікації осей дисперсії в наборі даних. При належному застосуванні це один із найкращих інструментів у наборі інструментів аналізу даних. Основна мета аналізу головних компонентів полягає в тому, щоб визначити, наскільки невиправленим є набір даних, мати можливість дуже добре інтерпретувати аналіз головних компонентів, проаналізувати великі набори даних, які містять велику кількість вимірів або ознак на одне спостереження, а також збільшити можливість інтерпретації даних при збереженні максимальної швидкості інформації та можливості візуалізації багатовимірних даних.
Як дізнатися, чи хороший PCA?
Один із основних і важливих способів перевірити, чи правильний PCA, — належним чином визначити, наскільки невиправленим є ваш набір даних. Якщо він не виправлений, у вас є вагома причина не подавати його. Є хороші показники, за якими можна дізнатися, наскільки хороший PCA, але я зосереджуся лише на двох із них. Є:
- Наскільки кожен компонент пояснює.
- Наскільки змінна корелює з кожним компонентом.
Висновок
Аналіз головних компонентів є абревіатурою PCA. Аналіз головних компонентів є широко адаптивним і використовуваним інструментом аналізу описових даних. Крім того, він має багато адаптацій, які роблять його дуже корисним для широкого спектру ситуацій і всіх типів даних у багатьох дисциплінах.
Посилання
