Часи виснажливого та простого обслуговування журналів минули. Незважаючи на це, коли справа доходить до виконання поглибленого аналізу для отримання цінних даних інфраструктури та підвищення калібру вашого коду, звичайні текстові дані все ще корисні за деяких обставин. Незважаючи на те, що керувати журналами непросто, вони є важливим компонентом будь-якої виробничої системи. Основна перевага систем керування журналами полягає в тому, що за допомогою лише одного запиту ви можете швидко визначити основну причину помилки будь-якої програми чи програми. Коли ви берете участь у цій посаді, враховуйте свою поточну ділову діяльність, вибираючи відповідний інструмент керування журналами, оскільки ми розглянемо найкращі безкоштовні інструменти централізованого керування журналами з відкритим кодом.
Інструменти керування журналами
Що таке колода? Журнал — це файл, створений комп’ютером, який записує дії в операційній системі чи певній програмі. Будь-яка інформація, створена системними адміністраторами, включаючи повідомлення, звіти про проблеми, запити на файли та передачу файлів, автоматично записується у файл журналу.
Керування журналами — це процес регулярного збору, зберігання, обробки, синтезу та аналізу даних із різних програм і додатків з метою покращення відповідності, виявлення технічних проблем і оптимізації продуктивності системи.
Програма, відома як система керування журналами (LMS), збирає, упорядковує та зберігає журнали подій і дані журналів із кількох джерел в одному централізованому розташуванні. ІТ-команди, експерти DevOps і SecOps можуть створити єдину точку доступу до всіх відповідних даних мережі та додатків завдяки програмним платформам керування журналами. Зазвичай цей файл журналу повністю доступний для пошуку та індексації, що дозволяє ІТ-команді швидко отримувати доступ до інформації, необхідної для прийняття рішень щодо безпеки мережі, розподілу ресурсів чи інших питань. Організація керує великою кількістю журнальних даних, створених у всій фірмі, за допомогою технологій керування журналами. Ці інструменти дозволяють нам знати:
- Яку інформацію та дані потрібно реєструвати?
- Формат, у якому його слід записати
- Час, протягом якого слід зберігати дані журналу
- Як утилізувати або знищити дані, коли вони більше не потрібні
Найкращі інструменти керування журналами
Ось найкраще програмне забезпечення для керування журналами:
#1. Журнали сематексту
Ви можете збирати, зберігати, індексувати та виконувати аналіз журналів у реальному часі, що надходять із широкого діапазону джерел даних, використовуючи Sematext Logs, централізовану систему керування журналами, доступну в хмарі або локально. Для DevOps, які хочуть швидше вирішувати проблеми, він пропонує прямий потік журналу, сповіщення та широкі параметри пошуку та фільтрації. Окрім послуги Enterprise, Sematext пропонує три плани: безкоштовний, стандартний і професійний. Стандартні плани починаються від 50 доларів на місяць, плани Pro – від 60 доларів на місяць, а плани Enterprise змінюються залежно від корпоративних вимог.
#2. Datadog
Datadog — це важливе рішення для моніторингу середовищ із використанням гібридних хмар. Це забезпечує наскрізну видимість динамічної високомасштабної інфраструктури, збираючи вимірювання, події та журнали з понад 450 технологій.
Завдяки політикам динамічного індексування, які дозволяють збирати, досліджувати та зберігати всі ваші журнали, керування журналами Datadog прискорює пошук несправностей за допомогою комплексних пов’язаних даних із усього середовища.
#3. Сайт 24x7
Інструмент керування журналами від Site24x7 збирає об’єднання, індексує, перевіряє та керує журналами з різних серверів, програм і мережевих гаджетів. Завдяки автоматичному розпізнаванню журналів на вашому сервері, класифікації їх відповідно до їх природи та організації їх для простого індексування за допомогою простого інтерфейсу на основі запитів це допомагає спростити усунення несправностей.
#4. Аналізатор журналів SolarWinds
За допомогою SolarWinds Log Analyzer ви можете ефективно виправляти неполадки у вашій системі та проводити агрегацію журналів, додавати теги, фільтрувати та сповіщати. Додавання тегів до журналу подій, надійний пошук і фільтрація, потік журналів у реальному часі, інтеграція платформи для Orion, інтеграція сповіщень для Orion, а також збір і аналіз журналів і подій – це деякі з його функцій. підприємств усіх розмірів. Ціна на Solarwinds Log Analyzer починається від $1495.
#5. Сплунк
Splunk пропонує три рівні цін: Splunk Free, Splunk Enterprise і Splunk Cloud. Щомісячна ціна плану Splunk Enterprise становить 150 доларів США за споживаний ГБ. Для Splunk Cloud доступна цінова пропозиція. Splunk пропонує платформу, яка може інтерпретувати машинні дані та робити висновки. Індексування машинних даних, пошук/співвідношення та дослідження, детальний аналіз, моніторинг і сповіщення, звітування та інформаційна панель — усе це елементи керування журналами Splunk. Будь-які дані, створені машиною, можна збирати, шукати, зберігати, індексувати, корелювати, візуалізувати та аналізувати.
#6. Аналізатор журналу подій
Він збирає, перевіряє, співвідносить, шукає та архівує дані журналів із кінцевих точок, брандмауерів, серверів, баз даних, програм тощо за допомогою EventLog Analyzer, комплексного рішення для керування журналами. Він надає користувачам бачення мережевої активності, виявляє незвичайну поведінку за допомогою таких інструментів, як кореляція подій і розвідка про загрози, пом’якшує потенційні загрози та надає готові для аудиту шаблони звітів, які спрощують для компаній дотримання правил ІТ-безпеки.
#7. Монітор журналу Песслера
Використовуючи програму для керування журналами Paessler, ви можете знайти діри в безпеці на вашому сервері та комп’ютері. Ця програма може стежити за системними і програмними журналами. Він має можливість фільтрувати файли Syslog на основі повідомлень про помилки та записувати їх щосекунди.
#8. Аналізатор брандмауера
Перевірка журналів брандмауера та журналів пристроїв безпеки підтримується Firewall Analyzer, який також служить програмою керування журналами брандмауера. Це програмне забезпечення для керування політиками та аналітикою журналів брандмауера для покращення безпеки мережі.
#9. Журнал і системний пакет продуктивності
За допомогою утиліти Log and Systems Performance Pack можна контролювати сервери та програми, що працюють у Windows і Linux. Він поставляється з безліччю вбудованих шаблонів для усунення несправностей програми.
#10. Papertrail
Керувати журналами легко за допомогою Papertrail. За допомогою цієї програми ви можете здійснювати швидкий пошук даних за допомогою браузера, API або інтерфейсу командного рядка. Він може швидко ідентифікувати архівні закономірності та тенденції.
#11. Логлі
Використовуючи програмне забезпечення Loggly, ви можете швидко переглядати журнали та аналізувати їх. Ви можете використовувати сумісність інструменту Syslog для збору даних із системи.
Інструменти керування журналами з відкритим кодом
Оскільки збирачі журналів із відкритим кодом і системи моніторингу журналів добре підходять за швидкістю, гнучкістю та їхнім потенціалом залучати талановитих учасників, готових приділяти час підтримці технологічних проектів, якими вони захоплені, користувачі часто віддають перевагу цим рішенням. Ми розглянемо деякі з найпопулярніших відкритих і безкоштовних інструментів журналювання, доступних сьогодні.
#1. Грейлог
Системні адміністратори та інженери DevOps використовують Graylog, визнаний інструмент керування журналами з відкритим кодом. Хоча впровадження та підтримка локального рішення було дещо складним, користувачі цього рішення часто відзначають, що це значно зменшило їхні витрати порівняно з тими, які пов’язані зі стандартними ліцензійними зборами для таких інструментів, як Splunk.
#2. Системний журнал
Системні адміністратори найчастіше використовують Syslog-ng, частково тому, що він може постійно скидати події Syslog у файли. Ця утиліта з відкритим вихідним кодом вимагає дуже мало налаштувань і може легко обробляти передачу даних журналу розміром до 100 МБ.
Користувачі час від часу скаржаться на проблеми з налаштуванням Syslog-ng для прийому Syslogs на форумах підтримки програмного забезпечення, тому, якщо у вас бракує часу, варто розглянути можливість використання іншого агрегатора журналів з відкритим кодом, який простіше налаштувати.
#3. LOGalyze
Одним із інструментів керування журналами з відкритим вихідним кодом є одна з центральних платформ, LOGalyze, яка була створена головним чином для моніторингу мережі та керування журналами. Для цих сценаріїв використання LOGalyze міг забезпечити як виявлення подій у реальному часі, так і широкі можливості пошуку, якщо вам потрібно було зберігати дані з серверів Linux, мережевих пристроїв і хостів Windows. Оскільки вони не відповіли на запитання користувача @Evolutionsec, надіслане 27 січня 2020 року, здається, що персонал Logalyse не відповідав на запити служби підтримки станом на початок 2020 року.
#4. GoAccess
Користувачі високо оцінили GoAccess за його здатність надавати негайну інформацію для випадків використання, як-от своєчасне звітування веб-сервера, без необхідності створювати повні інформаційні панелі звітів. Журнали S3, CloudFront, Apache та Nginx – це лише деякі з добре відомих попередньо визначених типів файлів журналів, які GoAccess підтримує на додаток до будь-якого спеціального формату журналу.
#5. Нагіос
Моніторинг журналів можливий у різних програмах і операційних системах завдяки відкритому програмному забезпеченню Nagios. Деякі сторонні рішення, такі як PagerDuty, OpsGenie, Flowdock, VictorOps і ElementaryOS, можуть бути повністю інтегровані з Nagios.
Користувачі Nagios часто скаржаться на те, наскільки важко правильно масштабувати цей інструмент і наскільки болісним може бути налагодження проблем із програмою, яка помітно старша за багатьох аналогів.
#6. Вільно
Fluentd є хорошим вибором як один із інструментів керування журналами з відкритим вихідним кодом, який дає змогу буферизувати файли та оперативну пам’ять для зменшення втрати даних між вузлами. Тепер це використовується Alibaba, Colondee, YouSign і Paralect, серед інших компаній. За допомогою Fluentd доступний широкий спектр інтеграцій, включаючи вже існуючі для Google BigQuery, Logmatic, Honeycomb, Coralogix і Sematext.
Інструменти централізованого керування журналами
Комплексний метод керування мережею, даними та безпекою, відомий як «централізоване керування журналами», збирає журнали з усіх областей ІТ-системи за допомогою автоматизованих інструментів. Прикладами потенційних джерел журналів є такі програми, як антивірусне програмне забезпечення, системи виявлення вторгнень і апаратне забезпечення, включаючи сервери, брандмауери, маршрутизатори та робочі станції. Керування журналами в хмарі передбачає керування всіма вашими журналами з централізованої системи, розміщеної в хмарі, з кінцевою метою усунення несправностей і аналізу. Ось список інструментів централізованого керування журналами.
#1. Еластичний стек
Розподілена, спокійна пошукова й аналітична система Elasticsearch може обробляти різноманітні варіанти використання. Мозок Elastic Stack централізовано зберігає ваші дані для надзвичайно швидкого пошуку, точної релевантності та надійної аналітики, яка легко масштабується. Структурований, неструктурований, геопросторовий і метричний пошуки можна виконувати та комбінувати за допомогою Elasticsearch. Почніть із простого запитання й подивіться, куди воно веде.
Знайти 10 найпопулярніших документів, які відповідають вашому запиту, — це одна справа в пошуках централізованих інструментів керування журналами. Однак як ви інтерпретуєте, скажімо, мільярд рядків журналу? Ви можете зменшити масштаб за допомогою агрегацій Elasticsearch, щоб перевірити шаблони та тенденції у своїх даних.
#2. Logstash
Отримання даних із різноманітних джерел, їх трансформація та надсилання до бажаного «сховища» — ось що робить Logstash. Це безкоштовна та відкрита серверна мережа аналізу інформації. Незалежно від формату чи складності, Logstash динамічно завантажує, перетворює та надсилає ваші дані. Використовуйте Grok, щоб витягти структуру з неструктурованих даних, розшифрувати IP-адреси для геолокації, анонімізувати або опустити конфіденційні змінні та спростити обробку в цілому.
Logstash підтримує кілька вхідних даних, які одночасно збирають події з широкого спектру популярних джерел. Проста безперервна потокова передача з ваших журналів, показників, веб-додатків, сховищ даних і різних служб AWS. Незалежно від складності чи формату, Logstash динамічно готує та перетворює ваші дані:
- Використовуючи grok, створіть структуру з неструктурованих даних
- Інтерпретація даних геолокації з IP-адрес
- Зробіть дані ідентифікаційної інформації анонімними та повністю опустіть конфіденційні поля
- Незалежно від джерела даних, формату чи схеми, спростіть загальну обробку.
#3. Кібана
Ви можете візуалізувати свої дані Elasticsearch і досліджувати Elastic Stack за допомогою безкоштовного централізованого інтерфейсу інструментів керування журналами користувачів Kibana з відкритим кодом. Відстеження завантаження запитів — це одне, але ви також повинні знати, як запити переміщуються через вашу систему.
Ви можете вибрати, як структурувати свої дані за допомогою Kibana. Почніть з одного запиту та додайте його за допомогою інтерактивних візуальних елементів. Швидко створюйте інформаційні панелі, які поєднують графіки, карти та фільтри, щоб представити ваші дані в повному обсязі. Пам’ятайте про важливі зміни, щоб запобігти катастрофічним ситуаціям. Створюйте сповіщення, які запускають робочі процеси PagerDuty, надсилають електронні листи або будь-яку іншу сторонню інтеграцію, використовуючи порогові значення на основі індексів і показників.
Завершивши роботу з інструментами централізованого журналу, давайте перейдемо до безкоштовних інструментів керування журналами.
Безкоштовні інструменти керування журналами
Моніторинг мережевого трафіку, активності користувачів, продуктивності додатків, віртуалізованих екземплярів, розосереджених хмарних ресурсів та інших факторів залежить від журналів. Щоб допомогти вам максимально використати ваші журнали, ми запропонуємо декілька безкоштовних рішень із відкритим кодом для інструментів керування журналами.
#1. GoAccess
Ще один безкоштовний інструмент керування додатками з відкритим кодом, GoAccess, забезпечує аналіз веб-журналів у реальному часі за допомогою дуже зручного переглядача журналів, який можна використовувати через браузер або встановити на терміналі. Це ідеальний варіант для груп, яким потрібен безкоштовний аналізатор веб-журналів для відстеження даних HTTP. Інструмент підтримує журнали з усіх популярних серверів, включаючи Amazon S3, Apache і Nginx. Ви можете використовувати візуальну інформаційну панель, щоб отримати видимість у реальному часі та контролювати рівень споживання ваших віртуальних хостів. Як було сказано раніше, програма призначена виключно для вивчення журналів веб-сервера; це складно та потребує додаткової конфігурації та обхідних шляхів для моніторингу будь-яких інших журналів.
#2. LOGalyze
LOGalyze — це один із інструментів централізованого керування журналами та моніторингу мережі, який доступний для безкоштовного завантаження без обмежень, як і інші описані вище рішення з відкритим кодом. Програма здатна читати файли журналу з різних серверів, робочих станцій і мережевих пристроїв. Ці журнали розділені на різні поля для кращого аналізу. За допомогою надійного пошуку ви можете переглядати кілька файлів журналів і стежити за подіями, коли вони відбуваються. Крім того, LOGalyze надає плагіни з параметрами налаштування сповіщень і попередньо створених звітів про відповідність.
#3. Kiwi Syslog Server Free Edition
Одним із безкоштовних інструментів керування, який може добре працювати для підприємств, які шукають централізоване рішення для адміністрування перехоплень SNMP і повідомлень Syslog, є SolarWinds® Kiwi Syslog® Server. Однак ви можете стежити лише за журналами з п’яти джерел. Ви можете використовувати цю безкоштовну програму інструментів керування журналами для моніторингу мережевого обладнання у вашому бізнесі, такого як брандмауери, маршрутизатори та робочі станції. Статистика в реальному часі, сигнали про інтенсивний трафік і звіти доступні з консолі для відстеження всіх повідомлень. Крім того, ви можете зберегти свої журнали або надіслати їх до бази даних для відповідності вимогам за допомогою комерційної версії інструменту.
#4. SolarWinds Papertrail
Ви можете заощадити час і зусилля, використовуючи рішення цього інструменту для безкоштовного централізованого керування журналами замість ручного входу на багато серверів і перегляду файлів журналів. Ви можете збирати журнали з усіх своїх програм, мережевих гаджетів, серверів і хмарних служб за допомогою Papertrail, який легко налаштувати. Крім того, ви можете швидко виявити будь-які проблеми у вашій мережі та програмах і вжити заходів щодо їх усунення, коли всі ваші журнали знаходяться в одному місці. Професіонали DevOps люблять інструмент за його надійний інтерфейс командного рядка, який дозволяє їм швидко шукати та отримувати журнали. Щоб пришвидшити пошук несправностей у реальних умовах, він також надає зрозумілий інтерфейс із низкою варіантів для зменшення шуму, фільтрації окремих повідомлень і зосередження на певних часових рамках.
#5. Graylog з відкритим кодом
Graylog використовує техніку sidecar для збору журналів із вашого середовища у своїх безкоштовних інструментах рішення для керування журналами з відкритим кодом. Він має простий користувальницький інтерфейс, інструмент із високою масштабованістю та інструменти для візуального аналізу журналів. За допомогою вузлів багатопотокового пошуку інструменту ви можете швидко шукати великі обсяги журналів. Щоб контролювати своє середовище, ви також можете налаштувати сповіщення та сповіщення. Однак, щоб співвідносити журнали з кількох джерел, вам потрібно буде підписатися на корпоративну версію. Для деяких фірм відсутність у версії з відкритим вихідним кодом безкоштовних журналів аудиту може викликати серйозне занепокоєння.
Компанії з управління журналами
#1. 1Пароль
«Безпечний і практичний менеджер паролів — це 1Password. Ваші конфіденційні дані будуть захищені 256-бітним шифруванням AES. Легко впорядковуйте всі типи інформації за допомогою корисних категорій і власних тегів. Знайдіть те, що вам потрібно прямо зараз, за допомогою потужного персоналізованого пошуку. Одним клацанням миші 1Password заповнює веб-форми з вашими адресами, номерами кредитних карток і паролями.
#2. NetGuardians SA
«NetGuardians — швейцарська фінансово-технічна компанія з нагородами». З моменту заснування в 2007 році ми допомогли більш ніж 50 банкам рівня 1-3 у боротьбі з фінансовими злочинами. Щоб завчасно зупинити шахрайство, NetGuardians створили чудову систему штучного інтелекту, розроблену для банків. Пропонуючи технологію штучного інтелекту, відповідні дані та фантастичний досвід користувача, ми розширюємо можливості наших клієнтів. Використовуючи технологію NetGuardians, банки змогли зменшити кількість помилкових спрацьовувань на 83%, заощадити 93% часу, який зазвичай витрачається на розслідування шахрайства, і зупинити розвиток нових випадків шахрайства».
#3. Exabeam
Розумніша SIEM? Фірма Exabeam. Ми дозволяємо компаніям ефективніше виявляти, досліджувати та реагувати на кібератаки, щоб їхні команди з внутрішніх загроз і безпеки могли працювати ефективніше. Надмірна плата за реєстрацію, пропущені розосереджені напади та невідомі загрози, ручні розслідування та виправлення проблем більше не є проблемами, з якими охоронні фірми повинні миритися. Аналітики можуть збирати необмежену кількість даних журналу, застосовувати поведінкову аналітику для виявлення атак і автоматизувати реагування на інциденти як локально, так і в хмарі за допомогою платформи управління безпекою Exabeam. Час і спеціальні знання, необхідні для визначення тактики, стратегії та процедур зловмисника, додатково зменшуються завдяки Exabeam Smart Timelines, послідовності поведінки користувача та пристрою, розробленої за допомогою машинного навчання».
#4. Ваги та упередження
«Мета Weights & Biases — створити інструменти для професіоналів машинного навчання. Маючи лише 5 рядків коду, ви можете порівнювати, відстежувати та відображати експерименти ML. Команди машинного навчання можуть відстежувати свої моделі, набори даних і експерименти за допомогою програмного забезпечення для ваг і зміщень. У 2018 році було створено Weights and Biases (W&B)».
#5. Равелін
«Глобальні онлайн-ринки та динамічні компанії електронної комерції, які повинні швидко авторизувати замовлення, вибирають Ravelin як свою технологію захисту від шахрайства. Ми використовуємо передові інструменти обробки даних і машинного навчання для аналізу поведінки клієнтів і даних про транзакції, а також співпрацюємо безпосередньо з продавцями, щоб надавати неймовірно точні оцінки виявлення шахрайства. Миттєва інформація та рішення дозволяють приймати платежі зі швидкістю, необхідною для впевненого створення творчого бізнесу. Ravelin захищає торговців від ризику шахрайства, дозволяючи їм зосередитися на розширенні свого бізнесу».
#6. Humio
«Програмне забезпечення для керування журналами від Humio має найнижчу загальну вартість володіння, найкращі безлімітні тарифні плани на ринку, вимагає надзвичайно мало обчислювальної потужності та пам’яті, а також потребує мінімального обслуговування чи навчання». Humio — це єдина система керування журналами, яка дозволяє користувачам реєструвати все та відповідати на кожен запит у режимі реального часу, чи то в масштабі, локально чи в хмарі. Сучасна структура Humio без індексів робить усі дослідження та дослідження даних блискавично швидкими, навіть у масштабі. У 2016 році було засновано Humio».
Що таке інструмент керування журналами?
Інструменти керування журналами — це елементи, які збирають, упорядковують, перевіряють, відображають дані журналу та позбавляються від них. Технології керування журналами пропонують динамічний моніторинг продуктивності та керування сповіщеннями в реальному часі, щоб надати підприємствам кращу видимість і розуміння безпеки, ефективності та працездатності своїх систем.
Що з наведеного нижче є інструментом керування журналами?
- Сайт24x7
- Аналізатор брандмауера
- Аналізатор журналів SolarWinds
- Журнал подій Forwarder
- Монітор журналу Песслера
Які найкращі методи керування журналами?
8 передових методів керування журналами
- Впровадити структуроване журналювання.
- Вбудовуйте значення та контекст у повідомлення журналу.
- Уникайте реєстрації несуттєвих або конфіденційних даних.
- Збирайте журнали з різних джерел.
- Зберіть і централізуйте свої дані журналу.
- Журнали індексування для запитів і аналітики.
- Налаштуйте моніторинг журналів у реальному часі та сповіщення
Який інструмент із відкритим кодом корисний для керування журналами?
Одним із найулюбленіших інструментів із відкритим кодом серед компаній, яким потрібно відсортувати величезні обсяги даних і зрозуміти їхні системні журнали, є Elastic Stack, іноді відомий як ELK Stack.
Який найкращий засіб перегляду журналів?
7 найкращих переглядачів журналів
- Сервер для Kiwi Syslog від SolarWinds (безкоштовна пробна версія)
- LogViewPlus.
- Активуйте засіб перегляду журналів.
- LogViewer від UVviewsoft.
- Loggly® від SolarWinds
- Мережевий монітор PRTG від Paessler.
- Papertrail від SolarWinds
Що таке журнал відстеження?
Log Tracker пропонує ресурси для вивчення останніх системних подій Engage і пошуку відповідних записів журналу.
Що таке інструмент керування журналами?
Програма, відома як система керування журналами (LMS), збирає, упорядковує та зберігає журнали подій і дані журналів із кількох джерел в одному централізованому розташуванні.
Що таке інструменти реєстратора?
Обладнання, необхідне для виготовлення каротажу в свердловині. Слово часто скорочують до «інструмент».
Що таке колода?
Це практичне кріплення для каміна згорне будь-який папір у поліно, щоб ви спалили його в каміні чи дров’яній печі, прибираючи безлад із викинутих газет, а також допомагаючи опалювати ваш дім.
Пов'язані статті
- Партнерська програма Jumia: посібник із початку роботи (оновлено!)
- Що таке криптовалюта? Як це працює, ризики та поради
- Перевірте баланс картки: як перевірити баланс картки (+короткий посібник)
посилання
