Ми можемо вибрати один із трьох методів налаштування гіперпараметрів — пошук по сітці, випадковий пошук і байєсовська оптимізація. Якщо оцінка нашої моделі з навчальними даними буде швидкою, ми можемо вибрати метод пошуку по сітці. В іншому випадку ми повинні вибрати випадковий пошук або байєсовську оптимізацію, щоб заощадити час і обчислювальні ресурси.
Приклади гіперпараметрів включають кількість вузлів і шарів у нейронній мережі та кількість гілок у дереві рішень. Гіперпараметри визначають такі ключові характеристики, як архітектура моделі, швидкість навчання та складність моделі.
Кроки для виконання гіперпараметричного налаштування
- Виберіть правильний тип моделі.
- Перегляньте список параметрів моделі та побудуйте простір HP.
- Пошук методів пошуку гіперпараметричного налаштування.
- Застосування підходу схеми перехресної перевірки.
- Оцініть оцінку моделі, щоб оцінити модель.
Щоб активувати оптимізацію гіперпараметрів, ми повинні надайте файл перевірки з аргументом -autotune-validation. Під час автоналаштування FastText відображає найкращий показник f1, знайдений на даний момент. Якщо ми вирішимо зупинити налаштування до закінчення часу, ми можемо надіслати один сигнал SIGINT (наприклад, через CTLR-C).
5 Методи оптимізації гіперпараметрів
- Ручний пошук. Ручний пошук — це метод налаштування гіперпараметрів, у якому фахівець з даних або інженер машинного навчання вручну вибирає та налаштовує гіперпараметри моделі. …
- Пошук по сітці. …
- Випадковий пошук. …
- Байєсовська оптимізація. …
- Гіперсмуга.