При обучении глубоким нейронным сетям часто полезно снизить скорость обучения в процессе обучения. Это может быть сделано с использованием предопределенных расписаний или адаптивных методов обучения . В этой статье я обучаю сверточную нейронную сеть на CIFAR-10, используя различные графики скорости обучения и методы адаптивной скорости обучения, чтобы сравнить их модельные характеристики.

Графики скорости обучения стремятся регулировать скорость обучения во время обучения, уменьшая скорость обучения в соответствии с заранее определенным расписанием. Обычные графики скорости обучения включают основанное на времени затухание , ступенчатое затухание и экспоненциальное затухание . Для наглядности я строю сверточную нейронную сеть, обученную на CIFAR-10, используя алгоритм оптимизации стохастического градиентного спуска (SGD) с различными графиками скорости обучения для сравнения характеристик.

Постоянная скорость обучения

Постоянная скорость обучения является графиком скорости обучения по умолчанию в оптимизаторе SGD в Керасе. Импульс и скорость затухания по умолчанию установлены на ноль. Сложно выбрать правильную скорость обучения. Экспериментируя с диапазоном скоростей обучения в нашем примере, лр = 0,1 показывает относительно хорошую производительность для начала. Это может послужить нам базой для экспериментов с различными стратегиями скорости обучения.

 керас.оптимизаторы.SGD (lr = 0.1, импульс = 0.0, распад = 0.0, nesterov =  False ) 

Затухание, основанное на времени

Математическая форма затухания, основанного на времени, составляет lr = lr0 / (1 + kt) , где lr , k — гиперпараметры, а t — номер итерации. Рассматривая исходный код Keras, оптимизатор SGD принимает спада, и lr аргументов и обновляет скорость обучения с уменьшающимся коэффициентом в каждую эпоху.

 lr * = (1. / (1. + self.decay * self.iterations)) 

Momentum — это еще один аргумент в оптимизаторе SGD, который можно настроить для получения более быстрой сходимости. В отличие от классической SGD, импульсный метод помогает параметрическому вектору наращивать скорость в любом направлении с постоянным градиентным спуском, чтобы предотвратить колебания. Типичный выбор импульса составляет от 0,5 до 0,9.

также имеет аргумент nesterov , который по умолчанию имеет значение false.Нестеровский импульс — это другой вариант метода импульса, который имеет более сильные теоретические гарантии сходимости для выпуклых функций. На практике это работает немного лучше, чем стандартный импульс.

В Keras мы можем реализовать затухание на основе времени, задав начальную скорость обучения, скорость затухания и импульс в оптимизаторе SGD.

 learning_rate = 0,1 
 decay_rate = learning_rate / epochs 
 График пошагового распада снижает коэффициент обучения каждые несколько эпох.floor (epoch / epochs_drop) 

Типичным способом является снижение скорости обучения наполовину каждые 10 эпох. Чтобы реализовать это в Keras, мы можем определить функцию пошагового затухания и использовать обратный вызов LearningRateScheduler, чтобы взять функцию пошагового затухания в качестве аргумента и вернуть обновленные скорости обучения для использования в оптимизаторе SGD.

 def step_decay (эпоха): 
 initial_lrate = 0,1 
 drop = 0,5 
 epochs_drop = 10,0 
 lrate = initial_lrate * math.pow (drop, 
 math.floor ((1 + epoch) / epochs_drop)) 
 return lratelrate = LearningRateS (step_decay) 

В качестве отступления обратный вызов — это набор функций, которые должны применяться на определенных этапах процедуры обучения.Мы можем использовать обратные вызовы, чтобы получить представление о внутренних состояниях и статистике модели во время обучения. В нашем примере мы создаем пользовательский обратный вызов, расширяя базовый класс keras.callbacks.Callback для записи истории потерь и скорости обучения во время процедуры обучения.

 class LossHistory (keras.callbacks.Callback): 
 def on_train_begin (self, logs = {}): 
 self.losses = [] 
 self.lr = [] 
 def on_epoch_end (self, batch, logs = {} ): 
 self.losses.append (logs.get ('loss')) 
 self.lr.append (step_decay (len (self.losses))) 
 

Собрав все вместе, мы можем передать список обратных вызовов, состоящий из обратных вызовов LearningRateScheduler и нашего пользовательского обратного вызова, чтобы соответствовать модели. Затем мы можем визуализировать график скорости обучения и историю потерь, обратившись к loss_history.lr и loss_history.losses .

 loss_history = LossHistory () 
 lrate = LearningRateScheduler (step_decay) 
 callbacks_list = [loss_history, lrate] history = model.(−kt) , где  lr ,  k  - гиперпараметры, а  t  - номер итерации. Точно так же мы можем реализовать это путем определения экспоненциальной функции затухания и передать ее в  LearningRateScheduler . Фактически, любой пользовательский график распада может быть реализован в Keras, используя этот подход. Единственное отличие заключается в определении другой пользовательской функции затухания. 
 
 def exp_decay (эпоха): 
 initial_lrate = 0,1 
 k = 0,1 
 lrate = initial_lrate * exp (-k * t) 
 return lratelrate = LearningRateScheduler (exp_decay) 
Рис. 4a: График экспоненциального убыванияФиг 4b: Расписание экспоненциального убывания Теперь мы сравним точность модели, используя различные графики скорости обучения в нашем примере.
 Рис. 5: Сравнение характеристик различных графиков скорости обучения
 Проблема использования графиков скорости обучения заключается в том, что их гиперпараметры должны быть определены заранее, и они сильно зависят от типа модели и проблемы. Другая проблема заключается в том, что одинаковая скорость обучения применяется ко всем обновлениям параметров. Если у нас есть редкие данные, мы можем вместо этого обновить параметры в другой степени.
 Адаптивные алгоритмы градиентного спуска, такие как Adagrad ,  Adadelta, RMSprop ,  Adam, предоставляют альтернативу классическому SGD.Эти методы оценки скорости обучения для каждого параметра обеспечивают эвристический подход, не требуя дорогостоящей работы по настройке гиперпараметров для расписания скорости обучения вручную.
 Вкратце,  Adagrad  выполняет большие обновления для более разреженных параметров и меньшие обновления для менее разреженных параметров. Он имеет хорошую производительность с разреженными данными и обучением крупномасштабной нейронной сети. Тем не менее, его монотонная скорость обучения обычно оказывается слишком агрессивной и перестает учиться слишком рано при обучении глубоких нейронных сетей. Adadelta  - это расширение Adagrad, которое стремится снизить свою монотонно уменьшающуюся скорость обучения.  RMSprop  очень просто настраивает метод Адаграда, пытаясь снизить его монотонно уменьшающуюся скорость обучения.  Adam  - это обновление оптимизатора RMSProp, похожее на RMSprop с импульсом.
 В Keras мы можем легко реализовать эти алгоритмы адаптивного обучения, используя соответствующие оптимизаторы. Обычно рекомендуется оставить для гиперпараметров этих оптимизаторов значения по умолчанию (за исключением иногда  lr ).
 keras.optimizers.Adagrad (lr = 0,01, эпсилон = 1e-08, распад = 0,0) keras.optimizers.Adadelta (lr = 1,0, rho = 0,95, эпсилон = 1e-08, распад = 0,0) keras.optimizers. RMSprop (lr = 0,001, rho = 0,9, эпсилон = 1e-08, распад = 0,0) keras.optimizers.Adam (lr = 0,001, beta_1 = 0,9, бета_2 = 0,999, эпсилон = 1e-08, распад = 0,0) 
 Давайте теперь посмотрим на характеристики модели, используя различные адаптивные методы обучения. В нашем примере Adadelta дает лучшую точность модели среди других адаптивных методов обучения.
 Рис. 6: Сравнение характеристик различных алгоритмов адаптивного обучения
 Наконец, мы сравниваем характеристики всех графиков скорости обучения и методов адаптивной скорости обучения, которые мы обсуждали.
 Рис. 7. Сравнение характеристик различных графиков скорости обучения и алгоритмов адаптивного обучения
 Во многих примерах, над которыми я работал, методы адаптивной скорости обучения демонстрируют лучшую производительность, чем графики скорости обучения, и они требуют гораздо меньших усилий в настройках гиперпараметра. Мы также можем использовать  LearningRateScheduler  в Keras для создания пользовательских расписаний скорости обучения, которые являются специфическими для нашей проблемы с данными.
 Для дальнейшего чтения в статье Йошуа Бенжио содержатся очень хорошие практические рекомендации по настройке скорости обучения для глубокого обучения, такие как, как установить начальную скорость обучения, размер мини-пакета, количество эпох и использование ранней остановки и импульса.
 Исходный код
 Список литературы: 
.
 Типичные ошибки, которые следует избегать при сварке труб
 Сварка труб или изготовление труб - это метод, при котором две трубы соединяются вместе. Этот процесс достижим с помощью различных методов сварки, таких как дуговая сварка, MIG-сварка, TIG-сварка и ряд других методов сварки.
 Возможности трудоустройства для сварщиков возросли за последние годы благодаря бурно развивающимся отраслям.
  СВЯЗАННЫЕ: СВАРКА: ШВЕЙНЫЕ ПРИМЕНЕНИЯ, ПРЕИМУЩЕСТВА И НЕДОСТАТКИ 
 Однако для сварки труб в промышленности требуются квалифицированные рабочие.Поскольку сварка является сложным процессом, допустимая погрешность может быть весьма значительной.
 Следовательно, точность и сопротивление являются ключевыми в этой области.
 Ошибки при сварке труб могут быть как у начинающих, так и у специалистов. Понимание их - лучший способ предотвратить такие случаи в первую очередь.
 Ошибки в сварке прокладывают путь к дефектам сварки. Недавно Honda пришлось отозвать некоторые из своих моделей CR-V из-за неисправного сварного шва, который мог привести к утечке топлива.Курская подводная катастрофа - еще один пример того, как дефекты сварки могут нанести огромный вред не только машинам, но и человеческим жизням.
 Процессы сварки труб должны быть начаты, потому что любая ошибка может привести к утечке полезной нагрузки. Давайте посмотрим на некоторые из распространенных ошибок в сварке труб в отрасли.
 Подготовка трубы очень важна, когда дело доходит до сварки трубы. Лишь немногие из сварочных процессов не требуют подготовки заготовки перед сваркой.
 Эта подготовка труб начинается с обеспечения того, чтобы соединяемые края были гладкими и однородными.
 Во многих случаях соединяемые трубы подвергались бы некоторой резке или сварке, прежде чем они попадут в руки сварщика. Поэтому перед фактическим процессом сварки часто используют процедуру шлифования поверхности, чтобы получить правильные края.
 Следующим шагом является очистка труб для удаления любых видов смазок, масел или других загрязнений, присутствующих на поверхности труб.
 Без соблюдения надлежащей практики подготовки труб сварные швы, вероятно, столкнутся с множеством проблем, таких как включение водорода, улавливание шлака и отсутствие плавления. Это в конечном итоге приводит к более слабым сварным швам и дефектам сварного шва.
 Несмотря на то, что материал наполнителя будет регулироваться для устранения незначительного выравнивания поверхностей, существует предел того, чего он может достичь. Когда детали не соединены с правильным выравниванием, мы видим такие случаи, как скос со слишком крутым углом.
 Сборка деталей является стандартной процедурой при сварке труб.Тем не менее, иногда мы видим, как сварщики спешат с процессом, и это приводит к смещению дефектов сварки, которые являются как неприглядными, так и структурно более слабыми по сравнению с надлежащим сварным швом.
 
 WPS или спецификация процедуры сварки - это документ, который содержит информацию, предназначенную для сварщиков, и помогает им делать сварные швы, соответствующие требованиям кода. Слишком часто опытные сварщики игнорируют прохождение такой документации.
 Но это не мудрый выбор. Сварка труб имеет много переменных от материала трубы до типа сварного шва, который используется в процессе.
 WPS будет иметь всю информацию, относящуюся к процессу сварки, такую ​​как тип сварки, позиции сварки, классификация присадочного материала, температуры предварительного нагрева, температуры после нагрева, обработка сварного шва и многое другое.
 Перед началом процесса сварки всегда рекомендуется обращаться к WPS.
 Подготовка суставов не имеет универсальной процедуры, которой вы можете следовать.Эти процедуры меняются в зависимости от типа используемой сварки.
 Подготовка соединения для сварки стержнем не такая, как в MIG-сварке. Они оба требуют различного набора подходов, и использование правильного для правильного сварного шва - единственный способ обеспечить идеальные сварные соединения труб.
 Без правильной процедуры сварки у вас могут возникнуть серьезные дефекты сварки.
 Защитный газ используется для защиты сварного шва от атмосферных газов, таких как водород и азот.Многие сварочные процессы, такие как лазерная сварка, используют защитные газы для создания лучших сварных швов.
 Однако одно из наиболее распространенных заблуждений, которые есть у многих сварщиков, заключается в том, что большее количество защитного газа обеспечит большую защиту. Однако это не так, а в некоторых случаях это может даже отрицательно повлиять на сварной шов.
 Сварочный газ высокого давления на полной скорости тратит много защитного газа без каких-либо преимуществ. Кроме того, сила от защитного газа может возбудить сварочную ванну.
 Всегда рекомендуется использовать регулятор потока, чтобы гарантировать, что сварной шов получает необходимое количество защитного газа.
 Многие сварщики обвиняют источники энергии в пористости сварных швов. Источник питания не может вызвать пористость сварного шва.
 Однако другие факторы, такие как замена катушки с проволокой, использование неправильного газа или отсутствие предварительной подготовки заготовок, часто приводят к пористости сварных швов.
 Это говорит о том, что сварщик должен соблюдать осторожность на каждом этапе процесса, чтобы обеспечить хорошее соединение труб. Вещи, которые кажутся безвредными, такие как кратковременное нарушение потока газа, могут создать пористость в сварных швах.
 Дуговая сварка часто вызывает образование шлака. Флюсовое покрытие играет основную роль в создании шлаковых включений.
 Сварщики должны использовать правильную скорость и угол, чтобы гарантировать, что производство шлака ограничено минимальными уровнями. Включение шлака также можно предотвратить, если использовать правильное количество напряжения для сварочной проволоки.
 Очистка между сварочными проходами - это еще один способ предотвращения накопления шлака.
 
 Сварка труб требует прочного и идеального шва.Почему это важно, легко понять, потому что плохие сварочные работы приводят к утечкам, которые могут вызвать серьезные повреждения из-за жидкости, которая будет удерживаться.
  СВЯЗАННЫЕ: ХОЛОДНАЯ СВАРКА: СОЕДИНЕНИЕ МЕТАЛЛОВ БЕЗ ТЕПЛА 
 Следовательно, ошибки не возможны. Как сварщик, вы должны убедиться, что каждый шаг процесса сделан до совершенства.
 Когда вы выполняете каждый шаг с осторожностью и совершенством, вы не оставляете места для ошибки.
No related posts.
Последнее изменение: 05.07.2020
   Предыдущая история:
 Как почистить сливную яму: Как очистить выгребную яму – механическая, химическая, биологическая очистка
   Следующая история:
 Хорек описание – Хорек – фото, описание, ареал, рацион, враги, популяция
Об авторе: alexxlab
 
Добавить комментарий Отменить ответ
Ваш адрес email не будет опубликован. Обязательные поля помечены *
Комментарий *
Имя * 
Email * 
Сайт