Rectified Linear Unit

Why Trust Techopedia

What Does Rectified Linear Unit Mean?

The rectified linear unit (ReLU) is one of the most common activation functions in machine learning models. As a component of an artificial neuron in artificial neural networks (ANN), the activation function is responsible for processing weighted inputs and helping to deliver an output.

Advertisements

Techopedia Explains Rectified Linear Unit

With the ReLU as the activation function, the function returns positive values, but does not return negative values, returning zero if negative input applies.

Experts explain how ReLU works on interaction effects with input and accounts for non-linear results.

In general, ReLU works with principles like gradient descent to supply a model for a working activation function in a neural network. In addition, engineers refine the algorithmic work of machine learning programs and develop layers of neurons in ANNs to help to converge or resolve specific problems tackled by the technologies.

Alternatives to ReLU include sigmoid and tanh functions.

Advertisements

Related Terms

Margaret Rouse
Editor

Margaret jest nagradzaną technical writerką, nauczycielką i wykładowczynią. Jest znana z tego, że potrafi w prostych słowach pzybliżyć złożone pojęcia techniczne słuchaczom ze świata biznesu. Od dwudziestu lat jej definicje pojęć z dziedziny IT są publikowane przez Que w encyklopedii terminów technologicznych, a także cytowane w artykułach ukazujących się w New York Times, w magazynie Time, USA Today, ZDNet, a także w magazynach PC i Discovery. Margaret dołączyła do zespołu Techopedii w roku 2011. Margaret lubi pomagać znaleźć wspólny język specjalistom ze świata biznesu i IT. W swojej pracy, jak sama mówi, buduje mosty między tymi dwiema domenami, w ten…