دانلود سورس پیاده سازی مقاله درس شبکه های عصبی

نوشته شده توسط donyafile Comments

دانلود سورس پیاده سازی مقاله درس شبکه های عصبی

رویکردی خطی برای کدکردن اسپارس به وسیله یک شبکه عصبی دولایه

مقدمه:

در این مقاله با استفاده از شبکه های عصبی دولایه، به مدل سازی ساختن یک نمونه ها با ضرایب اسپارس از سایر نمونه ها میپردازد.

لینک دانلود و مشاهده مقاله

A linear approach for sparse coding by a two-layer neural network (2015)

Abstract

Many approaches to transform classification problems from non-linear to linear by feature transformation have been recently presented in the literature. These notably include sparse coding methods and deep neural networks. However, many of these approaches require the repeated application of a learning process upon the presentation of unseen data input vectors, or else involve the use of large numbers of parameters and hyper-parameters, which must be chosen through cross-validation, thus increasing running time dramatically. In this paper, we propose and experimentally investigate a new approach for the purpose of overcoming limitations of both kinds. The proposed approach makes use of a linear auto-associative network (called SCNN) with just one hidden layer. The combination of this architecture with a specific error function to be minimized enables one to learn a linear encoder computing a sparse code which turns out to be as similar as possible to the sparse coding that one obtains by re-training the neural network. Importantly, the linearity of SCNN and the choice of the error function allow one to achieve reduced running time in the learning phase. The proposed architecture is evaluated on the basis of two standard machine learning tasks. Its performances are compared with those of recently proposed non-linear auto-associative neural networks. The overall results suggest that linear encoders can be profitably used to obtain sparse data representations in the context of machine learning problems, provided that an appropriate error function is used during the learning phase.

پروژه درس: شبکه عصبی

مقدمه:

این مساله به صورت حل این مساله بهینه سازی است:

که در فوق، سعی شده است که با استفاده از ضرایبی، فاصله X از UD^T کمترین حد خود باشد. همچنین ترم دوم نشان دهنده این است که این ضرایب یعنی U ها باید تا حد امکان کم کوچک باشند که همین امر منجر به این میشود که U ماتریسی اسپارس گردد.

شبیه همین مدل، در این مقاله نیز سعی شده است که مدلی معرفی شود که نقص های روش های قبلی از جمله سرعت کم آنها پوشیده شود. زیرا در حالات قبل، به ازای هر نمونه باید یک مسئله بهینه سازی حل میشد.

مدل SCNN:

مدل SCNN یا Sparse Coding Neural Network تشکیل شده از یک شبکه عصبی است این شبکه به دو بخش بالایی (top) و پایینی(bottom) تقسیم میشود .

پیاده سازی:

داده ها پس از دانلود، در پوشه dataset پیوست شده موجود است. هر داده مربوط به اعداد ۰ تا ۹ میباشد که به صورت زیر بارگذاری شده است:

% load dataset

num_data = 500; % از هر کلاس ۵۰ داده میشود

mydigits = zeros(10,num_data/10,14,14);

mydigits_test = zeros(10,num_data/10,14,14);

X = zeros(num_data,14*14);

X_test = zeros(num_data,14*14);

for i=0:9

path = strcat(‘./dataset/data’,num2str(i));

fid=fopen(path,’r’);%open the file

for j=1:num_data/10

% a train data

[t1,N]=fread(fid,[28 28],’uchar’); % read training example

t1 = (t1./255)*2 -1; % mapping into [-1 , 1]

mydigits(i+1,j,:,:) = t1(1:2:end , 1:2:end)’; % resizing to 14*14;

X(i*50+j,:) = mydigits(i+1,j,:);

% a test data

[t2,N]=fread(fid,[28 28],’uchar’); % read training example

t2 = (t2./255)*2 -1; % mapping into [-1 , 1]

mydigits_test(i+1,j,:,:) = t2(1:2:end , 1:2:end)’; % resizing to 14*14;

X_test(i*50+j,:) = mydigits_test(i+1,j,:);

% show some of digits

if j<=5

subplot(10,5,5*(i)+j);

imshow(t1′);

title(num2str(i));

end

داده های آموزش در متغیر X و داده های تست در متغیر X_test ذخیره میشوند. این دو متغیر به تعداد داده ها سطر دارد و به تعداد ۱۴*۱۴ ستون موجود است. همچنین قطعه کد:

if j<=5

subplot(10,5,5*(i)+j);

imshow(t1′);

title(num2str(i));

end

به منظور رسم ۵ نمونه از کلاس است که حاصل آن تصویری به صورت زیر است: