آموزش رباتيك مبتدي

كه بيشترين مقدار را ارائه مي دهد [8]. اين تعريف همزمان با عملكرد پاداش است ، و اين است كه همه الگوريتم ها RL آن را دارد ، اما همه از آموزش رباتيك مبتدي  آن به طور يكسان استفاده نمي كنند. اين روش  به ويژه هنگامي كه فضاي حالت و حالت حالت داريد خوب كار مي كند.

اعمال محدود اگرچه ، يكي از معايب اصلي آن اين است كه مي تواند توليد كند نوسانات بزرگ در حين تمرين اين معمولاً به دليل اتفاق مي افتد 12 فصل 2. وضعيت هنر كه انتخاب هر اقدامي مي تواند به ميزان چشمگيري تغيير كند

تغيير دلخواه در مقادير برآورد شده توسط تابع مقدار [10].

شكل 2.2: تعريف كلي تابع مقدار [10] 2. رويكرد مبتني بر سياست. اين سياست رفتار نماينده را در هر ايالت تعريف مي كند ، يعني اين چيزي است كه تعيين مي كند آموزش رباتيك مبتدي  در چه اقدامي انجام شود هر لحظه بسته به وضعيت فعلي در اين حالت سياست (ها) π بهينه مي شود

مستقيماً ، بدون نگراني در مورد تابع مقدار. اگرچه ، در برخي موارد ، بله يك تابع مقدار براي بهينه سازي پارامترهاي خط مشي استفاده مي شود ، امااز آن براي انتخاب عملي كه بايد توسط عامل انجام شود [10] استفاده نمي شود. روشهاي مبتني بر سياست به نوبه خود به دو گروه تقسيم مي شوند: از يك سو ما سياستهاي قطعي داريم ، كه براي يك حالت هميشه عملكرد يكساني را برمي گردانند و معمولاً در محيط هاي قطعي مورد آموزش رباتيك مبتدي  استفاده قرار مي گيرند.

و از سوي ديگر ما سياستهاي تصادفي داريم كه نتيجه آن توزيع احتمالي مجموعه اقدامات ممكن براي هر ايالت است و معمولاً زماني استفاده مي شود كه عامل در يك محيط ناآشنا باشد [يازده] پيچيدگي اصلي اين روش در يافتن  ملكردي است كه ارزيابي مي كند به درستي چقدر از سياست استفاده مي شود 3. رويكرد مبتني بر مدل ، كه در آن محيط يك مدل است كه ما مي توانيم اصلاح كنيم نقطه ضعف اين مورد متفاوت است

نمايش مدل براي هر محيط ما بيشتر در اين مورد وارد نمي شويم تقريبي از آنجا كه در اين پروژه ما با هيچ الگوريتمي از اين كار نمي كنيم  نوع ، علاوه بر پيچيده تر براي درك. 2.5 يادگيري تقويت عميق 13 2.5 يادگيري تقويت عميق RL معمولي در محيط هايي كه فضاي حالت و مجموعه اقدامات احتمالي بسيار آموزش رباتيك مبتدي  بزرگ است. اين به اين دليل است كه نماينده بايد انجام دهد

يك اسكن طولاني تا زماني كه دانش كافي براي به دست آوردن نتيجه معقول را نداشته باشيد. به عنوان مثال ، در بازي شطرنج ، فضاي حالت محدود به تعداد مربع هاي روي تخته و قطعات هر بازيكن ، كه بسيار مقرون به صرفه است. با اين حال ، اكنون اجازه ايرانيان سايبر دهيد وظيفه اين پروژه ، يك محيط سه بعدي را بررسي كنيم

جايي كه فضاي حالت با تمام پيكربندي هاي ممكن تعريف مي شود كه a بازوي رباتيك مي تواند به علاوه تمام موقعيت هاي ممكن هدف برسد. آموزش رباتيك مبتدي  بديهي است كه در حالت دوم تعداد حالات و اقدامات به ميزان قابل توجهي است

بالاتر به عنوان راه حلي براي اين مشكل يادگيري تقويت عميق به نظر مي رسد (عميق يادگيري تقويتي) ، جايي كه شبكه هاي عصبي عميق lشبكه ها) براي رفع محدوديت هاي يادگيري تقويتي. در اين مورد، براي آموزش رباتيك مبتدي هر اقدام ممكن در حالت فعلي ، شبكه عصبي مسئول بازگشت است

تقريب پاداش تجمعي مورد انتظار مربوطهو در طول آموزش ، شبكه بايد ضرايبي را پيدا كند كه بيشترين عملكرد را با آن تقريب مي زند ورودي را به خروجي سيستم از طريق تعديل تكراري مرتبط مي كند [12]. در آغاز يادگيري تقويتي ، ضرايب شبكه عصبي به صورت تصادفي يا تصادفي آغاز مي شود. با استفاده از بازخورد از محيط ، شبكهنورون مي تواند از تفاوت بين پاداش مورد انتظار خود و پاداش استفاده كند

براي تنظيم وزنه ها و بهبود تفسير شما از چند حالته ، حقيقت اساسي است. آموزش رباتيك مبتدي اين حلقه بازخورد مشابه فرآيند انتشار مجدد در است يادگيري تحت نظارت. در حالي كه بايد توجه داشت كه پاداش بازگشت محيط ممكن است متغيرهاي ناشناخته متغير ، تأخير يا تحت تأثير قرار گيرد كه مي تواند نويز را به حلقه بازخورد وارد كند 

معرفي اين پروژه به درك و توسعه تكنيك هاي مختلف مي پردازد يادگيري تقويتي و يادگيري تقويت عميق ، كه در آن عامل وجود دارد قادر به يادگيري وظايف از بازخورد آموزش رباتيك مبتدي به دست آمده از محيط در نتيجه از اقدامات آنها به طور خاص ، چالش آموزش بازوي روباتيك براي يادگيري اجرا است

مجموعه اي از وظايف با پيچيدگي متفاوت ، با استفاده از الگوريتم هاي مختلف يادگيري تقويتي (RL) و يادگيري تقويت عميق (). براي انجام اين كار ، ما از جعبه ابزار S- ، كه براي مطالعه استفاده از حالتهاي نمايندگي در الگوريتم هاي RL ايجاد شده است. در اين پروژه ما آزمايشات را انجام مي دهيم

استفاده از يادگيري تمام به انتها ، جايي كه عامل به طور مستقيم از آن ياد مي گيرد مشاهدات خام سنسورها (در مورد ما ، دوربين در اين كار ، انجام روش شناسي اي كه به ما امكان درك بهتر را مي دهد ، ضروري بوده است ويژگي هاي الگوريتم هاي تشكيل دهنده هنر ، و آن آنها در آزمايش ها استفاده مي شوند. آموزش رباتيك مبتدي به لطف اين تحقيقات قبلي ، اين امر امكان پذير بوده است

نتيجه گيري منطقي و موجه ، درك بهتر رفتار توسط هر الگوريتم نمايش داده مي شود. لازم به ذكر است كه براي اين نوع يادگيري نتايج خوبي به دست مي آيد تا زماني كه ربات "آنچه هست" ياد نگيرد ، بسياري از تكرارهاي كار ضروري است خوب است و چه چيزي اشتباه است ". به همين دليل آزمايشات در شبيه ساز انجام مي شود ،

زيرا از اين طريق مي توان سرعت محاسبه را افزايش داده و خطرات را كاهش داد تجربي ربات هاي صنعتي به عنوان تكامل ماشين آلات اتوماتيك متولد شدند معمولي ، با اين مزيت كه به راحتي با بسياري از وظايف سازگار مي شوند رسيدگي. روبات ها آموزش رباتيك مبتدي معمولاً به تكنسين يا مهندس متخصص نياز دارند

كه قبلاً هريك از مسيري را كه ربات بايد در طول آن طي كند ، تعريف مي كند وظيفه. اين واقعيت باعث مي شود كه قبل از هرگونه حداقل تغيير در فرآيند توليد ، برنامه ريزي مجدد مسيرها ضروري است يك ربات معمولاً مجهز به تعداد زيادي سنسور حضور ، سنسور ديد  و غيره همراه با سيگنالهاي ارتباطي كه به آن امكان تعامل با محيط خود را مي دهد. بدون با اين حال ، ايرانيان سايبر همان مشكل باقي مي ماند: به طور معمول ربات رفتار مي كند

نماينده اي كه فقط نسبت به آنچه براي او از پيش تعيين شده واكنش نشان مي دهد. بنابراين كمبودي وجود دارداز اهميت عمومي برخوردار است از سوي ديگر ، در زمينه تحقيقات ، هوش مصنوعي (AI) يكي از آموزش رباتيك مبتدي موارد زير است مناطقي كه امروزه بيشترين توسعه و پتانسيل را دارند. از زمان ظاهر شدن  () [1] ، يادگيري از طريق شبكه هاي عصبي عميق (عميق يادگيري) زمينه هاي بيشتري را براي كشف راه حل ها به كار مي گيرد

جايگزين و م moreثرتر از موارد فعلي است. در اين بخش ما به تئوري هوش مصنوعي و به ويژه يادگيري تقويتي با هدف باز كردن راه براي كاربردها مي پردازيم ربات هايي كه داراي اين نوع فناوري هستند. تكنيك هاي يادگيري تقويتي (RL) بر اساس برخي از اصول اساسي است كه ما در طول اين پروژه برجسته مي كنيم. دستيابي به سيستمي با قابليت انطباق و يادگيري مداوم ، كه اصلاح شود

مدل شما به طور خودكار هنگام آموزش رباتيك مبتدي مواجه شدن با شرايط جديد ، نه اين فقط اجازه مي دهد كه رباتيك در بخشهاي بيشتري از صنعت كاشته شود ، اما همچنين مي تواند گامي مهم در جهت استفاده از روباتيك در خارج از كشور باشد

است.

2.1 مقدمه اي بر هوش مصنوعي اول ، ما بايد منظور از هوش مصنوعي (AI) را روشن كنيم. يك عامل هوشمند قادر است محيط خود را درك كرده و از عملكردهاي شناختي معمولي انسانها مانند استدلال و راه حل ، استفاده كند. از مشكلات جديد به عبارت ديگر ، هوش مصنوعي توانايي a است براي تفسير صحيح داده هاي خارجي ، يادگيري از داده هاي گفته شده و استفاده از اين دانش براي دستيابي به وظايف و اهداف خاص از طريق آموزش رباتيك مبتدي سازگاري[2] در مورد RL ، نماينده با در نظر گرفتن اقدامات انجام شده را انتخاب مي كند يك هدف كوتاه مدت (كه به حداكثر رساندن شانس موفقيت شما يا پاداش) ، بدون از دست دادن هدف بلند مدت حل يك كار. 

ابتدا بررسي مي كنيم كه آموزش رباتيك مبتدي چگونه حفاظت از داده هاي شخصي توسط softbots هايي كه از طريق برنامه عمل مي كنند به چالش كشيده شده است

اينترنت ، بيشتر از طريق شبكه جهاني وب ، و نحوه تحت تأثير قرار گرفتن حق حفاظت از داده هاي شخصي

روبات هاي فيزيكي ، به عنوان بخشي از اينترنت اشياء روباتيك. آموزش رباتيك مبتدي  سپس روي نحوه انجام نرم افزارهاي ربات متمركز مي شويم

و روبات هاي فيزيكي ممكن است بر حق احترام به زندگي خصوصي ، چه در دنياي مجازي (اينترنت) و چه در ديگر موارد ، تأثير بگذارند

در محيط فيزيكي. در نهايت ، ما توضيح مي دهيم كه چگونه روبات هاي فيزيكي مي توانند با حق تداخل داشته باشند

ايجاد و توسعه آموزش رباتيك مبتدي  روابط با ساير انسانها.

3.2.1 حفاظت از اطلاعات شخصي

حفاظت از اطلاعات شخصي و مقررات

مدل تجاري اوليه اينترنت بر اساس iranian cyber  نظارت گسترده (Schneier 2013) ساخته شده است. براي مثال،

فيس بوك داده هاي 1.86 ميليارد عضو خود را كه هر ماه فعال هستند ، پردازش مي كند ،

و گاهي 11

در مورد افرادي كه عضو اين وب سايت رسانه هاي اجتماعي آموزش رباتيك مبتدي  نيستند (روزندال ، 2012 ؛ Van Alsenoy al.

2015) .12 كوسينسكي و همكاران (2013) ادعا مي كنند كه موج سواري كاربران فيس بوك (براي مثال آنها

تعداد "دوست داشتن") ممكن است بسياري از اطلاعات شخصي حساس در مورد زندگي اين كاربران ، مانند آنها را فاش كند

سن ، جنس ، گرايش جنسي ، قوميت ، ديدگاه هاي مذهبي و سياسي ، ويژگي هاي شخصيتي ، سطح سطح هوش شادي ، آيا آنها از مواد اعتيادآور استفاده مي كنند و آيا والدين آنها استفاده مي كنند

جدا شده.

مقررات حفاظت از داده ها آموزش رباتيك مبتدي  در پردازش داده هاي شخصي اعمال مي شود. به عنوان مثال ، به عنوان تصويب شده توسط

كنوانسيون 108 شوراي اروپا در سال 1981 ، اصول جمع آوري عادلانه و قانوني را شامل مي شود

پردازش خودكار داده هاي شخصي اين كنوانسيون همچنين اقدامات كنترلي را براي افراد ارائه مي دهد.

مانند حق دريافت تأييد اينكه آيا داده هاي شخصي آنها ذخيره شده است يا نه

13 در سطح اتحاديه اروپا ، تلاش هاي زيادي انجام شده است

با ايجاد مقررات عمومي حفاظت از داده ها (GDPR) "اروپا را براي آموزش رباتيك مبتدي  عصر ديجيتال مناسب كنيد"

كه از 25 مه 2018 اعمال مي شود. 14 علاوه بر اين ، دستورالعمل حفظ حريم خصوصي الكترونيكي ؛

15 كه موارد مختلف را پوشش مي دهد

موضوعاتي مانند الزام براي درخواست رضايت كاربر قبل از اينكه مثلاً كوكي ها در اين موارد ذخيره شوند

يا دستگاه او ، توسط مقررات آموزش رباتيك مبتدي  حريم خصوصي الكترونيكي لغو مي شود