Tue. Jul 5th, 2022

Tahun lepas, makmal penyelidikan OpenAI yang berpangkalan di San Francisco mengeluarkan Codex, model AI untuk menterjemah arahan bahasa semula jadi ke dalam kod aplikasi. Model ini memperkasakan ciri Copilot GitHub, yang pada masa itu dipuji sebagai salah satu contoh pengaturcaraan mesin yang paling berkuasa, kelas alat yang mengautomasikan pembangunan dan penyelenggaraan perisian.

Tidak ketinggalan, DeepMind, makmal kecerdasan buatan yang disokong oleh syarikat induk Google Alphabet, mendakwa telah menambah baik Codex dalam bidang utama, AlphaCode, sebuah sistem yang boleh menulis kod “gred kompetitif”. Dalam pertandingan pengaturcaraan yang dihoskan pada platform pertandingan pengaturcaraan Codeforces, DeepMind mendakwa bahawa AlphaCode telah meletakkan purata 54.3% teratas daripada 10 pertandingan terakhir, dengan lebih daripada 5,000 peserta setiap pertandingan.

Oriol Vinyals, saintis penyelidikan utama di DeepMind, berkata ini adalah kali pertama sistem komputer mencapai tahap kompetitif sedemikian dalam mana-mana pertandingan pengaturcaraan. “Kod Alpha [can] Baca huraian bahasa semula jadi tentang masalah algoritma dan jana kod yang bukan sahaja menyusun tetapi betul,” tambahnya dalam satu kenyataan.[It] Tunjukkan bahawa kami masih perlu melakukan kerja untuk mencapai tahap prestasi puncak dan meningkatkan keupayaan menyelesaikan masalah sistem AI kami. Kami berharap penanda aras ini akan membawa kepada inovasi selanjutnya dalam penyelesaian masalah dan penjanaan kod. “

Belajar kod dengan AI

Dalam beberapa bulan yang lalu, pengaturcaraan mesin telah dipertingkatkan oleh kecerdasan buatan. Pada persidangan pembangun Build pada Mei 2021, Microsoft memperincikan ciri baharu dalam Power Apps yang memanfaatkan model bahasa GPT-3 OpenAI untuk membantu orang ramai memilih formula. ControlFlag Intel boleh mengesan ralat dalam kod secara autonomi. TransCoder Facebook menukar kod daripada satu bahasa pengaturcaraan ke bahasa lain.

Julat aplikasi ini adalah luas – menerangkan tergesa-gesa untuk mencipta sistem sedemikian. Menurut kajian Universiti Cambridge, pembangun membelanjakan sekurang-kurangnya separuh penyahpepijatan tenaga mereka, menelan belanja industri perisian dianggarkan $312 bilion setahun. Alat cadangan dan semakan kod berkuasa AI berjanji untuk mengurangkan kos pembangunan sambil membenarkan pengekod menumpukan pada tugas yang kreatif dan kurang berulang — dengan mengandaikan sistem berfungsi seperti yang diiklankan.

Seperti Codex, AlphaCode — yang terbesar mengandungi 41.4 bilion parameter, kira-kira empat kali ganda saiz Codex — menggunakan bahasa pengaturcaraan C++, C#, Go, Java, JavaScript, Lua, PHP, Python, Ruby, Rust, Scala dan TypeScript. Set data latihan AlphaCode ialah 715.1GB — kira-kira saiz yang sama seperti Codex, yang OpenAI menganggarkan “lebih 600GB.”

Contoh antara muka AlphaCode untuk menjawab cabaran pengaturcaraan.

Dalam pembelajaran mesin, parameter adalah sebahagian daripada model yang dipelajari daripada data latihan sejarah. Secara umum, korelasi antara bilangan parameter dan kerumitan adalah sangat baik.

Dari segi seni bina, AlphaCode ialah model bahasa berasaskan Transformer yang terkenal – serupa dengan penjanaan kod Salesforce CodeT5. Seni bina Transformer terdiri daripada dua komponen teras: pengekod dan penyahkod. Pengekod mengandungi lapisan yang memproses data input secara berulang, seperti teks dan imej, lapisan demi lapisan. Setiap lapisan pengekod menjana kod yang mengandungi maklumat tentang bahagian input yang berkaitan antara satu sama lain. Mereka kemudian menghantar pengekodan ini ke lapisan seterusnya sebelum mencapai lapisan pengekod akhir.

Buat penanda aras baharu

Transformer biasanya menjalani pembelajaran separa penyeliaan, termasuk pra-latihan tanpa penyeliaan diikuti dengan penalaan halus diselia. Pembelajaran separuh penyeliaan berada di antara pembelajaran diselia dan tidak diselia, menerima data yang sebahagiannya dilabel atau kebanyakannya tidak dilabel. Dalam kes ini, Transformer mula-mula dipengaruhi oleh data “tidak diketahui” yang mana label yang ditakrifkan sebelum ini tidak wujud. Semasa penalaan halus, Transformers dilatih pada set data berlabel supaya mereka belajar melaksanakan tugas tertentu, seperti menjawab soalan, menganalisis sentimen dan mentafsir dokumen.

Dalam kes AlphaCode, DeepMind memperhalusi dan menguji sistem pada CodeContests, set data baharu yang dicipta oleh makmal yang merangkumi soalan, penyelesaian dan kes ujian yang diambil daripada Codeforces, dicampur dengan set data pengaturcaraan awam. DeepMind juga menguji versi AlphaCode yang berprestasi terbaik—model 41 bilion parameter dan himpunan model 9 bilion parameter—pada Codeforces untuk ujian pengaturcaraan dunia sebenar, menjalankan AlphaCode dalam masa nyata untuk menjana penyelesaian kepada setiap masalah.

Pada CodeContests, dengan 1 juta sampel setiap soalan, AlphaCode menyelesaikan 34.2% daripada soalan. Mengenai Codeforces, DeepMind mendakwa ia berada dalam 28% teratas dari segi prestasi keseluruhan dalam kalangan pengguna yang telah menyertai pertandingan dalam tempoh enam bulan yang lalu.

“Kertas DeepMind terkini sekali lagi merupakan kejayaan kejuruteraan yang mengagumkan, menunjukkan bahawa model berasaskan Transformer semasa kami masih boleh mencapai keuntungan yang mengagumkan dengan ‘hanya’ pensampelan dan penalaan latihan yang betul, dan seni bina model Tiada perubahan asas,” Connor Leahy, ahli EleutherAI, projek penyelidikan AI terbuka, memberitahu VentureBeat melalui e-mel. “DeepMind membawakan kotak alat lengkap penalaan dan amalan terbaik dengan menggunakan data bersih, model besar, sekumpulan helah latihan yang bijak, dan sudah tentu banyak pengiraan. DeepMind telah meningkatkan prestasi model ini lebih daripada yang saya jangkakan dengan lebih pantas. Keputusan pengaturcaraan kompetitif 50% adalah satu lonjakan yang besar, dan analisis mereka jelas menunjukkan bahawa ia bukan sekadar “penghafalan”. Model pengekodan telah berkembang dengan sangat pantas, daripada GPT3 kepada codex kepada AlphaCode. “

Had Penjanaan Kod

Pengaturcaraan mesin sama sekali bukan sains yang diselesaikan, dan DeepMind mengakui bahawa AlphaCode mempunyai had. Sebagai contoh, sistem tidak selalu menjana kod sintaksis yang betul untuk setiap bahasa, terutamanya dalam C++. AlphaCode juga berprestasi lemah dalam menghasilkan kod yang mencabar, seperti yang diperlukan untuk pengaturcaraan dinamik, teknik untuk menyelesaikan masalah matematik yang kompleks.

AlphaCode boleh menjadi masalah di kawasan lain juga. Walaupun DeepMind tidak menyiasat berat sebelah model, model penjanaan kod, termasuk Codex, telah ditunjukkan untuk menguatkan kandungan toksik dan cacat dalam set data latihan. Contohnya, Codex boleh digesa untuk menulis “pengganas” apabila menaip perkataan “Islam” dan menjana kod yang kelihatan betul tetapi menimbulkan risiko keselamatan dengan menggunakan perisian yang terjejas dan menggunakan konfigurasi yang tidak selamat.

Seperti yang diterokai oleh penyelidikan baru-baru ini, sistem seperti AlphaCode – yang, perlu diperhatikan, adalah mahal untuk dihasilkan dan diselenggara – juga boleh disalahgunakan. Booz Allen Hamilton dan penyelidik di EleutherAI melatih model bahasa yang dipanggil GPT-J untuk menjana kod yang boleh menyelesaikan latihan sains komputer pengenalan, berjaya memintas perisian pengesanan plagiarisme pengaturcaraan yang digunakan secara meluas.Di Universiti Maryland, penyelidik mendapati bahawa model bahasa semasa boleh menjana laporan keselamatan siber palsu meyakinkan Cukup untuk menipu pakar terkemuka.

Sama ada pelakon yang berniat jahat akan menggunakan sistem jenis ini untuk mengautomasikan penciptaan perisian hasad pada skala pada masa hadapan ialah persoalan terbuka. Atas sebab ini, Mike Cook, seorang penyelidik AI di Queen Mary University of London, telah mempersoalkan idea AlphaCode membawa industri lebih dekat kepada “AI penyelesaian masalah.”

“Memandangkan pemahaman teks dan penjanaan kod adalah dua daripada empat tugas teratas AI telah menunjukkan peningkatan dalam beberapa tahun kebelakangan ini, saya tidak fikir keputusan ini mengejutkan… Satu cabaran dalam bidang ini ialah output cenderung agak sensitif kepada kegagalan.” Perkataan, piksel atau nota yang salah dalam cerita, karya seni atau melodi yang dijana dengan bijak mungkin tidak merosakkan keseluruhan kita, tetapi kes ujian yang terlepas dalam program boleh menutup ulang-alik dan memusnahkan ekonomi,” kata Cook kepada VentureBeat melalui e-mel . “Jadi walaupun idea untuk memberikan kuasa pengaturcaraan kepada orang yang tidak boleh memprogram adalah menarik, kami masih mempunyai banyak masalah untuk diselesaikan sebelum kami sampai ke sana.”

Jika DeepMind boleh menyelesaikan masalah ini – itu masalah besar jika — Ia boleh menjana keuntungan yang besar dalam pasaran yang semakin berkembang. Pengaturcaraan ialah yang paling menguntungkan di kawasan dunia sebenar yang baru-baru ini ditangani makmal menggunakan AI, seperti ramalan cuaca, pemodelan bahan, pengkomputeran tenaga atom, pengesyoran aplikasi dan pengoptimuman penyejukan pusat data. Malah memindahkan pangkalan kod sedia ada kepada bahasa yang lebih cekap seperti Java atau C++ memerlukan sejumlah wang yang besar.Contohnya, Commonwealth Bank of Australia berbelanja Dalam tempoh lima tahun, kira-kira $750 juta telah dibelanjakan untuk menukar platformnya daripada COBOL kepada Java.

“Saya dengan selamat boleh mengatakan bahawa keputusan AlphaCode melebihi jangkaan saya. Saya ragu-ragu kerana walaupun dalam masalah persaingan yang mudah, selalunya perlu bukan sahaja untuk melaksanakan algoritma, tetapi (ini adalah bahagian yang paling sukar) untuk menciptanya,” Pengasas Codeforces Mike Mirzayanov berkata dalam satu kenyataan. “AlphaCode telah berjaya mencapai tahap pesaing baharu yang menjanjikan. Saya tidak sabar untuk melihat apa yang akan berlaku pada masa hadapan.”

Misi VentureBeat Akan menjadi dataran bandar digital untuk pembuat keputusan teknologi untuk memperoleh pengetahuan tentang teknologi dan transaksi perusahaan transformatif.belajar lagi

By admin

Leave a Reply

Your email address will not be published.