Thứ Tư, 31 tháng 1, 2024

AI giải toán khó (AI cracks hard maths)

 

AI giải toán khó (AI cracks hard maths)

Lời giới thiệu: bài sau đây nói về Alpha Geometry là một cái máy. tại Google deep Mind do Thang Lương và nhóm của ông thực hiện. Thăng Lưông không rõ sanh tại đâu, nhưng học cấp hai tại Biên Hòa, cấp ba Saigon, dại học tại Singapore, rồi PhD tại Stanford Mỹ .

Đã từng được bình chọn 2018 là nhà nghiên cứu dưới 30 tuổi bởi Forbes
*********
Một AI tại Google Deep Mind có thể giải một số câu hỏi về hỉnh học của kỳ thi toán quốc tế (IMO), giỏi như những thí sinh hạng nhất. “những kết quả của Alpha Geometry là sốc (stunning) và kỳ diệu (breathtaking), Gregor Dolina, giám đốc IMO nói “điều ấy cho cảm tưởng (ít seems) là AI sẽ thắng huy chương vàng IMO sớm hơn nhiều là chúng ta nghĩ”.
Cuộc thi IMO, nhắm vào những học sinh cấp hai, là một trong những cuộc thi toán khó nhất thể giới. Trả lời đúng các câu hỏi đòi hỏi sự sáng tạo về toán. Điều này làm các AI phải vật lộn (struggle with), thì dụ với GPT4 có khả năng lý luận đáng kể trên các lãnh vực khác có điểm zero phần trăm trên những câu hỏi IMO, và ngay cả những AI chuyên biệt cũng vật lộn để trả lời, cũng như các người dự thi hạng trung bình.
Điều ấy một phần là do những bài toán quá khó, nhưng cũng vì có ít bài toán để huấn luyện trên AI trên dó. Cuộc thi được tổ chức hàng năm từ 1959 và mỗi lần (edition) bao gồm chỉ có 6 câu hỏi. Tuy nhiên một số những hê thống thành công nhất AI đòi hỏi hàng tỷ data điểm để học làm ra sao. Những bài toán hình học, là một hay hai của 6 câu hỏi và dính líu đến những sự kiện (facts) chứng minh về góc hay đường thẳng trong những hinh phức tạp, là đặc biệt khó để chuyển dịch vào hinh thức quen thuộc của mày điện toán (a computer friendly format).
Gold standard Tiêu chuẩn vàng
Thang Lưông tại Google deep mind và đồng nghiệp của ông vừa vượt qua (have bypassed) vấn đề này bằng cách tạo ra một dụng cụ (a tool) để tạo ra hàng trăm triệu bằng chứng hinh học mà máy đọc được. Khi họ huấn luyện và thử nó trên 30 câu hỏi hình học IMO, nó đã trả lời 25 câu đúng, so sánh với điểm cỡ chừng 25.9 câu đúng của một huy chương vàng IMO trong các cuộc thi.
“ Những hệ thống AI hiện nay của Chúng tôi còn vật lộn với cái khả năng để làm những điều như lý luân sâu, ở đó chúng tôi cần hoạch định trước cho nhiều, nhiều bước và cũng như cái tổng thể (the big picture), điều này là tại sao toán là một tiêu chuẩn quan trọng như thế và test set Cho chúng tôi trong nhiệm vụ của chúng tôi cho AI thông minh tổng quát“ Lượng nói trong một cuộc họp báo.
Alpha Geometry bao gồm hai phần, điều ấy Lương so sánh với những hệ thống suy nghĩ khác nhau trong não bộ, một cái nhanh là trực giác và một cái chậm hơn, cần nhiều phần tích hơn. Cái đầu tiên, phần trực giác là một mẫu ngôn ngữ, như kỹ thuật đằng sau ChatGPT. Nó được huấn luyện trên hàng triệu những bằng chứng tổng quát và gợi ý là những định lý nào và những lý luận nào để thử sắp đến cho một vấn đề. Một khi nó gợi ý
một bước kế tiếp, một cái máy “ lý luận tượng trưng “chậm hơn và cẩn thận hơn dùng các lề luật toán học và logic để hoàn chỉnh cái lập luận mà GPT đã đề nghị. Như thế hai hệ thống làm việc song song, thay phiên nhau cho đến khi vấn đề được giải quyết.
Trong khi phương pháp này trên những bài toán hình học IMO, những câu trả lời nó cấu tạo có khuynh hướng dài hơn và kém “đẹp“ so sánh với những trả lời của người, Lương nói. Nhưng AI có thể thấy những điều mà con người bị sót. Thì dụ máy đã khám phá ra một giải pháp tốt hơn và tổng quát hơn cho một câu hỏi IMO 2004 được liệt kê trong những câu trả lời chỉnh thức.
Giải những bài toán IMO cách ấy là ấn tượng (impressive) Yang - Hui He tại viện khoa học toán London nói, nhưng hê thống này vốn giới hạn (inherently limited) về toán học có thể dùng vì những câu hỏi IMO. phải được giải (should be solvable) dùng những định lý được dậy dưới mức đại học (below undergraduate level) .
Mở rộng khối lương kiến thức toán tiếp cận sẽ có thể cải thiện cái hệ thống và ngay cả giúp nó làm những sáng kiến toán học. Ông ta nói.
TM

I am a research scientist at Google Brain, finding a way to solve language understanding through deep learning.

I enjoyed 5 wonderful years as a PhD student in the Stanford NLP group, learning many many things from my advisor Prof. Christopher Manning.

I am from Vietnam and in case you haven't heard about it, my country has recently discovered Son Doong, the world's largest cave!

Here is my (generally outdated) CV.

News

  • Sep 2016 — Sep 26 marks my first day at Google! Exactly five years ago, I started my first day as a PhD student as Stanford. Time flies! Looking forward to a new journey & come say hi to me at Google!

  • Aug 2016 — We (Christopher Manning, Kyunghuyn Cho and I) gave a tutorial on Neural Machine Translation at ACL 2016 to an audience of over 200 people.

  • June 2016 — Three papers published at ACL and CoNLL, in Berlin, Germany.
    Our paper "Achieving Open Vocabulary Neural Machine Translation with Hybrid Word-Character Models" has "conquered" English-Czech translation.
    We have released our Matlab code too!

  • May 2016 — Busy but fun time! Talks at Google, OpenAI, SemanticsMachine, Baidu, and Facebook. Guest lecture on Neural Machine Translation in the Stanford Deep Learning for NLP class CS224D. More importantly, I have defended my thesis!

  • Mar 2016 — Excited to be in Puerto Rico this May for ICLR 2016!
    Our paper "Multi-task Sequence to Sequence Learning" has achieved state-of-the-art results in constituent parsing with 93 F1.

  • Feb 2016 — Talks at Microsoft Research and USC, ISI.

  • Dec 2015 — In Da Nang, Vietnam, for a panel discussion on "New trends in Spoken Language Translation" at IWSLT.
    We also have a winning entry for English-German TED talk translation, 26% error reduction from the 2nd place.

  • Nov 2015 — Guest lecture on Neural Machine Translation in the Stanford NLP class CS224N.

  • Oct 2015 — Talk at IBM Watson Research.

  • Sep 2015 — Three papers published at EMNLP and CogACLL, in Lisbon, Portugal.
    Our paper "Effective Approaches to Attention-based Neural Machine Translation" achieves the best result in English-German translation.
    We have released our Matlab code too!

  • Jul 2015 — Three papers published at ACL and CoNLL, in Beijing, China.
    Our paper "Addressing the Rare Word Problem in Neural Machine Translation" describes the very first state-of-the-art neural translation system.

  • May 2015 — Two papers at the NAACL VSM workshop, in Colorado, USA.
    Our paper "Bilingual Word Representations with Monolingual Quality in Mind" achieves the best performance in the cross-lingual document classification task.
    Our code which improves and extends word2vec is released too!
Older News

Research

I am now generally interested in deep learning approaches for natural language understanding. In recent years (2014 & 1025), I have researched extensively in the area of neural machine translation.

In the past, I built parsers used for psycholinguistics applications, worked on scholarly digital library systems, and investigated in model-based techniques for robust speech recognition systems.

Publications

2016

  • Minh-Thang Luong and Christopher D. Manning. A Hybrid Word-Character Approach to Open Vocabulary Neural Machine Translation. ACL’16.
    [ Paper ] [ Bib ] [ Project page ] [ SOTA English-Czech translation in WMT ]

  • Joern Wuebker, Spence Green, John DeNero, Sasa Hasan, and Minh-Thang Luong. Models and Inference for Prefix-Constrained Machine Translation. ACL’16.
    [ Paper ] [ Bib ] [ SOTA in the prefix completion task for interactive machine translation ]

  • Abigail See*, Minh-Thang Luong*, and Christopher D. Manning. Compression of Neural Machine Translation Models via Pruning. CoNLL’16.
    [ Paper ] [ Bib ] [ Can prune models up to 80% without loss of performance. ]

  • Minh-Thang Luong, Ilya Sutskever, Quoc V. Le, Oriol Vinyals, and Lukasz Kaiser. Multi-task Sequence to Sequence Learning. ICLR’16.
    [ Paper ] [ Bib ] [ Poster ] [ SOTA results in constituent parsing, 93 F1 ]

2015

  • Minh-Thang Luong and Christopher D. Manning. Stanford Neural Machine Translation Systems for Spoken Language Domain. IWSLT’15.
    [ Paper ] [ Bib ] [ Slides ] [ IWSLT result overview ] [ SOTA English-German system for TED talks, 26% better than the 2nd place. ]

  • Minh-Thang Luong, Hieu Pham, and Christopher D. Manning. Effective Approaches to Attention-based Neural Machine Translation. EMNLP’15.
    [ Paper ] [ Bib ] [ Slides ] [ Project page ] [ SOTA results in WMT English-German translation ]

  • Jiwei Li, Minh-Thang Luong, Dan Jurafsky, and Eduard Hovy. When Are Tree Structures Necessary for Deep Learning of Representations?. EMNLP’15.
    [ Paper ] [ Bib ]

  • Minh-Thang Luong, Timothy J. O'Donnell, and Noah D. Goodman. Evaluating Models of Computation and Storage in Human Sentence Processing. CogACLL’15.
    [ Paper ] [ Bib ] [ Slides ] [ Code (Earleyx parser) ]

  • Minh-Thang Luong*, Ilya Sutskever*, Quoc V. Le*, Oriol Vinyals, Wojciech Zaremba. Addressing the Rare Word Problem in Neural Machine Translation. ACL’15.
    [ Paper ] [ Bib ] [ Slides ] [ SOTA results in WMT English-French translation ]

  • Jiwei Li, Minh-Thang Luong, Dan Jurafsky. A Hierarchical Neural Autoencoder for Paragraphs and Documents. ACL’15.
    [ Paper ] [ Bib ]

  • Minh-Thang Luong, Michael Kayser, and Christopher D. Manning. Deep Neural Language Models for Machine Translation. CoNLL’15.
    [ Paper ] [ Bib ] [ Poster ] [ Project page for code. ]

  • Minh-Thang Luong, Hieu Pham, and Christopher D. Manning. Bilingual Word Representations with Monolingual Quality in Mind. NAACL’15 VSM workshop.
    [ Paper ] [ Bib ] [ Project page for code and trained embeddings. ] [ SOTA results in cross-lingual document classification ]

  • Hieu Pham, Minh-Thang Luong, Christopher D. Manning. Learning Distributed Representations for Multilingual Text Sequences. NAACL’15 VSM workshop.
    [ Paper ] [ Bib ]

2013