阿西什·瓦斯瓦尼

阿西什·瓦斯瓦尼(英语:Ashish Vaswani)是一名从事深度学习计算机科学家[1],因其在人工智能自然语言处理(NLP)领域的重大贡献而知名。他是开创性论文《Attention Is All You Need英语Attention Is All You Need》的合著者之一[2],该论文介绍了Transformer模型,这是一种使用自注意力机制的新型架构,自此成为NLP领域许多最先进模型的基础。Transformer架构是语言模型的核心,为ChatGPT等应用提供了动力[3][4][5]。他是Adept人工智能实验室的共同创办人[6][7],也曾是Google大脑的研究科学家[8][9]

职业生涯

编辑

2002年,瓦斯瓦尼完成贝拉理工学院梅斯拉分校英语Birla Institute of Technology, Mesra电脑科学工程学的学业。2004年,他前往美国南加州大学继续深造[10],并获得博士学位[11]。他曾在Google担任研究员[12],是Google大脑团队的一员。 他曾是Adept AI Labs的联合创始人之一,但后来离开该公司[13][14]

知名作品

编辑

瓦斯瓦尼最知名的作品是2017年发表的论文《Attention Is All You Need英语Attention Is All You Need[15]。论文介绍了Transformer模型,该模型在序列到序列任务中避免使用递归,而完全依赖自注意力机制。该模型对随后几个最先进的NLP模型(包括BERT[16]GPT-2GPT-3)的开发起到重要作用。

参考资料

编辑
  1. ^ Ashish Vaswani. scholar.google.com. [2023-07-11]. (原始内容存档于2023-12-22). 
  2. ^ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N.; Kaiser, Lukasz; Polosukhin, Illia. Attention Is All You Need. December 5, 2017. arXiv:1706.03762  [cs.CL]. 
  3. ^ Inside the brain of ChatGPT. stackbuilders.com. [2023-07-12]. (原始内容存档于2023-12-08) (英语). 
  4. ^ Understanding ChatGPT as explained by ChatGPT. Advancing Analytics. 2023-01-18 [2023-07-12]. (原始内容存档于2023-07-12) (美国英语). 
  5. ^ Seetharaman, Deepa; Jin, Berber. ChatGPT Fever Has Investors Pouring Billions Into AI Startups, No Business Plan Required. Wall Street Journal. 2023-05-08 [2023-07-12]. ISSN 0099-9660. (原始内容存档于2023-11-06) (美国英语). 
  6. ^ Introducing Adept. [2024-01-04]. (原始内容存档于2024-02-23). 
  7. ^ Top ex-Google AI researchers raise $8 million in funding from Thrive Capital. The Economic Times. May 4, 2023 [2024-01-04]. (原始内容存档于2023-11-03). 
  8. ^ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N.; Kaiser, Lukasz; Polosukhin, Illia. Attention is All You Need. May 21, 2017. arXiv:1706.03762  [cs.CL]. 
  9. ^ Shead, Sam. A.I. gurus are leaving Big Tech to work on buzzy new start-ups. CNBC. 2022-06-10 [2023-07-12]. (原始内容存档于2024-02-29) (英语). 
  10. ^ Team, OfficeChai. The Indian Researchers Whose Work Led To The Creation Of ChatGPT. OfficeChai. February 4, 2023 [2024-01-04]. (原始内容存档于2023-11-29). 
  11. ^ Ashish Vaswani's webpage at ISI. www.isi.edu. [2024-01-04]. (原始内容存档于2023-10-14). 
  12. ^ Transformer: A Novel Neural Network Architecture for Language Understanding. ai.googleblog.com. August 31, 2017 [2024-01-04]. (原始内容存档于2021-10-27). 
  13. ^ Rajesh, Ananya Mariam; Hu, Krystal; Rajesh, Ananya Mariam; Hu, Krystal. AI startup Adept raises $350 mln in fresh funding. Reuters. March 16, 2023 [2024-01-04]. (原始内容存档于2023-05-20) –通过www.reuters.com. 
  14. ^ Tong, Anna; Hu, Krystal; Tong, Anna; Hu, Krystal. Top ex-Google AI researchers raise funding from Thrive Capital. Reuters. 2023-05-04 [2023-07-11]. (原始内容存档于2023-09-03) (英语). 
  15. ^ USC Alumni Paved Path for ChatGPT. USC Viterbi | School of Engineering. [2024-01-04]. (原始内容存档于2023-09-23). 
  16. ^ Devlin, Jacob; Chang, Ming-Wei; Lee, Kenton; Toutanova, Kristina. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. May 24, 2019. arXiv:1810.04805  [cs.CL].