10

В данной статье рассматривается эволюция и современные тенденции развития глубокого обучения, одной из ключевых технологий искусственного интеллекта (ИИ). Анализируются исторические этапы развития глубоких нейронных сетей, начиная с первых моделей персептронов и заканчивая современными трансформерами и генеративными моделями. Рассматриваются ключевые достижения, такие как появление сверточных нейронных сетей, развитие генеративных состязательных сетей (GAN) и внедрение моделей трансформеров, включая GPT и BERT. Также обсуждаются актуальные вызовы, связанные с вычислительными мощностями, интерпретируемостью моделей, необходимостью больших объемов данных и этическими аспектами. В заключении описываются перспективные направления развития, такие как квантовые вычисления, федеративное обучение и интерпретируемый ИИ.

  • Read count 10
  • Date of publication 08-01-2025
  • Main LanguageRus
  • Pages1545-1552
Русский

В данной статье рассматривается эволюция и современные тенденции развития глубокого обучения, одной из ключевых технологий искусственного интеллекта (ИИ). Анализируются исторические этапы развития глубоких нейронных сетей, начиная с первых моделей персептронов и заканчивая современными трансформерами и генеративными моделями. Рассматриваются ключевые достижения, такие как появление сверточных нейронных сетей, развитие генеративных состязательных сетей (GAN) и внедрение моделей трансформеров, включая GPT и BERT. Также обсуждаются актуальные вызовы, связанные с вычислительными мощностями, интерпретируемостью моделей, необходимостью больших объемов данных и этическими аспектами. В заключении описываются перспективные направления развития, такие как квантовые вычисления, федеративное обучение и интерпретируемый ИИ.

№ Author name position Name of organisation
1 Axmedov B.I. начальник отдела, PhD ГУ “Центр исследований цифровой экономики”
№ Name of reference
1 LeCun, Y., Bengio, Y., & Hinton, G. (2015). "Deep learning." Nature, 521(7553), 436-444. (с. 436-444).
2 Krizhevsky, A., Sutskever, I., & Hinton, G. (2012). "ImageNet Classification with Deep Convolutional Neural Networks." NeurIPS. (с. 1106-1114).
3 Vaswani, A., et al. (2017). "Attention Is All You Need." NeurIPS. (с. 5998-6008).
4 Brown, T., et al. (2020). "Language Models are Few-Shot Learners." NeurIPS. (с. 187-206).
5 OpenAI (2023). "GPT-4 Technical Report." OpenAI Research. (с. 13-45).
6 Goodfellow, I., Pouget-Abadie, J., Mirza, M., et al. (2014). "Generative Adversarial Nets." NeurIPS. (с. 2672-2680).
7 He, K., Zhang, X., Ren, S., & Sun, J. (2016). "Deep Residual Learning for Image Recognition." CVPR. (с. 770-778).
8 Radford, A., et al. (2019). "Language Models are Unsupervised Multitask Learners." OpenAI Research. (с. 55-72).
9 Dosovitskiy, A., et al. (2021). "An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale." ICLR. (с. 55-73).
10 Ramesh, A., et al. (2022). "Hierarchical Text-Conditional Image Generation with CLIP Latents." arXiv preprint. (с. 99-118).
11 Schmidhuber, J. (2015). "Deep Learning in Neural Networks: An Overview." Neural Networks. (с. 85-117).
12 Silver, D., et al. (2016). "Mastering the game of Go with deep neural networks and tree search." Nature. (с. 484-489).
Waiting