Математика и секс
Январь 13th, 2012

Стэнфордские курсы

Наверняка уже все знают, но чтобы никто точно не пропустил, тоже напишу.

Стэнфордский университет уже второй семестр подряд предлагает крутые бесплатные онлайновые курсы по разным тематикам. Представляют собой курсы видеолекции, быстрые «контрольные» на понимание базовых концепций, домашние задания, экзамены, форум для общения, иногда сеансы прямой связи с преподавателями, где можно задать интересующие вопросы.

В прошлый раз курсов предлагалось три:

  1. Artificial Intelligence
  2. Databases
  3. Machine Learning

Внимание общественности главным образом привлек Artificial Intelligence по трем причинам:

  1. Название курса «искусственный интеллект» звучит круто.
  2. Ведут курс прославившиеся ученые Peter Norwig и Sebastian Thrun (у обоих послужные списки очень обширные, но общественностью наиболее была замечена попбеда в DARPA Grand Challenge робота Stanley, разработанного командой Себастьяна).
  3. В конце обещали дать сертификат об окончании курса, что многими было воспринято чуть ли ни как диплом Стэнфорда (на деле это просто электронный документ, подписанный цифровой подписью Питера и Себастьяна, что к Стэнфорду никакого юридического отношения не имеет).

Собственно на деле курс по AI оказался наиболее слабым: слишком много времени уделялось подстановке цифр в формулы, слишком частные случаи рассматривались, слишком низкий уровень математической подготовки студентов предполагался, домашние задания сводились так же к подстановке цифр в формуле и не предполагали никакой интеллектуальной работы.

Это с одной стороны. С другой стороны как обзорный он вышел очень даже хорошим общеобразовательным. Там было дано и общее представление о регрессионных моделях, и алгоритм A*, и скрытые марковские процессы, и байесовы сети и куча всего другого. Это все сейчас постепенно становится теорминимумом для любого человека, который хочет заниматься программированием чуть на более высоком уровне чем программист 1С, и знать это такие штуки хотя бы существуют часто полезно (а подробности всегда можно посмотреть в Википедии).

Для сравнения, в МИФИ я отучился на CS четыре года и если бы не бунтовал, то был бы сейчас бакалавром. За время обучения я прошел несколько связных с AI курсов типа «Искусственные нейронные сети», «Цифровая обработка сигналов», «Анализ данных» и еще что-то  (все это очень условные названия курсов на самом деле, так, в курсе по нейронным сетям в том числе читались генетические алгоритмы как способ решения оптимизационных задач), но из всего перечисленного у нас были только регрессионные модели, да и те ограничивались простейшими видами — не было даже логистической регрессии, которая вообще самая базовая после линейной.

Итогом курса AI стало приглашение тысячи лучших студентов прислать авторам курса свое резюме. Правда, насколько я понял, рассылались приглашения только студентам из США, но мне в общем-то пофигу

Что касается курсов Machine Learning и Databases, то они оказались очень крутыми. Machine Learning слабенький в плане математики, но требует программировать на языке Octave (open-source аналог MATLAB) всякие вещи. Это довольно полезное занятие — материал лучше откладывается в мозгах и в общем-то изложенный материал становится понятным не только на уровне абстракций, но и как-то на уровне физических ощущений. Опять же как общеобразовательный курс, развивающий параллельно простые навыки работы в математических пакетах, очень он очень хорош.

Databases же вообще выше всяких похвал. С ними у меня всегда были проблемы — мне никогда не приходилось программировать ничего более-менее сложного, связанного с базами данных, а задания в соответствующем курсе в МИФИ были слишком тривиальны (уровня «вывести все университеты, на которых читается CS» без каких-либо изысков). Книжки и онлайн-лекции так же практики не представляли.

Стэнфордский курс очень краткий, сжатый, но содержит хоть какие-то интересные упражнения, при этом копает сразу на довольно глубокий уровень. Для меня это было просто то, что очень долго мне не хватало.

Кстати хотя этого и не объявлялось и не пиарилось, но курсы по Machine Learning и Databases в результате так же дали подписанные сертификаты, ни чуть не более худшие чем сертификат AI. А понимающие люди согласятся, что они и куда более серьезны.

Все эти курсы до сих пор доступны. Баллы за домашние задания уже не выставляются и сертификат не получить, но сами задания доступны, так что я бы всем заинтересованным очень рекомендовал пройти эти курсы — по базам данных вы вообще маловероятно что лучший источник найдете. Знакомство с Octave тоже может оказаться полезно. AI рекомендовать не могу — проще посмотреть список тем и почитать соответствующие статьи в Википедии. Хотя как простенький обзорный материал тоже можно использовать, но слишком уж лекции там затянуты.

(Кстати, справедливости ради надо сказать, что сам я в результате балл набрал невысокий — точно не помню сейчас, но что-то вроде 77% или около; я забил на часть домашних заданий, а что-то мне было лень считать).

В наступающем семестре Стэнфорд предлагает вообще огромную кучу курсов:

Lean Launchpad

Technology Enterpreneurship

Anatomy

Making Green Buildings

Information Theory

Model Thinking

CS 101

Machine Learning (повтор)

Software as a Service

Human-Computer Interaction

Natural Language Processing

Game Theory

Probabilistic Graphic Models

Cryptography

Design and Analisys of Algorithms

Computer Security

Пока сложно заранее предположить что это будут за курсы, но видя уровень уже прошедших курсов, есть ощущение, что по крайней мере часть из них будут охеренной. Жаль, что не получится слушать все. Записался я на все конечно, что именно буду слушать разберусь уже по ходу дела.

20 комментариев »

  1. Хм, ну по CS мне кажется значительно более продуктивно почитать книжку, чем слушать лекции. Я, кстати, так и делал пока учился в магистратуре.

    Comment by measure_0 — 13.01.2012 @ 11:34
  2. @ measure_0:
    Ты имеешь ввиду CS 101? Тут я согласен, хотя неизвестно что туда еще войдет, да и подозреваю, что на 80% мне материал будет знакомым. Но перед GRE я бы послушал. Наверняка практические упражнения будут с проверкой кода и т. п. Можно профит извлечь в общем-то.

    Comment by Хеллер — 13.01.2012 @ 11:36
  3. Все эти курсы, в общем-то, читаются по стандартным учебникам. Для подготовки к GRE можно просто прорешивать упражнения оттуда. Просто, CS это не математика, где на лекциях могут дать интуицию, которой нет в книгах.

    Comment by measure_0 — 13.01.2012 @ 12:20
  4. > Правда, насколько я понял, рассылались приглашения только студентам из
    > США, но мне в общем-то пофигу

    Да нет, просто топ-1000 — там что-то вроде 99%+.

    Кстати pgm & nlp можно в каком-то смысле считать продолжением ai & ml.

    Comment by gorlum0 — 13.01.2012 @ 14:52
  5. @ gorlum0:
    Я на форуме у них где-то вычитал, что люди за пределами США даже со 100% результатом не получили приглашений. Хотя в любом случае критерий странный, с учетом элементарности курса.

    Но на всякий случай pgm&nlp попробую задрачивать на максимальный балл без пропусков домашек и подобного.

    Comment by Хеллер — 13.01.2012 @ 15:01
  6. @ measure_0:
    В книжках-то это есть, но все равно такие онлайн-курсы полезны. Тут и мотивация, и стимул не хаотично хвататься за учебник, а более-менее регулярными дозированными порциями усваивать материал. То есть БД для меня оказался действительно очень полезным, полезнее всех книг. Алгоритмы вспомнить перед GRE тоже полезно. Например алгоритмы для АВЛ- или КЧ-деревьев я уже не вспомню. Зубрить за ночь перед тестом — плохой вариант. В течение полугода потихоньку вспоминать и делать упражнения — на мой взгляд куда полезнее.

    Comment by Хеллер — 13.01.2012 @ 15:05
  7. @ measure_0:
    Опять же никто не заставляет смотреть 100% видео. Всю болтовню о «Intuitive interpretation of Gradient Descent» я проматывал сразу же, например. И так 70%. Но что-то послушать было интересно.

    Comment by Хеллер — 13.01.2012 @ 15:13
  8. Кстати, вставку\удаление элементов в RB-деревьях со всеми этими вращениями думаю вообще никто не помнит. Имхо, это самые сложные из стандартных алгоритмов.

    Comment by measure_0 — 13.01.2012 @ 15:14
  9. @ measure_0:
    Да, соглашусь.

    Comment by Хеллер — 13.01.2012 @ 16:13
  10. > у нас были только регрессионные модели, да и те ограничивались простейшими видами — не было даже логистической регрессии, которая вообще самая базовая после линейной.

    Странное утверждение, логистическая регрессия решает другую задачу — обучение линейного классификатора, не регрессию.
    Вообще, меня огорчает повёрнутость МИФИ на нейросетях, причём в худшем их проявлении. Наверняка ведь про deep learning никто не знает…

    Вообще, я многого жду от курса графических моделей — Daphne Koller крутая тётка. Учебник довольно зубодробительный, так что есть надежда на нетривиальность курса.

    Comment by overrider — 13.01.2012 @ 22:02
  11. Записался на теорию игр. Кстати, вопрос к Роману: в прошлый раз были только видео или текстом дублировалось? С аудированием у меня совсем плохо =\.

    Comment by Александр — 14.01.2012 @ 21:26
  12. Роман, а на какой кафедре в МИФИ ты учился, если не секрет?

    Comment by аноним — 14.01.2012 @ 23:01
  13. @ Александр:
    Насчет текста не знаю точно — не интересовался, но вроде было что-то. Вроде даже были переводы, но не уверен.

    @ overrider:
    А какая разница какая задача решается? Методы очень родственные, и то и другое из области анализа данных. Так что я бы во многих курсах их по соседству ставил, как это и сделано в Стэнфорде.

    @ аноним:
    Вначале на 9-ой, затем на 33-ей, в конце на 36-ой.

    Comment by Хеллер — 15.01.2012 @ 06:17
  14. > Machine Learning слабенький в плане математики, но требует программировать на языке Octave (open-source аналог MATLAB) всякие вещи. Это довольно полезное занятие.

    Спорное утверждение, учитывая, что чаще всего это были задания в стиле «возьмите вот эту формулу и запрогайте ее в векторизованном виде». Хотя лучше, чем ничего, конечно.

    Comment by giz — 15.01.2012 @ 22:18
  15. Этой весной MIT тоже собирается запустить свои онлайн-курсы. http://web.mit.edu/newsoffice/2011/mitx-faq-1219
    Похоже что образование в сети все более и более набирает обороты.

    Comment by Борис — 16.01.2012 @ 13:09
  16. Спасибо! Записался на 3 курса :-)

    Comment by Борис — 22.01.2012 @ 18:32
  17. […] году онлайн-курсы Стэнфорда, но понял, что об этом уже кое-кто написал очень неплохо и совсем не кратко. Рекомендую […]

  18. Вчера первый запустили: https://6002x.mitx.mit.edu/

    Comment by Борис — 13.02.2012 @ 23:31
  19. @ Борис:
    Спасибо! Посмотрю наверное.

    Comment by Хеллер — 13.02.2012 @ 23:37
  20. @ Борис:
    А Стэнфорд кстати так и не разродится никак. Мервыми объявили, и до сих пор вообще ничего.

    Comment by Хеллер — 13.02.2012 @ 23:48

RSS feed for comments on this post. TrackBack URI

Оставить комментарий

This work is licensed under GPL - 2009 | Powered by Wordpress using the theme aav1
SEO Powered by Platinum SEO from Techblissonline