Рисунки по клеточкам в тетради для: Рисунки ручкой по клеточкам в тетради

Ввод:

Выход:

Пример таблицы

Изображение

Вы можете вставить изображение с панели инструментов, выбрав «Вставить изображение» в меню Правка, и можете просмотреть необходимое изображение, как показано ниже.

Вставка изображения с помощью панели инструментов

выберите файл на своем ПК

или вы также можете вставить изображение с помощью тега :

Ввод:

Вывод:

вставка изображение, использующее тег

Уценка со вкусом GitHub

Веб-приложение Notebook поддерживает уценку со вкусом Github, что означает, что вы можете использовать тройные обратные кавычки для блоков кода:

Ввод:

Выход:

Это уценка со вкусом GitHub

Внимание, компьютерщик! Укрепите свои основы с помощью курса Python Programming Foundation и изучите основы.

Для начала подготовьтесь к собеседованию. Расширьте свои концепции структур данных с помощью курса Python DS . А чтобы начать свое путешествие по машинному обучению, присоединяйтесь к курсу Машинное обучение - базовый уровень

Jupyter Notebook - рак машинного обучения машинного обучения | пользователя Or Hiltch | Skyline AI

В последние годы, с тех пор как демократизация науки о данных возглавила развитие в сообществе ML с открытым исходным кодом с такими библиотеками, как SciKit-Learn, TensorFlow, PyTorch и Pandas, Jupyter Notebooks стали де-факто стандартом для . исследования и разработки в области науки о данных. Фактически, Jupyter Notebooks сами сыграли важную роль в демократизации науки о данных, сделав ее более доступной за счет устранения барьеров входа, как мы скоро увидим.

Как и сам язык Python, наиболее распространенный Jupyter Kernel , который является очень свободным языком во многих аспектах, записные книжки Jupyter являются идеальной средой для взлома в области науки о данных.

Объединив все преимущества Jupyter Notebooks, основная ценность состоит в том, что использование Notebooks является простым способом создания истории данных. По этой причине легко рассматривать код записной книжки, используя подход «это только для исследования», - поведение, поощряемое отсутствием инструментов и стандартов в области машинного обучения и Jupyter Notebooks (например, очень редко можно увидеть специалиста по данным запуск записной книжки внутри контейнера докеров только для того, чтобы убедиться, что используемые внешние библиотеки докеризированы и не поступают с их собственной машины).

Проблемы начинаются, когда эта история должна взаимодействовать с производственным приложением.Простая и увлекательная платформа, используемая специалистами по данным, должна быть интегрирована в конвейер данных производственного уровня. Вот где почти все преимущества Jupyter становятся недостатками, превращая жизнь инженера машинного обучения в настоящий ад. Если у компании нет инженера машинного обучения, почти каждая строчка кода, написанного на Jupyter, может стать тяжелым случаем технического долга, замедлит вывод компании на рынок и затруднит отладку проблем как в исследованиях, так и в процессе разработки. этап производства.

К тому времени, когда вы это заметите, вполне возможно, что вся ваша команда по анализу данных глубоко увлечена использованием записных книжек, и что сотни из этих вещей в настоящее время время от времени используются для создания некоторых данных, которые вы используете для принятия решений в производстве, игнорируя довольно Практически все важные уроки, извлеченные из мира производственной инженерии и DevOps за последние 20 лет.

Есть много причин для такого успеха Jupyter, большинство из них связано с устранением барьеров - или, скорее, с упрощением таких вещей, как документация, визуализация данных и кеширование, - особенно для людей, не имеющих серьезного опыта разработки программного обеспечения.

Давайте исследуем некоторые из них.

Встроенная печать вывода в процессе EDA

Блокноты позволяют специалистам по обработке данных просматривать результаты своего кода в оперативном режиме, иногда без какой-либо зависимости от других частей их кода. В отличие от работы со стандартной IDE, такой как VSCode или PyCharm, в Jupyter каждая ячейка , исполняемая единица кода, может быть вызвана потенциально в любое время для вывода вывода прямо под кодом.

Это исключительно полезно для фазы Исследовательского анализа данных в любом процессе исследования данных, когда специалисту по данным нужно поиграть с данными, получить их, изменить их структуру, разрезать и нарезать кубиками, создавать агрегации, и в целом, изучение корреляций и распределений вероятностей, чтобы развить интуицию о природе данных, которые необходимо моделировать.

Например, таким образом вы легко можете представить результаты в интерактивном режиме на Jupyter. Первая ячейка (называемая In [12]) выводит результат JSON (output [12]), а вторая - тепловую карту, основанную на цветных кружках, чтобы помочь специалисту по обработке данных понять географическое распределение средних платежей Medicare в США:

Хотите разбить данные на интервалы и построить гистограмму (гистограмма представляет распределение данных путем формирования интервалов по диапазону данных, а затем рисования полос, чтобы показать количество наблюдений, попадающих в каждую интервал)? Одна строка кода дает вам результат прямо под вашим кодом и некоторый текст, описывающий, что вы делаете:

Еще одно огромное преимущество (позже мы поймем, почему это может стать большой ловушкой) использования Jupyter заключается в том, что Jupyter автоматически, за кулисами , поддерживает состояние выполнения каждой отдельной ячейки.

Кэширование - это сложно, особенно если ваши навыки разработки программного обеспечения не на высшем уровне. Если вы математик, пытаясь получить данные для моделирования, последнее, что вам нужно, - это реализовать свои собственные схемы кэширования.

Jupyter волшебным образом решает эту проблему, кэшируя результаты каждой запущенной ячейки. Например, если у вас есть огромная записная книжка, содержащая сотни ячеек кода, и где-то в начале записной книжки (расположенной ранее в «потоке выполнения» записной книжки), у вас есть, скажем, некоторый код, который выполняет некоторые тяжелые операции. - как обучение модели машинного обучения или загрузка гигабайт данных с удаленного сервера, с Jupyter у вас ноль проблем с кешированием результатов этих операций.

Обычно, если вы пишете код Python, вы реализуете простую схему кэширования или используете некоторую библиотеку (например, записывая результаты обученной модели в сегмент хранилища или сохраняя результаты запроса БД в локальный файл).

В Jupyter после того, как вы запустили ячейку один раз, пока вы не решите очистить кеш, вы можете просто избежать повторного запуска , чтобы насладиться глобальным кешированием области ее последнего выполнения. То есть, если в ячейке есть строка кода, которая делает что-то вроде этого:

 df = client.query (merge (‘SELECT * FROM MyTable’)). to_dataframe () 

Переменная `df` будет хранить назначенные ей данные до тех пор, пока кеш не будет явно очищен или ячейка не будет повторно запущена. Потенциально, сотни ячеек ниже, вы можете позвонить df , чтобы получить значение, даже если в последний раз вы запускали ячейку, которая заполняет ее, несколько месяцев назад.

Мы убедились, что записные книжки Jupyer отлично подходят для написания историй с данными. Но если мы не проводим чистое исследование, наше исследование является средством достижения цели, то есть получения ценной информации из наших историй данных и моделей машинного обучения.

Конвейер машинного обучения производственного уровня должен состоять из отлаживаемых, воспроизводимых, простых в развертывании и высокопроизводительных компонентов кода, которые можно организовать и запланировать. В своей версии по умолчанию это все, чем не является исследовательский код Jupyter.

Даже если вы проигнорируете тот факт, что кэширование ячеек способствует загрязнению глобальной области видимости кешированными переменными (см. Назначение df выше), поведение кэширования ноутбука Jupyter по умолчанию вынуждает разработчика запоминать весь конечный автомат ноутбука в своих файлах. головы.

Какая ячейка чем кэшируется? Может ли ячейка № 273 работать из 400 ячеек, даже если ячейка № 50 не работает? Что, если бы он работал, но с другими данными, читая другие данные? Являются ли результаты ячейки 200 неизменными? Т.е. можем ли мы повторно запустить его и получить те же результаты, или повторный запуск не удастся / вернет другие результаты?

Нет простого способа ответить на любой из этих вопросов при разработке на Jupyter Notebook.

Вы должны полагаться на свою человеческую память, которая не предназначена для запоминания конечных автоматов наизусть, чтобы знать, какая ячейка может работать с / без других ячеек, какая ячейка может запускаться повторно и т. Д.Это просто не работает.

По сути, то, что делают большинство специалистов по данным, когда они не уверены в конечном автомате, - это просто запускать полный повторный запуск всей записной книжки, что является пустой тратой времени и ресурсов.

Но что еще хуже - что произойдет, если вы захотите перенести исследовательский код в производство ? Либо самим разработчикам ноутбуков, либо инженерам машинного обучения необходимо организовать исследовательский код в компоненты кода производственного уровня (помните - отлаживаемый, воспроизводимый и т. Д.). Различные части исследовательского кода - части, которые извлекают данные, части, которые обучают модель, части, которые проверяют результаты, и т. Д., Должны быть согласованы , и нам нужно запустить их в какой-то форме DAG ( см. Apache Airflow).

Но когда у вас есть «история данных», выложенная из сотен ячеек, и единственное, на что вы можете в значительной степени положиться (и это тоже должен решать разработчик, который написал блокнот), это то, что конечный автомат продвигается по прямой «вперед», «в хронологическом порядке», пока вы прокручиваете тетрадь вниз… у вас большие проблемы.

Удобный интерфейс командной строки для ноутбука Jupyter поддерживает локальное выполнение. Почти наверняка 99% специалистов по обработке данных запускают Jupyter локально, хотя некоторые облачные провайдеры предпринимают некоторые преждевременные попытки перенести ноутбуки в облако (Google Cloud DataLab и AWS SageMaker). Но эти решения являются преждевременными и имеют множество собственных проблем.

Есть много проблем с локальным запуском ноутбуков, которые усложняют работу инженеру по машинному обучению, который запускает код ноутбука в производство.Прежде всего, зависимости. Ноутбук может импортировать библиотеки, которые установлены только на компьютере аналитика данных.

Если по какой-то причине специалист по обработке данных использует другую версию той же библиотеки, например от NumPy до TensorFlow, фактические математические вычисления могут в конечном итоге отличаться от результатов исследования. Это один из самых больших кошмаров любой инженерной операции и одна из основных причин успеха контейнерных технологий, таких как Docker, которые обычно не используются при работе с ноутбуками, потому что, ну, они предназначены «только для исследования».

Кроме того, результаты записной книжки, полученные от локального выполнения, не воспроизводятся. Ноутбук не проходит процесс сборки и не должен соответствовать стандартам CI, установленным сервером сборки. Вполне может быть, что результаты будут другими при работе на компьютере другого члена команды только из-за некоторых различий в кешировании между машинами.

Конечно, производительность локальной машины тоже не идеальна, но есть способы обойти это (например, можно подключиться к внешним кластерам, чтобы разгрузить там выполнение тяжелых вычислений).

Существует множество практик, связанных с исследованиями, в которых используются отличные библиотеки от серьезных компаний, таких как Google, для устранения трений за счет написания хорошего кода.

Прекрасным примером этого является магия ячеек Google Cloud Big Query . Cell magics в Jupyter - это библиотеки кода, которые могут расширять функциональные возможности ячеек Jupyter Notebook для таких вещей, как автоматическое сохранение их результатов в структуре данных.

Рассмотрим следующий пример из официальных документов Google Cloud, Визуализация данных BigQuery в записной книжке Jupyter:

 %% bigquery total_births 
 SELECT 
 source_year AS год, 
 COUNT (is_male) AS Birth_count 
 FROM `bigquery-public-data.samples.natality` 
 ГРУППА ПО ГОДУ 
 ПОРЯДОК ПО ГОДУ DESC 
 LIMIT 15 

Выглядит красиво, правда? Просто жестко запрограммируйте SQL-запрос в ячейке и разделите набор результатов на фрейм данных pandas с именем total_births. Хотя понятно, почему с этим легко работать, на самом деле это очень плохая практика программирования для чего-либо, кроме чистого исследования.

Если ваш Ноутбук использует эту магию ячеек повсюду, вы не можете динамически создавать запросы с использованием общих функций.Таким образом, если у вас есть два сложных запроса, которые должны быть идентичными, за исключением небольшой части, вы обнаружите, что дублируете эти запросы.

Без магии ячеек средний программист написал бы общую функцию для возврата запроса с небольшим изменением:

 def get_births_by (period): 
 return "" "SELECT 
 source_period AS {period}, 
 COUNT (is_male ) AS Birth_count 
 FROM `bigquery-public-data.samples.natality` 
 GROUP BY {period} 
 ORDER BY {period} DESC 
 LIMIT 15" "".replace ('{period}', period) by_month = get_births_by ('month') 
 by_year = get_births_by ('year') 

Чтобы иметь возможность наслаждаться этой магией ячеек, большинство специалистов по данным создавало бы дублирующиеся ячейки, по одной на год :

 %% bigquery total_births 
 SELECT 
 source_year AS год, 
 COUNT (is_male) AS Birth_count 
 FROM `bigquery-public-data.samples.natality` 
 GROUP BY год 
 ORDER BY год DESC 
 LIMIT 15 

LIMIT 15

LIMIT 15

один для месяцев :

 %% bigquery total_births 
 SELECT 
 source_month AS месяц, 
 COUNT (is_male) AS Birth_count 
 FROM `bigquery-public-data.samples.natality` 
 ГРУППА ПО МЕСЯЦАМ 
 ПОРЯДОК ПО МЕСЯЦАМ DESC 
 LIMIT 15 

Этот тип дублирования кода, очевидно, очень плох, и, скорее всего, инженер машинного обучения, интегрирующий такого рода исследовательский код в приложение производственного уровня, необходимо провести рефакторинг всего кода записной книжки, чтобы использовать общие функции, избегающие дублирования кода, без использования какого-либо из этого кода.

Благодаря встроенному кэшированию Jupyter и тому факту, что результаты сохраняются после запуска записной книжки, легко ввести в заблуждение ощущение стабильности.

Конечно, если я увижу результаты прямо перед глазами под одной из ячеек, то повторный запуск той же ячейки без изменения какого-либо кода должен дать те же результаты. Верно? Неправильный.

Если ячейка выдает результат на основе данных в БД, и эти данные изменились, и в коде нет ничего, чтобы убедиться, что код работает с конкретным моментальным снимком данных, который не изменяется, точно такая же ячейка может вернуть другой результат. И после после повторного запуска ячейки очень трудно узнать, каков был предыдущий результат, потому что блокнот Jupyter ничего не делает для ведения истории результатов, а решения для управления версиями, такие как git, обычно также не хранят кеши.

Как и многие примеры в этой статье, это не является особой проблемой для Jupyter, но это хороший пример того, как воспроизводимость предыдущих результатов невозможна без надлежащего инструментария для их создания, и поскольку Jupyter не делает этого Если этот инструментарий не будет предоставлен, специалист по данным, не обладающий хорошими навыками разработки программного обеспечения, скорее всего, пострадает от этого.

Итак, можем ли мы как-то наслаждаться обоими мирами? Имея гибкость и кеширование в стиле Jupyter, с одной стороны, и современные методы кодирования, с другой?

Кажется, что ответ - да, или скоро будет: две самые популярные IDE на сегодняшний день для всего, что связано с наукой о данных, PyCharm и VSCode, обе теперь поддерживают Jupyter изначально (хотя поддержка все еще далека от совершенства).

Используя PyCharm и встроенную поддержку VSCode для Jupyter, вы можете легко интегрировать решения для управления версиями и использовать такие функции повышения производительности, как IntelliSense, обработка ошибок в реальном времени (в случае наличия синтаксических ошибок или нарушения соглашений pylint), интеграция с Git , управление несколькими файлами и многое другое, предлагая специалистам по обработке данных удобный способ экспериментировать и эффективно работать с данными.

Примеры страниц записной книжки

Вот примеры титульного листа и конкретных записей в записной книжке.В работа может быть древней историей, но в качестве примера ведения записей этот материал могут быть гораздо более эффективными, чем общие рекомендации при доставке сообщения.

• Образец титульной страницы
• Образец содержания
• Стр. 1: введение в эксперимент; ссылка опубликованным методам; запись процедур
• Стр. 2: продолжение эксперимента над следующим страница; исправление ошибки; как удалить "пустое пространство"
• Стр. 3: подведение итогов рабочего дня; продолжающийся эксперимент на будущей несмежной странице
• Стр. 6: выполняйте расчеты прямо в ноутбук; резюмируйте формулы для использования в будущем; оставлять ошибки в книга - не заслоняйте их
• Стр. 14: запись различных процедур на та же страница; продолжение с предыдущей несмежной страницы; добавление комментарий к предыдущим заметкам; ссылка на ранее записанные процедуры; резервирование места для прикрепленного документа

Обложка и титульный лист

Лабораторная запись

паттернов изоферментов легкой цепи миозина в разработке Скелетные мышцы цыплят

Дэвид Р.Caprette
Департамент биохимии и клеточной биологии
Университет Райса
211A Биологическая лаборатория Андерсона
6100 S. Main
Houston, Texas 77005

(555) 555-5555

Содержание

Зарезервировать несколько первых страниц для содержания, указав их назначение в верхней части страницы. Не оставляйте полностью пустые страницы впереди записной книжки, для будущих таблиц, так как пустые страницы также могут быть использованы добавлять записи не по порядку.Если страницы не пронумерованы заранее, это может быть удобно использовать строчные римские цифры для нумерации страниц содержания. Запишите содержимое в хронологическом порядке.

Стр. 1

Всегда датируйте и нумеруйте каждую страницу согласованным образом (например, на вверху справа или внизу в центре и т. д.). Начинайте каждый эксперимент с названия и краткое введение. Следуйте «процедурам», «материалам». и методы "или как вы выберете название своей лаборатории. Работа.

Документируйте процедуры в разумные сроки после их выполнения - во время трудные времена ваша память может подвести вас . Даже если процедура изложенные в документе или опубликованном лабораторном руководстве, запишите все ваши процедуры в первый раз, когда вы их делаете. Запись КАК каждый процедура сделана, даже такие обыденные процедуры, как пипетирование, калибровка спектрофотометр или поиск клеток под микроскопом. Это единственное способ, которым вы сможете позже выявлять возможные ошибки, изменять свои процедуры, или сообщите, что именно вы сделали.Сделайте все свои расчеты и возьмите все заметки прямо в блокноте. Никогда не делайте расчетов и не записывайте наблюдения за «лабораторными принадлежностями» (бумажными полотенцами). Отдельные бумаги могут быть потерял легко.

Стр. 2

Включите дату вверху страницы, даже если это тот же день, что и на предыдущей странице. Никогда ничего не выделяйте, чтобы скрыть то, что было написано, каким бы неряшливым или «тупым» оно ни выглядело. Написание пренебрежительного замечания в адрес вашего инспектора или руководителя - плохая идея.Ты будешь в беде, если вы скрываете замечание, но могут быть и в еще большей беде если вы оставите это!

Любое значительное количество пустого пространства должно быть аннулировано, нарисовав угол от угла к углу. линия через пространство. Это «правило» предназначено для того, чтобы ваш блокнот является юридическим документом о лабораторной деятельности. Если вам не удалось очистить пустое пространство, можно было вернуться и что-то изменить, то есть подделать записывать.

В лабораториях, выполняющих проприетарные исследования (конфиденциальные, например, промышленные исследования с целью получения прибыли) важно правильно обслуживать записную книжку.Ты и руководитель подписывает и ставит дату на каждой странице, а независимое лицо проверяет это периодически, скажем, раз в неделю. Блокнот является юридическим документом которые могут защитить ваши права на вашу работу. Например, если вы "бьете" еще одна лаборатория к запатентованному открытию всего за один день, ваш ноутбук будет юридическим доказательством, которое вам нужно.

Стр. 3

В этом примере проект не был завершен. Я написал очень кратко резюме, все равно.После последней записи я написал *** продолжение, стр. ____ ****, потому что я знал, что проект будет прерван в хронологическом порядке. Позже, когда проект был возобновлен, я заполнил бланк номером страницы, на которой я записал следующий набор информации. Этот Кстати, вам никогда не нужно резервировать место для дальнейших записей. Записывать все вы делаете, даже для разных проектов, в хронологическом порядке.

Стр. 6

Когда вы производите расчеты, например, когда вы готовите раствор для в первый раз запишите все свои необработанные расчеты.Даже если ты совершаете ошибки, ваш прогресс фиксируется постоянно. Необработанные расчеты может сделать ваш ноутбук немного «неряшливым», однако, если вы не включите им нельзя вернуться и исправить ошибки.

Когда у вас есть «рецепт», который вы собираетесь использовать снова, подведите итог. формула. Вы можете указать номера страниц всех таких рецептов. в специальном месте в вашем оглавлении (необходимы справочные материалы не в хронологическом порядке).

Иногда у тебя просто плохой день. Считайте, что кто-то другой может иметь законную причину для проверки вашего ноутбука. Не кладите что-нибудь там, что позже может вас смутить. Помните, вы ничего не можете промокнуть вырвать или вырвать страницы!

стр. 14

Когда вы действительно начинаете работать над парой проектов, ваш ноутбук заполняется быстро. Раньше у меня было сразу четыре разных дела.Я не просто выходил на улицу и загорал каждый раз, когда у меня был один час ждать во время протокола. Я работал над другим.

Когда вы переключаетесь с одного проекта на другой, вам нужно продолжать записывайте свои действия в хронологическом порядке. Сделано правильно, это не сбивает с толку вообще. Вы просто читаете каждый отрывок и следите за примечаниями к продолжению. следовать одному проекту от начала до конца. Журналы делают все это время, чтобы обойти рекламу и продолжить длинные статьи.Просто будьте последовательны с названиями ваших проектов.

Когда вы добавляете заметки позже или исправляете ошибку, всегда ставьте инициал и дату твой комментарий. Четко укажите, что это дополнительный комментарий, например как при использовании чернил другого цвета.