Нині найбільш відомою бібліотекою глибокого навчання у світі є TensorFlow (TF) від Google. Google використовує машинне навчання у всіх своїх продуктах: для вдосконалення пошукової системи, перекладу, підпису зображень або рекомендацій тощо.
Google використовує машинне навчання, щоб скористатися своїми масивними наборами даних і забезпечити користувача найкращим досвідом. Машинне навчання використовують три різні групи: дослідники, спеціалісти з даних і програмісти. Всі вони можуть використовувати один і той же набір інструментів для співпраці один з одним та підвищення своєї ефективності.
Google не просто має будь-які дані - у них найбільш широко масштабований у світі комп'ютер, тому TF побудований з можливостями масштабування. TF - це бібліотека, розроблена командою Google Brain для прискорення машинного навчання та досліджень глибокої нейронної мережі.
TF побудований для роботи на декількох звичайних або графічних процесорах і навіть мобільних операційних системах та має кілька оболонок на різних мовах програмування: Python, C++, Java.
Сьогодні глибоке навчання перевершує всі інші алгоритми машинного навчання, коли отримуємо величезну кількість даних. Google побачив, що може використовувати глибокі нейронні мережі для покращення своїх послуг:
• Gmail.
• Фото.
• Пошукова система Google.
Тому була розроблена основа під назвою TF, щоб дозволити дослідникам та розробникам спільно працювати над моделлю штучного інтелекту (ШІ).
Вперше TF був оприлюднений наприкінці 2015 року, тоді як перша стабільна версія з’явилася у 2017 році. TF має відкритий код за ліцензією Apache Open Source. Можемо користуватися ним, змінювати його та розповсюджувати модифіковану версію, навіть отримувати за це окрему плату і нічого не платити Google.
В архітектурі TF при роботі можна виділити три частини:
• Попередня обробка даних.
• Побудова моделі.
• Тренування та оцінка моделі.
Назва TF вибрана тому, що вхідні дані приймаються як багатовимірний масив, відомий також як тензор. Можемо побудувати своєрідну блок-схему операцій (Graph), які хочемо виконати на конкретному вході. Вхідні дані надходять з одного кінця, а потім вони протікають через задану систему багатьох операцій і виходять з іншого кінця, який є виходом. Тому фрейкворк і назвали TensorFlow, що тензор протікає в ньому через список операцій, а потім виходить з іншої сторони.
Версії TensorFlow
TF підтримує одночасне обчислення на декількох звичайних і графічних процесорах. Це означає, що обчислення можуть бути розподілені між пристроями для збільшення швидкості навчання. За допомогою паралелізму нам не треба чекати тижнями, щоб отримати результати алгоритмів тренувань.
Для користувача Windows TF пропонує дві версії:
• TF лише з підтримкою процесора (CPU): якщо ваш комп’ютер працює не на NVIDIA GPU, можете встановити лише дану версію.
• TF з підтримкою GPU: для більш швидкого обчислення можемо використовувати цю версію TF. Вона має сенс лише тоді, коли потрібні потужні обчислювальні можливості.
В нашому посібнику достатньо базової версії TF з підтримкою CPU.
Примітка: TF не забезпечує підтримку GPU на MacOS і мікрокомп’ютері Raspberry Pi.
Для використання TF на персональному комп’ютері його потрібно встановити. Пояснимо, як зробити це за допомогою Anaconda [1].
Для запуску TF з блокнотом Jupyter, треба створити середовище в Anaconda. Це означає, що необхідно встановити Ipython, Jupyter та TF у відповідну папку на комп’ютері. Крім цього, треба додати таку важливу бібліотеку для наукових даних, як Pandas. Бібліотека Pandas допомагає маніпулювати кадром даних.
Встановлення Anaconda
Пакет Anaconda включає в себе інтерпретатор мови Python (є версії 2 і 3), набір бібліотек, які найчастіше використовуються, і зручне середовище розробки та виконання, яке запускається в браузері.
Для встановлення пакета попередньо треба завантажити дистрибутив.
Завантажуємо Anaconda [2] версії 2019.07 (для Python 3.7) для відповідної системи.
Anaconda допоможе керувати всіма бібліотеками, необхідними для Python або R. Є варіанти для Windows, Linux і MacOS.
Рис. 1. Запуск інсталятора
Встановлення Anaconda на Windows
1. Запустимо раніше завантажений інсталятор. В першому вікні треба натиснути “Next” (рис. 1):
2. Приймаємо ліцензійну угоду (рис. 2):
Рис. 2. Ліцензійна угода
3. Обираємо одну з опцій встановлення (рис. 3):
Рис. 3. Вибір опцій встановлення
Just Me – лише для користувача, який запустив встановлення.
All Users – для всіх користувачів.
4. Вказуємо шлях, за яким буде встановлена Anaconda (рис. 4):
Рис. 4. Шлях до папки встановлення
5. Задаємо додаткові опції (рис. 5):
Add Anaconda to the system PATH environment variable – додати Anaconda до системної змінної PATH.
Register Anaconda as the system Python 3.7 – використовувати Anaconda, як інтерпретатор Python 3.7 за замовчуванням.
Для початку встановлення натискаємо кнопку “Install”.
Рис. 5. Додаткові опції встановлення
Після цього буде виконане встановлення Anaconda (рис. 6):
Рис. 6. Завершення встановлення Anaconda
Створення .yml-файла для встановлення TensorFlow та залежностей
Необхідно виконати ще кілька кроків, щоб завершити встановлення TF.
Крок 1: Знаходження Anaconda
Перший крок, який треба зробити, - це знайти шлях до Anaconda. Потім створимо нове середовище conda, яке включає необхідні бібліотеки, які будемо використовувати під час вивчення TF.
В ОС Windows можемо скористатись Anaconda-рядком та набрати (рис. 7):
C:\>where anaconda
Рис. 7. Знаходження Anaconda
Варто знати назву папки, в якій встановлена Anaconda, оскільки нове середовище створюємо всередині цієї папки. Наприклад, на малюнку вище Anaconda встановлена в папці Admin. В нас це може бути так само, тобто, Admin або ім’я користувача.
Далі встановимо робочий каталог в c:\Anaconda3.
Треба створити нову папку всередині Anaconda, в якій будуть розміщені Ipython, Jupyter та TF. Швидкий спосіб встановити бібліотеки та програмне забезпечення - написати файл .yml.
Крок 2: Встановлення робочого каталогу
Треба вказати робочий каталог, в якому створимо файл .yml. Як було сказано раніше, він буде розташований всередині Anaconda.
В ОС Windows вводимо (подивіться спочатку, який шлях до папки з Anaconda3):
cd C:\Users\Admin\Anaconda3
або шлях, який буде показаний з командою where anaconda (рис. 8)
Рис. 8. Робочий каталог Anaconda
Крок 3: Створення файла .yml
Можемо створити файл .yml всередині нового робочого каталогу. У файлі встановлюються залежності, необхідні для запуску TF. Скопіюємо та вставимо в Terminal наведений нижче код:
echo.>hello-tf.yml
З'явиться новий файл з назвою hello-tf.yml (рис. 9):
Рис. 9. Новий файл hello-tf.yml в робочому каталозі
Крок 4: Редагування файла .yml
Скористаємося Блокнотом для виконання наступного кроку:
notepad hello-tf.yml
Додаємо у файл зміст:
name: hello-tf
dependencies:
- python=3.7
- jupyter
- ipython
- pandas
Пояснення коду:
name: hello-tf - ім'я файла .yml,
dependencies: - залежності:
python = 3,7
jupyter
ipython
pandas - встановить бібліотеки Python версії 3.7, бібліотеки Jupyter, Ipython та pandas
Відкриваємо блокнот і можемо редагувати файл звідти (рис. 10):
Рис. 10. Редагування файла hello-tf.yml
Примітка. Користувачі Windows TF встановлюють на наступному кроці. На даному кроці ми тільки готували conda-середовище.
Крок 5: Компілюємо файл .yml
Можемо зкомпілювати .yml файл з таким кодом (рис. 11):
conda env create -f hello-tf.yml
Рис. 11. Компілювання файла .yml
Примітка. Нове середовище створюється всередині поточного каталогу користувачів.
Це потребує часу і займе близько 1,1 ГБ місця на жорсткому диску.
Крок 6: Активація середовища conda
Все майже готове. Зараз маємо дві conda (рис. 12). Ми створили ізольоване середовище conda з бібліотеками, якими будемо користуватися під час навчання. Це рекомендована практика, оскільки кожен проект машинного навчання потребує різних бібліотек. Коли проект закінчимо, можемо це середовище видалити або залишити.
conda env list
Рис. 12. Два середовища conda
Зірочка вказує на замовчування. Нам потрібно переключитися на hello-tf, щоб активувати середовище (рис. 13):
Рис. 13. Активація/деактивація середовища
activate hello-tf
Можемо перевірити, чи всі залежності знаходяться в одному середовищі. Це важливо, оскільки дозволяє Python використовувати Jupyter та TF з одного середовища. Якщо не бачите трьох них, що знаходяться в одній папці, потрібно почати все заново.
Крок 7: Встановлення TensorFlow
where python
where jupyter
where ipython
Рис. 14. Встановлені Python, Jupyter та Ipython
Як бачимо, тепер є два середовища Python. Основне і новостворене в \envs\hello-tf. Основне середовище conda не має TF, встановлено лише hello-tf. На рис. 14 видно, що Python, Jupyter та Ipython встановлюються в одному середовищі. Це означає, що можна використовувати TF із блокнотом Jupyter.
Тепер можна встановити TF за допомогою наступної команди (рис. 15):
pip install tensorflow
Рис. 15. Встановлення TensorFlow
Для конкретної версії, наприклад, для версії 1.14, можна перевстановити TF, вказавши необхідну версію:
conda install -c conda-forge tensorflow=1.14
Така необхідність виникає, бо за замовчуванням на комп’ютері встановлюється остання версія 2.0, а сьогодні вона ще не підтримує архітектуру процесорів ARM, тому не буде працювати на мікрокомп’ютері Raspberry Pi. Після переходу на старішу версію TF бажано перевірити, чи залишились встановленими необхідні пакети. Якщо при запуску програм виникає помилка з повідомленням, що відсутнє необхідне програмне забезпечення, то його можна встановити з командою pip.
Щоб при запуску TF програма знайшла всі необхідні пакети, треба вказати шлях до них в змінних оточення. Для цього викликаємо правою кнопкою миші контекстне меню на рядку This PC (Мій комп’ютер) і вибираємо Properties (Властивості) (рис. 16):
Рис. 16. Вибір меню Properties
У новому вікні ліворуч знаходимо Advanced System Settings (Розширені налаштування системи), а далі Environment Variables… (Змінні оточення) і обираємо рядок Path (Шлях) для редагування. Натискаємо Edit… (Редагувати) (рис. 17):
Рис. 17. Шлях до меню редагування
В наступному вікні відображаються всі шляхи, в тому числі, і до необхідних нам пакетів. Зрозуміло, що для вашого користувача шляхи будуть дещо іншими, але їх легко знайти, якщо вже знаєте, куди встановили Anaconda3. За допомогою елементів редагування (рис. 18) додаєте необхідні шляхи.
Рис. 18. Вікно для редагування змінних оточення користувача
Номери на рис. 16-18 підказують послідовність операцій для знаходження та редагування змінних оточення.
Література
1. https://www.guru99.com/download-install-tensorflow.html
2. https://www.anaconda.com/download/
