<<2019/4/19 第2回>> 簡易企画書の作成 * 天気予報 * ニュース(の見出し) →Webスクレイピング <<2019/4/26 第3回>> * 簡易企画書の作成 * モノと操作の洗い出し <<2019/5/10 第4回>> * Webスクレイピングのテスト * ライブラリ(Nokogiri)の仮インストール * 岩手大学ホームページの"重要なお知らせ"を取得することができた <<{terminal.png} <<2019/5/17 第5回>> * Nokogiriのテスト * WebスクレイピングにはNokogiri(Ruby)かRequests(Python)のどちらかを使う→HTMLで実行することを考えながら決定する(遅くとも第7回終了時点まで) <<2019/5/24 第6回>> <<<スクレイピングモジュール>>> スクレイピングにより得られた情報をcsvファイルに保存する * HTMLの要素を辿って指定する。 * ただし、必要な情報が複数ある場合(li[1],li[2], ...)、スクレイピングモジュール側で指定するかcsvファイルでデータを整形する必要あり。 * ブラウザでソースコードを表示し、解析していく。 <<2019/5/31>> * Pythonライブラリを使用してWebスクレイピングを行う <<2019/6/7>> <<<スクレイピングまとめ>>> PythonライブラリのRequestsおよびBeautifulSoupを利用してスクレイピングを実行 プログラム概要 　HTMLのソースを確認して、必要な情報を格納している文字列を取得する。BeautifulSoupを使うことでHTMLのタグたどることが可能。 　例 : <変数> = soup.find_all('', class_='<クラス名>') 　得られた結果をCSVファイルなどに保存する。 <<2019/6/14>> <<<中間発表>>> <<2019/6/21>> * ログインが必要なサイトのスクレイピング 　　　アイアシスタントのトップページに表示されている情報(学務に関する新着情報、その他の新着情報など)の取得 　　　→「アイアシスタントのログイン画面からお入りください」と返されたがURLの指定を変更すると、 　　　　「このページを表示するには、フレームをサポートしているブラウザが必要です」と返された。 * ログイン機能