Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例作者: るびきち,佐々木拓郎出版社/メーカー: SBクリエイティブ発売日: 2014/08/25メディア: 大型本この商品を含むブログ (1件) を見る 表紙が中上級者向けっぽいですけど、内容としてはそんな…

標準 WP Multibyte Patch 日本語版に標準で入っているやつ。無いと困る（はず）。 メール WP-Mail-SMTP SMTP経由でメール送信を使うために使用。GMailのサーバーを指定している。 セキュリティ Acunetix WP Security (停止) 危険な設定になっていないかたま…

2014/09/25 追記 この記事がプラグイン作者に補足された結果、現バージョン(2.8.0)では修正されています。やったね！ 沼にハマってほぼ徹夜でございます。とほほ。 コトの発端 エロいサイトというのは夜が中心なのですが、その中でも週末は特に盛り上がるわ…

前回の記事でDisk I/OがボトルネックになっていてLoad Averageが上がっていたため、I/Oを減らす対策を行う、というのが今回のネタ。 Nginxでリバースプロキシのキャッシュをオンメモリで持つやり方を調べてたらあまりいい情報が無かったので、 キャッシュデ…

現状 ピーク時間（22:00〜00:00）の負荷状況 CPUは空いてる（ピーク時40%、うちIO Waitが30%） Memoryは空いてる（常時40%） Disk I/Oはちと厳しい（ピーク時65%） Load Averageは厳しい（ピーク時2.77） 対策 1. Load Average低減 明らかにDisk I/O（のOutp…

エロサイトのマネタイズ面について珍しくちゃんと書かれているブログであるid:shino5さんのところで、 ある程度の規模のサイトになれば、自分からアドネットワークに登録するよりも、掲載依頼のあった代理店に単価の調整をするのが一番かも。 i-mobileとSpro…

WordPressで予約投稿が失敗する - エロサイトの作り方で、 というか、cronっぽい仕組みをユーザーからのリクエストで回しているのがそもそもおかしいんだけど、そういう実装になっているからなぁ…… と書きましたが、やはりこの仕組みはおかしいと思うので、L…

クローラーと管理画面はMongoDB + Express + AngularJS + Node.jsの、いわゆるMEAN Stack構成なのですが、特にNode.jsに飽きたので別の言語にリプレースしようと思ってる。 Node.jsはなんか色々つらい。薄々気づいてたけど、この言語はまず使用目的ありきで…

今までほぼデフォルトで運用してきましたが、WordPressで「予約投稿の失敗」と出るようになったのでついでに見直そうという趣旨です。 完成系の設定 /etc/php5/fpm/php-fpm.conf [global] pid = /var/run/php5-fpm.pid error_log = /var/log/php5-fpm/error.…

最近、予約投稿ができずに、管理画面上で「予約投稿の失敗」と出ることが増えてきたので、ちょっと調べてみました。 何が起きているのか？ とりあえず、PHP-FPMのエラーログに何か手がかりが無いか見てみる。 [21-Aug-2014 00:43:22] NOTICE: child 30278 st…

要は、画像のパスを指定して、一致する投稿がどれかを探したいということです。 MySQLにクエリを投げる WordPressはMySQLにデータ保存しているんだから、直接クエリを投げてしまえばよさそう。 投稿はwp_postsに格納されているらしい。 （通常はテーブル名の…

以前書いたものの3TB超版です。 fdiskではなくpartedを使います。 ディスクの確認 $ sudo fdisk -l ... WARNING: GPT (GUID Partition Table) detected on '/dev/sdc'! The util fdisk doesn't support GPT. Use GNU Parted. Disk /dev/sdc: 3000.6 GB, 3000…

やり方が幾つかあって。 CSSファイルと認識させる 普通に開くとPlain Text扱いされるので、CSSに変更する。 ファイルのシンタックスをCSSにする メニューの、表示 > シンタックス > CSS 拡張子判定で必ずCSSのシンタックスが適用されるようにする メニューの…

インストール Package Controllから Cmd+Shift+Pでinstallと入力 htmlprettifyと入力 使う ファイルを開いてCmd+Shift+H Node.js was not found in the default path. Please specify the location. しかしエラーが出る。 エラーの解消 OKを押すと、HTMLPret…

接続したら、 とりあえずfdisk $ sudo fdisk -l ... WARNING: GPT (GUID Partition Table) detected on '/dev/sdc'! The util fdisk doesn't support GPT. Use GNU Parted. Disk /dev/sdc: 3000.6 GB, 3000592982016 bytes 255 heads, 63 sectors/track, 364…

接続したHDD $ sudo fdisk -l ... Disk /dev/sdb: 2000.4 GB, 2000398934016 bytes 255 heads, 63 sectors/track, 243201 cylinders, total 3907029168 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 4096 b…

最初、UNetbootinを使えば楽勝にできると思ってたけど、サーバー版はインストール時にエラーになるので使えませんでした。 というわけで、成功したプランBの記録です。 Bootable USBメモリの作成 UbuntuのISOをダウンロードする Ubuntu Releases 今回は、最…

コレクション単位でのバックアップ --collectionでコレクション名を指定すれば、コレクション単位でバックアップしてくれる。 $ mongodump --db test --collection keywords connected to: 127.0.0.1 Tue Aug 12 12:27:51.343 DATABASE: test to dump/test T…

月間PV3000程度の過疎ブログなのに、SEO的には結構頑張ってます。 「エロサイト 事例」 3番目 見つけたエロサイト構築事例を淡々と載せるページ - エロサイトの作り方 1,2番目は架空請求の事例（そちらのほうが社会的に重要）なので、構築事例という意味では…

開設9ヶ月目。 クローラーの画像が溜まる一方だったので、3次画像サイトの立ち上げ準備をしてました。 そのため、既存サイトは放置です。 来月から3次サイトもレポートに載せると思います。 主にやったこと 随時 3次サイト立ち上げ準備 コピペで作るだけなら…